Кнопка назад на телефоне в браузере обыкновенно вызывает window.history.back(), соответственно, помимо того что вы открываете картинку на full нужно еще изменять ссылку. Без перезагрузки страницы это позволяет делать browser history api.
Так что посмотрите в эту сторону. Код вашего приложения при этом, скорее всего очень сильно изменится.
Если писать коряво без нормальных фреймворков, то выглядит примерно так
https://jsfiddle.net/n91jq25b/11/, подключено jquery-history, правда в jsfiddle это работать не будет, попробуйте на локальном сервере.
Вообще для решения таких задач обычно используют абстракцию router.