Этот спор старее, чем фотография. Масла в огонь подлил пользователь реддитер с ником u/ibreakphotos.
Он опубликовал несколько фотографий Луны, из-за которых интернет задался старым как мир вопросом: что такое «правда» в искусстве?
Рассматриваемые изображения показывают размытую Луну рядом с гораздо более четкой и четкой версией. Последнее изображение лучше, но с ним есть одна серьезная проблема. Это не реально по крайней мере, в том смысле, в каком большинство из нас может счесть снимок реальным. Это изображение, сгенерированное телефоном Самсунг на основе очень плохой фотографии Луны путем сложной обработки и добавления деталей, которые, возможно, есть на Луне, но даже намека на которые не было на исходном снимке. Может показаться натяжкой называть это фотографией, но, учитывая все, что камеры смартфонов уже делают, на самом деле это не гигантский скачок, как кажется, а скорее маленький шаг.
Самсунг не новичок в машинном обучении – последние несколько лет компания играла с высоким зумом, усиленным искусственным интеллектом, с помощью метко названного Space Zoom. В большинстве случаев Space Zoom объединяет данные оптического телеобъектива с несколькими кадрами, снятыми в быстрой последовательности, опираясь на машинное обучение, чтобы получить гораздо более четкое изображение удаленных объектов, чем обычно можно получить с помощью камеры смартфона. Это действительно хорошо.
Кажется, это не совсем то, что Самсунг делает здесь. За пределами фотографии Луны конвейер обработки Самсунга работает только с данными перед ним. Он подчеркнет края здания, сфотографированного с расстояния в несколько кварталов нетвердой рукой, но не добавит окон сбоку здания, которых изначально не было.
Луна кажется другим случаем, и умный тест ibreakphotos показывает, как Самсунг выполняет дополнительную обработку. Они поместили перед камерой намеренно размытое изображение Луны, вывели его на экран и сфотографировали. Полученное изображение показывает детали, которые невозможно было извлечь из исходной фотографии, потому что они были размыты – скорее, обработка Самсунг сделала немного больше украшений: добавила линии и, в последующем тесте, добавила луноподобную текстуру на белых областях исходного изображения. Это не копипаст, но и не просто улучшение того, что было видно.
Но… так ли это плохо? Дело в том, что камеры смартфонов уже используют множество закулисных приемов, чтобы создавать фотографии, которые вам нравятся. Даже если вы отключите все режимы красоты и функции оптимизации сцены, ваши изображения по-прежнему будут обрабатываться, чтобы сделать лица ярче, а мелкие детали – более заметными во всех нужных местах. Как Face Unblur на последних телефонах Google Pixel: если лицо слегка размыто из-за движения, он будет использовать машинное обучение, чтобы объединить изображение со сверхширокоугольной камеры с изображением с основной камеры, чтобы получить четкое финальное изображение.
Пробовали ли вы сфотографировать двух малышей, одновременно смотрящих в камеру? Возможно, это сложнее, чем сфотографировать Луну. Face Unblur делает это намного проще. И это не функция, которую вы включаете в настройках, или режим, который вы выбираете в приложении камеры. Он запечен прямо внутри и просто работает в фоновом режиме.
Это не то же самое, что Самсунг делает с Луной. Тут он объединяет данные из фотографий, которые вы действительно сделали, но причина та же: дать изображение, которое вы действительно хотели сделать. Самсунг просто идет дальше, чем Face Unblur или любая фотография заката, которую вы когда-либо делали на смартфон.
Дело в том, что каждая фотография, сделанная цифровой камерой, основана на предположениях маленького компьютера. Это верно вплоть до отдельных пикселей на сенсоре. Каждый из них имеет зеленый, красный или синий цветной фильтр. Пиксель с фильтром зеленого цвета может только сказать вам, насколько зеленый объект, поэтому алгоритм использует данные соседних пикселей, чтобы сделать хорошее предположение о том, насколько он красный и синий. После того, как вы разобрались со всеми этими цветовыми данными, можно сделать гораздо больше суждений о том, как обрабатывать фотографию.
Год за годом камеры смартфонов делают шаг вперед, пытаясь выдавать более разумные предположения о сцене, которую вы фотографируете, и о том, как вы хотите, чтобы она выглядела. Любой айфон из предыдущих пяти лет будет идентифицировать лица на фотографии и делать их ярче, чтобы они выглядели более лестно. Если Эппл вдруг перестанет это делать, люди взбунтуются.
Это не только Эппл. Камера любого современного смартфона так делает. Это фото твоего лучшего друга? Сделайте его ярче и сгладьте тени под глазами! Это тарелка с едой? Увеличьте насыщенность цвета, чтобы он не выглядел как кошачий корм! Все эти вещи происходят в фоновом режиме, и в целом они нам нравятся.
Было бы странно, если бы Самсунг вместо того, чтобы просто увеличить насыщенность, чтобы ваш ужин выглядел привлекательно, добавил к изображению несколько веточек петрушки? Абсолютно. Но это вряд ли справедливое сравнение с режимом Moon-gate Самсунга.
Луна – не жанр фотографии, как «еда». Это один конкретный объект, изолированный на фоне темного неба, на который смотрит каждый человек на Земле. Самсунг не ставит Эйфелеву башню или маленьких зеленых человечков на картину – он делает обоснованное предположение о том, что должно быть там для начала. Фотографии Луны со смартфонов тоже выглядят категорически фигово, и даже улучшенные версии от Самсунга все равно выглядят довольно ужасно. Нет никакой опасности, что какой-нибудь счастливый обладатель S23 Ultra станет лучшим астрофотографом года.
Самсунг делает дополнительный шаг вперед с обработкой фотографий Луны, но это вряд ли такой большой отход от «правды» современной смартфонографии, как кажется. Тем более вряд ли движение в будущее, где наши камеры будут просто машинами для подсказок. Это шаг на пути, по которому камеры смартфонов идут уже много лет, и если мы подадим на компанию в суд за преступления, связанные с обработкой изображений, суд может быть долгим.
