|
|
Ганюшин Александр Александрович Факультет журналистики мгу им. М. В. Ломоносова
Ганюшин Александр Александрович
Факультет журналистики МГУ им. М. В. Ломоносова
Кафедра теории коммуникации и новых медиа
Телефон: +7 (903) 230-3353
Email: envercon@gmail.com
Ganjushin Alexander A.
Moscow State University, Faculty of Journalism
Chair of New Media and Theory of Communication
The computational photography
Abstract
The active phase of the development of digital photography lasts for almost three decades. All this time, we are seeing a consistent replacement of analog cameras’ details on computerized ones. The only element of these devices remained intact was lens. However, with the invention of the computational photography technology, this optical instrument has undergone a radical modernization, which greatly expands its capabilities. In general the computational photography opens a truly revolutionary potential that promises radically change all our ideas about the possibilities of photography per se.
Keywords: digitalization, computational photography, light field capture cameras, "space shift" algorithm, programmable cameras, "Frankenkamera".
Технологии вычислительной фотографии
Аннотация
Активная фаза развития цифровой фотографии насчитывает три десятилетия. Всё это время мы наблюдаем последовательную замену аналоговых узлов фотокамер на компьютеризированные. Единственным неприкосновенным элементом устройств оставался объектив. Однако с изобретением технологии вычислительной фотографии и этот оптический прибор подвергся радикальной модернизации, значительно расширившей его возможности. Вместе с тем вычислительная фотография открывает такие перспективы использования светописи в новых медиа, которые способны решительно изменить наши представления о ней как таковой.
Ключевые слова: дигитализация, вычислительная фотография, камеры с захватом светового поля, алгоритм «пространственного сдвига», программируемые фотоаппараты, «Франкенкамера».
Стремительно дешевеющая стоимость вычислений вкупе с новыми алгоритмами, специальной оптикой и сенсорами целиком меняют характер отображения мира средствами современной фотографии. Например, недавно учёные разработали камеру, которая способна обнаруживать предметы и объекты, находящиеся за пределами линейной видимости, то есть – из-за угла. Другая новинка позволяет воссоздать портрет преступника по отражённому изображению в глазах его жертвы1. Но даже в тех случаях, когда речь не идёт о борьбе с криминалом, вычислительная фотография способна наделить любого пользователя воистину экстраординарными способностями. Нынешние разработки в области фотографических линз позволяют очистить изображение от пятен на объективе или на стекле при съёмке, скажем, через окно. Кроме этого, современные вычислительные технологии позволяют выбрать точку фокусировки на снимке уже после того, как этот снимок был сделан2. Ещё одним перспективным направлением занимаются специалисты из Стэнфорда, которые разработали фотоаппарат, названный «Франкенкамера». Этот рукотворный «гомункул» фотографического мира оснащён открытым кодом, что позволяет его обладателю программировать отдельные компоненты, чтобы получать никем не вообразимые авторские снимки.
«Возможности вычислительной фотографии не кажутся очевидными на первый взгляд», пишут учёные Рамеш Раскар из Массачусетского технологического института и Джек Тамблин из Северо-Западного университета в своём совместном пособии по новому виду светописи3. «Как дикий зверь, просидевший долгое время в зоопарке и наконец освобождённый бурей из своей клетки, те из нас, кто вырос в эпоху плёночной фотографии, так и стоят застывшие в изумлении перед лицом свершившихся перемен».
До последнего времени большинство цифровых камер были по своей конструкции в основном имитациями плёночных аппаратов с матрицей, выполнявшей функции плёнки. Эти «псевдоплёночные» камеры использовали объективы, чтобы уловить свет, исходящий от трёхмерных предметов, а затем превратить его в достоверную двухмерную проекцию – классический фотоснимок. Но цифровым камерам нет необходимости заниматься имитацией, чтобы достоверно воссоздавать реальность. Внутри цифрового фотоаппарата находится компьютер с микропроцессором, который обрабатывает свет, прежде чем тот будет сохранён на карту памяти. Этот же компьютер может трансформировать изображение с помощью измерений, манипулирования и комбинаций визуального сигнала фундаментально иным образом, чем прежде. Комбинация новых оптических и математических инструментов позволяет достигать необычных и значительных результатов. Например, камеры, снимающие из-за угла. С 2009 года этим направлением занимается группа учёных из Массачусетского технологического института и Калифорнийского Университета Санта Круз, чьими усилиями была создана камера с титаново-сапфировым лазером в качестве элемента подсветки4. Световые импульсы, которые испускает этот лазер, длятся триллионные доли секунды. Далее они рикошетят от предметов, в том числе и находящихся за пределами видимости фотографа, а линзы объектива улавливают это визуальное эхо. Процессор камеры в состоянии отфильтровать из потока вернувшихся фотонов те, которые несут информацию о скрытом от обзора фотографа изображении.
Данная технология способна помочь водителям увидеть то, что происходит за углом улицы или хирургам, проводящим операции в труднодоступных областях тела пациента. Также данная разработка будет полезна для спасателей, извлекающих пострадавших из обломков строений, и полицейских и солдат при обнаружении прячущихся врагов.
Ещё одна полезная фотографическая технология позволит сыщикам легче раскрывать преступления, называется «мир в отражении глаза». Она способна воссоздавать окружающую обстановку, используя для это информацию с поверхности глазного яблока. С помощью геометрической модели этой искривлённой поверхности Шри Наяр и Ко Нишино из Дрекселовского Университета в Филадельфии создали камеру, фиксирующую изображение на границе белка и роговицы глаза5. Далее вычислительный алгоритм позволяет преобразовать чашеподобное изображение в снимок с деталями окружающей обстановки, спроецированной на сетчатку человека.
Используя данные о наклоне камеры и положении глаза портретируемого, вне зависимости от того, куда этот человек смотрит, можно точно определить направление взгляда. Эта информация может пригодиться при исследованиях распределения внимания в различных ситуациях. Эта же технология, усиленная дополнительным программным обеспечением от Лаборатории компьютерного видения (Стэнфорд) 6, позволяет нашим современникам заглянуть глубоко в прошлое. Один фотограф с её помощью начал изучать отражения в глазах людей на старинных снимках, что позволило ему, заглянув в глаза человека из 1840 года, из размытости прошлого достаточно точно восстановить окружающий мир этого далёкого героя7.
Если цели фотографов ограничиваются более традиционной фиксацией течения жизни, то многие исследователи, включая Наяра, также готовы прийти на помощь, чтобы избавить авторов снимков от таких проблем как задержка срабатывания затвора, размытость движущегося объекта или капли дождя на стекле объектива.
Подобные возможности чрезвычайно полезны для широкого круга фотографов любителей, а, следовательно, пользуются популярностью у производителей коммерческих фотокамер или разработчиков приложений для смартфонов. Одну из таких камер, названную Lytro, разработал в качестве диссертационного исследования студент Стэндфордского университета Рен Нг8. Lytro – абсолютно новая цифровая камера, использующая принципы вычисления для создания фотографий с возможностью пост-фокусировки. Это означает, что пользователь сможет решить, что должно быть резким на фотографии – передний план, средний или дальний - уже после того как снимок будет сделан.
Ноу-хау Lytro заключается в том, что она использует совершенно новую оптическую схему. В пространстве между основным объективом и сенсером располагается дополнительный ряд микроскопических линз, способных захватить целиком всё, так называемое, “световое поле”. Это означает, что каждый отдельный сенсор захватывает свой собственный луч света, фиксируя его интенсивность, цветность и направление – в случае Lytro всего 11 млн. лучей. В то время как традиционная камера совмещает все данные светового поля и создает на одном пикселе единственный фрагмент изображения, камера Lytro позволяет каждому пикселю захватывать всё изображение целиком. Этот принцип распределения информации по всем пикселам матрицы позволяет впоследствии изменять точку фокусировки внутри снятого кадра.
Lytro появилась на рынке в 2011 году, одновременно с ещё одной фотокамерой, использующей принцип светового поля для съёмки фотографий с помощью смартфонов. В феврале 2011 года компания Pelican Imaging объявила о создании прототипа устройства для смартфонов, снабжённого матрицей с 25 наборами микролинз (lenslets)9. Подобно Lytro компания Pelican также обещает функцию пост-фокусировки для своих снимков. Но в отличие от кубической формы Lytro, камера от Pelican обладает форм-фактором, позволяющим встраиваться в плоский корпус мобильного телефона.
Однако в преддверии появления конкурентов разработчики камеры Lytro продолжают расширять горизонты вычислительной фотографии и недавно представили новый гибрид математики и физики. Они уверяют, что добавление алгоритма «смещения перспективы» к возможностям первой коммерческой фотокамеры, функционирование которой основано на принципе захвата светового поля, «привносит новое измерение в фотографию»10. Если существующая на рынке модель позволяет пользователю менять точку фокусировки в пространстве кадра уже после того, как кадр будет снят, то алгоритм «пространственного сдвига» даёт возможность изменять точку съёмки, то что в классической литературе по композиции в визуальном искусстве называлось «единая точка схождения линий перспективы»11. На дисплее компьютера или мобильного устройства, по утверждению создателей Lytro, «пользователи могут смещать точку зрения относительно снимаемого ими вида влево, вправо, а также вверх, вниз, либо куда угодно». После того, как изображение, сделанное Lytro с применением алгоритма «пространственного сдвига», будет опубликовано в Facebook или Twitter, друзья пользователя смогут самостоятельно испытать действие алгоритма без привлечения какого-то ни было дополнительного программного обеспечения. Также «перспективный сдвиг» сможет быть применён ретроактивно, то есть в отношении всех снимков, сделанных прежде с использованием техники захвата светового поля. Данный алгоритм должен появиться на рынке в декабре 2012 года.
Lytro также обещает выпустить в ближайшем будущем набор так называемых «живых фильтров», которые позволят менять внешний вид снимков, сделанных с применением техники захвата светового поля. В отличие от существующих ныне цифровых фильтров разработка Lytro сулит пользователям новые эффекты, возникающие в процессе интерактивного взаимодействия пользователя с ними.
Эксперты уже получили возможность попробовать «перспективный сдвиг», однако их отзывы далеки от восторженных. В частности, Пол Уортингтон, редактор сетевого фотожурнала «6Sight Report»12, отзывается о новинке так: «Сам по себе подход является не разновидностью усиления качеств изображения, но противоречит самому пониманию того, что традиционно именуется «фотографией». Где мы располагаем камеру, и то, на что мы наводим фокус – являются двумя ключевыми доминантами, определяющими конечный вид снимка. Если мы предлагаем каждому зрителю возможность изменить их, то в кого мы превращаемся сами, как не в подставку для камеры? Этого ли вы желаете, делая свой снимок? Я не являюсь гениальным фотографом, но даже я хочу вложиться в создание снимка больше, чем предлагает нам данная техника»13. Однако создатели технологии пространственного сдвига уверены, что потребители благосклонно воспримут их детище: в июне 2013 г. они запустили бесплатное приложение для смартфонов компании Apple, которое позволяет делать анимированные снимки в формате GIF. В настоящий момент программисты компании работают над расширением социальных функций приложения Lytro14
Существует ещё несколько перспективных разработок, касающихся возможных сценариев развития фотографической технологии в будущем. Объединённые в массивы сами камеры, а не только объективы, также позволяют получать необычные, но многообещающие результаты. Такие камеры образуют подобия гигантских лиз, что позволяет фиксировать значительно больше света, чем обычные объективы, а это, в свою очередь, открывает новые горизонты творчества. Получаемые такими устройствами снимки могут быть сделаны с такой минимальной глубиной резкости, которая позволяет отделить с помощью фокуса объект от его окружения, оставляя его резким при максимально размытом переднем и заднем планах. Аналогичные фотографии могли до этого быть получены с использованием либо громоздких карданных камер, либо с применением устройства «Baby Lens» – объектива, встроенного в гофрированный, гибкий корпус. Эти снимки получили широкое распространение в последние пять лет: возникла мода на их специфический, «игрушечный» рисунок, когда городские пейзажи и крупные объекты, например, автомобили, выглядели подобно макетам и коллекционным моделькам, будучи предельно резкими и отделёнными визуальных от помех перед и за ними. Гигантский, сборный объектив также позволяет фотографу избежать воздействия на снимок помех в виде жалюзи и листвы, при съёмке сквозь них. Один из подобных экспериментальных аппаратов, созданных в Стэндфордском университете, представляет собой массив из 128 видеокамер, расположенных на расстоянии 5 см друг от друга15. В результате этот аппарат получил суммарную величину (диаметр) открытой диафрагмы, приблизительно равную одному метру.
Не отстают и конструкторы задней части фотоаппаратов, в которой обычно располагается светоулавливающий элемент – матрица. Усовершенствование технических характеристик этих сенсоров позволило им делать значительно большее количество снимков в секунду. Высокая частота считывания данных с матрицы в совокупности с новыми математическими приёмами обсчёта этих данных позволяют камерам получать множество вариантов одной и той же фотографии с различными экспозиционными параметрами. Далее камера может либо выбрать из них оптимальный снимок, либо объединить их, что позволяет значительно расширить такой показатель как динамическая широта. То есть, в результате фотограф получает суммарное изображение с расширенной передачей деталей как в светлых участках снимка, так и в, напротив, затемнённых. Данный приём, называемый «высокая динамическая широта» (HDR), также использовался в цифровой фотографии последние 10 лет, однако теперь он получается автоматически, когда ранее пользователю приходилось как снимать, так и объединять отдельные кадры вручную.
Новые типы камер также позволяют бороться с таким неприятным явлением как задержка срабатывания затвора. При переводе камеры в определённый режим, она начинает снимать сюжет, делая серию снимков и затем временно сохраняя их в буфере обмена. Таким образом фотограф получает как тот снимок, который он сделал в момент нажатия спусковой кнопки, так и серию снимков до и после этого момента. «Это именно то, что я всегда хотел от камеры – чтобы она начинала снимать до того момента, как нечто интересное случится», – говорит Джек Тамблин. «Когда ваша дочь начинает задувать свечки на праздничном торте, у вас уже есть последовательность снимков одного за другим»16.
Все вышеописанные усилия производителей достойны самой высокой оценки, однако наибольшие надежды исследователи питают по отношению к такой области НИОКР как программируемые фотоаппараты. Марк Левой замечает: «Однажды пользователи получат такие камеры, которые смогут быть запрограммированы владельцами таким образом, чтобы выдавать результат точно такой, какой хотел бы получить от них сам фотограф. Я вышел из среды компьютерной графики, где все участники давно играют по таким правилам. Но с фотографической индустрией всё не так – производители в ней привыкли секретничать»17. Так внутри каждой цифровой камеры расположен компьютер, однако доступ пользователю к нему закрыт. Однако вы можете, получив его, сами программировать собственное устройство. На сегодняшний день существует целый ряд хакерских инструментов, которые позволяют добраться до компьютеров внутри ряда конкретных моделей ведущих производителей. Но Левою и его коллегам хотелось бы поэкспериментировать со всеми из существующих на рынке фотоаппаратов без всяческих ограничений. Поэтому они и создали свою «Франкенкамеру»18.
«Иметь дело с готовыми аппаратами – это весьма болезненный опыт, – говорит Эндрю Адамс из М.И.Т.'а. – Получив горькое разочарование от программирования готовых образцов, мы решили создать наш собственный»19.
По началу «Франкенкамера» представляла из себя неуклюжее устройство, собранное из компонентов коммерческих фотоаппаратов (отсюда её приставка «Франкен-»). Но в соответствии с духом свободной компьютерной науки, камера получила программное обеспечение с открытым кодом, основанное на среде Linux. С помощью небольшого вмешательства в код камера может быть запрограммирована для съёмки в режиме гироскопа, чтобы определять, движется ли камера в момент срабатывания затвора. Затем камера выбирает из серии снимков тот, резкость которого максимальна. Данное приложение Адамс называет «счастливый кадр».
Компания Nokia заинтересовалась идеей «Франкенкамеры» настолько, что позволила исследователям реализовать её на базе своей флагманской модели «N900». Исследователи из Стэнфорда разослали опытные образцы смартфона во все лаборатории, занимающиеся вычислительной фотографией.
«Первой задачей была замена алгоритма автофокусировки, – говорит Адамс. – Мы дали коллегам неделю на размышления и получили результат, превосходивший разработки инженеров Nokia»20.
Один из студентов сделал снимки сферической поверхности, а затем объединил их, получив значение ширины угла объектива, намного превосходившее исходное. Также были реализованы алгоритмы “сшивания” панорамных снимков, расширения динамического диапазона, а также съёмки как со вспышкой, так и без неё с дальнейшим объединением кадров в улучшенный снимок. Открытый код “Франкенкамеры” был разработан и опубликован в 2010 году, так что любой владелец смартфона “Nokia N900” может теперь экспериментировать со своей камерой самостоятельно.
К новому классу вычислительных камер относится ещё одна разработка, которая позволяет переснимать и улучшать старые, несовершенные с технической точки зрения фотографии. Камера ищет отличительные признаки дефектов, такие как «заваленные» углы и с помощью стрелок указывает на них фотографу. Тот же выравнивает камеру должным образом и получает новую версию старого снимка.
Со всеми этими достижениями современной вычислительной фотографии опасность смазанного или слишком тёмного изображения стремительно уходит в прошлое. Им же на смену являются причудливые и даже шокирующие снимки, сделанные владельцами смартфонов с необходимым программным обеспечением. Но чем больше людей познакомятся с возможностями «Франкенкамеры» и её аналогов, тем сильнее будет взрыв креативности новой фотографии.
Подводя итог изменениям, произошедшим в технической сфере, следует упомянуть то, как эти новые реалии сказываются на практической стороне деятельности людей, вовлечённых в коммуникативный процесс посредством светописи.
Мы в состоянии понять, как основные технологические тренды определяют будущее фотографии, изучая профессиональный сегмент данного вида медиа. Для профессионалов первая фаза перехода на «цифру» была более-менее прямолинейна: это была смена технического оборудования. И хотя для некоторых, преимущественно фотографов в возрасте, она была в некоторой степени сложна, кофры современных репортёров выглядят весьма похоже на сумки их предшественников из «аналогового» поколения. Новые технологии меняют саму профессию, заставляя фотографов переосмысливать самое естество их профильной деятельности, а также тот набор умений и навыков, который на сегодняшний день становится всё более актуальным.
Для постоянно расширяющегося круга пользователей вычислительной фотографии новая технология может обеспечить дополнительные выразительные средства, как, например, случилось в истории с цветной фотографией, что позволит им более точно и полно реализовывать собственный творческий потенциал.
1 http://www.sciencenews.org/view/feature/id/337554/title/The_Digital_Camera_Revolution
2 http://www.wired.com/gadgetlab/2012/02/lytro-fcc-teardown/
3 http://web.media.mit.edu/raskar/photo/
4 http://web.media.mit.edu/raskar//trillionfps/
5 https://www.cs.drexel.edu/kon/KNishino_ext_May13.pdf
6 http://graphics.stanford.edu/papers/fcam/
7 http://digital-photography.wonderhowto.com/inspiration/corneal-imaging-photo-process-reveals-hidden-reflected-world-eye-0138809/
8 http://www.lytro.com/renng-thesis.pdf
9 http://www.pelicanimaging.com/technology/index.html
10 http://gizmodo.com/5961025/lytro-images-will-soon-have-3d-perspective-shift-and-live-filters
11 Single vanishing point (англ.) – точка схождения линий перспективы, расположенная строго перпендикулярно и в центре относительно положения зрителя к рассматриваемому им изображению.
12 http://6sightreport.com
13 http://pmanewsline.com/2012/11/16/lytro-shifts-perspective/#.UdQ1AxatS0s
14 http://www.wired.com/gadgetlab/2013/06/lytro-ios-app/
15 http://www-graphics.stanford.edu/papers/lfvc/wilburn-lfcamera-spie02.pdf
16 http://www.sciencenews.org/view/feature/id/337554/title/The_Digital_Camera_Revolution
17 Ibid.
18 http://www.sciencenews.org/view/feature/id/337554/title/The_Digital_Camera_Revolution
19 Ibid.
20 Ibid.
|
|
|
Скачать 130.2 Kb.