что такое камера tof в смартфоне
Что делают 3D-сенсоры в смартфонах? РАЗБОР
Все чаще мы видим в смартфонах так называемые 3D-сенсоры, или сенсоры глубины. Большинство из них также называют ToF-сенсорами аналогично одноименной технологии. По слухам, такой сенсор будет установлен и в новом iPhone (там он называется LiDAR, подробнее мы об этом рассказывали в другом материале). Эти сенсоры довольно дорого стоят, но зачем они нужны понятно не всем. Производители уверяют, что сенсоры позволяют делать лучше фото и портреты или добавляют фишки в дополненную реальность. Но так ли это на самом деле?
Сегодня обсудим, зачем нужны 3D-сенсоры в смартфонах, как это работает, ну и конечно, проведем несколько тестов и проверим заявления производителей.
Что такое 3D сенсор (сенсор глубины)
Для начала, давайте разберемся, а что такое 3D-сенсор? Фотокамеры захватывают проекцию окружающего мира на плоскость. По одной лишь фотографии не понять реальный размер объекта — размером ли он с бутылку или с Пизанскую башню. И расстояние до него тоже не понять.
Для того, чтобы понимать реальные размеры объектов на фото, масштабы съемки, отличать, что ближе к камере, а что дальше, и нужны 3D-сенсоры. Они уже давно и активно применяются в робототехнике, автономном транспорте, играх, медицине и много где еще. Более того, наши глаза — это тоже 3D сенсор. При этом, в отличие от LiDAR’а и ToF-сенсоров в смартфонах, глаза — пассивный 3D-сенсор. То есть не излучающий никакого света, а работающий только на основе поступающего света. Только благодаря этому мы можем хоть как-то перемещаться в пространстве и взаимодействовать с окружающими объектами. Теперь 3D-сенсоры появились и в смартфонах.
Как работает ToF?
LiDAR в iPad’е, а также все 3D-сенсоры в Android-смартфонах — это time-of-flight или сокращенно ToF-сенсоры. Они определяют расстояния до объектов вокруг, напрямую измеряя сколько времени понадобится свету, чтобы долететь от камеры до объекта и вернуться обратно. Это очень похоже на эхо в пещере, оно тоже после отражения от стенок возвращается к нам с запаздыванием. Чтобы пролететь 1 метр свету нужно 3 наносекунды, для 1 см — 30 пикосекунд. Вроде бы все понятно. Но есть проблема.
Это очень маленькие промежутки времени. Как камера может такое замерить? Не будет же она делать миллиард кадров в секунду, а потом их сравнивать? Есть 2 основных подхода для решения этой проблемы: dToF (direct ToF) и iToF (indirect ToF). И чтобы вас заинтриговать еще сильнее: абсолютное большинство Android-смартфонов используют как раз iToF сенсоры, тогда как LiDAR в Apple iPad и скорее всего в грядущих iPhone — это редкий представитель семейства dToF сенсоров. Так чем же они отличаются?
iToF — indirect ToF
Начнем с iToF. В таких сенсорах излучатель отправляет высокочастотный модулированный свет, то есть этот свет постоянно включается и выключается с частотой десятки миллионов раз в секунду. За счет того, что свету нужно время для полета до объекта и обратно, фаза, то есть вот это состояние где-то между включенностью и выключенностью, света, вернувшегося в камеру, немного отличается от фазы света в момент отправки. На сенсоре исходный и отраженный обратно от объекта сигналы накладываются друг на друга, и за счет этого определяется сдвиг фаз, который и позволяет понять расстояние до каждой точки объекта.
dToF — direct ToF
dToF работает немного иначе. В таких сенсорах напрямую измеряется разница во времени между отправкой света и детектированием его отражения на сенсоре. Для этого используются так называемые SPAD: single photon avalanche diodes. Они могут детектировать крайне маленькие импульсы света, фактически даже ловить единичные фотоны. Такие SPAD расположены в каждом пикселе сенсора. А в качестве излучателя в таких сенсорах используются как правило так называемые VCSEL — Vertical Cavity, Surface Emitting Laser. Это лазерный излучатель, подобный тем, что используются в лазерных мышках и много где еще. dToF сенсор в LiDAR разработан совместно с Sony и является первым массовым коммерческим dToF сенсором.
Можно лишь гадать, почему в iPad используется dToF сенсор, но давайте отметим преимущества такого сенсора. Во-первых, в отличие от iToF сенсора излучатель испускает не сплошную стену света, а лишь светит в отдельных направлениях, что позволяет экономить батарейку. Во-вторых, dToF сенсор меньше подвержен ошибкам в измерении глубины из-за так называемой multipath interference. Это типичная проблема iToF сенсоров. Она возникает из-за переотражения света между объектами перед попаданием обратно в сенсор и искажает измерения сенсора.
Как это работает, разобрались, давайте теперь посмотрим, а зачем вообще 3D-сенсоры используются в смартфонах.
Зачем это нужно в смартфонах
1. Безопасность
Первым массовым внедрением 3D-сенсоров в смартфонах мы обязаны Apple и технологии Face ID. Распознавание лиц при использовании трёхмерных данных намного точнее и надежнее классического распознавания лиц по фото. Для Face ID Apple использует технологию структурированной подсветки, на ней мы остановимся подробнее как-нибудь в следующий раз.
Большинство производителей заявляют, что именно более качественный и точный режим дополненной реальности является главной задачей 3D-сенсоров. Более того, это также поддерживается непосредственно компанией Google. Буквально недавно они представили грядущее обновление своей библиотеки дополненной реальности ARCore, позволяющее более реалистично размещать виртуальные объекты в реальности и взаимодействовать с реальными объектами.
Для этой же задачи Apple встроили LiDAR в iPad Pro. Такое можно делать и без 3D-сенсора, но с ним все работает точнее и надежнее, плюс задача становится вычислительно сильно проще и разгружает процессор. 3D-сенсор выводит AR на другой уровень.
3. Улучшение фотографий
Ряд производителей, например, Samsung и HUAWEI заявляют, что 3D-сенсор используется в первую очередь для более качественного размытия фона и более точного автофокуса при съемке видео. Другими словами, он позволяет увеличить качество обычных фото и видео.
4. Прочее
Доступ к данным сенсоров у некоторых смартфонов открыт, поэтому появляется все больше приложений, предлагающих новые применения. Так, например, с помощью внешних приложений 3D-сенсор можно использовать для измерения объектов, трехмерного сканирования и motion tracking’а. Есть даже приложение, позволяющее сделать из своего смартфона прибор ночного видения.
Тесты
С тем как это работает в теории разобрались, давайте теперь посмотрим, как это работает на практике, и есть ли какой-то толк от этих дорогущих 3D-сенсоров в флагманах. Для тестов мы взяли Redmi Note 9S, у него есть ToF-сенсор и мы сделали несколько снимков в портретном режиме, но во втором случае просто закрыли 3D-камеру пальцем. И вот что получилось.
Всё просто — размытие действительно больше и лучше, если ToF работает.
И для частоты эксперимента мы взяли Samsung Galaxy S20 Ultra, который также получил ToF-камеру.
И найдите хотя бы одно отличие?
Что получается? Дело в том, что в зависимости от производителя ToF-камера используется по-разному и в разной степени.
Можно сказать, что часть производителей смартфонов располагает ToF-датчики в своих смартфонов не для маркетинга, чтобы добавить ещё одну камеру, а скорее на всякий случай. А дальше уже алгоритмы решают — использовать эту камеру или нет?
При этом на сегодняшний момент необходимости в LiDAR или ToF-камерах прямо нет. Так что это видимо чуть больше маркетинг.
ToF-камера — что это такое?
В связи со стагнацией продаж смартфонов на рынке производители начали привлекать к себе клиентов с помощью таких нововведений, как несколько датчиков задней камеры, камеры, встроенные в экран и выдвижные камеры.
Термин «ToF-камера» попал в заголовки новостей еще в 2019 году. Но что она собой представляет? Я сейчас все детально вам объясню.
Что такое ToF-камера?
ToF-камера – это датчик, который измеряет глубину изображения. Чтобы получить информацию о глубине, он использует инфракрасный свет (лазер, невидимый для человеческого глаза). Датчик излучает световой сигнал, который попадает на объект и возвращается обратно. Затем датчик измеряет время, которое прошло с момента излучения сигнала до момента его возвращения, и таким образом получает информацию о глубине. Такой подход дает огромное преимущество перед другими технологиями, так как позволяет точно измерять расстояния с помощью одного лазерного импульса.
По сравнению с другими доступными технологиями «сканирования диапазона 3D-глубины» (теми же сканерами или камерами с источником структурированных световых лучей), технология ToF считается относительно дешевой. Излучаемый световой сигнал может достигать скорости до 160 кадров в секунду, что означает, что такие камеры отлично подходят для работы в режиме реального времени (эффект боке или фона в видео на ходу). Еще одно преимущество – такие камеры потребляют мало энергии.
Примечание: ToF – это один из многих методов, который подпадает под категорию диапазонного отображения. Иногда ToF-камеры еще называют дальномером или 3D-датчиком.
Для чего нужна ToF-камера?
Датчик ToF-камеры можно использовать для измерения расстояния, а также для сканирования объектов, навигации в помещении, обхода препятствий, распознавания жестов и отслеживания объектов. Данные, полученные с помощью этого датчика, могут также помочь с 3D-визуализацией и улучшением опыта при использовании дополненной реальности (AR). В телефонах ToF-камеры могут быть использованы для 3D-съемки, AR и, в частности, для съемки в портретном режиме.
Теоретически, ToF-камеры позволяют лучше размывать фон в портретном режиме. Я говорю «теоретически», потому что этот процесс все еще требует и программной составляющей. Да и от производителя зависит то, как будут использоваться данные, собранные с ToF-камеры.
ToF-камеры также могут помочь в условиях низкой освещенности – поскольку датчик использует инфракрасный свет для определения «расстояния до объекта», он может помочь смартфонам сфокусироваться даже в темноте.
ToF-камеры – это какое-то нововведение?
Технология ToF не очень нова – на протяжении последнего десятилетия с ней уже успели поэкспериментировать различные компании. Microsoft, например, использовала ToF-камеры в своих устройствах Kinect второго поколения. Лидары, которые часто используются в автомобилях с автопилотом, также обычно оснащены ToF-датчиками. Их приняли на вооружение даже компании, выпускающие беспилотники – так, дрон Chouette в видео выше использует камеру TeraRanger ToF для наблюдения за виноградниками.
Поэтому, хоть технология ToF и не была изобретена вчера, она все еще считается передовой, и, благодаря своей эффективности и доступности, она быстро набирает популярность.
Одним из первых смартфонов, использующих эту технологию, был Huawei Honor View 20, который вышел в конце 2018 года. После него появилось много других флагманских смартфонов с ToF-датчиками.
Смартфоны с ToF-камерой?
Представляю вам список смартфонов с установленной ToF камерой. Не буду вдаваться в их характеристики, можете посмотреть их сами по ссылкам на Яндекс Маркет.
Huawei P30 Pro
Четверная камера этого смартфона разработана в сотрудничестве с Leica. Здесь не только реализован первый на рынке 5-кратный оптический зум – смартфон также может похвастаться стандартной и широкоугольной оптикой наряду с ToF-датчиком. Это самая «продвинутая» установка камеры, которую я видел на сегодняшний день.
Samsung Galaxy Note 10+
Сверх популярный Galaxy Note также был выпущен и в 6,8-дюймовой версии. Как вы уже поняли, но это также единственная модель в линейке, которая имеет ToF-камеру.
Oppo RX17 Pro
Oppo RX17 Pro оснащен 25-мегапиксельной селфи-камерой с диафрагмой f/2.0, в то время как основная камера состоит из трех датчик, один из которых – ToF.
Honor View 20
В смартфоне Honor со встроенной в экран селфи-камерой также установлена двойная основная камера. Она состоит из 48-мегапиксельного основного датчика и 3D-датчика ToF. Смартфон также может похвастаться светодиодной вспышкой.
LG G8S ThinQ
Основная камера LG G8S ThinQ, анонсированного на Mobile World Congress 2019, также использует технологию ToF.
Кто занимается производством ToF-камер?
Производством ToF-камер занимается Sony, и, очевидно, сейчас эта технология японской компании начинает пользоваться большим спросом.
Кроме Sony производством ToF-камер также занимаются AMS/Heptagon, ASC TigerCub, TeraRanger One, Riegl, Lucid/Helios, и AdaFruit.
Что такое ToF-камера в смартфоне
Между производителями смартфонов идет постоянное соперничество. Чтобы как-то выделиться среди конкурентов и переманить покупателей на свою сторону, компании наделяют мобильники все новыми и новыми фишками. Кто-то развивается в плане дизайна, предлагая то вырезы, то изогнутые дисплеи, а кто-то разрабатывает новые форм-факторы вроде слайдеров, выдвижных элементов и гибких дисплеев.
Один из распространенных рецептов по созданию уникального и интересного смартфона касается камеры. Поле для экспериментов в этой области широкое: в современных мобильниках используются несколько объективов. Производителю остается только выбрать, какую комбинацию установить.
Последним нововведением в мобильных камерах стал датчик ToF, или времяпролетная камера. Давайте разберемся, что это и какую пользу от нее может получить простой обыватель.
Что такое ToF-камера
Времяпролетная камера, как подсказывает ее название, измеряет время, затраченное на движение импульса света от датчика до объекта съемки и обратно. Полученные данные используются камерой для построения карты глубины, то есть объемной картинки.
Этот метод построения изображения существует давно. У него есть свои особенности, которые до недавних пор не позволяли использовать его в коммерческих целях в таких малогабаритных устройствах, как смартфон. Свет перемещается с невероятной скоростью – 299 792 458 метров в секунду, поэтому ToF-камера должна обладать технологией, способной улавливать мельчайшую разницу в показателях времени, и иметь компактный размер, чтобы уместиться в корпусе смартфона.
ToF-камера состоит из 4 основных компонентов:
Сенсор и линза – обязательные компоненты любой камеры. У времяпролетного датчика есть еще излучатель и процессор. Первый испускает поток света, второй отвечает за измерение времени. На работу ToF-камеры уходят доли секунды.
Как работает ToF-камера
Луч света, испускаемый датчиком, возвращается быстро, если объект съемки находится близко к объективу. Чем дальше расположен объект или его часть, тем больше времени уйдет на то, чтобы луч достиг его, отразился и вернулся. Показатель расстояния измеряется для каждого пикселя. Это дает подробное представление о том, как выглядит объект, какие особенности формы имеет и как далеко находится. В качестве импульса используется инфракрасный свет, невидимый для человеческого глаза.
Аналогичный подход использует Apple в камере TrueDepth для разблокировки по лицу: там тоже создается трехмерное изображение лица пользователя по точкам, только за основу взята лазерная технология LIDAR.
У мобильной ToF-камеры есть свои недостатки. Первый связан с тем, что яркое освещение может мешать работе датчика: отраженные лучи теряются в окружающем пространстве, а камере не хватает чувствительности, чтобы распознать их и не перепутать с посторонними бликами. Второй недостаток – относительно низкое разрешение по сравнению с основными камерами.
Для чего нужна ToF-камера в смартфоне
В смартфонах времяпролетные камеры используются для сбора информации о глубине кадра, которая в свою очередь нужна для построения трехмерных изображений, отделения фона от объекта съемки в портретном режиме и распознавания жестов.
До недавнего времени смартфоны могли создавать 3D-изображения с помощью программных алгоритмов или специально выделенной камеры, исполняющей роль датчика глубины (стереовидение). ToF-камера – это новая ступень в развитии мобильной фотографии, так как она способна работать в темноте, обладает более высокой точностью и сниженным энергопотреблением.
В каких смартфонах есть ToF-камера
Времпролетная камера – инновационный элемент в мобильной индустрии. Пока она доступна лишь во флагманском сегменте, но в будущем наверняка станет встречаться и в аппаратах среднеценового класса. Пока что обладателями ToF-датчика являются:
По слухам, времяпролетная камера будет включена в фотомодуль iPhone 2019.
Что такое камера ToF и зачем она нужна в мобильном телефоне?
2019 год был отмечен мобильными телефонами с тремя и четырьмя камерами, некоторые из которых с камерами TOF. Термин, о котором вы, вероятно, слышали, но, возможно, даже не знаете, что это значит. TOF или «Time of Flight» переводится, как время полета. По сути, это датчик, который излучает инфракрасные лучи для измерения глубины. Таким образом, расстояние, на котором находится объект, вычисляется более точно.
С помощью этой технологии на мобильном телефоне вы можете улучшить качество 3D-сканирования. И это при том, что только с одним излучением инфракрасного света можно быстро и точно рассчитать глубину.
Кроме того, ToF использует меньше ресурсов процессора для выполнения своих функций, поэтому затраты энергии минимальны. Ко всему этому мы должны добавить, что данная технология выполняет более быстрое распознавание лиц, поскольку ей не нужен внешний свет. Также ToF улучшает сканирование объектов, распознавание жестов, измерение расстояния и объема, качество портретного режима и дополненную реальность.
Какие преимущества мы можем получить с камерой TOF?
С помощью ToF мы можем добиться лучшего качества изображения в условиях низкой освещенности. До сих пор вторичная камера на телефоне использовалась исключительно для размытия фона, хотя результаты не всегда были положительными в местах с малой освещенностью. Опыт подсказывает нам, что работа двух камер не так эффективна, как работа основной камеры и датчика TOF. А комбинация двух камер и TOF является наилучшим сочетанием на данный момент.
Мобильные телефоны с камерами TOF
Существует широкий спектр датчиков TOF, каждый с определенным разрешением. На самом деле, может быть довольно много различий между различными моделями телефонов Android. Мы рассмотрим некоторые из смартфонов, которые имеют эту технологию.
Samsung Galaxy S10 5G
Флагман южнокорейской компании в 5G версии Samsung Galaxy S10 5G имеет датчик TOF среди своих камер. В частности, это четвертый датчик типа ToF 3D, который пригодится для фотографий в портретном режиме и позволит нам записывать видео с размытостью.
Huawei P30 Pro
Huawei P30 Pro является следующим мобильным телефоном, который использует технологию ToF. В случае необходимости, датчик TOF 8MP может добавить глубину резкости и размытие эффектов для создания хорошего качества.
Honor View 20
Данная модель имеет 48-мегапиксельный основной датчик Sony с диафрагмой f / 1.8, в сопровождении датчика ToF для улучшения захвата в портретном режиме. Также присутствует алгоритм ИИ, который анализирует сцены и автоматически устанавливает такие значения, как цвет или контрастность, чтобы повысить качество снимков.
LG G8 ThinQ
Наконец, LG G8 ThinQ, флагман южнокорейской компании является еще одним телефоном, который включает камеру с технологией ToF, компания назвала эту камеру Z Camera. Эта камера вместе со встроенными инфракрасными датчиками составляют систему Hand ID. Это означает, что устройство может идентифицировать пользователя, распознавая толщину и форму ладони. Чтобы воспользоваться данной технологией, вам просто нужно на несколько секунд поместить ранее зарегистрированную руку перед передним датчиком, чтобы разблокировать телефон. Поэтому LG G8 Z Camera использует датчик TOF на передней панели, чтобы создать новую биометрическую систему, которая связана с распознаванием лиц и считывателем отпечатков пальцев.
Это не единственное использование TOF камеры LG G8 ThinQ. TOF также используется для достижения лучшего изображения при выполнении портретного режима. Камера рассчитывает инфракрасные лучи, отраженные от объектов, для более точного и быстрого измерения глубины. Кроме того, камера работает хорошо при большом количестве окружающего света.
Спасибо за внимание! Надеемся, что эта статья была вам полезна. Присоединяйтесь к нам в Одноклассниках и Вконтакте, а так же подписывайтесь на канал в Яндекс.Дзен.
Рекомендуем статьи из категории mobile :
Список телефонов Realme, ожидаемых получения Android 11 на основе Realme UI 2.0
Достаточно ли 64 ГБ памяти для смартфона в 2020 году?
Что такое ToF камера и для чего она нужна
ToF-камера (от английского Time of Flight, «время полета») или импульсная времяпролетная камера — одна из новейших технологий на рынке смартфонов, которую только недавно удалось уменьшить до нужного размера. Изначально подобные камеры, работающие в инфракрасном диапазоне, использовались при геологоразведке и в строительстве, так как в первую очередь предназначены они для измерения расстояния до конкретного объекта.
Аналогично лазерному дальномеру, камера Time-of-Flight излучает направленные пучки света по направлению к каждой из точек, зафиксированных основным сенсором, и измеряет расстояние до них, основываясь на скорости отражения. Это позволяет получить данные о трехмерной картинке, которая и используется при финализации фотографий, формировании трехмерного образа, сканировании черт лица и даже создании эффекта дополненной реальности, используемого в приложениях VR и AR.
Как работает ToF камера
В смартфонах эта технология принципиально не изменилась, но значительно усложнилась. Получая общую информацию от основного модуля фотокамеры, ToF-камера регистрирует расстояние до каждой из них и формирует полноценный трехмерный снимок. Из-за малых размеров и новизны технологии, точность пока еще оставляет желать лучшего и имеет погрешность в 5-10 миллиметров. К тому же разрешение составляет не больше, чем 0,5 МП.
Первыми в своих девайсах применили полноценную, отвязанную от Face ID, тройную камеру с ToF-модулем компании Oppo и Vivo — Oppo RX17 Pro и Vivo NEX Dual Display. Тогда, в 2018 году, они выпустили смартфоны с сенсором всего в 0,3 МП, но и это позволило значительно улучшить качество получаемых фотографий за счет глубины цвета и цифровой обработки кадра перед формированием итогового изображения.
Зачем ToF камера в смартфонах
Модуль камеры, измеряющий расстояние до точек в пространстве используется в смартфонах для выполнения различных функций. ToF-камера дополняет функционал размытия фона, улучшает общее качество изображения, а также позволяет делать трехмерные снимки. Последнее является одним из важнейших элементов в создании качественных объемных фотографий, а также, при использовании в качестве аддона к фронтальной камере, обеспечивает работу сенсоров FaceID.
ToF-камеры также используются для создания полноценных трехмерных моделей, так называемой фотограмметрии (photogrammetry), Это крайне полезно для создания реалистичных ландшафтов, интерьеров и изображений людей, которые применяются в различных отраслях — начиная гейм-дизайном и заканчивая научными работами. Трехмерный рендер при помощи подобного сенсора создается в несколько простых действий, включая склейку — для хорошего 3D-скана чего угодно обычно достаточно съемки с 4-6 ракурсов под прямым углом.
