лидар в смартфоне что это такое
Зачем iPhone 12 нужен лидар, или Самая бесполезная функция
Я всегда любил технику Apple за её практичность и продуманность. В отличие от Samsung, которая могла себе позволить совершенно бестолковые эксперименты в коммерческих смартфонах с технологиями слежения за взглядом или 100-кратным приближением изображений, компания из Купертино вела себя более осмотрительно и не предлагала своим пользователям инновации ради инноваций. Но в какой-то момент что-то пошло не так, и Apple сначала решила превратить планшет в компьютер, а потом и вовсе занялась освоением не применимых на практике AR и лидаров.
Лидар — бесспорно, очень интересная и сложная технология, но на практике мало применимая
Apple представила iPad Pro 2020 с новой камерой и клавиатурой как у MacBook
После того как Apple выпустила iPad Pro 2020 со встроенным лидаром, стало очевидно, что планшет является всего лишь тестовым полигоном для технологии компьютерного зрения перед по-настоящему важным релизом. Ведь планшет, тем более профессиональный, — это устройство узконаправленное, а вот смартфон, тем более флагманский, представляет собой гаджет более массовый. Поэтому сомнений в том, что iPhone 12 тоже получит поддержку лидара ни у кого не было с самого начала. Ведь не зря же Apple установила на корпус iPhone 11 такую большую площадку, где как раз осталось место ещё для одного модуля.
Лидар сканер — это…
В iPhone 12 тоже будет лидар, в этом почти нет сомнений. Но зачем он там нужен?
Если вы ещё не в курсе, лидар – это специальный сенсор, способный распознавать трёхмерные объекты благодаря технологиям поглощения и рассеивания света. Он просто излучает пучок света, который отталкивается от предметов, расположенных на его пути, и возвращается назад. Таким образом удаётся сформировать силует препятствий, находящихся в зоне видимости, и определить области, свободные от посторонних объектов. Как правило, лидары применяются в системах автопилотирования, выступая в роли глаз беспилотного автомобиля.
Все, что вам нужно знать о новом iPad Pro 2020
Но зачем это смартфону? Ну, на самом деле лидар можно приспособить как минимум для трёх целей. Его можно использовать для распознавания лиц, как поступила Samsung со своим Galaxy S10 5G, который разработчики компании обучили считывать рельеф лица не хуже, чем Face ID. Но поскольку Apple решила установить лидары на заднюю панель своих устройств, логично предположить, что и использоваться они будут если не конкретно для фотосъёмки, то по крайней мере в роли вспомогательного инструмента для камеры. Значит, остаются только два варианта: работа с дополненной реальностью и портретная съёмка.
Дополненная реальность на iPhone
Да, мы знаем, что Apple неровно дышит к дополненной реальности, а лидар может помочь ей в реализации намеченных целей, обучив AR-объекты работать с окружающим пространством и учитывать препятствия, чтобы не проваливаться в текстуры. Но, как видите на представленных выше изображениях, сейчас iPhone довольно неплохо справляются с размещением виртуальных предметов, создавая впечатление вполне материальных. Поэтому единственное, что улучшит лидар, — это замеры при помощи приложения «Линейка», сделав их более точными, и точность позиционирования при размещении виртуальной мебели из приложения «ИКЕА». Других сценариев я придумать пока не могу.
Сравнение iPad Pro 2020 и iPad Pro 2018: стоит ли покупать новинку?
Другое дело – насколько востребована будет эта функция у пользователей. На мой взгляд, AR – это именно та история, которая годится только в качестве вау-фактора. Ну, подумайте сами, сколько раз вы её запустите? Один? Два? Три? Уверен, что не больше, да и то только в первую неделю после покупки, пока хочется протестировать все возможности новинки. Нет, ну правда, вспомните, сколько раз вы пытались запускать AR на своём нынешнем iPhone или iPad? От силы раза полтора. Не изменит ситуацию и лидар, ведь дело не в том, что дополненная реальность плохо совмещается с повседневной, а в том, что это никому не нужно.
Как улучшить портреты на айфоне
Лидар может улучшить портретную съёмку, но зачем, если она на iPhone и так всегда была на высоте?
Портретная съёмка пока выглядит самым вероятным сценарием массового использования лидара. Благодаря тому что он позволяет распознавать трёхмерные объекты, он сможет добиться более естественного и правильного эффекта размытия. Но вот проблема – телеобъективы, которые Apple использовала в iPhone с 2016 года, и так справлялись со своей задачей на 100%. Что-то я не припомню, чтобы кто-то из экспертов негативно отозвался о портретной съёмке даже на iPhone 7 Plus, не говоря уже о более новых моделях. Напротив, флагманские аппараты Apple либо превосходили конкурентов, либо шли с ними вровень, но никак не уступали. Поэтому, в общем, и здесь лидар будет ни к чему.
Почему я думаю, что iPhone 12 не выйдет в сентябре 2020 года
Аналогичного мнения придерживается и Михаил Королёв, основатель AppleInsider.ru:
Можете забросать меня камнями, но я искренне не понимаю, зачем нужно встраивать лидар в iPhone. Ради крутых фоток с размытым фоном или ради дополненной реальности, которой никто никогда не пользовался? Удорожание смартфона в настоящее время — явно не лучшая идея. Лидару место в автомобилях Tesla или роботах Яндекса, которым он нужен для автономного передвижения, но никак не смартфону. Надеюсь, что я не прав и Apple откроет нам глаза на реальные сценарии применения лидара в iPhone 12, но пока верится с трудом, что это произойдёт.
Я бы тоже очень хотел ошибиться и в сентябре узнать, что Apple придумала для лидара в iPhone 12 совершенно гениальное применение, а не вот эти притянутые за уши сценарии вроде AR или портретной съёмки. Но, учитывая, что пока никто даже в теории не придумал, как ещё можно использовать этот аппаратный компонент, меня не покидает стойкое ощущение, что Apple действительно свернула куда-то не туда и уделяет время технологии, которая банально не нужна большинству пользователей.
3D-печать и ночные портреты: для чего в iPhone 12 Pro Max нужен лидар
В iPhone 12 Pro Max, который стоит 130 тыс. руб., установлены три камеры, один фонарик и лидар. Лидар — это сенсор, который посылает в пространство пучки невидимого света. Зачем? Чтобы лучше видеть это же пространство. Сегодня технология лидара чаще всего упоминается в контексте «зрения» беспилотного автомобиля, но зачем она смартфону? Apple объясняет необходимость технологии так:
Фотосъемка с лидаром
Фото, сделанное ночью на телефон с лидаром более четкое: на смартфоне без лидара изображение «шумит». Главное отличие iPhone 12 Pro Max от других смартфонов — у него есть ночной режим портретной съемки.
Качество видеосъемки
Тут iPhone 12 Pro Max сравним с камерой Sony Alpha A6600. Однако iPhone «вытягивает» все, что позади человека, осветляя фон. Sony же при этом сохраняет цвета, как в реальности. Примерно такие же результаты показал эксперимент по сравнению смартфона Sony уже с новым iPhone без лидара.
Вывод: для качественной видеосъемки лучше купить фотоаппарат со светочувствительным объективом.
Дополненная реальность
Что еще можно делать с помощью лидара? Два года назад Apple представила новое приложение «Рулетка».
Итак, представим, что нам нужно что-то измерить — например, столешницу на кухне. У нас есть iPhone без лидара, iPhone с лидаром и совсем обычная рулетка. В ходе эксперимента телефон без лидара сперва не различил стену, но потом все же сумел измерить ширину и длину столешницы: 58 и 91 см соответственно.
Смартфон с лидаром ориентируется быстрее. Главное отличие — вибрацией он дает понять, где стена, а где — конец столешницы. Правда, линию ведет не очень ровно. Результат: 60 и 93 см.
Обычная рулетка показала 57 и 92 см соответственно. Получается, что iPhone 12 Pro Max ошибся на несколько сантиметров.
По задумке Apple, многие бытовые проблемы можно решить с помощью дополненной реальности. Компания всеми силами способствует тому, чтобы технология дорабатывалась и ей пользовались люди. Но все же пока единственное достойное применение технологии в быту — примерить какую-нибудь мебель в квартире. Например, у IKEA есть приложение, позволяющее выбрать мебель и посмотреть, как она будет выглядеть в том или ином месте вашей квартиры.
Лидар может совершить прорыв и в области сканирования: с помощью технологии можно отсканировать какую-либо вещь, а затем распечатать на 3D-принтере ее модель.
Подписывайтесь также на Telegram-канал РБК Тренды и будьте в курсе актуальных тенденций и прогнозов о будущем технологий, эко-номики, образования и инноваций.
Чем лидар в iPhone 12 отличается от ToF-сенсоров в смартфонах на Android
iPhone 12 стал первым смартфоном Apple со встроенным лидаром. Несмотря на то что эта технология известна с давних пор и активно применяется в самых разных отраслях, в Купертино адаптировали её для своих целей только в этом году. Конечно, эта новость незамедлительно вызвала насмешки у пользователей Android, смартфоны на базе которой оснащаются лидарами уже как несколько лет. Вот только, если разобраться, то выяснится, что на самом деле то, чем большинство производителей комплектуют свои устройства, — это не то же самое, что лидар, которым оснащён iPhone 12.
iPhone 12 стал первым смартфоном Apple с лидаром
Начнём с объяснения, что такое лидар. Это специальный трёхмерный датчик для сканирования окружающего пространства. Он формирует серию световых импульсов, которые невидимы для человеческого глаза, и как бы распыляет его по принципу пульверизатора. Затем этот свет «натыкается» на объекты, которые находятся в зоне его видимости, и возвращается назад, таким образом определяя их форму.
Зачем нужен лидар
Вот так лидар видит комнату с мебелью
По своей сути лидары являются инструментом компьютерного зрения, который обладает довольно высокой эффективностью и дальностью действия. Самый наглядный пример их применения – это системы автопилотирования. Например, электрокары Tesla оснащены множеством лидаров, с помощью которых они следят за ситуацией на дороге, определяя участников дорожного движения и посторонние объекты.
Какие производители Android-смартфонов работают над созданием iPhone 12
ToF-сенсоры, которыми оснащаются современные Android-смартфоны, имеют ту же природу, что и лидар, но при этом устроены немного проще. Принцип их работы кроется в их названии – Time of Flight. Они тоже формируют световой луч, который отправляется в окружающую среду, а затем, отражаясь от физических объектов, возвращается обратно. Правда, их форма определяется не самим лучом, а временем, за которое луч прошёл до разных частей объекта и вернулся.
Как работает лидар
Кроме того, лидары «распыляют» свет непрерывно, отправляя в пространство множество последовательных импульсов, а ToF-сенсоры «выстреливают» им лишь единожды. Например, во время съёмки фото. На видео ниже хорошо виден принцип работы лидара в исполнении Apple – это обширное облако точек.
А, если вы посмотрите на работу ToF-сенсоров в ИК, то увидите, что никакого «распыления» не происходит. Это будет просто светящаяся точка, которая загорается во время спуска затвора камеры.
Чем лидар лучше ToF-сенсора
Лидар пригодится не только для фотосъёмки, но и для работы с дополненной реальностью
Ищете самый мощный смартфон 2020 года? iPhone 12 — ваш выбор
Несмотря на то что предназначение лидара и ToF-сенсоров довольно близко друг к другу и в первую очередь состоит в определении формы объектов для более натурального эффекта портретной съёмки, очевидно, что лидар – это более совершенная система сканирования. Получается, что Apple хоть и немного отстала от своих конкурентов во временных рамках, всё-таки умудрилась опять обойти их, реализовав максимально функциональное и перспективное с точки зрения будущих возможностей решение.
Новости, статьи и анонсы публикаций
Свободное общение и обсуждение материалов
Когда Google начала выпускать свои смартфоны под маркой Pixel и постепенно забыла про Nexus, многие сказали, что это самый важный переход в истории современного смартфоностроения. На эту тему можно спорить очень долго, тем более, что несогласных тоже хватает. В этой статье мы если и охватим это, то очень косвенно, а в первую очередь мы поговорим немного о другом. Больше всего нам сейчас интересно не то, что было пять лет назад, а то, что будет через пару месяцев, когда свет увидит новый Google Pixel 6. Уже сейчас у нас есть некоторые его характеристики и кое-что интересное, что позволит считать его чуть ли не лучшим смартфоном Samsung. И это не опечатка…
Социальные сети сильно влияют на нас и на наше общение. Иногда поведение человека пересекается с современными технологиями, в результате чего получается что-то невероятно странное. Уверен, вы не раз сталкивались с тем, как ваш собеседник в чате начинал вести себя не так, каким он бывает в жизни. На это могут повлиять различные обстоятельства и расположение духа. Как бы то ни было, наблюдать за этим немного жутковато, но все равно забавно. Собрали странные поступки, которые могут совершать пользователи мессенджеров и социальных сетей.
LiDAR в смартфонах и планшетах: что это такое, как работает и зачем нужно
В марте 2020 года была анонсирована свежая линейка планшетов Apple iPad Pro, получившая дополнительный датчик – LiDAR. Чуть позже, в сентябре, эта технология появилась и в iPhone.
Вот только реальная ее ценность для большинства пользователей по-прежнему остается загадкой. Стоило ли увеличивать и без того завышенную стоимость девайсов еще и этим неоднозначным новшеством?
Что это такое
Аббревиатура LiDAR расшифровывается как Light Detection and Ranging – обнаружение и определение расстояния с помощью света. То есть это устройство представляет собой не что иное, как банальный дальномер.
И появились подобные устройства больше полувека назад, еще до создания лазеров.
Лидары использовали в военных целях, в интересах космических программ, затем, когда интегральные схемы достаточно подешевели, ими вооружились метеорологи, геодезисты и картологи, а совсем недавно технологию стали использовать в робототехнике и беспилотных авто.
Как это работает
Принцип действия лидара состоит в облучении цели потоком света, не обязательно когерентного, и регистрации времени отклика, которое меняется в зависимости от расстояния.
Нечто подобное мы уже встречали в смартфонах в лице лазерного автофокуса, только теперь область применения несколько шире.
Обрабатывая данные, полученные при сканировании объекта, можно получить не только карту рельефа его поверхности, но и расстояние до него, скорость перемещения в пространстве и даже сведения о температуре.
Зачем лидар в мобильном устройстве
Теоретически применений для данной технологии три:
Что касается размытия фона, или эффекта боке – то сенсор глубины, с помощью которого его получают, появился еще в iPhone 7 Plus.
Безусловно, новинка в сочетании с куда более мощным графическим сопроцессором (а он в A14 Bionic уже четырехъядерный) позволит выполнять данную операцию более качественно, вот только ничего революционного в этом нет.
Наконец, дополненная реальность. Использование лидара предусмотрено в фреймворке Apple ARKit, поэтому любое приложение, с нею работающее, автоматически получает доступ к возможностям нового инструмента.
В теории это позволит получать 3D-карту окружающего пространства, которая будет использоваться при формировании AR-объектов.
Однако пока что единственный плюс, который получает гордый владелец дорогущего айпада или айфона – это более точная работа приложения «Линейка», да расположение мебели в виртуальном симуляторе помещения.
И что в итоге?
А в итоге мы получаем практически никому не нужный довесок к и без того запредельной цене смартфона премиум-класса.
С размытием фона и без лидара неплохо справляются ToF сенсоры, причем вот уж несколько лет как эта технология не демонстрирует необходимости в улучшении.
Дополненная реальность в действительности практически не востребована: еще Project Tango вполне сносно работал с ней, даже появилось несколько коммерческих моделей смартфонов – но никакого переворота они в использовании мобильных устройств не совершили.
Возможно, именно в этом была, в сочетании с неподъемной ценой, причина провала Google Glass: все возможности AR красиво выглядят исключительно в рекламе, а на практике подавляющему большинству пользователей попросту ни к чему.
Технология будущего. Зачем нужен LiDAR, который появился в iPad Pro
Судя по анализу железа нового iPad Pro, его главная особенность – это новый датчик расстояния LiDAR.
Apple говорит, что NASA отправит с ним людей на Марс, а многие думают, что это прокачанный Face ID. Но многие пока не понимают, как его будут использовать разработчики.
Мы разобрались, в каких индустриях лидар используют прямо сейчас, чем его датчик отличается от чёлки в iPhone, и кому на самом деле нужна эта новая версия планшета.
Спойлер: произошла революция.
Как работает обычный лидар
По принципу работы радар и лидар отличаются только в источнике энергии, которым они измеряют величины. В первом это радио-волны, во втором лазер. Чаще всего инфракрасный, невидимый человеком.
Название LiDAR идёт от аббревиатуры light detection and ranging, на русском как «обнаружение и определение дальности через свет»
Простейшая система работы такая:
- 1. Излучатель бьёт лазером со скоростью света
2. Ресивер получает его обратно
3. Компьютер рассчитывает время возвращения луча
4. Формируется информация о расстоянии до объекта
Скорость света – величина неизменная, она всегда одинакова. Считывая разницу в скорости возвращения луча, можно составить глубинную 3D-карту местности, улицы или комнаты. Масштаб и точность такой карты зависит от размера датчиков, количества лучей, их яркости и множества других факторов.
Например, вот здесь можно пощупать информацию, которая получается на выходе сенсора для автомобилей OS1 от компании OUSTER.
NASA составила огромный список того, что умеют лидер ы разного типа.
В зависимости от размера и точности сенсора, можно получить следующие данные:
Излучатели отличаются размерами, мощностью, типом лучей, их количеством, статичностью и многим другим. Их цепляют на спутники, самолёты, дроны и автомобили.
Учитывая, сколько материала можно собрать и обработать, становится понятно, что лидар может быть полезен в десятке разных областей. Пройдёмся по некоторым.
Технологию применяют в автопилотах, космосе и земледелии
С помощью сенсора можно предположить, какую область зальёт при наводнении
Все сканеры работают за счёт лучей, но площадь покрытия зависит от их количества. Это может был один лазер, который сканирует плотность газа, или полоса, которая формирует карту глубины двухмерной территории, как на примере выше.
В третьем виде излучатель бьёт квадратным полем, как это сделано в iPad Pro, и формирует объёмный отпечаток помещения, здания, метеорита и так далее.
Самоуправляемые машины выглядят самым очевидным применением для LiDAR. Почти каждая компания внедряет их по несколько штук за раз в свои проекты.
С другой стороны, Элон Маск год назад агрессивно противился им и сказал, что распознавание объектов эффективнее. Директор ИИ в Tesla Андрей Карпати считает лидар ненадёжным “костылём” по той же причине.
Анализ биосферы проводят датчиками повсеместно. У NASA есть список миссий с отчётами по ним. В них исследуют состояние озонового слоя, ищут связь выбросов и климата и изучают экосистему. Для последнего иногда даже задействуют спутники.
Но в основном в самолёты или дроны встраивают лазеры с приёмником, которые как валик с краской накрывают территорию под собой. А учёные на базе этих данных строят карты материалов и грунта.
Агрикультура и городское планирование занимают первое место по применению LiDAR. Анализ земли и воздуха помогает выбрать места для плодородных полей – такие, чтобы избежать оползней и загрязнённого воздуха.
LiDAR не умеет делать то, что может Face ID. И наоборот
Разобрались, что LiDAR стреляет лазером из дронов, самолётов и спутников. В iPad Pro это работает по тому же принципу, но на “минималках”.
В iPad Pro стоит не один луч, а 1152 штук в шахматном порядке.
Расчёт сделал так. Судя по изображению в обзоре, айпэд выпускает лазеры в 9 секторов. В каждом по 8 точек на ряд, который дублируется по диагонали. Получаем 8*8*2*9=1152.
Лучи крупнее в диаметре и намного дальше друг от друга, чем в Face ID. Из-за этого планшет технически не сможет составить точную карту глубины, потому что не считывает волосы и даже крупные детали, например уши.
Вот почему портретного режима в нём нет.
Зато у LiDAR шире покрытие. В отличие от Face ID, работает это приблизительно так:
- 1. Излучатель бьёт дальше крупными точками
2. «Приёмник» их ловит
3. Процессор A12Z собирает из отметок полигоны
4. Из полигонов под разными углами составляется карта
Точный сенсор айпэда нужен везде. Развлечениям и образованию особенно
Пока система стоит в сравнительно непопулярном устройстве, ей мало кто будет пользоваться. Вот только парк AR-устройств уже огромный, компания зря время не теряли.
Всё те же люди продолжат использовать AR-приложения, просто чаще. Раньше текстуры прыгали друг на друга, а положение объектов неудачно отслеживалось.
- 1. Студенты и профессоры с приложением по анатомии
2. Дизайнеры квартир с быстрым составлением плана
3. Ритейлеры, вроде IKEA, которые удобно покажут свои товары
4. Музеи смогут рендерить в AR скульптуры, а не только картины
Это та часть, которая хоть как-то активна в дополненной реальности. Скорее всего, теперь к ней увереннее подключатся спорт и бьюти-сфера.
Apple такая же технологичная компания, как и все остальные. Бывает, что инновации не заходят в массы, как это было с 3D Touch, и их постепенно выпилывают. Но мне кажется, что LiDAR за следующие десятилетие взлетит до ключевой технологии.
В ближайшие годы сканер рискует стать стандартом из-за AR
Если у вас iPhone 7 или новее, откройте сайт Apple и активируйте режим дополненной реальности, например с iPad или MacBook Pro.
Этот опыт будет идеальным, чтобы люди начали включать игры и приложения не на один раз рад интереса, а пользовались ими постоянно.
А там и до звонков по FaceTime в стиле Звёздных Войн недалеко. Взгляните, к примеру, научились заменять на искусственный в iOS 13.
Дополненная реальность уже здесь, и у неё нет финала
То, что раньше было неудачным Kinect для XBOX, переродилось в киллер-фичу iOS
Пока я искал информацию для материала, заметил одну вещь. Большинство заголовков о развитии лидаров вышли в последние два года, и в основном в 2019-м. Видно, что индустрия плотно развивается, в ней около десятка конкурентов, и впереди много лет прогресса.
Бесконечные маски в Инстаграме, перебрасывающие сразу на сайт QR-метки, грядущие уведомления об опасных контактах от коллаборации Apple | Google.
В общем, реальности смешиваются и, как это бывает с прогрессом, незаметно для его участников. LiDAR может станет ступенью для осязания всего процесса.
Ходит много слухов о том, что грядущие iPhone 12 Pro тоже оснастят таким сенсором. С учётом потенциала и места для улучшения технологии, легко верю в то, что Apple лучше нас понимает важность лидара, а для использования AR сканер станет критичным параметром.