лидар в iphone 12 pro что это
Вот зачем iPhone 12 Pro и iPhone 12 Pro Max нужен лидар. Наглядная демонстрация
Лазерный дальномер измеряет глубину сцены, испуская свет и вычисляя время, необходимое, чтобы свет добрался до объекта и вернулся обратно к датчику
Компания Apple оснастила iPhone 12 Pro и iPhone 12 Pro Max лазерными дальномерами (лидарам), поэтому разработчики могут использовать преимущества нового оборудования для улучшения своих приложений.
Компания Snapchat анонсировал новую версию Lens Studio, которая позволяет дизайнерам создавать специальные линзы, использующие лазерные дальномеры iPhone 12 Pro и iPhone 12 Pro Max.
Новая версия приложения Snapchat была быстро продемонстрирована во время презентации Apple. Позже компания рассказала, как эта функция будет работать для пользователей, владеющих iPhone 12 Pro. Лазерный дальномер измеряет глубину сцены, испуская свет и вычисляя время, необходимое, чтобы свет добрался до объекта и вернулся обратно к датчику. При этом лидар позволяет создавать трёхмерную модель в высоком разрешении, которая перестраивается мгновенно при повороте камеры.
Это позволяет приложениям дополненной реальности точно отображать элементы сцены, поскольку iPhone точно знает, где находится каждый объект и каковы его реальные размеры. Snapchat будет использовать эту технологию, чтобы предложить новые уникальные линзы, которые позволят отображать тысячи объектов дополненной реальности в реальном времени с помощью камеры iPhone 12 Pro.
Компания выпустила Lens Studio 3.2, обновление своего инструментария, который позволяет дизайнерам создавать новые линзы Snapchat, совместимые с лазерным дальномером в iPhone 12 Pro и iPad Pro 2020 года.
Кстати, лидар в Pro-моделях также используется для системы автоматической фокусировки в условиях недостаточной освещённости.
Зачем нужен лидар в iPhone 12 Pro и iPhone 12 Pro Max
Два дня назад Apple представила iPhone 12 Pro и iPhone 12 Pro Max. Несмотря на то что они принадлежат к той же линейке, что и iPhone 12 mini и iPhone 12, в Купертино выделили анонс старших моделей в отдельную главу даже в рамках одной презентации. Это был оправданный шаг, учитывая более совершенную начинку «настоящих» флагманов. Всё-таки 5G, процессор A14 и лидар на дороге не валяются. Но если про 5G и A14 вы уже плюс-минус знаете, то вот лидар для многих по-прежнему остаются загадкой.
iPhone 12 Pro стал первым смартфоном Apple с лидаром
Лидар – это технология, которая среди устройств Apple впервые появилась в iPad Pro 2020. Тогда, в самый разгар пандемии, в Купертино удивили всех запуском нового планшета для профессионалов, который оказался почти таким же, как и его предшественник, но отличался от него лишь наличием сверхширокоугольной камеры и того самого лидара. В компании заявили, что эта штука нужна для более правильного позиционирования объектов в дополненной реальности, но никакими особенными подробностями делиться не стали. То ли дело сейчас.
Как работает лидар в iPhone 12 Pro
Это пучок света, который излучает лидар. Человек его увидеть не может
По своей сути лидар является инструментом компьютерного зрения, который используется в автопилотах, роботах и других устройствах. Он формирует серию лазерных импульсов, невидимого для человека, и направляет их на объект съёмки. Затем луч возвращается, неся в себе обширный спектр данных. Благодаря им можно, во-первых, более точно рассчитать расстояние до объекта, во-вторых, считать объём и, в-третьих, точнее определить его границы. Вот как лидар видит окружающий мир:
Это то, как лидар видит окружающие объекты
Несмотря на то что Apple не изобретала эту технологию, она, как обычно, пошла несколько дальше своих конкурентов. В отличие от большинства производителей, она оснастила iPhone 12 Pro и 12 Pro Max именно лидаром, а не ToF-сенсором. Лидар направляет несколько световых импульсов, а не один, как ToF-сенсор. Это даёт два основных преимущества: увеличенная до 5 метров дальность и способность определять даже те объекты, которые перекрываются другими объектами, например, люди за деревьями или машинами.
Что делает лидар
Фотографии с размытием благодаря лидару будут получаться более натуральными
На данном этапе развития лидар в смартфоне может служить сразу нескольким целям. Во-первых, он обеспечивает съёмку более естественных портретных фото с натуральным эффектом боке. Благодаря ему уши, волосы, хвосты и другие части тел людей и животных больше не будут оставаться в расфокусе. А в будущем планируется прикрутить возможность съёмки портретных видео. Но, скорее всего, это произойдёт только в следующем году.
Во-вторых, лидар можно использовать для высокоточного измерения расстояний в физическом мире. То есть с помощью смартфона с лидаром можно замерить площадь комнаты, длину, ширину и высоту стен, а также кривизну пола. Это может быть удобно при проведении строительных работ, в которых используются специальные дальномеры и нивелиры.
Объявлены российские цены iPhone 12, iPhone 12 mini, а также iPhone 12 Pro и iPhone 12 Pro Max
В-третьих, благодаря тому, что лидар видит в темноте не хуже, чем днём, его можно использовать для усовершенствования ночной съёмки. Его способность распознавать объекты независимо от освещения позволяет ускорить работу автофокуса до 6 раз и тем самым исключить фотографии со сбившимся фокусом.
Ну, и, в-четвёртых, лидар позволяет AR-объектам не проваливаться в текстуры реального мира. Наверняка вы обращали внимание на то, как 3д-животные от Google проваливались сквозь пол или залезали на ваш комод. С лидаром, который определяет все трёхмерные объекты на расстоянии 5 метров, такого не будет.
Приложения с поддержкой лидара
Snapchat уже получил поддержку лидара, скоро получат и другие
Одним из первых приложений, которое получило поддержку лидара, стал Snapchat. Разработчики добавили новые фильтры, которые задействуют новую технологию для более точного позиционирования объектов в дополненной реальности и повышения их реалистичности.
Обратите внимание на то, что виртуальные растения разместились не только не полу, но и на столе, учтя его высоту, а виртуальная птица летает прямо над рукой позирующей девушки. В ближайшее время Snapchat планирует ещё глубже интегрировать технологию лидара в своё приложение, представив несколько новых сценариев её использования.
Стоит ли бежать в магазин за iPhone 12 Pro/12 Pro Max ради лидара? Сложно сказать. Наверное, я бы не побежал. Другое дело, если вы уже давно планировали сменить свой старенький iPhone 6s на что-то более современное и функциональное. В этом случае один из топовых iPhone с 5G и лидаром может стать для вас отличным выбором.
Новости, статьи и анонсы публикаций
Свободное общение и обсуждение материалов
Лонгриды для вас
Если вы забыли пароль от iPhone, это не значит, что он теперь превратится в кирпич. Вы всегда можете сбросить смартфон до заводских настроек, а потом настроить его заново. Рассказываем, как это сделать проще всего
Нужно быть сумасшедшим и жадным, чтобы отказаться от домашнего интернета и пользоваться режимом модема на iOS. Рассказываем о том, почему это удобно, какие есть минусы и стоит ли поступать также
Камера стала плохо фотографировать? Не работает автофокус? Возможно, у вашего айфона треснуло стекло камеры, причем вы могли этого и не заметить. Рассказываем, почему это происходит, и как решить проблему.
Plt14, камеры там сильно прокачаны относительно не ПРО, особенно на версии МАКС. Не назвал бы качественные фотографии и видео понтами, да и большой экран многих больше устраивает, чем уже стандартные 5-6 дюймов.
Помню многие просили возможность звонить с айпад мини, и тогда их потребность в смартфоне отпадет
Вообще понятие «понты» у каждого свое, чаще всего это просто зависть, которую очень хочется выразить вслух, но на которую всем кроме вас плевать. Комплекс, короче.
Как использовать сканер LiDAR в iPhone 12 Pro
У вас есть сканер LiDAR, если у вас есть iPhone 12 Pro, iPhone 12 Pro Max или iPad Pro, но Apple, похоже, не дает вам возможности его использовать. Вот как это сделать, что вам нужно и почему LiDAR так полезен.
LiDAR является частью iPhone 12 Pro, iPhone 12 Pro Max и iPad Pro, но вас простят за то, что вы этого не заметили. Apple почти не упоминает об этом, и на телефоне нет приложения LiDAR, которое можно было бы попробовать.
Учитывая, что одно из его основных применений — фотография, вы ожидаете каких-то элементов управления LiDAR в приложении камеры или, по крайней мере, чего-то в настройках. Но нет ни того, ни другого.
Также мало стимулов искать такие элементы управления, потому что, пока вы не увидите их в действии, трудно понять, что LiDAR может для вас сделать. Технология сканирует вашу среду, создавая ее трехмерное изображение, и это изменит качество работы AR и VR.
На данный момент Apple, похоже, рада позволить LiDAR тонко помочь вам тем, как он дополняет существующие приложения и функции.
Как вы уже используете LiDAR
Если вы ранее отказались от использования приложения Apple Measure, попробуйте еще раз. Приложению теперь помогает LiDAR, и это заметно улучшило его.
Теперь можно быстрее начать использовать Measure, потому что он быстрее распознает окружающую среду. А поскольку LiDAR работает для сканирования всей окружающей среды, измерения, которые вы выполняете, более точны.
Это теория, а на практике вы обнаружите, что Measure более полезен, чем раньше. Вместо приложения, которое вы использовали для грубых измерений, когда у вас не было рулетки, теперь оно достаточно хорошее и быстрое, чтобы использовать его где угодно.
Далее, хотя это и сложнее увидеть, LiDAR также ускорил работу автофокуса вашей камеры. Опять же, это потому, что LiDAR отображает окружающую среду вокруг вас, поэтому он начинает вычислять, насколько далеко или близко находится объект, когда вы нажимаете кнопку, чтобы сделать снимок.
Однако, если измерения и автофокус — единственные заметные варианты использования LiDAR от Apple, уже существуют сторонние приложения, которые будут делать гораздо больше. Их очень много, и большинство из них похоже на эксперименты по выяснению того, что возможно.
Но в целом они также, как правило, хороши в одном из двух. Либо они отлично справляются со съемкой трехмерного изображения вашего окружения, похожего на фотографию, либо лучше снимают изображение объекта.
Это баланс между достаточно медленным сканированием, чтобы избежать размытия, и достаточно быстрым, чтобы закончить, пока приложение все еще может хранить данные.
Захват всей вашей среды
Используйте Canvas: Pocket 3D Room Scanner для iPhone — бесплатно в магазине приложений iOS — и вы можете сканировать свое окружение. Встаньте посреди комнаты, коснитесь элементов управления, похожих на измерения, а затем медленно развернитесь.
То, что вы видите на экране холста, похоже на голодек из «Звездного пути». Рядом с камерой, видимой прямо перед вами, есть сетка. Когда вы поворачиваетесь, сетка заполняется изображением вашего окружения.
Двигайтесь слишком быстро, и получаемое изображение будет недостаточно детализированным. Если двигаться слишком медленно, приложению может не хватить памяти до того, как вы завершите сканирование. Так что это компромисс между деталями и полнотой, но он дает вам 360-градусное изображение вашей комнаты.
Прямо здесь, на iPhone, вы можете уменьшить масштаб, чтобы увидеть изоморфную проекцию комнаты, повернуть ее жестом и увеличить, чтобы увидеть ее под любым углом. Проведите пальцем по экрану, чтобы показать комнату крупным планом на весь экран, и затем вы можете провести пальцем по экрану, чтобы передвигаться, или физически переместить телефон.
Физическое перемещение телефона показывает, как выглядит захваченное окружение, когда вы поворачиваетесь. Но вам не обязательно находиться в той же среде, в которой вы запечатлели.
Вместо этого вы можете взять свой телефон и изучить сканированное изображение в любом другом месте. Встаньте, например, в поле и посмотрите на свой офис на экране iPhone. Двигайтесь по полю, и экран будет выглядеть так, как будто вы перемещаетесь по офису.
Нет сомнений — в будущем полицейские собираются делать снимки мест преступлений с помощью LiDAR. Это только вопрос времени, когда такое сканирование даст решающую улику в эпизоде «Морской полиции».
Я проверил, как точно работает Рулетка на iPhone 12 Pro Max с LiDAR. Сравнил с настоящей
Ремонт – дело долгое и тонкое. Рано или поздно с этим любой столкнётся, и теперь пришла моя очередь.
Въехав в квартиру и получив ключи, я решил не доверять БТИ и прочим официальным замерам. Поэтому перемерил всё: каждую стену, выемку, арку и порог.
Лазерного дальнометра под рукой (пока что) нет, поэтому пришлось всё делать по-старинке. Рулетку в руки и вперёд. И пока я крутил её да вертел, в голову пришла мысль.
А что, если заодно протестировать Рулетку в самих iPhone? Ту самую, что предустановлена в системе. У меня iPhone 12 Pro Max, пока что флагман и заодно оснащённый тем самым LiDAR – по факту лазерным сканером.
Уже известно, что Рулетка в iOS стала точнее прежнего благодаря LiDAR. Но можно ли такой доверять при важных замерах, если под рукой нет нормального инструмента?
Условия
У вас на iPhone тоже есть Линейка, если что. LiDAR для неё необязателен, но он превращает «игрушку» в почти адекватный инструмент.
У меня простая квартира по планировке. Умеренно ровные белые стены. Ничего особенного. За окном полдень, освещение естественное.
В руках держал iPhone 12 Pro Max с протёртым блоком камер. На борту iOS 14.5 самой актуальной бета-версии.
Результаты из Рулетки в iOS сверял с тем, что уже оставили после себя замерщики, а также с тем, что уже показала обычная рулетка.
А сама рулетка – из IKEA. Нормальные инструменты на новое место ещё не перевёз.
Замерил полквартиры через LiDAR на iPhone 12 Pro Max. Какие выводы?
Замерил проход и получил от виртуальной рулетки результаты один-к-одному с реальными. Отлично.
▶ Рулетку в iOS по-прежнему нельзя использовать как замену реального инструмента при необходимости делать точные расчёты. Промахи бывают разные, в моделях с LiDAR – не очень существенные.
Если вы, скажем, выбираете длину карниза или планируете глубину встраиваемого шкафа, то одной только программной Рулеткой не обойтись. Особенно если на решение могут повлиять считанные миллиметры.
Тут всё верно оказалось.
Три с половиной метра стены Рулетка на iPhone 12 Pro Max измерила с погрешностью в 3 сантиметра. Как по мне, это отличный результат, ведь я двигался, и за один кадр такой замер сделать невозможно.
▶ Рулетку в iOS можно использовать, если вам нужно сделать замеры чуть лучше, чем просто «на глаз». Погрешность Рулетки в моделях iPhone, оснащённых LiDAR, в моём тестировании составляла от 0,1% до 10%, причем чаще – по нижней границе этого огромного разброса вариантов.
Если план действий по ремонту подразумевает небольшую свободу, то Рулетка окажется бесконечно лучше попыток измерить что угодно «на глаз».
Углы для Рулетки в iOS – худший враг, и LiDAR тут пока не спасает. Всё едет куда-то не туда, и результаты портятся.
▶ Рулетка работает точнее всего на выпуклых поверхностях, вроде дверей или плит, и хуже всего на вогнутых – вроде углов. Приложение измерило двери просто с хирургической точностью, равно как и их глубину. Очень неплохо получаются и просто ровные линии, вроде замеров стен по линии плинтуса.
Зато вогнутые углы стен, особенно неравномерно освещенные и сложные (например, переходящие в выемку), в половине попыток не поддавались нормальному замеру.
Мало того, уже построенные линии, начатые от углов стен, прямо на глазах начинали куда-то уезжать и портить весь результат. Это я вообще так и не понял, как объяснять.
Вот пример точнейшего результата программной Рулетки – все пять попыток идеально совпали с замером реальной рулетки.
▶ Рулетка в iOS стала НАМНОГО точнее благодаря LiDAR. Я сравнил результаты одних и тех же замеров на iPhone 12 Pro Max с iPhone SE 2-го поколения и с iPhone 11 Pro Max.
Оба этих «старых» iPhone показали практически рандомные результаты и очень сильно промахивались на длинных линиях, не умещающихся в пределах одного «экрана». Их даже сравнивать с LiDAR-моделями нет смысла, разница до смешного доходит.
iPhone 12 Pro Max, наоборот, несколько раз рекордно попадал в цель и часто делал это три, четыре, пять раз подряд, будто на бис. Я ожидал результатов намного хуже, чем увидел в итоге.
Рулетка в iOS слишком агрессивно находит линии там, где её не просили (жёлтая полоса). В таком случае крайне тяжело поставить точку за пределами такой «линии», это мешает замерам.
Реальную толщину батареи можете увидеть сами. iPhone отказался увидеть здесь больше 9 см только потому, что придумал себе линии там, где их нет.
▶ Рулетку в iOS надо дорабатывать. Если в следующих iPhone установят LiDAR помощнее, то главной проблемой станет не точность измерения, а алгоритмы работы программы. В приложении Рулетка стоит додумать или вообще убрать «умный» поиск углов с такой агрессивностью, как это делается сейчас.
Автоопределение линий и углов гораздо чаще мешает, чем помогает, цепляясь совсем не к той точке, которую вам хочется выбрать.
P.S. Кстати, если не знали, в Рулетке также есть вкладка Уровень, и вот она работает ну очень хорошо. Акселерометры и гироскопы уже так обкатаны в смартфонах, как LiDAR даже не снилось. Так что в качестве уровня ваш iPhone сойдет прекрасно для любого ремонта в масштабах квартиры.
Многоэтажный дом я бы с таким всё равно не строил, но шкаф проверить или карниз – легко.
3D-печать и ночные портреты: для чего в iPhone 12 Pro Max нужен лидар
В iPhone 12 Pro Max, который стоит 130 тыс. руб., установлены три камеры, один фонарик и лидар. Лидар — это сенсор, который посылает в пространство пучки невидимого света. Зачем? Чтобы лучше видеть это же пространство. Сегодня технология лидара чаще всего упоминается в контексте «зрения» беспилотного автомобиля, но зачем она смартфону? Apple объясняет необходимость технологии так:
Фотосъемка с лидаром
Фото, сделанное ночью на телефон с лидаром более четкое: на смартфоне без лидара изображение «шумит». Главное отличие iPhone 12 Pro Max от других смартфонов — у него есть ночной режим портретной съемки.
Качество видеосъемки
Тут iPhone 12 Pro Max сравним с камерой Sony Alpha A6600. Однако iPhone «вытягивает» все, что позади человека, осветляя фон. Sony же при этом сохраняет цвета, как в реальности. Примерно такие же результаты показал эксперимент по сравнению смартфона Sony уже с новым iPhone без лидара.
Вывод: для качественной видеосъемки лучше купить фотоаппарат со светочувствительным объективом.
Дополненная реальность
Что еще можно делать с помощью лидара? Два года назад Apple представила новое приложение «Рулетка».
Итак, представим, что нам нужно что-то измерить — например, столешницу на кухне. У нас есть iPhone без лидара, iPhone с лидаром и совсем обычная рулетка. В ходе эксперимента телефон без лидара сперва не различил стену, но потом все же сумел измерить ширину и длину столешницы: 58 и 91 см соответственно.
Смартфон с лидаром ориентируется быстрее. Главное отличие — вибрацией он дает понять, где стена, а где — конец столешницы. Правда, линию ведет не очень ровно. Результат: 60 и 93 см.
Обычная рулетка показала 57 и 92 см соответственно. Получается, что iPhone 12 Pro Max ошибся на несколько сантиметров.
По задумке Apple, многие бытовые проблемы можно решить с помощью дополненной реальности. Компания всеми силами способствует тому, чтобы технология дорабатывалась и ей пользовались люди. Но все же пока единственное достойное применение технологии в быту — примерить какую-нибудь мебель в квартире. Например, у IKEA есть приложение, позволяющее выбрать мебель и посмотреть, как она будет выглядеть в том или ином месте вашей квартиры.
Лидар может совершить прорыв и в области сканирования: с помощью технологии можно отсканировать какую-либо вещь, а затем распечатать на 3D-принтере ее модель.
Подписывайтесь также на Telegram-канал РБК Тренды и будьте в курсе актуальных тенденций и прогнозов о будущем технологий, эко-номики, образования и инноваций.