что такое липсинг в анимации
Топ-5 советов по лицевой анимации
Липсинк всегда считался самым трудоемким и важным этапом в анимации. Советы в статье помогут вам быстро достичь реалистичных результатов.
Совет №01: Не анимируйте каждую букву
Первой же пришедшей в голову мыслью при работе над липсинком станет воссоздание каждого звука, слышимого на аудио дорожке. Это самая распространенная ошибка, из-за которой челюсть вашего персонажа будет открываться и закрываться чаще, чем нужно. Вместо этого лучше сосредоточьтесь на наиболее важных формах рта, остальные будут образовываться путем смешивания существующих. Именно так разговаривают люди в действительности. Сделайте серию снимков себя во время разговора, и вы удивитесь, как мало на самом деле двигается челюсть.
Совет №02: Предвосхищение
О том, что липсинк должен опережать звук, обычно забывается. Однако зритель воспринимает лицевую анимацию намного лучше, если челюсть открывается на кадр-два раньше произносимого звука. Если же челюсть будет двигаться одновременно со звуком, создастся ощущение запаздывания анимации.
Совет №03: Четкие согласные
При образовании некоторых букв, таких, как B, M или P, форма рта должна читаться очень четко. Для этого задержитесь на такой букве на несколько кадров дольше. Например, если персонаж произносит слово «but», и вы смешаете анимацию, будет казаться, что персонаж говорит «ut». Если же продлить анимацию буквы «B» на два кадра дольше, и только затем открыть рот для создания звука «ut», то разница сразу же станет заметной.
Совет №04: Будьте референсом
Если у вас проблемы с воссозданием правильных форм рта, воспользуйтесь зеркалом. Вы не найдете лучшего, чем вы сами, референса. Понаблюдайте, как формируются звуки, как они перетекают один в другой. Если хотите пойти дальше, запишите на видео, как вы произносите необходимую фразу, чтобы постоянно к нему возвращаться.
Совет №05: Не бойтесь преувеличивать
Липсинк начнет получаться намного быстрее и лучше, как только вы поймете необходимость преувеличения, которое обязательно должно присутствовать в анимации, поскольку так зритель лучше воспринимает происходящее. Внимательно прослушайте аудиодорожку, выделите те ее участки, на которых персонаж хоть и незначительно, но повышает голос. Используйте их, чтобы преувеличить форму губ, при произнесении соответствующих звуков или букв. Также преувеличьте форму, образуемую губами при произнесении букв В и О, чтобы они читались еще легче. Используйте творческий подход и не бойтесь экспериментировать.
Липсинг или липсинк – что это значит, и как правильно
С распространением интернета и появлением социальных сетей появилось много музыкальных терминов обозначающих новые направления и техники. К ним относится липсинк, получивший распространение в популярной музыкальной соцсети TikTok (ТикТок). Выясним, «Липсинг или липсинк – как правильно произносить, и что это значит».
Липсинк или липсинг
Липсинк – оксюморон или искусство
На первый взгляд, липсинк представляет собой очередной современный оксюморон (сочетание несочетаемого) – немое пение, при котором главный исполнитель не поет, а просто шевелит губами. Однако это далеко не так, история липсинка начиналась еще в 30-х годах XX века, при становлении звукового кино.
При кажущейся простоте и доступности, запись качественного липсинка довольно сложный процесс. Необходимо не только добиться полной синхронизации звуков, мимики и жестикуляции, надо правильно и креативно подобрать эмоциональную окраску выступления. Только при сочетании всех требований получается необходимый эффект.
Несмотря на то, что при липсинке нет прямого напряжения голосовых связок, речевой аппарат все же работает. Ученые установили, что даже при простом прослушивании музыки голосовые связки задействованы на 35-40%.
Тембр и тональность вашего голоса всегда будут на высоте с помощью препарата Гомеовокс. Натуральный комплекс разработан специально для профилактики и лечения охриплости голоса, восстановления голосовых связок после заболеваний. Гомеовокс – ваш незаменимый помощник в мире мелодий и звуков!
Липсинк
Не следует путать этот термин с термином «Закадровый перевод».
Эта статья о переводе аудиовизуальных произведений.
Липсинк [1] (англ. lipsync, от англ. lips — «губы» и synch — «синхронизация») — термин, который обозначает полную синхронизацию звукового ряда с визуальным в кино: фильмах, телесериалах и т. п.
Техника дублирования кино предусматривает уравнивание по продолжительности отдельных фраз и темпа речи на языках оригинала и того для которого делается текст дубляжа, а также согласование текста перевода с артикуляцией персонажей в видеоряде. Липсинком называется более упрощённый способ дублирования, при котором совпадают только начала и концы фраз без укладки текста.
Липсинком нередко называют дублирование одним или двумя актерами с изменением голоса многоголосого художественного фильма или телесериала.
В переводах зарубежных фильмов должно быть чёткое соответствие артикуляции и произносимой речи. Липсинк в мультипликационных фильмах имеет свои особенности.
Дублирование текста перевода с применением липсинка — работа достаточно сложная и требующая больших затрат в процессе. Процесс происходит в несколько этапов.
На первом этапе создания перевода в технике липсинк переводится весь текст оригинального произведения. Затем перевод проходит редактуру и художественную обработку (локализацию под тематику или под страну, на язык которой переводится фильм или сериал). Следующий этап заключается в соотношении, то есть корреляции текста с видеорядом. В начале процесса создания дубляжа, редакторы дублированного текста замеряют посекундные интервалы между произношением согласных букв и подгоняют текст дубляжа непосредственно к артикуляции каждого актера озвучивания. Зачастую, текст не совпадает побуквенно. На этой стадии есть ряд сложностей: бывают случаи, когда язык, на который дублируется фильм, отличается более сложной и громоздкой структурой предложений. Исходя из этого, текст дубляжа редактируется таким образом, чтобы при дубляже озвучивающий его актёр успел его произнести за то же время, что и в оригинале. Эта задача немного упрощается за счет того, что существуют буквы, при произношении которых мимика у человека выглядит одинаково (например, «и» — «ы», «у» — «ю»). Финальным этапом дубляжа фильма является непосредственно озвучивание актёрами диалогов и прочего текста из оригинального видеоряда. Данная стадия включает контроль липсинка. Для того чтобы написанный и отредактированный по времени текст наложить на оригинал фильма идеально, необходимо учитывать также индивидуальные особенности актёров озвучивания (например, интонации, темп речи). Если над липсинком работает специалист высокого уровня, то с синхронизацией проблем обычно не возникает.
В дублированном переводе при использовании липсинка — для соответствия основным критериям, чтобы сохранить синхронность аудиоряда, текст фильма приходится существенно сокращать, что в свою очередь ведет к многочисленным грамматическим и лексическим трансформациям. Основными грамматическими и лексическими трансформациями при выполнении дублированного перевода в технике липсинк являются: антонимический перевод, целостное преобразование, конкретизация и генерализация.
Проблема дублированного озвучивания кино с помощью липсинка остается на сегодняшний день особенно актуальной, так как данная сфера художественного перевода пока мало изучена. В целом же, в настоящее время, липсинк, как техника озвучивания, продолжает быть популярным способом дублирования кино.
См. также
Примечания
Материалы сайта доступны по условиям Free Documentation License. Материалы могут быть скопированы при условии обязательного указания активной ссылки на источник копирования. Ссылка должна быть расположена в теле статьи на той же странице. Разрешается копировать, распространять и(или) изменять эти материалы в соответствии с условиями лицензии GNU Free Documentation License, Версия 1.3 или любой более поздней версия, опубликованной Free Software Foundation; без неизменяемых разделов. Копия лицензии включена в раздел, озаглавленный «Текст. GNU Free Documentation License».
Энциклопедия содержит статьи с материалами, имеющими ограничение 18+.
Что такое липсинк в Tik Tok, и почему он так популярен
Tik Tok – известная платформа, в которой разработчики совместили музыку и видеоролики. На данный момент количество пользователей приложения превышает 500 миллионов человек по всему миру. Tik Tok обрёл огромную популярность не просто так. Создатели приложения использовали довольно агрессивную рекламную кампанию. Реклама была направлена на подростковую аудиторию. Подростки всегда активно пробуют что-то новое, поэтому разработчикам удалось привлечь внимание к новому музыкальному сервису.
С чего начался musical.ly
В 2016 году Musical.ly активно закупал рекламу у блогеров, а также в Google Adwords. На тот момент приложение только появилось в Китае, разработчики решили расширить количество пользователей по всему миру. В 2017 году компания, владеющая Tik Tok (ранее Douyin), купила права на Musical.ly за 1 млрд. долларов и стала полноценным владельцем. Обновлённое приложение сохранило все функции, пользователей просто перевели на аналогичную платформу.
Основная аудитория Tik Tok – подростки до 19 лет. Большинство людей узнало о приложении либо благодаря рекламе перед роликами на Youtube, либо благодаря сарафанному радио – музыкальные видео из Tik Tok перезаливались в другие социальные сети.
Всё началось с коротких видео под музыку в Musical.ly. Сейчас в Tik Tok люди записывают лайфхаки, делятся историями из жизни, размещают видео с танцами и другой развлекательный контент.
Изначально к Musical.ly, а позже Tik Tok было предвзятое отношение, поскольку компания делает агрессивную рекламу. Действительно, рекламы программы довольно много во всех социальных сетях. Однако, количество пользователей ежедневно увеличивается. Значит, преимущества приложения перекрывают огромное количество рекламы.
Что такое липсинк, и откуда он взялся
Название такого вида контента как “липсинк” происходит от английского выражения lip sync, что дословно переводится – “открывать рот под фонограмму”. Смысл данного формата в Tik Tok заключается в том, чтобы записывать ролик, в котором губы двигаются синхронно оригинальной песне или голосу.
Самый простой пример липсинка – выступление звёзд под фонограмму. Суть формата при записи видеоролика в Tik Tok та же. Самое главное, использовать функцию “липсинк” так, чтобы фоновая музыка была совместима с вашими движениями и реакциями. Для этого важно правильно откалибровать и рассчитать время. В подобных роликах большое внимание зрителя уделяется деталям и синхронности. Всё должно быть идеальным, чтобы зритель оценил старания.
Почему многие не любят липсинк и называют халтурой
Многие пользователи не воспринимают липсинк, поскольку считают подобные ролики слишком простыми. Но блогеры, которые снимают липсинки так не думают, так как знают, какая работа порой стоит за такими “простыми” музыкальными видео. Как уже было сказано, чтобы ролик получился, синхронизация движения губ и музыки (или фонового голоса) должна быть идеальной. Добиться подобного результата получается не сразу и не у всех.
Вот пример хорошего липсинка:
И не самого удачного варианта:
Есть блогеры, которые подошли к липсинку с креативом. Видео с подборкой роликов, где тик токеры проделали большую работу, чтобы обмануть своих зрителей, используя липсинк:
Несмотря на то, что некоторые пользователи не признают липсинк, находятся люди, которые даже в таком простом формате, делают оригинальный и качественный контент. Именно поэтому некоторые блогеры имеют большую популярность на платформе. Они доказывают, что креатив можно применить во всех форматах.
Липсинк из Конструктора, или MAYA vs LEGO
Липсинк из Конструктора, или MAYA vs LEGO.
Классная вещь – конструктор LEGO. Сколько всего можно понаделать! Сколько забытого энтузиазма! Сколько вариантов и возможностей! Особенно, если вместо авианосца с картинки на коробке вдруг получится мягкий скульптурный профиль, даже не испорченный отсутствием LEGOвского антиалиасинга! А сколько с искренним интересом убитого времени! Чистое творчество… Full Real 3D… Так что, уважаемые папы и мамы, действующие и потенциальные, покупайте детям LEGO. Осталось добавить какой-нибудь бред в виде слогана, типа «LEGO – МОЕ ТВОРЧЕСКОЕ ЭГО!», или там «LEGO – АЙ-КЬЮ АЛЬФА И ОМЕГА!», и можно ваять рекламу.
О чем это я? Да… Конструктор для липсинка… Кстати, если Вы устали от Wire-деформаторов, Blend Shape и wav-анализа в Motion Builder, то нескучность не гарантируется. Впрочем, интерес возможен в области унификации и попыток конструирования липсинк из «блоков». Но если Вы давно выросли из шортиков, и утверждение: «Забудьте про LEGO! MAYA — вот обалденный конструктор!» вызывает зевоту, то дальше можете не читать.
Глава 1, в которой можно разгрести кучку «кубиков», и выбрать нужные.
Достаточно кликнуть мышом по Майскому шорткату, и на рабочий стол вывалится немаленькая кучка самых разных деталек. В Майке достаточно строительных элементов. Пошарим-ка в них любопытными пальчиками. Для начала найдем какого-нибудь персонажа, хоть со скелетом, а хоть и без него. Например, Heartbreacker из музыкального клипа Arsenium, http://www.professionalheartbreakers.com/
Глава 2. Околонаучное бла-бла, или экскурс в Артикуляционную Фонетику.
Несложно представить, что команды управления речевым движением формируют последовательность директив, образующих артикуляционную программу, передаваемую Центральным Речевым Аппаратом к Периферическим механизмам.
Этакий, пользуясь геймдев терминологией, HomoSapiens Speech Engine. В его структуру входят:
— дыхательный отдел, который служит для подачи воздуха (как меха аккордеона или фисгармонии);
— артикуляционный отдел, отвечающий за формирование звуков речи (вроде клапанов на саксофоне);
— резонатор, дающий окраску звука и его характер (сравните окружающий Вас дребезг, который многие называют «речью» с голосом Юрия Борисовича Левитана, или Плачидо Доминго, или Олега Булгака с шансоновской «Живой струны»).
Вернемся к липсинк. Наибольший интерес с точки зрения липсинка, разумеется, представляет артикуляционный отдел. Поглядим-ка, чем формируются членораздельные звуки.
1,2. Губы. Роль губ переоценить трудно, с этим согласится каждый. Именно они несут основной груз ответственности за «оформление» артикуляции речи.
3-5. Зубы и альвеолы. Принимают косвенное участие в подготовке «исполнения» звуков вкупе с остальными мышцами в качестве препятствия прохождению звукового потока. Те, кто учился свистеть в сознательном возрасте, очень хорошо должны чувствовать значение этой части аппарата.
6-8. Твердое небо. Как и альвеолы, пассивный компонент артикуляции, не трасформируется визуально в процессе речи и несет похожую функцию.
10-12. Надставная труба с голосовыми связками.
19. Не указанные здесь мимические мышцы.
Вот, в общем, и весь инструментарий артикуляционного аппарата.
Фонема (греч. «звук») — минимальная единица устного языка, имеющая смыслоразличительность и временную упорядоченность.
Условимся, что в дальнейшем Фонема будет пониматься как ее основной аллофон. Например, в русском языке, существуют 42 фонемы:
[а э и о у ы п п’ б б’ м м’ ф ф’ в в’ т т’ д д’ н н’ с с’ з з’ р р’ л л’ ш ж щ ц ч й к к’ г г’ х х’]
А вот в бзыбском диалекте абхазского языка фонем 67, причем гласных звуков только 2. Супер! Кто-то анимировал абхазский!?
Да! От количества фонем даже в русском языке голова может пойти кругом. На самом деле, для приемлемой артикуляции можно ограничиться урезанным набором фонем, который сгодится и для русской, и для английской речи вместе со всеми поволжскими и йоркширскими диалектами.
[зъкл’уч’аjт’э транскр’иб’ируjэмуjу р’эч’ фквъдратныjэ скопк’и]
Произведем анализ используемых фонем.
Наиболее «чистого» воспроизведения в рассматриваемой транскрипции требуют основные фонемы:
— [а], [и], [э], [о] (гласные под ударением), [у], [ы], [б’] (мягкая перед ударным [и], еще и сомкнутая), [р] (твердая перед ударным [а]), [ф] (сомкнутая), [в] (сомкнутая), [п] (сомкнутая). Это необходимый минимальный набор звуков для производства липсинк этой фразы. Из него исключим звук [и], его можно смикшировать из [ы] + [у] + [п]. Добавим в этот набор некий усредненный звук, выглядящий на физиономии как улыбка [smile]. Его можно использовать для «фонового» выражения лица и микширования с основными фонемами для получения ряда остальных фонем фразы.
Вот некоторык ссылки на информацию по фонетической транскрипции:
Для упрямых и любознательных приведу некоторые ссылки, касающиеся фонемного анализа:
Глава 3, экспериментальная, в которой можно побаловаться с «кубиками» и попытаться их объединить.
Потренируемся на файле boy.mb. Прежде, чем пристутить к делу, несколько слов о «подходящих и неподходящих» для липсинк моделях.
Еще остались энтузиасты, которые станут оспаривать утверждение о том, что для моделирования персонажа нужны базовые знания анатомии? Нет? Тогда надо признать и тот факт, что, приступая к липсинк, неплохо бы поинтересоваться, а чем, собственно, человек формирует эти связные звуки, которые называются речью. Можно отстаивать разнообразные точки зрения по моделированию лиц и голов персонажей. Можно искать оптимальные способы, дающие производительнось, легкий мэппинг или технологичность. А для липсинк, вероятно, наиважнейшим фактором является имитация физиологической топологии мимических мышц. Например, сетка вышеупомянутого персонажа Heartbreacker не имеет круговой структуры в области рта и глаз, что несомненно осложнит работу по липсинк, добавив головной боли по ликвидации нежелательных спонтанных нефизиологических морщин. В связи с этим, не посчитайте за излишество неглубокий дайвинг в медицинскую энциклопедию.
В подробное описание мимических мышц можно углубиться здесь.
Материалов по моделированию головы в интернете тоже достаточно. Например, здесь, здесь, здесь или здесь.
Какой бы способ моделирования Вы не выбрали, необходимо топологию модели подчинить простому правилу: формообразующие линии должны максимально соответствовать естественному расположению мимических мышц, да и вообще мускулов головы. Проиллюстрировать это правило можно следующим рисунком:
На этом фоне не могу удержаться, чтобы не похвалить топологию модели, описанную в уроке http://www.render.ru/books/show_book.php?book_id=36&start=0
Вернемся к нашей модели. То что она несовершенна, еще не говорит, что липсинк невозможен.
Выберем несколько нужных кубиков из майского конструктора.
Кубик 1. Создание линий прогнозируемых деформаций, имитирующих работу мышц.
Файл boy.ma еще открыт? Убедитесь, что у объекта body в History узел polySmoothBody в закладке Node Behavior имеет Has No Effect.
Кубик 2. Формирование wire деформаторов.
Кубик 3. Создание выражений лица и фонем для последующих целевых morph.
И так до тех пор, пока не будут сформированы все необходимые фонемы и эмоции. Затем, все меши внутри дуплицированных групп можно поубивать вместе с wire деформерами. Достаточно одних оставшихся модифицированных кривых. Можете сами поупражняться, а можете качнуть файл с готовыми вариантами boy01.mb.
Кубик 4. Увязка морф-целей в систему Blend Shapes.
Кубик 5. Построение интерфейса управления липсинк.
Ну, что ж! Баловство с ползунками доставляет некоторое садистское удовольствие. Но как подумаешь, что все это нужно двигать ради получения одной только фонемы, да еще и кеить время от времени, да еще и ключи редактировать да таскать туда-сюда по таймлайну! Как-то кисло на душе. (Слышу голос: «Где-то это было. Просто Дежа-Вю! Сейчас в следующей строке появится слово MEL, зуб даю!»)
— автоматически формировать основные фонемы;
— автоматически формировать основные эмоции;
— автоматически формировать рабочее пространство для удобства манипуляций;
— накладывать фонемы на выражения лица (и наоборот) вручную;
— редактировать фонемы вручную;
— микшировать и создавать новые фонемы и выражения лица вручную;
— селектировать, устанавливать и резать ключи индивидуально на каждую группу мышц и оптом на все;
После некоторого времени, затраченного на удовольствие скриптования, можно взглянуть на результат:
//WorkWindow Creating. Процедура создания рабочего окна.
Далее с помощью элементов описания окна формируем:
— общий размер окна с названием (строка 7);
Обратите внимание на «отбивку» верхней части в 52 строке;
— и нижнюю часть. Не забудьте «отбить» нижнюю часть (строка 61) и «вывести» окно на экран, чтобы было на что глядеть (строка 63).
Все предельно просто! Кнопки можно обозвать как угодно в соответствие с любыми фонемами или эмоциями по желанию. Рядом с кнопками в тексте скрипта расположены и команды, которые выполняются при нажатии на кнопку. Например, в строке 24 «батон» с «лэйблом» «Cut Keys» вызовет командой процедуру под названием «CutCurKeys». Эта процедура обязана в текущем кадре «убить» ключи по всем составляющим BlendShapes.
cutKey [flags] [targetList], где
— интересное выражение для таргет листа. В него можно включить сразу все веса по выбранному Blend Shape, например Cheek_L.weight или коротко Cheek_L.w.
Аналогичным образом строятся процедуры delAllKeys иKeyAll.
В качестве используется конструкция с командой eval. Обычно эта команда юзается в случаях, когда:
— необходима сложная MEL-комбинация, представленная в формате строки, где можно намешать чего угодно, лишь бы синтаксис контроль MEL этот коктейль «схавал»;
— необходим автоматический выбор реалтаймовой команды;
Показателен пример из Help:
В комплекте с Catch команда Eval образует надежное звено контроля рантайма. «Настоящие программисты» говорят, что это хороший тон. Приятно, что ни говори, погреть бок в их звездном сиянии.
А вот как организованы процедуры построения фонем.
Получаем процедуру тоже просто. Средствами Maya выбираем четырехоконный интерфейс. В окна подгружаем панели Outliner, Blend Shape, Graph Editor, persp. Открываем Script Editor, копируем нужные строки и заносим в текст процедуры. А вид рабочего пространства может при этом выглятеть так:
Кубик 6. Анимация липсинк.
Глава 4. Мимические «фишечки».
Это позволить при отслеживании камеры глазами, к примеру, оглядеть ее углы, или кинуть легкие взгляды по сторонам, изобразить смущение, затаить месть, предварить сюрприз и т.д. При каждом движении глаз следует анимировать и веки, имитировать работу круговой мышцы глаза.
Вернемся к морганию. Посмотрите, как работают веки.
Конечно, суетливые движения глазных яблок и частые моргания добавляют беспокойности и неуверенности в характер персонажа. Но и без них герой становится картонным и неинтересным. Надо искать баланс.
Мимикой, артикуляцией и широтою души можно наделить и топор. На мой взгляд, есть какая-то глубина в любой чуши, которая изрекается из «уст» деревяхи, хоть, как доказал Псой Короленко, «Буратино был тупой. «