Твое лицо мое

— Концепция — FACS — Система и ее ограничения — FACS в первом «Аватаре»: наследие Голлума — FACS и 100 проблем — Первый «Аватар»: Решение проблем — APFS: Анатомическая достоверная лицевая система — APFS: Контроль и возможности — «Огонь и пепел»: Эволюция APFS — Технический анализ APFS — Итог

Данное исследование рассматривает эволюцию лицевой анимации в трилогии Джеймса Кэмерона как последовательный переход от трёх технологических парадигм, каждая из которых по-своему отвечала на вопрос: как перенести актёрский перформанс на цифрового персонажа, не утратив эмоциональной достоверности?

Первая волна, реализованная в фильме 2009 года — симуляция лица через внешние проявления. Система FACS и блендшейпы воспроизводили видимый результат работы мышц, не моделируя сами мышцы. Прорывной для своего времени метод имел врождённый потолок: переходы между выражениями оставались зоной неопределённости, а композитные эмоции разрушали геометрию лица.

Вторая волна, внедрённая в «Пути воды» — симуляция через внутреннюю анатомическую модель. Система APFS (Anatomically Plausible Facial System) заменила блендшейпы сетью из 178 мышечных кривых, взаимосвязанных через солвер. Лицо перестало быть поверхностью, на которую проецируются выражения; оно стало объёмом с собственной мускулатурой.

Третья волна, достигнутая к «Огню и Пеплу» — интеграция накопленных данных и творческой культуры. APFS вышла на уровень стабильности, при котором аниматор получил полный контроль над каждой мышечной кривой, создавая более удобный инструмент контроля.

FACS в первом «Аватаре»: наследие Голлума

К моменту запуска производства «Аватара» в 2006 году FACS-система Weta Digital была зрелым, отлаженным инструментом. Она успешно применялась не только к Голлуму, но и к Кинг-Конгу (2005). Для На’ви система была адаптирована с учётом иной анатомии — более крупные глаза, выступающие скулы, уплощённый нос, — но архитектурно осталась той же: набор блендшейпов, соответствующих единицам действия, смешиваемых аниматором через весовые коэффициенты.

На момент создания первого фильма это был передовой метод. Ни одна другая студия не располагала сопоставимой библиотекой лицевых форм для нефотореалистичных персонажей. Однако уже в процессе производства начали проявляться фундаментальные ограничения, которые стали очевидны лишь постфактум.

FACS и 100 проблем

Коренная слабость FACS-подхода заключалась не в качестве блендшейпов, а в том, что система создавалась для классификации статичных выражений, а не для временной анимации. Экман разрабатывал FACS, чтобы кодировать эмоции на фотографиях, — он не проектировал инструмент для покадрового управления лицом в движении.

Когда аниматор выставлял вес AU12 (поднятие уголков губ) на 70% и вес AU6 (поднятие щёк) на 40%, система вычисляла результирующую форму как взвешенную сумму двух статичных блендшейпов. Но в реальном лице эти две мышцы связаны фасциально: когда сокращается скуловая мышца, круговая мышца глаза реагирует не линейно, а через сложную сеть натяжений. FACS ничего не знала об этих связях — система смешивала две формы, и результат часто оказывался нефизиологичным.

«FACS-система только симулирует лицо снаружи и имеет очень ограниченные возможности… она кодирует выражения. В FACS не закодирован диалог, а мы по большей части работаем именно с диалогом» ©Джо Леттери.

Леттери указал на критический аспект, который часто упускается при обсуждении FACS: система кодирует эмоциональные выражения, но не движения, связанные с речью. Когда человек говорит, его лицо находится в непрерывном движении: челюсть опускается и поднимается, губы смыкаются и размыкаются, язык меняет форму ротовой полости, щёки надуваются и опадают.

FACS содержит единицы действия для некоторых из этих движений (например, AU25 — размыкание губ), но не описывает их как непрерывный речевой поток. Для диалоговой сцены аниматор, работающий в FACS-парадигме, вынужден вручную выставлять ключевые кадры для каждого фонетического перехода — а затем вручную же сглаживать неизбежные артефакты. Это было трудоёмко и никогда не давало результата, полностью свободного от «резиновости».

Наиболее остро ограничения FACS проявлялись в сценах, где персонаж испытывал сложную, смешанную эмоцию. Гнев, смешанный со страхом. Печаль с отвращением. Радость, омрачённая тревогой. В реальном лице эти эмоции не накладываются друг на друга как слои в Photoshop — они создают новое, уникальное выражение, в котором одни мышцы активированы, другие заторможены, третьи пассивно растянуты.

В FACS-системе аниматор был вынужден смешивать блендшейпы для гнева и страха, получая неестественную комбинацию. Лицо «разрушалось»: кожа в одних зонах чрезмерно натягивалась, в других — неестественно собиралась складками, глаза приобретали пугающее выражение. Эти правки требовали часы ручной коррекции — и даже после неё результат редко был идеальным.

Помимо качественных проблем, FACS имела жёсткие количественные ограничения. Каждый блендшейп требовал ручной лепки высококвалифицированным моделлером. Для базового набора из 24–30 выражений это было приемлемо. Но с увеличением числа персонажей, каждый из которых требовал собственного набора блендшейпов, трудозатраты росли экспоненциально.

Более того, каждый новый блендшейп увеличивал размерность пространства смешивания, делая его всё менее предсказуемым. При 10 блендшейпах комбинаторика была обозримой. При 30 — количество возможных сочетаний исчислялось миллионами, и проверить каждое на анатомическую корректность было невозможно. Система достигла потолка сложности, за которым терялся контроль над результатом.

Первый «Аватар»: Решение проблем

Осознав ограничения FACS, команда первого «Аватара» сделала важнейший шаг, который предопределил всё дальнейшее развитие. Традиционная система захвата лицевой анимации использовала пассивные ретрорефлективные маркеры, наклеенные на ключевые точки лица актёра — брови, скулы, уголки губ, подбородок. Камеры в павильоне отслеживали перемещение этих маркеров, и данные проецировались на блендшейпы цифрового персонажа.

Кэмерон и команда сочли этот подход недостаточным. Маркерная система давала информацию о движении примерно 80–100 дискретных точек, теряя все нюансы между ними. Складка кожи, находящаяяся между двумя маркерами, оставалась невидимой для системы. Кэмерон требовал большего — и команда предложила решение, которое на тот момент казалось рискованным экспериментом.

Инженерным ответом на запрос Кэмерона стала Head Rig Camera — миниатюрная камера, закреплённая на карбоновом шлеме непосредственно перед лицом актёра. В первом фильме использовалась одиночная камера стандартного разрешения. Она записывала видео лица актёра покадрово, и программное обеспечение анализировало не движение маркеров, а изменение всего поля пикселей — всего лица.

Это был радикальный сдвиг. Вместо дискретных точек система получала непрерывное поле данных о движении всей видимой поверхности лица.

«Вместо светоотражающих маркеров мы использовали захват на основе изображений пора за порой» ©Джон Ландау, продюсер фильма.

Алгоритм обработки изображений с Head Rig Camera был основан на технике оптического потока (optical flow). Для каждой пары последовательных кадров программа вычисляла векторное поле смещения пикселей. Каждый пиксель получал вектор — направление и амплитуду своего движения между кадрами. Сумма этих векторов по всей поверхности лица давала карту деформации, которая затем проецировалась на риг цифрового персонажа.

В отличие от маркерной системы, которая давала данные о перемещении 80 точек, оптический анализ порождал десятки тысяч векторов смещения. Все микровыражения лица регистрировались и переносились на аватара. Разрешение захвата выросло на два порядка.

Одним из наиболее значимых частных достижений первого «Аватара» стал прямой захват движения глазных яблок. Предыдущие фильмы с цифровыми персонажами страдали от эффекта «мёртвого глаза» — взгляд был либо статичным, либо анимированным вручную и потому неестественным.

Глаз — чрезвычайно сложный объект для захвата. Он постоянно совершает микродвижения: саккады (быстрые скачки), тремор (высокочастотное дрожание), дрейф (медленное смещение между саккадами). Человеческий мозг безошибочно считывает паттерн этих движений как признак жизни, и отсутствие любого из компонентов делает взгляд «мёртвым». Камера HMC фиксировала движение глаз актёра, и специальный алгоритм выделял из видеопотока положение зрачка и радужки относительно глазной щели.

При всём новаторстве HMC-камеры, фундаментальная архитектура лицевого рига в первом «Аватаре» осталась FACS-блендшейповой. Камера дала беспрецедентно детальные входные данные, но эти данные проецировались на ту же самую систему дискретных выражений, которая была разработана для Голлума.

Данные с камеры интерпретировались в терминах активации FACS-единиц: программа анализировала карту деформации и определяла, что в данном кадре AU4 активирована на 65%, AU6 на 20%, AU12 на 40%. Затем эти веса применялись к блендшейпам На’ви. Проблема заключалась в том, что сама процедура интерпретации непрерывного поля смещений в терминах дискретных единиц была приблизительной. Данные о движении кожи между ключевыми точками, которые HMC так тщательно собирала, на этапе конвертации в FACS частично терялись.

К моменту завершения первого фильма сложился парадоксальный результат. Технология захвата (HMC-камера, оптический анализ) значительно опередила технологию воспроизведения (FACS-блендшейпы). Входные данные содержали информацию о мимике с разрешением в тысячи точек; выходная система могла воспроизвести лишь несколько десятков предустановленных форм, интерполируя между ними.

Этот разрыв между захватом и воспроизведением стал главной технологической проблемой, которую предстояло решить перед сиквелом. Требовалась система лицевой анимации, которая могла бы использовать всю полноту данных, поставляемых HMC-камерой, без редукции к дискретным единицам. Иными словами, требовалась система, основанная не на классификации выражений, а на симуляции анатомии.

Фундаментальное озарение Леттери состояло в следующем: FACS симулирует лицо снаружи — она описывает, как выглядит результат сокращения мышц, но не моделирует сами мышцы.

Альтернатива — построить модель, которая работает изнутри. Если у персонажа есть виртуальные мышцы, которые сокращаются и расслабляются, подчиняясь анатомическим законам, то лицо будет деформироваться естественно в любых обстоятельствах, включая те, которые не были предусмотрены заранее. Проблема композитных эмоций решается автоматически: мышцы либо могут сократиться одновременно, либо нет, и если нет — солвер не позволит аниматору создать нефизиологичную гримасу.

Ядром APFS стали 178 кривых мышечных волокон, или «кривых напряжения» (strain curves). Каждая кривая представляет собой независимый элемент, способный сокращаться или расслабляться. Кривые распределены по лицевым регионам: лобная зона, периорбитальная, назальная, периоральная, челюстная.

Важно понимать: это не буквальная анатомическая карта. 178 кривых не соответствуют один-к-одному реальным мышцам человека. Некоторые аспекты мимики, такие как изгиб верхней губы, являются производными от взаимодействия нескольких мышц и челюсти. Леттери сознательно строил систему как анатомически инспирированный инструмент управления, а не как прямую биологическую симуляцию.

Для управления системой из 178 взаимосвязанных кривых Леттери применил нестандартный подход. Вместо того чтобы обучать нейросеть на большом массиве данных и позволять ей выводить корреляции эмпирически, команда закодировала известные анатомические связи напрямую в архитектуру сети.

«Зачем заставлять нейросеть угадывать корреляции по точкам, если мы можем математически описать реальную физику мышц и заставить ИИ работать внутри этих жестких рамок?» ©Джо Леттери.

Такой подход дал два преимущества: во-первых, система не требовала месяцев обучения на миллионах кадров; во-вторых, она была детерминированной — поведение лица для любого набора активаций кривых было предсказуемо.

APFS спроектирована как двунаправленная система. Inward-out — классический путь: активация мышечных кривых ведёт к деформации поверхности лица. Но система поддерживает и обратный путь, outside-in: аниматор может кликнуть на точку поверхности лица и потянуть её, а солвер вычислит, какие мышечные кривые необходимо активировать или расслабить, чтобы достичь этой деформации.

Это дало аниматорам неограниченную гибкость. Если нужно поправить конкретную складку, аниматор не перебирает 178 ползунков — он просто тянет лицо в нужном месте. Если нужно воспроизвести актёрский перформанс — система идёт inward-out, транслируя данные HMC в активацию кривых. Два режима дополняют друг друга.

Одним из критических открытий при построении APFS стала центральная роль челюсти. В диалоге челюсть находится в непрерывном движении, и её положение определяет состояние большинства мышц нижней половины лица. В FACS челюсть была просто ещё одной единицей действия; в APFS она стала ведущим параметром, на который завязаны все остальные мышцы рта и щёк.

Леттери назвал челюсть «главным драйвером лицевого состояния». Для формализации этого инженеры использовали щит Поссельта (Posselt’s envelope of motion) — трёхмерное пространство предельных положений нижней челюсти. Этот щит был интегрирован в APFS как ограничивающая поверхность: мышцы рта управляются относительно текущего положения челюсти на щите Поссельта, а не независимо.

Глаза в APFS получили отдельную, глубоко проработанную подсистему. Модель глаза включала склеру, роговицу, радужку и хрусталик — каждый элемент с собственными оптическими свойствами. Учёт рефракции был критически важен: при взгляде в крайнее положение зрачок визуально смещается относительно истинного направления взгляда из-за преломления света в роговице. Для человека это смещение составляет доли миллиметра; для глаза На’ви, с иной кривизной роговицы, — до двух миллиметров.

APFS симулировала эти оптические эффекты, корректируя видимое положение зрачка. Дополнительно была внедрена микроскопическая фронтальная деформация роговицы — при взгляде в сторону роговица слегка выпячивается, что создаёт характерный блик, по которому человеческий мозг определяет направление взгляда.

Для обеспечения работы APFS камера HMC была полностью переработана. Вместо одиночной камеры стандартного разрешения (первое поколение) шлем второго поколения нёс две камеры высокого разрешения в фиксированном стереоскопическом положении. Стереопара дала информацию о глубине — ключевой компонент для построения трёхмерной карты лица.

Это позволило создать Deep Shape — плотное облако точек лица актёра в конкретном дубле, реконструированное по стереоизображениям. Облако можно вращать и рассматривать с любого ракурса. Аниматор больше не работал с плоской картинкой, имеющей перспективные искажения; он имел перед собой полноценную трёхмерную референсную модель лица.

Перенос перформанса в APFS работал в два этапа. На первом система анализировала стереоизображения с HMC и вычисляла, какие мышечные кривые были активированы актёром в данном дубле. Это обратная задача: по наблюдаемой деформации поверхности восстановить внутреннее состояние мышечной сети. На втором этапе полученная активация применялась к ригу На’ви.

Аниматор получал не финальный результат, а стартовую точку высокого качества. Дальше начиналась ручная работа: усилить или ослабить отдельные кривые, скорректировать тайминг, добавить детали, не считанные камерами (например, асимметричное дрожание губ при сдерживаемых слезах).

«Актёры проделывают столь тонкую работу, вживаясь в своих персонажей…» ©Джо Леттери. «Наша задача — защитить целостность этого исполнения и провести его на экран» ©Ричард Бэнем

APFS: Контроль и возможности

APFS даёт контроль и защищает от ошибок во время анимации. Солвер, построенный на математике анатомических связей, блокирует комбинации активаций, которые невозможны в реальной мускулатуре. Нельзя одновременно активировать мышцы-антагонисты на полную мощность. Нельзя согнуть сустав за предел, установленный для скелета На’ви. Нельзя создать складку в зоне, где кожа прилегает непосредственно к кости без мышечной прослойки.

Для FACS это была нерешаемая проблема. Линейное смешивание блендшейпов регулярно давало нефизиологичные гримасы, которые аниматор мог не заметить за долгими часами работы. APFS исключает такие ситуации на уровне солвера — лицо не может разрушиться, потому что математика не позволяет.

Одно из главных обещаний APFS — решение проблемы диалога, которая была ахиллесовой пятой FACS.

«в FACS не закодирован диалог, а мы по большей части работаем именно с диалогом» ©Джо Леттери.

В системе появился артикуляционный солвер, который моделирует положение языка, мягкого нёба, глотки и гортани при произнесении фонем. Эти данные интегрируются с мышечной сетью нижней половины лица. Когда персонаж говорит, челюсть, губы и щёки движутся благодаря запрограмированному солвер, что сообщает мышечной сети: «сейчас язык в позиции „т“, губы сомкнуты, челюсть приподнята». Мышцы реагируют на эти команды, и лицо деформируется естественно.

APFS решила проблему масштабирования, которая мучила FACS. В FACS каждый новый персонаж требовал ручной лепки полного набора блендшейпов — процесс, занимавший недели работы высококвалифицированного моделлера. В APFS базовый набор из 178 кривых является общим для всех На’ви. Индивидуализация достигается не лепкой новых форм, а настройкой параметров: расстояние между точками крепления мышц, толщина жировой прослойки, эластичность кожи.

Настройка персонажа в APFS занимала часы, а не недели. Это позволило увеличить количество поименованных цифровых персонажей с двух-трёх в первом фильме до десятков во втором и третьем, не жертвуя качеством лицевой анимации.

«Огонь и пепел»: Эволюция APFS

К моменту производства третьего фильма Weta накопила огромный массив данных. Все дубли перформанса актёров, записанные для первого и второго фильмов, хранились в архиве и были размечены по мышечным активациям. Это позволило создать непрерывное пространство эмоциональных состояний.

В этом пространстве каждая точка соответствует уникальной комбинации активаций 178 кривых. Аниматор перемещается внутри этого пространства плавно, без скачков. Переход от «удивления» к «испугу» и далее к «панике» происходит не через переключение между тремя предустановленными блендшейпами, а как непрерывное движение по градиенту мышечных активаций.

Архив эмоций позволил обеспечить целостность персонажа на временном промежутке, немыслимом для обычного кинопроизводства. Если в третьем фильме Нейтири должна была проявить эмоцию, уже сыгранную Зои Салданой в 2007 году, аниматор открывал архивный дубль, загружал карту активации мышечных кривых и накладывал её на новую сцену.

Архив служил калибровочным эталоном: он показывал, как именно этот персонаж (и эта актриса) выражает данную эмоцию, с какой асимметрией, с каким таймингом, с каким микронапряжением в зоне действия. Новая игра накладывалась на этот эталон, и аниматор корректировал отклонения — сохраняя целостность, но не жертвуя свежестью нового дубля.

В FACS-эпоху аниматор тратил до 60% времени на техническую борьбу с системой — исправление артефактов, подгонку переходов, маскировку коллапсов. В APFS эта доля сократилась до 10–15%. Освободившееся время пошло на творческую работу: поиск нестандартных актёрских решений, нюансировку микроактивности, эксперименты с асимметрией эмоций.

«У них отличная креативная культура… Прелесть была в том, что мы обладали коллективной институциональной памятью. Аниматоры знали персонажей. Они знали, как выглядит Нейтири, когда она злится, и знали, как двигается Джейк» ©Джеймс Кэмерон.

Технический анализ APFS

Режим outside-in, при котором аниматор тянет точку на поверхности, а солвер вычисляет необходимые активации кривых, математически сложнее. Это обратная задача: дана желаемая деформация поверхности; найти комбинацию активаций неких точек, которые эту деформацию производят.

APFS решает эту задачу через итерационную оптимизацию с регуляризацией. Солвер минимизирует расстояние между желаемой и текущей деформацией поверхности, штрафуя при этом решения, которые требуют нефизиологичной активации мышц-антагонистов или выходят за пределы анатомических ограничений. Член регуляции в функции потерь обеспечивает, что найденное решение будет не только геометрически точным, но и анатомически корректным.

Одно из ключевых преимуществ APFS перед FACS — работа с временной динамикой. В FACS аниматор выставлял веса блендшейпов на ключевых кадрах, и программа интерполировала между ними. Характер интерполяции (линейная, сплайновая) был единым для всех мышц, что не соответствовало реальности: в живом лице разные мышцы имеют разную скорость сокращения и расслабления.

В APFS каждая мышечная кривая имеет собственную временную характеристику: скорость активации, скорость релаксации, инерционность. Скуловая мышца сокращается быстрее, чем расслабляется лобная. Круговая мышца глаза имеет меньшую инерционность, чем жевательная. Эти параметры заложены в солвер, и временная динамика лица получается анатомически корректной автоматически.

APFS открыла возможность симуляции возрастных изменений и состояний усталости не через текстуры и шейдеры, а через изменение параметров самой мышечной системы. Уставший персонаж — это не персонаж с нарисованными мешками под глазами; это персонаж, у которого снижена скорость активации мышц, уменьшена амплитуда сокращений и увеличено время релаксации.

Для персонажей, которые стареют в течение трилогии, эти параметры менялись от фильма к фильму. Джейк Салли из третьего фильма анатомически тот же, что и из первого, но его мышечные кривые имеют чуть меньшую амплитуду сокращения и чуть большую инерционность — что на уровне микромимики создаёт ощущение прожитых лет.

APFS позволила моделировать мимические различия между расами На’ви через вариацию параметров одних и тех же 178 кривых. Лесные На’ви имеют более высокую амплитуду сокращения скуловых мышц и более быструю активацию лобной мышцы — их мимика подвижна и экспрессивна. Рифовые На’ви имеют чуть замедленную активацию и большую амплитуду в периорбитальной зоне — их мимика более плавная, с акцентом на глаза.

Клан Пепла получил собственный профиль: более резкая активация, более короткое время релаксации, большая асимметрия по умолчанию. Это создало уникальный мимический почерк для каждой расы без необходимости моделировать их лица с нуля.

За 16 лет лицевая анимация в трилогии «Аватар» прошла путь, сопоставимый с переходом от аналоговой фотографии к цифровой: от дискретных масок эмоций — к непрерывной симуляции мышечной сети; от классификации выражений — к анатомическому моделированию; от системы, которая теряла большую часть актёрского перформанса, — к системе, которая защищает его целостность и доносит до зрителя практически без потерь.

FACS была первой попыткой заставить цифровое лицо работать. APFS — первая система, которая делает это правильно. Разница между ними — это разница между куклой с ограниченным набором гримас и лицом, которое живёт, дышит и чувствует.

«Весь смысл захвата актерской игры — записать движения актера… Наша задача — перенести эту игру на персонажа, не добавляя лишней анимации, которой там не было. Речь идет о том, чтобы закрыть этот разрыв между актером на площадке и пикселем на экране» ©Джо Леттери.