Нейромистецтво кіно: ШІ вже навчився воскресати акторів і малювати мультики

Важная новость

ШІ вже навчився омолоджувати і навіть воскресати акторів, вигадувати сюжети та малювати мультики. Працівники індустрії ризикують професією, а глядачі не завжди задоволені результатом.

Чи може нейромережа написати добрий сценарій? Чи готові дипфейки замінити акторів? Науковий журналіст та автор телеграм-каналу «Лайфлонг муки» Ілля Кабанов розбирається [2], коли алгоритми підкорять Голлівуд і хто в результаті виграє та програє.

Вторгнення нейромереж

Влітку 2023 року на шанувальників кіновселеної Marvel чекав неприємний сюрприз.

Стрімінговий сервіс Disney+ випустив новий серіал Secret Invasion («Секретне вторгнення») про пригоди їхніх улюблених супергероїв. З перших кадрів глядачі відчули недобре. Незабаром творці шоу підтвердили [3] підозри, заявивши, що справді використовували в роботі інструменти штучного інтелекту (ШІ). Однак вони поспішили запевнити фанатів, що жодне робоче місце при цьому не постраждало, оскільки алгоритми лише допомагали людям-дизайнерам, а не замінювали їх.

Режисер «Секретного вторгнення» Алі Селім зазначив [4], що «не зовсім розуміє», як працює штучний інтелект, але зачарований його можливостями: «Ми говорили про ідеї, теми та слова, а потім комп'ютер вмикався і щось робив».

Такий інноваційний підхід оцінили [5] не всі — колеги з цеху навіть визнали [6] його знущанням з роботи художників. Мабуть, головна претензія полягала в тому, що результат, що вийшов, виявився досить сумнівної якості [7]. ШІ-картинки доречні для ілюстрації постів у соцмережах, але від високобюджетних проектів Marvel шанувальники звикли чекати більшої уваги до деталей.

Скандальна заставка марвелівського серіалу – далеко не перший приклад використання ШІ в індустрії розваг. Сьогодні він застосовується на всіх етапах кіно- та телевиробництва, що викликає занепокоєння як учасників ринку, так і регуляторів. Головне питання — як розвиватиметься далі роман «кіношників» із «айтішниками»?

Де застосовується ШІ

Кіноіндустрія десятиліттями експлуатувала образ всемогутнього штучного інтелекту — від HAL 9000 у кубриківській «Космічній одіссеї 2001 року» до Альтрона у марвелівських «Месниках».

До 2024 року підсвідомі страхи сценаристів стали реальністю, адже тепер їм разом із іншими учасниками знімального процесу доводиться конкурувати з роботами. Принаймні так може здатися на перший погляд: досить подивитися на різноманіття інструментів ШІ, які опинилися в розпорядженні кінематографістів.

На етапі підготовки до зйомок генеративний штучний інтелект, здатний створювати новий контент після навчання великих масивах даних, допомагає вигадувати сюжетні ходи, діалоги, персонажів. Наприклад, ще в 2016 році, задовго до нинішнього буму нейромереж, на екрани вийшла короткометражка Sunspring [8] (Сонячний джерело), сценарій якої написав чат-бот Benjamin.

Штучний інтелект може навіть передбачити касові збори майбутнього фільму. Сервіс ScriptBook за кілька хвилин аналізує [9] сценарій за сотнями параметрів, включаючи структуру сюжету та емоційне напруження. За словами розробників, точність прогнозів сягає 86%, тоді як люди справляються із цим завданням не більше ніж у третині випадків.

Штучний інтелект також спрощує дистрибуцію фільмів та серіалів, роблячи їх доступними для глядачів у всьому світі. 2022 року компанія Disney витратила [10] на локалізацію — тобто переклад та дублювання контенту — 33 млрд доларів. Дублювання фільмів за допомогою ШІ-сервісів на кшталт Deepdub скорочує витрати на 30-40% та прискорює локалізацію вп'ятеро. Успіх південнокорейського серіалу Squid Game («Гра в кальмарі») показав, що місце виробництва контенту вже не має великої ролі. Дешева та якісна локалізація відкриє глядачам величезний масив нових історій.

Але, звичайно, найпомітніша сфера застосування штучного інтелекту в кіно — це виробництво та постпродакшень. Нейросітки спрощують монтаж і корекцію кольорів, вони допомагають створювати спецефекти і омолоджують акторів, а в деяких випадках навіть повертають до життя померлих артистів.

У знятому за мотивами "Зоряних війн" серіалі Obi-Wan Kenobi ("Обі-Ван Кенобі") Дарт Вейдер говорить звичним голосом Джеймса Ерла Джонса. На момент зйомок актору було вже за 90, але його голос, здавалося, зовсім не змінився з кінця 1970-х, коли світ уперше почув лорда сітхів.

Справа не в могутній Силі, яка наповнює всесвіт «Зоряних війн»: тут знову не обійшлося без штучного інтелекту.

Спеціально для зіркової саги українська компанія Respeecher омолодила голос заслуженого артиста за допомогою свого ШІ алгоритму, навченого на старих записах. Останні фрагменти комп'ютерного голосу героя розробники відправляли [11] саунд-продюсерам вже після початку російського вторгнення у лютому 2022 року — створення «Зоряних війн» відбувалося буквально під звуки повітряної тривоги справжньої війни.

І, звичайно, вже нікого не дивує поява у фільмах та серіалах акторів, які скинули кілька десятиліть. Секретом вічної молодості володіють нейромережі, які сканують зображення молодих акторів у старих фільмах, створюють на їх основі цифрові маски та накладають на обличчя дублерів. Завдяки цій технології Харрісон Форд у фільмі «Індіана Джонс і циферблат долі» виглядає [12] вдвічі молодшою за свій реальний вік.

По суті, мова про дипфейки: Голлівуд взяв на озброєння технології, які дозволяють пранкерам видавати себе за інших людей. Ймовірно, найвідоміший проект такого роду — пародійний обліковий запис [13] компанії Metaphysic, в якому актор з обличчям Тома Круза робить дивні речі (наприклад, оголошує, що братиме участь у президентських виборах).

Вірусні ролики з фейк-крузом стали для Metaphysic свого роду портфоліо та демонстрацією можливостей. 2024 року на екрани вийде [14] драма Роберта Земекіса Here («Тут») — адаптація однойменного графічного роману, дія якого відбувається в одній кімнаті протягом багатьох років. Вік героїв у процесі змінюється: щоб перенести сюжет на екран, виконавців головних ролей Тома Хенкса та Робін Райт омолоджували в режимі реального часу якраз алгоритмами Metaphysic. Режисер одразу бачив, якими стануть їхні персонажі. Якщо раніше накладати такі ефекти потрібно на етапі постпродакшена, то нейромережі дозволяють робити це у прямому ефірі.

Мова не лише про художні фільми. Дипфейки стали у нагоді і авторам документальних творів. Наприклад, у фільмі Welcome to Chechnya («Ласкаво просимо до Чечні») технологія дипфейків використовується [15] для спотворення осіб героїв, яких влада республіки переслідує через сексуальну орієнтацію. Так нейромережі допомагають привернути увагу до порушень прав людини одночасно захищаючи жертв репресій.

Зрештою, штучний інтелект дозволяє «оживити» померлих: наприклад, автори документального фільму для покійного селебріті-кухаря і мандрівника Ентоні Бурдена відтворили [16] - з дозволу спадкоємців - його голос за допомогою алгоритмів.

Переможці та переможені

Засновник студії DreamWorks Джеффрі Катценберг (його компанія випустила, зокрема, «Шрека») упевнений [17], що генеративний штучний інтелект здешевить виробництво мультфільмів на 90%.

За оцінкою консультантів із Bain & Company, навіть у малобюджетних проектах ШІ-інструменти скорочують витрати [18] на 10% за рахунок, наприклад, автоматизації вирівнювання кольору, а також локалізації. У разі дорогих фільмів економія становить десятки мільйонів доларів.

Такі перспективи не тішать творчих працівників, які й досі відповідали за виробництво. Американський режисер Макджі, який зняв «Ангелів Чарлі», заявив [19] на організованій ЮНЕСКО конференції, що «сотні тисяч людей у кіноіндустрії, включаючи акторів, сценаристів та художників за візуальними ефектами, можуть бути замінені штучним інтелектом протягом наступних кількох десятиліть». Регулювання штучного інтелекту в галузі було однією з цілей страйків голлівудських сценаристів та акторів, які зупинили кіноіндустрію на кілька місяців у 2023 році.

Профспілки в результаті досягли [20] істотних поступок з боку студій: наприклад, продюсери повинні будуть питати дозвіл артистів на використання їх цифрових копій та виплачувати їм компенсацію. Навіть створювати віртуальних персонажів за допомогою генеративного ШІ тепер буде не так просто: доведеться отримувати згоду членів профспілки, чия зовнішність використовувалася для навчання нейромережі. Крім того, штучний інтелект не повинен вважатися [21] автором сценаріїв, а студії не можуть змусити сценаристів використовувати генеративні інструменти. Сценаристи, у свою чергу, можуть застосовувати у роботі нейромережі, але мають повідомляти про це студії.

При цьому вражаючі досягнення профспілкових переговорників, швидше за все, не зупинили переможну ходу штучного інтелекту, а лише сповільнили її.

Ймовірно, у короткостроковій перспективі зросте частка міжнародних проектів: голлівудські студії перенесуть частину виробництва в країни з більш м'яким регулюванням ШІ, а стрімінгові послуги купуватимуть більше іноземного контенту. Від цього виграють кіно- та телекомпанії, яким досі було складно вийти на світовий ринок.

Кадр із фільму «Все скрізь і одразу». Джерело: Agbo

Розвиток штучного інтелекту демократизує галузь, дозволяючи створювати контент голлівудського рівня буквально вдома. Минулого року компанія Runway AI, чиї генеративні алгоритми допомогли створити фільм Everything Everywhere All at Once («Все скрізь і відразу»), який отримав премію «Оскар», відкрила [22] доступ до своїх інструментів. Моделі перетворення зображення та текстів у відео дозволяють [23] безкоштовно генерувати короткі ролики (а за помірну плату можна зняти обмеження часу). ШІ-технології компанії дозволяють, окрім іншого, за пару кліків видаляти фон на відео: ці та інші рішення економлять [24] виробникам години роботи.

Крім того, індустрія знайде підходи до штучного інтелекту, які не спричинять відторгнення у «креативного класу». Такі приклади вже є: скажімо, для фільму Spider-Man: Into the Spider-Verse («Людина-павук: Через всесвіт») аніматори спочатку створили [25] бібліотеку всіляких виразів героїв, а потім використовували машинне навчання, щоб визначити, як ці елементи будуть розташовані у кадрі. Ця методика знімає питання про авторські права, оскільки ШІ навчається на оригінальному контенті та не позбавляє роботи аніматорів.

Зрештою, головними вигодонабувачами масового впровадження штучного інтелекту в кіно та на телебаченні виявляться глядачі, які отримають нові фільми та серіали. Питання реальності чи штучності при цьому залишаться предметом інтересу дослідників, але точно не аудиторії. Виконавець ролі Нео у фільмі «Матриця» Кіану Рівз зізнався [26] в одному з інтерв'ю, що намагався нещодавно переповісти сюжет картини 15-річному підлітку, пояснивши, що його герой «боровся за справжнє». На що підліток здивовано заперечив: "Кого хвилює, що справжнє, а що ні?"

Вгорі: кадр із серіалу «Секретне вторгнення». Джерело: Marvel Studios

Переклад: «Аргумент» [27]

На цю тему: