Поддельный мир

1.00

Острая тема

Фальшивое цифровое видео или аудио с любым содержанием невозможно отличить от настоящего — и это чревато глобальными потрясениями. Но может ли технология нас также и спасти?

Технологическое развитие дает возможность полного манипулирования видео- и аудиоматериалами, так же как их цифрового создания «с нуля». Как только инструментарий для фабрикации информации станет общедоступным, последствия будут еще более драматичными, чем нынешний феномен фейковых новостей.

В 1983-м, в разгар холодной войны, подполковник Станислав Петров служил на командном пункте «Серпухов-15» недалеко от советской столицы. Он нес дежурство в центре раннего предупреждения ракетного нападения, который засекал пуски ракет с ядерным оружием с территории Соединенных Штатов.

26 сентября система подала сигнал «тревога» — из штата Монтана запустили ракету. США и СССР придерживались доктрины гарантированного взаимного уничтожения. Если американцы начинали ядерное нападение, советы отвечали мощным ударом, который приводил к неизбежному уничтожению обеих стран.

Станислав Петров

Если бы Петров сообщил об этом командованию, оно начало бы Третью мировую войну. Вместо этого он правильно распознал, что США вряд ли осуществила бы удар только пятью ракетами, которые зафиксировала система. Это была ошибка. Петров сообщил о ней как о компьютерном сбое, а не как об атаке. Он был прав. Третьей мировой войны не произошло благодаря правильной критической оценке одного человека.

А теперь проведем мысленный эксперимент. Через несколько лет в будущем, например, в 2020-м, ситуация между Северной Кореей и США все еще остается напряженной. CNN получает видео из анонимного источника. На нем Ким Чен Ын [2] проводит совещание с генералами в защищенном бункере. Этой видеозаписи никто раньше не видел.

Вызывают переводчиков с корейского языка. Верховный лидер требует осуществить ядерный ракетный удар в приближающийся праздничный День Солнца. Через несколько часов видео попадает в Овальный кабинет в Белом доме. Разведка не может подтвердить или опровергнуть подлинность видео, даже после консультаций с дополнительными источниками. Президент США должен принять решение. Он приказывает нанести превентивный удар. Начинается война.

Но была ли видеозапись достаточным доказательством, чтобы оправдать такое решение?

Проблема заключается в том, что через несколько лет цифровой контент можно будет подвергать существенным манипуляциям, и при этом он будет настолько похожим на настоящий, что человеческий глаз или слух не сможет это отличить. Изображения человеческих лиц станет возможно создавать «снуля» [3], голоса реальных людей [4] и движение губ [5] в видео можно приспособить к тексту, который они озвучивают. Базовое видео обработки можно взять из реальной записи, но смысл, который оно должно передавать, может стать любым.

Машинное обучение — именно эта технология несет за это ответственность. Прогресс генеративных (порождающих) моделей [6] благодаря научным прорывам, совершенным в прошлые 5 лет, одним из которых была генеративная соревновательная сеть (generativeadversarial network [7], GAN).

В тему: Как Еврокомиссия собирается бороться с фейковыми новостями [8]

Центральная идея GAN [9] — это учить генеративную модель создавать картинки, которые обманывают «соревновательную» модель-детектор: ее задача заключается в различении истинного и ложного (сгенерированного) контента; реализм здесь является встроенной объективной функцией. И вся отрасль быстро прогрессирует.

Прогресс генеративных соревновательных моделей за 4 года

Этот технологический тренд изменит — точнее, уже меняет — множество [10] отраслей, где используются цифровые медиа — такие как реклама, мода [11], кино, дизайн [12]/производство, а также искусство.

Поражает своей реалистичностью демонстрация технологии GAN, которую недавно представила [13] NVIDIA; впрочем, многие другие технологические подходы по машинному обучению и визуализации питают нынешний прогресс. Например, ключевая идея технологии deepfakes (приемы синтеза фальшивых изображений и видео реальных лиц — в том числе и порнографического содержания — прим. перев.) заключается в использовании более традиционной модели авто-кодирования.

Но как насчет фотошопа и компьютерной графики? Создание высококачественных фейковых фото возможно уже давно — благодаря Photoshop. А если учесть, что можно делать сейчас с помощью компьютерной графики [14], то где здесь разница.

Почему эти новые технологии являются более опасными, чем технологии, которые существуют уже десятилетия?

Есть два ответа на этот вопрос.

Первый: нужно меньше усилий на редактирование и меньший уровень осведомленности втехнологиях. Очень быстрый прогресс машинного обучения и визуализации, имевший место в течение прошлых нескольких лет, сопровождается дешевизной вычислительных мощностей видеокарт и облачных сервисов, доступностью видео \ аудио \ текстовых данных для исследований, и широко распространенным в Интернете кодом. Все эти элементы, объединенные вместе, разрушают «входной барьер» перед теми, кто хочет играть с инструментарием глубинного обучения. И гарантируют устойчивый прогресс для новичков, желающих этому научиться.

Второй: эти технологии обеспечивают высокий уровень реализма, который превосходит то, что можно достичь средствами более традиционных технологий компьютерной графики — особенно если речь идет о видео и аудио. Вопрос о том, как создавать реалистичные медиаданные, возложен на алгоритмы, которые достигают результата, сравнивая синтезированные данные с реальными записями, использованными в качестве образца.

В сценарии, приведенном во вступлении к статье, власть подвергнет видеоматериал тщательному экспертному исследованию и попытается провести перекрестную проверку по другим источникам. Впрочем, что произойдет, когда инструментарий для создания реалистичного контента станет общедоступным, и определять подлинность этих материалов придется обычным гражданам, которые пересматривают свою ленту в Facebook?

Спекулятивный взгляд на возможные последствия

Манипулирование фотографией, выполненной искусственным интеллектом. Зима превращается в лето, солнечная погода — в дождливую

Мы привыкли доверять видеозаписям. Если мы видим, как президент США выступает на телеканале CNN, мы априори считаем, что он действительно это говорил. В мире будущего, где любой может сделать выступление с любыми заявлениями президента США, такой подход не только станет ошибочным — он станет опасным.

Вы не сможете больше доверять CNN — или любому другому СМИ, которое вы считаете респектабельным, если вы не способны полагаться на их способность отличать реальные и фейковые источники информации. В конце концов, доверие, которое мы испытываем к цифровому контенту, существует только потому, что нет технологий, способных ставить его содержание с ног на голову с помощью манипуляций.

Подумайте об этом будущем, в котором любой тинейджер сможет, прочитав в интернете инструкцию, у себя дома запустить код на мощном вычислительном устройстве и создать реалистичный видеоролик с «реальными людьми», которые в нем фигурируют. И это отнюдь не преувеличение, если исходить из современных технологических тенденций. Но прежде чем достичь таких широких потребительских кругов, технологии подделки, без сомнения, окажутся в руках государственных учреждений, и шансы систематических злоупотреблений, направленных на местную или региональную повестку дня, вполне реальны.

Конец доверия — это значительно более серьезная проблема, чем фейковые новости — по нашему определению этого феномена. Фейковые новости можно опровергнуть путем проверки фактов. Читатели могут делать сознательный выбор, доверять определенному источнику. А когда речь идет о видеоманипуляции, вы не можете доверять даже самой респектабельной и добропорядочной газете, сайту илителеканала,- не потому, что они могут манипулировать правдой — а потому, что они способны распознать фейковые видео не лучше, чем вы сами.

И хотя пример с медиа является самоочевидным, ситуация заходит значительно дальше. Взять, хотя бы, пример порнографических «дипфейков». Сейчас любой может взять фото голливудской звезды или известной личности и разместить ее лицо в порнографическом продукте. Онлайновые пособия дают пошаговые инструкции, как получить реалистичные результат. Возможно, автор разработки этого и не хотел, но технология дипфейков может применяться для создания «порнографической мести» (частного видео, выкладываемого в сеть без согласия снятых в нем людей).Порносайты ведут борьбу, чтобы остановить эти вещи. Драматизм в том, что это мощный инструмент шантажа, даже если в реальности ничего не было: если компрометирующее видео обнародовано, расходы на спасение репутации и убеждение публики в том, что это была фальшивка, будут крайне высокими.

Если не принять контрмеры, правосудие и правоохранительные органы столкнутся с проблемой «конца доверия». Представим полицейское расследование, которое успешно отследило телефонный звонок, где кто-то раскрывает важные детали преступления, по сути создавая веские улики против себя. Записанный голос принадлежит одному из подозреваемых. Для человеческого уха его подлинность неопровержима. Но как выносить это доказательство на суд, если властные учреждения не могут быть уверены в его подлинности — даже после криминалистического анализа? Сейчас ответа на этот вопрос не существует.

В тему: Убить робота. Станет ли 2018 год годом неолуддизма? [15]

Производство высококачественных фейковых доказательств может повлечь разворот фундаментального принципа нашей юридической системы: люди не виновны, пока не доказана их вина. Фигурант любого компрометирующего фото будет вынужден каждый раз доказывать свою невиновность (возможно, обеспечивать алиби), но «очевидная легитимность» фотографических доказательств приведет к тому, что человека будут считать виновным, если он не докажет свою невиновность. Для подозреваемых это станет бесконечной задачей, ведь генерирование фейковых контраверсионных фотографий будет простым и незатратным. В конце концов это может превратиться в нечто вроде ДДОС-атаки на лицо, так же как и на юридический персонал, который исследует эти дела.

Высококачественный голосовой синтез открывает ящик Пандоры для методов социальной инженерии. Скоро мы сможем имитировать голоса, получив лишь несколько образцов записей голоса жертвы, и тогда хакеры будут подделывать телефонные разговоры на рутинной основе. Трудно представить общественную сферу, которая подвергнется рискам вследствие всеобщей доступности иснтрументарию для «кражи идентичности». Без дополнительных средств аутентификации преступники смогут даже выдавать себя за сотрудников правоохранительных органов, издавать приказы или ложную информацию подчиненным и подрывать попытки власти действовать на операционном уровне.

Lawfareblog привел еще несколько возможных сценариев:

— фейковые видео могут показывать, как чиновники берут взятки, произносят расово некорректные высказывания или совершают супружескую измену;

— можно показать, как военнослужащие в зоне боевых действий убивают гражданских — и этим вызвать волны насилия или даже стратегическую угрозу военным кампаниям;

— фейковое видео может изобразить израильского чиновника, который делает или говорит что-то настолько обидное, что это повлечет беспорядки в соседних странах, разрушая дипломатические отношения или мотивируя вспышки насисльства;

— фальшивое аудио может изображать чиновников США, которые в частных условиях «признают» намерения осуществить что-то возмутительное в других странах. Его обнародование перед важной дипломатической инициативой может ее сорвать;

— фейковое видео может изображать чиновников из служб чрезвычайных ситуаций, которые «объявляют» о ракетном ударе по Лос-Анжелесу или эпидемической вспышке в Нью-Йорке — тем самым провоцируя панику, или хуже.

Все это не сулит демократии ничего хорошего. Готовьтесь ко все большему количеству политических дебатов с обсуждением сообщений сфабрикованных буквально из ничего. Информация — это фундамент демократического общества, эффективный противовес другим трем источникам власти. Без достоверных источников информации институт демократии подвергается удару по его основам и будет сведен к пустой оболочке формальных заявлений. Перед нами предстает темное будущее — темнее, чем представления пессимистов о нашем настоящем, с его недостатком свободы информации, подконтрольными государству СМИ и фейковыми новостями.

Действительно ли картина настолько мрачна? У нас, людей, присущий нам «недостаток доверия» работает как иммунная система. Нам необходимо смотреть на видео так, как подполковник Петров смотрел на экран радара. Если вы оптимист, этого аргумента будет достаточно, чтобы убедить вас, что не все еще потеряно. Как только люди осознают, что видеозапись не обязательно является достоверным подтверждением факта, можно ожидать, что все начнут относиться к цифровым медиа с систематическим подозрением. Это звучит подобно тому, как мы медленно приспосабливаемся отфильтровывать фейковые новости.

История имеет тенденцию повторяться. Прежде чем технология печати стала общедоступной, напечатанное на бумаге / плакате / в журнале сообщение воспринималось как такое, что происходит из авторитетного источника, то есть, от власти или издательской компании. Сейчас же нет смысла говорить «если это напечатали, значит, оно достойно доверия», или даже «оно официальное», пусть и в слабом проявлении. Этот культурный сдвиг произойдет и в отношении более сложных носителей информации в СМИ, таких как видеозаписи — которым мы сейчас доверяем, потому что их невозможно быстро и в полном объеме подделать.

А если вы пессимист, этот аргумент вас не убедит. И есть как минимум две веские причины на это. Во-первых, существует такое явление, как склонность к подтверждению собственной точки зрения: мы более склонны искать и доверять информации, подтверждающей наши предыдущие субъективные убеждения. Сфабрикованные видео могут легко показаться настоящими, если они соответствуют нашим (возможно, неправильным) личным взглядам.

Есть и другой, более тонкий пессимистический аргумент. Даже если мы начнем более подозрительно относиться к цифровым медиа, общий недостаток доверия может сильно повредить функционированию общества, как отмечает этот комментарий. Если мы все приспособимся и будем по определению крайними скептиками, мы перестанем верить в появление маловероятных фактов. Сокрытие ненормального и криминального поведения может свестись к опровержению фактов из-за того, что они слишком абсурдны, чтобы быть правдой.

Помните, как во время прошлой избирательной кампании Хиллари Клинтон обвиняли в покрывательствепедофилов? Конечно, и в этом главный аргумент, видеодоказательство ничего не прибавит к подтверждению или опровержению этого события, если мы знаем, что даже это можно полностью подделать.

Может ли технология также нас и спасти?

Есть две идеи, которые аналогичны тем, что применяются для защиты нынешних банкнот. Война против распространения фальшивых купюр использует две стратегии: 1) усложнить изготовление подделки, используя в оригинале элементы, которые сложно воспроизвести; и 2) создать детекторы фальшивых купюр.

Криптологический способ: цифровые подписи

В конце двадцатого века прогресс в вычислительной технике и фотокопировании сделал легким копирование банкнот — для этого не надо было дорогостоящего оборудования или глубокого опыта. Поэтому современные банкноты содержат элементы, которые трудно скопировать — голограммы, многоцветные изображения, встроенные полоски, микропечать, водяные знаки и тому подобное.

Подобно этим элементам, встроенным в блокноты, можно встраивать цифровую подпись в видеозаписи. Электронное устройство, которое их снимает, должно иметь механизм цифровой подписи. Эта подпись подтверждает, что видео действительно создано на определенном устройстве, и ни на каком ином. Сама по себе она ничего не сообщает о происхождении видео. Но если безопасно ввести этот метод, любой может впоследствии убедиться, что видео было действительно записано сенсором камеры и после этого с ним не происходило никаких манипуляций. Важно, что подпись существует в паре с оригинальным контентом — редактирование видео сразу же уничтожит встроенную в него цифровую подпись, и видеозапись потеряет подтверждение достоверности.

У цифровых подписей немало недостатков. Во-первых, они полагаются на защищенность частного ключа, встроенного в оборудование. Вдруг злоумышленник имеет доступ к камере и может получить ключ? Во-вторых, это же касается и надежности публичных ключей. В-третьих, любое правомерное редактирование — например, изменение яркости или контраста, или «обрезка», приведет к уничтожению цифровых подписей. А это серьезное ограничение для применения. Впрочем, в итоге можно сделать вывод, что эта технология защиты может сработать.

Способ машинного обучения: построение «детекторов правды»

Как известно, кроме механизма защиты банкнот от подделок, существуют механизмы выявления фальшивок: например, специальная ручка, которая реагирует на химический состав бумаги или краски.

Аналогичный подход возможен и для цифровой информации. Есть гипотеза, что подделка оставляет следы, которые трудно заметить человеку без достаточной технической компетенции. Но может обнаружить машина, специально созданная для таких задач.

Возможно построить модель, которая будет классифицировать любую цифровую запись, в отношении которой существует подозрение в подделке. Ресурсы для нее будут теми же, что и у злоумышленника: данные, дешевые вычислительные мощности, легкий доступ к программному обеспечению.

Все четыре изображения — фальшивые. Машина научилась выявлять три подделки из четырех

В тему: SCS — «Система социального рейтинга» Китая будет определять ценность людей [16]

Экспертное мнение здесь разделилось на две категории — с одной стороны, генеративные модели позволят создавать реалистичное изображение, в котором сложно будет обнаружить подделку. С другой, выявлять ее всегда будет легче, чем создавать.

Машинное обучение как механизм защиты от подделок можно применять в принципе в отношении любой информации, безотносительно к тому, откуда она появилась. Это большое преимущество. С другой стороны, по своей природе этот механизм не даст стопроцентной гарантии оригинальности (как система криптографии и цифровых ключей) — всегда будет оставаться вероятность неточной оценки.

И напоследок. Однажды президент США будет вынужден полагаться на технологию проверки подлинности цифровых доказательств, полученных от разведки. И принимать ее во внимание прежде, чем начинать войну.

Нам следует начать относиться к этому явлению так, как мы относимся к другим фундаментальным вопросам, таких как глобальное потепление [17]. Оно неизбежно произойдет. Оно мощно повлияет [18] на человеческое общество. Оно заново определит смысл понятия доверия к тому, что мы видим и слышим, — в каждом случае, когда речь идет не об увиденном и услышанном лично. Поэтому нам нужен план действий.

—

Джорджіо Патріні [19]; переводено и опубликовано в издании ТЕКСТИ [20]

Адаптация: Аргумент [21]

В тему: