"Жизнь других" в эпоху ИИ

Мне когда-то очень понравился фильм "Жизнь других" (The lives of others), который входит в сотню фильмов всех времен от IMDB. В ленте показывается конец эпохи ГДР. Офицер Штази следит за драматургом Георгом Драйманом, которого подозревают в нелояльности. Этот офицер, капитан Герд Визлер, постепенно меняется под влиянием жизни. Фильм болезненный, глубоко человечный и одновременно невероятно точный в деталях бюрократического абсурда, который держится на страхе и контроле.

Технологии того времени не могли решить задачи, которые ставило перед собой Штази. Прослушивание велось вручную: кто-то часами сидел в наушниках, записывая разговоры. Наблюдение требовало сидения в подъезде, установки микрофонов, ведения бумажных досье. Выявление нелояльности базировалось на доносах, интуиции и рутине, где каждая ошибка - это либо потеря следа, либо разрушенная жизнь. Абсурд, но, к сожалению, он работал и разрушал жизни миллионам людей.

Я подумал: если бы Штази имело современные технологии - ИИ, распознавание голоса и лиц, анализ больших данных, соцсетей, геолокации, эмоций и поведения, - насколько эффективной была бы его работа? Похожие вопросы задают авторы многих книг, которые я читаю, и их ответ пугает: современные системы делают авторитарные режимы эффективными до уровня тотальности. Что мы сейчас имеем в руках контрольных органов и как потенциально или реально это влияет на нашу жизнь?

Массовое прослушивание с автоматической транскрипцией

Если офицеру Штази приходилось часами сидеть в наушниках, записывая каждое слово подозреваемых, то современные системы делают эту работу за считанные секунды. ИИ-алгоритмы могут обрабатывать миллионы телефонных разговоров, автоматически их транскрибировать и выделять подозрительные фрагменты по ключевым словам. Системы распознают эмоциональное состояние говорящего, выявляют сарказм и скрытое недовольство.

Эти технологии давно используют даже в корпоративных колл-центрах. Вместо сотен агентов, которые не могли прослушать всех, алгоритмы и ИИ-агенты могут обрабатывать весь телефонный трафик одновременно. Алгоритмы учатся распознавать паттерны нелояльности: кто часто жалуется на власть, кто обсуждает запрещенные темы, кто контактирует с "неблагонадежными" лицами.

Система может автоматически создавать досье, отмечать уровень угрозы и прогнозировать вероятность участия в протестах. То, на что Штази тратило месяцы ручной работы, теперь может происходить в режиме реального времени почти без человеческого вмешательства, как минимум, в автократических странах.

Системы распознавания лиц на улице

Визлеру приходилось лично следить за драматургом, прячась в подъездах и рискуя быть замеченным. Сейчас сотни тысяч камер делают это автоматически. ИИ-системы могут распознавать лица с точностью до 99%, даже если человек в маске, очках или с новой прической. Каждый шаг по городу фиксируется: в 8:15 вышел из дома, в 8:27 зашел в метро, в 9:03 встретился с подозреваемым на площади.

Алгоритмы могут строить детальные карты социальных связей (похожие на Linkedin InMaps): кто с кем встречается, как часто, где именно. Алгоритмы могут выявлять аномалии в поведении: почему человек изменил маршрут, почему избегает определенных мест, почему вдруг начал встречаться с новыми людьми. Более того, ИИ может анализировать мимику и язык тела, определяя эмоциональное состояние и даже намерения.

Если Штази могло следить только за избранными, то современная система следит за всеми, имея возможность создавать цифровые копии поведения каждого гражданина.

Биометрический контроль

Офицерам Штази приходилось полагаться на фотографии и словесные описания, чтобы опознать подозреваемых. Сейчас биометрические системы делают невозможным анонимность. Помимо распознавания лиц, ИИ может анализировать уникальную походку человека, распознавая его со спины в толпе. Голосовые отпечатки позволяют идентифицировать человека в телефонном разговоре, даже если он пытается изменить голос.

Биометрические данные собираются повсюду: от разблокировки смартфона лицом до прохода через "умные" камеры. Системы анализируют данные с фитнес-браслетов и смарт-часов: пульс при просмотре контента, стресс на встречах, аномальную физическую активность - все, что может указывать на подозрительное эмоциональное состояние.

Если драматург из фильма мог спрятаться в толпе или уехать под чужим именем, то современные биометрические системы узнают человека по десяткам параметров одновременно. Тело становится паспортом, от которого невозможно избавиться или подделать.

Анализ соцсетей и цифрового следа

Штази собирало информацию о людях годами: перехваченные письма, донесения соседей, записи разговоров. Люди на протяжении последних 20 лет сами выкладывают свою жизнь онлайн в соцсетях, а сейчас - и при разговоре с ИИ-ботами. В то же время сами ИИ-алгоритмы могут мгновенно анализировать каждый лайк, эмоциональную окраску комментариев и репостов и создавать детальный психологический портрет человека.

Наши данные - не просто информация, а рычаг власти над гражданами. В такой ситуации лучшая защита от нового Штази - приватность, защита которой становится формой политического сопротивления. Однако и алгоритмы учатся бороться с этим сопротивлением. Они могут выявлять "слабые сигналы" нелояльности: человек не лайкнул торжественный пост лидера, распространил двусмысленный мем, подписался на "неправильный" канал.

ИИ способен прогнозировать, кто может присоединиться к протестам, анализируя историю поисковых запросов, покупку книг, просмотры видео. Система может выявлять скрытые связи между людьми через метаданные соцсети: совместное пребывание в одной локации или похожие паттерны онлайн-активности. То, что раньше требовало месяцев работы агентуры, теперь делается онлайн через анализ цифрового следа.

Троянские программы и шпионское ПО

Чтобы начать прослушивать квартиру драматурга, Визлеру пришлось физически проникнуть туда и установить микрофоны в стенах. Сейчас достаточно одного клика по зараженной ссылке и смартфон превращается в идеального шпиона. Программы вроде Pegasus незаметно устанавливаются на телефон, предоставляя полный доступ к перепискам в мессенджерах, фотографиям, геолокации и паролям.

Камера и микрофон включаются дистанционно, записывая все, что происходит вокруг, даже когда телефон кажется выключенным. Шпионское ПО может подменять сообщения, создавать фальшивые доказательства или незаметно удалять "опасную" информацию. В отличие от громоздких микрофонов Штази, которые можно было найти, современные троянские программы невидимы. Каждый гражданин носит в кармане устройство, которое может транслировать его жизнь спецслужбам добровольно и за собственные деньги.

Цензура с помощью ИИ

В фильме драматург смог написать пьесу о самоубийствах в ГДР и напечатать ее на скрытой печатной машинке. Сейчас ИИ-системы могут анализировать текст еще на этапе написания. Алгоритмы сканируют словав Google Docs и выявляют "подрывные" темы, метафоры, аллюзии, особенно если вы предоставляете доступ ксвоим документам внешним программам. Система распознает стиль автора, сравнивая с базой данных других текстов, и даже если вы пишете под псевдонимом, ИИ узнает ваш стиль по частоте употребления слов, структуре предложений и любимым метафорам.

Алгоритмы могут выявлять скрытые смыслы: что на самом деле означает "серое облако" в контексте произведения, не является ли концепция "темного леса" (dark forest) метафорой режима. Система может автоматически блокировать"опасные" тексты еще до публикации или отчитываться о них, а их авторов вносить в списки повышенного внимания для власти.

ИИ даже способен прогнозировать, какой резонанс может вызвать произведение, анализируя реакцию похожей аудитории на подобные тексты в прошлом. Творчество становится прозрачным для алгоритмов, которые способны видеть подтекст лучше людей-цензоров в Штази.

Предикативная полиция на основе больших данных

Если Штази реагировало на совершенные "преступления мысли", то современные системы их предсказывают. Это как в фильме Minority Report с Томом Крузом, только вместо экстрасенсов работают алгоритмы, а вместо убийств предсказывают политическую нелояльность. Системы способны анализировать миллионы точек данных: от покупок и банковских транзакций до маршрутов передвижения и потребления контента.

Искусственный интеллект может выявлять паттерны, которые предшествуют "опасному поведению": человек начал чаще посещать определенные районы, изменил круг общения, покупает необычные товары, читает "неправильные" онлайн-книги. Алгоритмы могут создавать "индекс риска" для каждого гражданина, прогнозируя вероятность участия в протестах, распространения "вредной" информации или контактов с оппозицией.

Системы могут обучаться на исторических данных и автоматически повышать уровень наблюдения за "группами риска", рекомендовать блокировать банковские счета, ограничивать передвижение или отправлять на "профилактические беседы".

В мире уже используют ИИ-алгоритмы в предикативной полиции: LASER в Лос-Анджелесе, PredPol в Нью-Йорке, SARA в Мемфисе. Много проектов есть в Европе. Некоторые неправительственные организации, которые наблюдают за полицией, уже рапортуют о значительных рисках дискриминации в действиях полиции, которая использует предикативные алгоритмы.

Системы социального рейтинга

Штази вело бумажные досье на подозреваемых, но выводы делали люди, а наказание требовало бюрократических процедур. Системы социального рейтинга, как в Китае, автоматизируют весь процесс: от наблюдения до наказания. Каждое действие гражданина оценивается в баллах: перешел дорогу на красный свет - минус 5, критиковал власть в соцсетях - минус 50, донес на соседа - плюс 20.

Алгоритмы в Китае собирают данные со всех источников: камер наблюдения, транзакций в WeChat, истории покупок, поведения в интернете. Первая серия третьего сезона сериала "Черное зеркало", которая называлась "Под откос" или Nosedive на английском, еще в 2016 году показала, как может работать такая система еще до того, как она была внедрена в Китае, и к чему это приводит. Посмотрите, если не видели.

Низкий рейтинг ограничивает возможности: нельзя купить билет на скоростной поезд, взять кредит, устроить ребенка в хорошую школу. Система создает цифровое гетто для "неблагонадежных" без судов и тюрем. Рейтинг учитывает круг общения: дружба с человеком с низким баллом снижает и твой рейтинг. Это заставляет избегать "токсичных" контактов. Визлер должен был решать, лоялен ли драматург, а алгоритм делает это автоматически, назначая наказание в режиме реального времени.

Все технологии вместе

Сочетание этих технологий создает систему контроля, о которой Штази могло только мечтать. Основные риски очевидны и угрожающие.

Во-первых - беспрецедентная масштабируемость. Если раньше спецслужбы могли следить лишь за избранными "подозрительными", то теперь алгоритмы обрабатывают данные миллионов людей, выявляя "опасные" паттерны в реальном времени.

Во-вторых - автоматизация дискриминации. Алгоритмы, обученные на предвзятых данных, дискриминируют целые группы, создавая цифровое гетто для "неблагонадежных".

В-третьих - подрыв основ демократии. Когда каждый шаг может быть использован против тебя, люди начинают себя цензурировать, что убивает свободу мысли и слова.

В-четвертых - отсутствие подотчетности. В отличие от офицера Штази, который мог сделать моральный выбор, алгоритмы работают в "черном ящике" без возможности обжалования. Эти технологии уже разворачиваются, часто без контроля, публичного обсуждения или понимания долгосрочных последствий для человеческой свободы.

Вместо самари

Большинство этих тем подробно раскрыты в книгах. Так, Кэти О'Нил в Weapons of Math Destruction в 2017 году фокусировалась на конкретных механизмах алгоритмической несправедливости. Она показывала, как непрозрачные математические модели, используемые в полиции, судах и системах социального обеспечения часто усиливают дискриминацию под видом объективности.

Алгоритмы создают замкнутые циклы: людей из определенных районов чаще проверяет полиция, поэтому там фиксируется больше нарушений и поэтому алгоритм направляет туда еще больше патрулей. То, что выглядит как нейтральная математика, становится инструментом системного подавления. Мы в США это видели сами.

Шошана Зубофф в The Age of Surveillance Capitalism в 2020 году, еще до появления современных ИИ-моделей, предупреждала, что неконтролируемый капитализм надзора угрожает основе демократии и человеческой автономии. То, что разрабатывалось для таргетированной рекламы, может и будет использоваться для таргетированных репрессий.

Кейт Кроуфорд в Atlas of AI развенчивает миф о нейтральности искусственного интеллекта. Она доказывает, что ИИ-системы всегда поддерживают властные структуры и интересы их создателей. Когда авторитарное государство внедряет алгоритмы массовой слежки, оно не просто автоматизирует старые методы Штази, а создает принципиально новую систему контроля, где власть видит все, оставаясь непрозрачной для граждан. Кроуфорд называет это "реестром власти", который закрепляет и усиливает неравенства.

То, что для Штази требовало армии информаторов и километров бумажных досье, теперь делают ИИ-алгоритмы. Самое важное сейчас - осознать, что технологии уже здесь, они не исчезнут и нам придется научиться жить в мире, где приватность становится роскошью, а анонимность - почти невозможной. Вопрос в том, успеем ли мы выработать новые правила игры для такого мира. Скорее всего, нет и нам с этим жить дальше.