Темная сторона искусственного интеллекта

То, что такие популярные платформы с лояльными пользователями, как Google и Facebook, знают своих пользователей лучше, чем их собственные родственники и друзья, – не преувеличение. Многие компании собирают огромное количество информации в качестве исходных данных для своих алгоритмов. Например, даже лайки, которые ставят пользователи Facebook, позволяют с высокой точностью определять целое множество характеристик этих пользователей: возраст, пол, сексуальную ориентацию, принадлежность к той или иной этнической группе, религиозные и политические взгляды, личные качества, уровень интеллекта, счастья, применение вызывающих зависимость веществ, разведены ли родители.

Если специальные алгоритмы на основе искусственного интеллекта (ИИ) способны сделать столько выводов, исходя лишь из того, в какой ситуации пользователи жмут кнопку «нравится», можно представить, какой объем данных извлекается из информации о том, какие ключевые слова люди используют при поиске, на что кликают, что постят и комментируют.

Все это применимо не только к компаниям-техногигантам. Предоставление всевидящим ИИ-алгоритмам центральной роли в цифровой жизни людей сопряжено с рисками. Например, использование ИИ на рабочем месте может давать компании выигрыш с точки зрения производительности, но одновременно подразумевать снижение квалификации работников. Принятие решений, основанное на «подсказках» ИИ, зачастую не лишено предвзятости, что может приводить к дискриминации (в частности, в кадровых решениях,  получении доступа к кредитованию,  здравоохранению,  жилью и в других сферах).

Но есть еще одна потенциальная угроза, исходящая от ИИ и пока еще недостаточно изученная: манипулирование человеческим поведением. В принципе, манипулятивные маркетинговые стратегии существуют давно. Однако их дополнение огромным массивом данных, обработанных алгоритмическими системами ИИ, серьезно расширило возможности компаний управлять выбором и поведением своих клиентов так, чтобы это приносило больше прибыли. Цифровые технологии позволяют компаниям определенным образом настроить систему и контролировать время, когда пользователи видят их предложения, и таргетировать каждого пользователя индивидуально – в таком случае манипулятивные стратегии гораздо эффективнее и их сложнее распознать.

Сама манипуляция может принимать самые разнообразные формы: от эксплуатации личных предпочтений, обнаруженных ИИ-алгоритмами, и персонализированных стратегий, направленных на формирование привычки потреблять те или иные (онлайн) товары, до извлечения выгоды из неуравновешенного эмоционального состояния пользователей, когда потенциальным клиентам предлагаются специфические продукты и услуги, соответствующие их временному эмоциональному состоянию и потому покупаемые импульсивно. Этой манипуляции нередко сопутствуют «умные» дизайн-тактики, «хищный маркетинг» и вездесущая поведенческая ценовая дискриминация, направленные на то, чтобы подвигнуть пользователей к невыгодному для них выбору, который легко монетизируют фирмы, применяющие ИИ. Основная общая черта таких стратегий в том, что они повышают прибыльность фирм за счет снижения экономической ценности, которую пользователь мог бы извлечь за счет использования онлайн-сервисов.

Успех за счет непрозрачности

Успех таких манипулятивных стратегий достигается за счет отсутствия прозрачности. Пользователи ИИ-систем во многих случаях не знают реальных целей ИИ-алгоритмов и того, как их конфиденциальная личная информация используется для достижения этих целей. Американская розничная сеть Target использовала методы ИИ и анализа данных, чтобы спрогнозировать беременность женщин и отправлять им скрытую рекламу товаров для детей. Пользователи Uber жаловались, что поездки обходятся дороже, если заказ сделан со смартфона с низким зарядом батареи, хотя официально уровень заряда батареи не учитывается в модели ценообразования компании. Бигтехи не раз обвинялись в использовании в собственных интересах информации о том, что ищут пользователи в сети. Один из самых известных примеров этому – решение Еврокомиссии в отношении Google (в июне 2017 г. Еврокомиссия вынесла решение о гигантском штрафе для Google в 2,4 млрд евро за использование доминирующей позиции на рынке: по мнению Еврокомиссии, компания предлагала пользователям, которые искали в сети те или иные товары, в первую очередь продукты собственного шопингового сервиса. – Прим. «Эконс»). Двумя годами позже Федеральная торговая комиссия США оштрафовала Facebook на рекордные за всю историю $5 млрд за манипулирование в использовании конфиденциальных данных пользователей (что в итоге привело к снижению качества сервиса).

Чтобы оценить возможность манипулирования поведением при помощи ИИ, можно использовать теоретическую основу, отраженную в одном из исследований, опубликованных в 2021 г. (профессора MIT Дарона Аджемоглу. – Прим. «Эконс»). Исследование сосредоточено на основных уязвимостях, которые выявляют ИИ-алгоритмы платформ. Это рассылка пользователям рекламы товаров, которые те в определенные моменты склонны импульсивно покупать, даже если качество этих продуктов низкое и не имеет для них дополнительной полезности. Работа показала, что такая стратегия снижает потенциальную пользу для потребителя от применения платформ, повышая выгоды для платформы, искажая привычную схему потребления и порождая дополнительную неэффективность.

Возможность манипулирования человеческим поведением при помощи ИИ-алгоритмов наблюдалась и в ходе экспериментов. Три таких эксперимента детально описаны в работе, опубликованной в 2020 г. Первый из них заключался в серии попыток выиграть фейковую валюту: участники делали выбор между левым и правым изображением на экранах, и после каждой такой попытки участникам сообщали, будет ли их выбор вознагражден. Эксперимент позволил натренировать ИИ-системы: они «знали» паттерн выбора каждого из участников и назначали награду в случае, если те нажимали нужную кнопку. Но в игре было одно ограничение: выигрышными были и левая, и правая опции, причем приз присуждался одинаковое количество раз за выбор и того и другого варианта. Задача же ИИ состояла в том, чтобы побудить участников выбирать один конкретный вариант (например, левое изображение). И в 70% попыток ИИ этой цели успешно достиг.

Во втором эксперименте участников попросили нажимать кнопку, когда они видят на экране определенное изображение, и не нажимать, когда им показывают другую картинку. Задачей ИИ-системы в этом эксперименте было «показывать» изображения в той последовательности, которая заставляет ошибаться наибольшее количество участников. В результате число ошибок выросло почти на четверть.

Третий эксперимент проводился в несколько раундов. В нем участники изображали из себя инвесторов, передающих деньги в доверительное управление – роль доверенного взял на себя ИИ. Затем «траст» возвращал деньги игроку, а тот, в свою очередь, решал, сколько ему инвестировать в следующем раунде. Для этой игры использовались два разных режима: в первом случае задачей ИИ было максимизировать количество денег, которые он получал к концу раунда, во втором случае ИИ «был заинтересован» в справедливом распределении средств между ним самим и инвестором. ИИ с успехом выполнил свою задачу и в первом, и во втором случае.

Важный вывод по итогам всех этих экспериментов заключается в том, что в каждом из них ИИ обучался в ходе «наблюдения» за реакцией людей и выявлял те или иные уязвимости в том, как они принимают решения. И в конце концов ИИ смог склонять участников к принятию определенных решений.

Противовес манипулированию

Когда системы с использованием ИИ разрабатываются частными компаниями, их главной целью служит извлечение прибыли. Поскольку такие системы способны изучать поведение людей, они также способны подталкивать пользователей к определенным действиям, которые выгодны компаниям, даже если это не является лучшим выбором, с точки зрения пользователя.

Возможность такой поведенческой манипуляции требует политики, обеспечивающей человеку при взаимодействии с ИИ автономию. ИИ должен не подчинять себе и обманывать людей, а дополнять их навыки и улучшать то, что умеют делать люди (см. руководство Еврокомиссии по этике ИИ).

Первый важный шаг для достижения этой цели – повышение прозрачности информации о масштабах использования и возможностях ИИ. Должно быть четкое понимание того, каким образом ИИ достигает стоящих перед ним задач. Пользователи должны заранее знать о том, как алгоритмы будут использовать их данные (прежде всего, конфиденциальную личную информацию). Общее регулирование защиты данных в Евросоюзе подразумевает так называемое право на получение объяснений, оно направлено на достижение большей прозрачности ИИ-систем, но эта цель не достигнута. Вопрос о таком праве вызвал горячие споры, и пока его применение очень ограничено.

Системы с использованием искусственного интеллекта довольно часто сравнивают с «черным ящиком» – никто в точности не знает, как они работают. В результате достичь прозрачности в этом вопросе очень сложно. Но с манипулированием дело обстоит несколько иначе. Провайдер ИИ-систем может установить специальные ограничения, чтобы избежать манипулирования поведением пользователей. И здесь задача в большей степени заключается в том, как эти системы будут спроектированы и какова будет целевая функция их работы (включая ограничения).

Манипуляции алгоритма в принципе должны быть объяснены его разработчиками, которые пишут алгоритмический код и наблюдают за работой алгоритма. При этом информация о том, как собраны данные, заложенные в алгоритм, должна быть прозрачной. Подозрительное поведение алгоритмов не всегда может быть результатом их целевой функции, оно может объясняться качеством исходных данных, которые использовались для тренировки и обучения алгоритмов.

Второй важный шаг для ограничения негативных последствий работы алгоритмов заключается в том, чтобы требование о прозрачности их работы соблюдалось всеми разработчиками ИИ-систем. Чтобы этого достичь, необходимо выполнить три условия:

• Работа ИИ и ее результаты должны находиться под тщательным человеческим контролем. 14-я статья законопроекта Евросоюза об искусственном интеллекте (European Union Artificial Intelligence Act, AIA) предполагает, что механизм надзора со стороны человека должен быть обеспечен провайдером любой ИИ-системы. Конечно, помимо этого, у провайдера есть еще и коммерческий интерес в отслеживании работы своей ИИ-системы.

• Человеческий контроль должен включать в себя принципы подотчетности, чтобы обеспечить правильные стимулы для провайдеров. Это также означает, что службы, отвечающие за защиту прав потребителей, должны улучшить свои технические возможности и быть готовыми тестировать ИИ-системы, чтобы корректно оценить любые нарушения и обеспечить соблюдение подотчетности.

• Прозрачность работы ИИ-систем не должна усложнить понимание пользователями того, как они работают. Для этого информация о масштабе применения и возможностях ИИ должна быть разделена на два уровня. Первый уровень, предназначенный для пользователей, должен содержать краткое, четкое и простое описание; а второй, предназначенный для представителей служб защиты прав потребителей, должен содержать больше деталей и информации, доступной в любое время.

Обязательное требование прозрачности работы ИИ даст более четкое представление о целях ИИ-систем и способах, при помощи которых они своих целей достигают. Если это будет сделано, будет проще перейти к третьему важному шагу – выработке свода правил, которые предотвратят применение ИИ-системами секретных манипулятивных стратегий, влекущих за собой экономический ущерб.

Эти правила, которым провайдерам придется следовать и при разработке, и при внедрении ИИ-систем, создадут рамки, ограничивающие функции ИИ. Однако эти правила не должны содержать чрезмерных ограничений, которые могут подорвать экономическую эффективность (для частных лиц и общества в целом), создаваемую этими системами, или снизить стимулы для инноваций и внедрения ИИ.

Но даже если описанные ограничения будут приняты, выявить факты манипулирования на практике будет непросто. ИИ-системы созданы для того, чтобы реагировать на то или иное поведение пользователя, предлагая ему оптимальные из возможных опций. Не всегда легко обосновать разницу между алгоритмом, который дает лучшую рекомендацию, основываясь на особенностях поведения пользователя, и алгоритмом, который манипулирует поведением пользователя, рекомендуя только варианты, максимизирующие прибыль фирм. В случае с Google Еврокомиссии потребовалось на это около 10 лет, и ей пришлось собрать огромное количество данных для доказательств того, что гигант интернет-поиска манипулировал поисковыми результатами.

Трудность с практическим применением изложенных принципов приводит нас к четвертому важному шагу. Необходимо, чтобы о рисках, связанных с применением ИИ, лучше знало общество. Для того чтобы люди осознавали опасности, связанные с их поведением в сети в век ИИ, нужны образовательные программы и тренинги (начиная с молодого возраста). Это также поможет снизить психологические последствия, которые могут нести в себе ИИ-стратегии и другие технологические стратегии, вызывающие зависимость, особенно у подростков. Необходимо, чтобы темная сторона ИИ и то, как люди могут защитить себя от ее влияния, шире обсуждались в обществе.

ИИ может принести обществу огромные выгоды, и, чтобы воспользоваться преимуществами ИИ-революции, необходима адекватная регуляторная база, которая бы минимизировала потенциальные риски развития и внедрения искусственного интеллекта и адекватно защитила пользователей.

Оригинал статьи опубликован на сайте европейского аналитического центра Bruegel. Сокращенный перевод выполнен редакцией Econs.online.