Побочный эффект автоматизации: «доверяй, не проверяй»

В 1999 г. Почтовая служба Великобритании начала автоматизировать бухгалтерские процессы в примерно 14000 отделений и внедрила в них централизованную компьютерную систему Horizon, которая заменила традиционные «бумажные» методы учета. После подключения к системе у многих почтовых отделений возникли проблемы с бухгалтерией: Horizon стала выявлять неучтенные наличные и товары, скрытые убытки. Руководствуясь данными компьютерной системы, Почтовая служба с 1999 по 2015 г. привлекла к ответственности за кражу, мошенничество и фальсификацию бухгалтерской отчетности около 1000 субпочтмейстеров – частных предпринимателей, владеющих и управляющих почтовыми отделениями по договору с Почтовой службой. Сотни из них были отправлены в тюрьму, сотни обанкротились, а как минимум 13 покончили жизнь самоубийством.

В 2017 г. более 500 владельцев почтовых отделений подали в Высокий суд коллективный иск против Почтовой службы, который спустя два года был удовлетворен. Оказалось, что Horizon выдавала неправильные отчеты, завышая количество наличных денег и товаров, находившихся в отделениях. При этом компьютерная система не предполагала возможности объяснить и оспорить обнаруженные недочеты: без цепочки доказательств, создаваемой «бумажными» методами учета, доказать невиновность было практически невозможно. Жалобы владельцев отделений по поводу системы Почтовая служба игнорировала.

В 2024 г. британская Комиссия по пересмотру уголовных дел назвала скандал вокруг Horizon самым масштабным примером судебных ошибок в истории Великобритании. В середине 2025 г. вышел первый доклад по итогам расследования, в котором отмечалось, что Почтовая служба «поддерживала вымышленное представление о том, что ее данные всегда были точными». Расследование все еще продолжается; однако пока ни один менеджер Почтовой службы или компании Fujitsu, создавшей систему Horizon, не был привлечен к ответственности.

«Дело Horizon» можно назвать одним из самых одиозных примеров «предвзятости автоматизации» (automation bias). Это склонность чрезмерно полагаться в решениях на данные автоматизированных систем. Спроектированные для того, чтобы помочь избежать ошибок, связанных с человеческим фактором, автоматизированные системы воспринимаются как более точные и непредвзятые. Это нередко приводит к трагическим ошибкам – от банкротств бизнеса из-за многомиллионных убытков до авиакрушений и неверных диагнозов и лечения.

К счастью, не каждая «предвзятость автоматизации» ведет к катастрофам – но она часто проявляется в рутинных решениях, представляя собой довольно распространенный феномен. В обыденной жизни это выглядит как безоговорочное доверие навигатору, заведшему в тупик, или слепое следование инструкциям умной колонки. В конце концов, кто не останавливался в поиске информации, удовлетворившись первым же ответом от ИИ?

Ошибки действий и ошибки бездействий

«Предвзятость автоматизации» была выявлена в 1990-х, когда в авиации начали внедрять технологии автоматизации для исключения человеческих ошибок. Термин «предвзятость автоматизации» был введен психологами Линдой Скитка, Кэтлин Мозье и Марком Бердиком после проведения серии экспериментов (1, 2, 3, 4). Исследователи сравнивали, в частности, как пилоты принимали решения с использованием и без использования автоматизированной системы мониторинга (АМA, automated monitoring aid).

Они обнаружили парадокс. Хотя общее количество ошибок благодаря автоматике сократилось, возник новый класс ошибок: когда автоматика давала сбой, полагавшиеся на нее люди начинали ошибаться гораздо чаще, чем в таких же ситуациях без автоматики.

Например, в одном из экспериментов, когда в штатном режиме АМА предоставляла правильные указания, участники «автоматизированной» группы давали больше правильных ответов (83%), чем участники группы без автоматизированной поддержки (71%). Однако когда автоматика не сообщила о возникшей проблеме, точность решений в «автоматизированной» группе сократилась до 59%, тогда как в группе без АМА составила 97%. А когда автоматика врала (давала ложный сигнал) – точность полагавшихся на нее и вовсе упала до 35%.

• Первую группу ошибок исследователи назвали «ошибками пропуска» (omission errors): это когда автоматика не сообщила о проблеме, и человек не предпринял необходимых действий, хотя мог обнаружить проблему самостоятельно (по показаниям приборов в случае эксперимента с пилотами). Наличие автоматики сделало людей пассивными: они перестали следить за ситуацией, переложив эту задачу на автоматизированную систему.
• Вторая группа ошибок – «ошибки совершения» (commission errors): это когда автоматика дает ложный сигнал, и человек выполняет то, что делать не следовало. Люди слепо следовали рекомендациям автомата, даже если их собственные знания (показания других приборов) требовали обратного.

И те и другие ошибки – проявление феномена «предвзятости автоматизации». В первом случае человек не делает то, что нужно, потому что автоматика не сообщает о такой необходимости. Во втором случае человек делает то, что не нужно, потому что «так сказал автомат».

Причины «предвзятости автоматизации»

«Предвзятость автоматизации» можно назвать одной из когнитивных эвристик – способов упростить принятие решений, жертвуя точностью и глубоким анализом в пользу скорости. Человеческий мозг формирует когнитивные схемы на основе опыта взаимодействия с окружающим миром, и затем эти схемы используются в качестве «кратчайших путей» для понимания и интерпретации поступающей информации.

В большинстве случаев это помогает отфильтровывать ненужную информацию, высвобождая когнитивные ресурсы для анализа более сложной информации, необходимой для выполнения задачи. В случае «предвзятости автоматизации» роль «кратчайшего пути» играет высокий уровень доверия информации, которую предоставляет машина.

Эта предвзятость может возникать по нескольким причинам, побуждающим людей больше доверять не себе, а машинам.

Желание снизить когнитивную нагрузку. Автоматизированные системы не устают, не испытывают эмоций и способны обрабатывать большие объемы информации. Поэтому люди часто предполагают, что автоматика и алгоритмы более точны, последовательны и надежны, чем сами люди. При взаимодействии с автоматизированными системами, которые воспринимаются как высоконадежные и способные работать постоянно, без пропусков и ошибок, у людей часто возникает эффект самоуспокоения (complacency effect). Он может усиливаться в условиях высокой нагрузки – например, когда операторы работают в многозадачной среде, где мониторинг автоматизации является лишь одной из многих задач (1, 2). Самоуспокоение представляет собой своего рода компенсаторный механизм для снижения общей рабочей нагрузки, обусловленной конкурирующими задачами в сложной среде. И может приводить к неспособности распознавать критически важные сигналы реального мира, которые могли бы предоставить альтернативную точку зрения.

Восприятие автоматизированной системы как более авторитетного «партнера». Люди склонны следовать рекомендациям и считать информацию достоверной, если она исходит из источника, воспринимаемого как экспертный. Эта «предвзятость авторитета» (authority bias) может распространяться и на автоматические системы, часто воспринимающиеся как превосходящие по своим характеристикам людей. Более того, с распространением инструментов ИИ, таких как чат-боты или виртуальные помощники, «предвзятость авторитета» может дополняться «парасоциальным доверием» – склонностью относиться к «человекоподобным» чат-ботам как к доверенным социальным партнерам, а не как к компьютерной программе, имитирующей диалог.

«Заякоривание» на полученных от автоматики данных. «Предвзятости автоматизации» может способствовать «эффект привязки», или «эффект якоря» (anchoring). Информация или рекомендация, полученная от автоматизированной системы, выступает в качестве ориентира («якоря»), что затрудняет адаптацию к более точной, но последующей информации, если она противоречит первичной «автоматизированной». Так, одно из исследований показало, что люди, которые сначала обнаружили сильные стороны ИИ-системы, из-за положительного впечатления о ней были более склонны к «предвзятости автоматизации». Напротив, те люди, которые сначала обнаружили слабые стороны ИИ-системы, были склонны недооценивать ее из-за негативного первого впечатления и больше полагались на себя.

Последствия «предвзятости автоматизации»

В тех областях, где автоматизация существует уже относительно давно, предвзятость в ее отношении признана, хотя за прошедшие десятилетия так и не искоренена. Развитие ИИ привело к значительно более совершенной автоматизации, позволив применять ее в задачах, немыслимых в 1990-е; и наряду с этим «предвзятость автоматизации» начала проникать в более сложные технологии и сектора, от здравоохранения и финансов до производства и обороны. Избыточное доверие машинам может обернуться дорогостоящими ошибками: как от бездействия, поскольку автоматика ничего делать не предложила; так и от действий, когда люди следуют неверным рекомендациям автоматизированных систем.

Так, в середине 2010 г. из-за «предвзятости автоматизации» произошел один из крупнейших разливов нефти на суше в истории США (всего через несколько месяцев после разлива нефти с платформы BP Horizon в Мексиканском заливе). Нефтепровод, эксплуатируемый компанией Enbridge, лопнул, и нефть попала в приток реки Каламазу. После этого более 60 километров реки были закрыты для очистки, на которую потратили свыше $1 млрд, а компанию оштрафовали на $177 млн. Последовавшее расследование показало, что операторы Enbridge с многолетним опытом проигнорировали сигналы тревоги, указывающие на низкое давление и утечку в трубопроводе. В их системе диспетчерского управления отображалась нормальная ситуация, и они доверились системе, продолжив перекачивать нефть вместо аварийной остановки трубопровода.

Исследование работы рентгенологов, которые вместе с ИИ-помощниками оценивали маммограммы и давали заключения, показало, что «предвзятость автоматизации» может влиять на медицинские заключения. ИИ проводил оценку каждого рентгеновского снимка, и исследователи настроили ИИ таким образом, чтобы для части снимков он давал неверный ответ. Рентгенологи, вне зависимости от собственного опыта, были склонны больше полагаться на ИИ-помощника и чаще допускали ошибки. Когда ИИ выдавал неверный результат, у неопытных и среднеквалифицированных рентгенологов точность обнаружения рака снижалась с 80% до 22%, а у очень опытных – до 45%, то есть более чем вдвое.

В Дании в 2019 г. власти были вынуждены отправить на пересмотр 10000 уголовных дел и отменить приговоры в отношении 32 осужденных, поскольку обнаружили ошибки в специальном алгоритме, использовавшемся полицейскими. Алгоритм на основе геолокационных данных мобильных устройств, полученных от операторов связи, мог выстраивать маршрут движения подозреваемых в преступлениях в интересующие следствие дни. Выяснилось, что судьи чрезмерно доверяли результатам работы этого алгоритма, даже когда в рассматриваемых делах имелись доказательства, ставящие правильность автоматизированных данных под сомнение.

В 2012 г. ошибка в компьютерной торговой программе фактически довела до банкротства одного из крупнейших трейдеров на американском фондовом рынке – Knight Capital, за 45 минут торгов потерявшего $440 млн. Трейдеры заметили проблему в первые пару минут – но на вопрос, почему ничего не было предпринято, никто не смог ответить. Через несколько месяцев Knight Capital был приобретен конкурентом – компанией Getco.

Как преодолеть «предвзятость автоматизации»

Отказаться от использования автоматизированных помощников было бы непрактично и крайне невыгодно – да и просто невозможно, они стали частью множества сфер экономической и социальной жизни. Проблема не в технологиях, а во взаимодействии с ними. И чтобы если не преодолеть, то хотя бы смягчить «предвзятость автоматизации», это взаимодействие должно быть более разумным.

Прежде всего, само понимание «предвзятости автоматизации» – важный шаг к минимизации этого когнитивного искажения. Понимание того, что автоматизированные системы – это инструменты, а не непогрешимые эксперты, оставляет человеческому суждению активную роль в процессе принятия решений.

Одно из исследований, в котором изучались способы снижения «предвзятости автоматизации» в ИИ-инструментах подбора персонала, показало, что этому снижению способствует простое информирование о вероятности ошибок автоматизированных систем. Участники эксперимента, которым сообщали о том, что ИИ-инструменты подвержены искажениям при оценке возможных кандидатов на должность, более критически относились к «автоматизированным» рекомендациям и выбирали более подходящих кандидатов. В другом эксперименте, где люди решали задачки с помощью чат-ботов, визуально выделенное предупреждение о том, что ответы ИИ могут содержать ошибки, снижало количество неверных решений.

На индивидуальном уровне для преодоления «предвзятости автоматизации» полезно развитие критического мышления; проверка «входных» данных и полученных от автоматизированных систем результатов с помощью независимых методов или дополнительных источников – вместо пассивного принятия. Обращение к нескольким источникам информации в любом случае обеспечивает более широкий взгляд на ситуацию. При этом важно не впасть в крайний скептицизм, который ведет к другому когнитивному искажению – «неприятию алгоритмов», когда люди предпочитают пусть даже ошибочные, но «человеческие» решения рекомендациям автоматизированных систем.

На уровне организаций, в свою очередь, полезно поддерживать культуру, которая поощряет критическое мышление, учет разных точек зрения, сообщения о проблемах без страха перед последствиями. Регулярный аудит автоматизированных систем может выявлять скрытые ошибки и «предвзятость» самой «автоматики». Хотя проверка каждого фрагмента генерируемых данных может быть затруднительна и неэффективна, оценка и проверка итоговых результатов должна стать частью регулярной работы, которая, помимо прочего, может сделать выявленные ошибки материалом для дообучения алгоритмов.

Наконец, смягчить «предвзятость автоматизации» может повышение социальной ответственности, показывали в своих исследованиях Линда Скитка, Кэтлин Мозье и Марк Бердик. Участники экспериментов, которые считали себя ответственными за то, как они используют автоматику, значительно чаще перепроверяли правильность ее действий и совершали значительно меньше ошибок, чем те, кто не отмечал у себя такого ощущения.