«Планы бесполезны, планирование бесценно»: экономические прогнозы в эпоху неопределенности

«Наше желание узнать будущее всегда будет сильнее наших способностей», – отмечали в своей книге «Суперпрогнозирование» Дэн Гарднер и Филип Тетлок, канадско-американский психолог и политолог, известный своими исследованиями прогнозов и прогнозистов. Изучая, как люди делают точные прогнозы, они приходят к выводу, что эта способность – «не загадочный дар, дающийся при рождении», а требующая дисциплины мыслительная привычка: «Это результат определенного хода мысли, сбора информации, уточнения своих представлений». Эта книга, как признался заместитель председателя Банка России Алексей Заботкин, стоит на видном месте на его книжной полке.

В онлайн-дискуссии «Экономические прогнозы: кто формирует ожидания?», прошедшей 8 октября в рамках Просветительских дней Российской экономической школы (РЭШ), Алексей Заботкин и профессора РЭШ Олег Шибанов и Марат Салихов обсудили, почему так сложно сделать идеальный прогноз, как работают ожидания, каким прогнозам стоит доверять и почему при прогнозировании важен консенсус мнений.

«Эконс» приводит выдержки из дискуссии.

Почему экономисты ошибаются в прогнозах?

Алексей Заботкин:

– Во-первых, экономика – очень сложная система с сильными механизмами обратной связи, в которой, в отличие от физических систем, действуют не объекты, а субъекты, чьи решения в настоящем определяются ожиданием того, что будет в будущем. Наличие этих ожиданий радикально усложняет и структуру экономических моделей, и аппарат анализа данных для целей прогноза. Методы, которые позволили полноценно учитывать эти эффекты, были разработаны сравнительно недавно, в конце 1990-х – начале 2000-х.

Во-вторых, структура экономики и типы взаимодействия между ее составными частями со временем меняются, и на макроуровне нет возможности использовать стандартный подход научного метода из естественных наук, а именно повторяющийся эксперимент. Механическая экстраполяция неких усредненных прошлых трендов или прошлых кризисов на будущие события дает заведомо неполное представление о том, что может происходить в условиях, которые структурно отличаются от того, что было в предыдущие десятилетия, за которые у нас есть данные.

В-третьих, кризисные явления нередко реализуются неожиданно, и причиной становятся непредвиденные шоки неэкономического свойства.

Но, как правило, экономика справляется с кризисом лучше, чем большинство экономистов предсказывают в разгар кризиса. Рискну предположить, что это связано с тремя причинами. Первая – высокая адаптивность экономики, бизнеса и граждан. Если нет больших накопленных до кризиса уязвимостей и ошибочных решений по ходу кризиса, которые могут усугубить ситуацию, то экономика поглощает шок быстрее, чем это представлялось изнутри кризиса.

Вторая причина – с точки зрения принятия решений и в частном, и в государственном секторе при кризис-менеджменте лучше исходить из плохого сценария. Есть ошибка первого рода, которая представляет собой «ложную тревогу» – ошибочное предсказание чего-то плохого, что не случилось, и это не страшно. А есть ошибка второго рода – это то, что офицеры ПВО называют «пропуск цели». Надо, чтобы по возможности пропусков цели было поменьше. Как говорится, предупрежден – значит вооружен. Если все окажется лучше, это не будет проблемой, а если мы недооценим глубину кризиса и недостаточно и несвоевременно отреагируем на него, то издержки этой ошибки усугубят ситуацию.

Третий момент – своевременная и соразмерная реакция экономических властей уменьшает глубину, длительность последствий от кризиса. И, соответственно, прогнозы могут эффективность этих действий также недооценить.

Олег Шибанов:

– Шоки возникают неожиданно, и экономисты – это не те люди, у которых есть хрустальный шар. Изменение поведения на фоне шоков может не совпасть с тем, что показывают исторические данные. Мы можем описывать сценарии достаточно неплохо, но выбрать из них гарантированный вариант мы, конечно, не можем, потому что мы будущего не знаем.

Марат Салихов:

– Можно выделить несколько системных проблем в прогнозировании. Во-первых, недостаточно данных для того, чтобы строить на их основе надежные статистические модели. Во-вторых, как отметил Алексей, экономика – это адаптивная система с обратной связью, а такие системы особенно сложно моделировать. Создавать алгоритмы для них гораздо труднее, чем, например, прогнозировать погоду. Третья причина – нестационарность: экономика 50–70 лет назад и экономика сегодня – это очень разные экономики. Дополнительная проблема – эксперты подвержены когнитивным искажениям.

Чьим прогнозам можно доверять?

Олег Шибанов:

– С моей точки зрения, надо слушать всех, кто способен внятно говорить. Разные точки зрения могут вас обогатить. Но в целом я обычно показываю три слайда с прогнозами: Центрального банка, Минэкономразвития и консенсус-прогноз аналитиков.

Алексей Заботкин:

– С моей точки зрения, нельзя, конечно, полагаться на мнение отдельного человека. Строго говоря, надо доверять не очень большой группе информированных экспертов, которые вооружены хорошим арсеналом научно обоснованных методов оценки ситуации и прогнозирования. Это как при обращении к врачу: если ситуация сложная, вы идете и получаете второе мнение, а если очень сложная, то собирается консилиум из разных специалистов, чтобы посмотреть на ситуацию с разных сторон.

Именно поэтому центральные банки принимают решения коллегиально: ценно мнение не того, кто наиболее уверен в своем суждении, а того, кто готов делиться своим мнением и слушать аргументы коллег. И в итоге приходить к целостному пониманию происходящего, веера возможностей на будущее и того, какое решение может быть наиболее взвешенным.

Для центрального банка важно понимать, как экономика, спрос и инфляция будут вести себя при разных сценариях. Конечно, есть наиболее вероятный, по коллегиальному мнению совета директоров, сценарий, который мы публикуем как базовый. Но в ходе обсуждения, которое предваряет решение по ставке, рассматривается гораздо более широкий спектр вариаций. У нас есть департамент исследований и прогнозирования и департамент денежно-кредитной политики, которые самостоятельно и независимо друг от друга готовят модельные расчеты – иногда они дают близкие друг к другу картинки, иногда чуть разнятся, это дает как раз пространство для обсуждения.

Цель прогнозирования, с моей точки зрения, в том, чтобы иметь согласованный инструмент, то есть модель, которая позволяет сопоставлять разные варианты предпосылок относительно будущего. И на базе такого вероятностного взгляда принимать решения, учитывая цену ошибки. И первого рода, и ошибки второго рода.

Марат Салихов:

– Если нас интересует спрос на какой-то товар, то я бы на первое место поставил модели машинного обучения, статистические модели, затем большие языковые модели и только потом экспертов. Если интересует макроэкономика – то очередность ровно обратная. Все эти альтернативы можно скомбинировать. У нас может быть панель экспертов, чьи предсказания скорректирует натренированная статистическая модель, снизив, например, чрезмерный оптимизм и придав больше веса мнению аналитиков, чьи предсказания до этого были более точными.

Определяющие характеристики суперпрогнозиста, если смотреть на данные Тетлока, с которыми я сейчас активно работаю, – это интеллект, умение работать с цифрами и когнитивная рефлексия, то есть осторожность и склонность к аналитическому мышлению, а не к быстрым импульсивным действиям. Филип Тетлок провел два больших, глобальных исследования. Одно было в 1980-х годах, называлось Expert Political Judgment. Он собрал конвенциональных экспертов по социальным наукам, по военным вопросам и так далее, задавал им вопросы о будущем. Эти вопросы часто были долгосрочными, например со сроком до пяти лет. Исход этого исследования был пессимистичным: в принципе, прогнозы экспертов мало чем отличались от случайного выбора альтернатив.

Потом, в 2010-е гг., Тетлок поучаствовал в турнире по геополитическому прогнозированию, набрав людей, которые не были экспертами, а просто хотели прогнозировать, интересовались этим. По итогам первого года турнира он из них отобрал 2% самых лучших. И потом эта команда уверенно побеждала всех остальных, даже профессиональных аналитиков с доступом к секретным данным, она примерно в 75−80% случаев верно угадывала исход дела. Теперь эти люди прогнозируют на разных платформах предсказаний. Это были не инсайдеры, а люди самых разных профессий, умеющие анализировать данные, учитывать вероятности и проявлять гибкость в мышлении. Всех их объединяют внимание к деталям и тщательная калибровка прогнозов: они корректировали их каждый день, вылавливали и исправляли ошибки, меняя прогнозы понемногу – с шагом в 1 процентный пункт. Каждый вопрос они раскладывали на подвопросы и компоненты, учитывая огромное количество информации. 

Как прогнозы центробанка влияют на поведение бизнеса и людей?

Алексей Заботкин:

– Здесь опыт последних двух лет был для нас очень поучительным. В первой половине 2024 г. и бизнес, и финансовые рынки продемонстрировали склонность интерпретировать наш прогноз очень буквально и, что важно, – избирательно. В прогнозе содержалось ожидание снижения ключевой ставки по мере замедления инфляции. При этом экономические агенты сохраняли повышенные инфляционные ожидания, инфляция оставалась высокой. Совместив эти повышенные ожидания с нашим прогнозом снижения ставки – что делать с методологической точки зрения нельзя, – и рынки, и заемщики оценивали уровень реальных процентных ставок как сравнительно умеренный, и маховик роста кредита раскручивался вплоть до осени. В итоге, чтобы этот процесс пресечь, потребовался гораздо более высокий уровень ключевой ставки.

Это пример, наверное, не самосбывающегося прогноза, но прогноза, который был некорректно считан. Мы извлекли из этого уроки. С середины прошлого года мы гораздо более навязчиво объясняем то, что траектория ключевой ставки, которая содержится в прогнозе, имеет смысл только в контексте остальных предпосылок и механики прогноза. И если кто-то по каким-то причинам считает, что инфляция будет замедляться более постепенно или не будет замедляться, он должен исходить из того, что Центральный банк, когда это увидит, поведет ставку по другой траектории. Собственно, это и описано в альтернативных сценариях.

Прогнозисты подвержены когнитивным искажениям – даже в центральных банках?

Алексей Заботкин:

– Макроопросы Банка России – хороший пример консенсусного прогноза. Мы не даем конкретные имена, кто что предсказывает, а даем диапазоны с разбросами центральной тенденции. Мы внутри видим отдельные позиции. И я точно знаю, у кого какие смещения есть. Мы, кроме этого, проводим встречи с аналитиками, где обсуждаем их взгляды и пытаемся прояснить какие-то вопросы. У каждого есть свои убеждения – я бы не называл их когнитивными искажениями, – с которыми, может быть, кто-то другой категорически не согласен. Когорта экспертов, чьи позиции друг друга уравновешивают и соревнуются и на которых вы можете ориентироваться, нужна.

В книге Тетлока «Суперпрогнозирование», которую упоминали, – она меня в свое время очень заинтересовала, до сих пор стоит на видном месте на книжной полке, – в ней очень наглядно демонстрируется важная вещь: залогом хорошего прогноза является в первую очередь дисциплинированный и критический анализ поступающих новых квантов информации, причем в реальном времени, по мере того как они поступают, и регулярный апдейт прогноза на основании этих данных. Это весомая причина, почему центральные банки не принимают решение о том, какая будет траектория ключевой ставки, раз в год на год вперед. А регулярно, примерно раз в шесть недель, собирают совет директоров, чтобы уточнить оптимальную траекторию своей политики с учетом поступающей информации. Есть цитата, которая обычно приписывается Джону Мейнарду Кейнсу и очень уместна в прогнозировании: «When facts change, I change my mind» – «Когда факты меняются, я меняю свое мнение».

Совершит ли ИИ революцию в прогнозировании?

Алексей Заботкин:

– LLM-модели – мощнейший инструмент. Для интеллектуального труда это как изобретение экскаватора для людей, которые до этого копали лопатами. Производительность труда в нашей сфере деятельности сильно возрастет. Но нам еще предстоит узнать, насколько LLM свободны от предвзятости, – в социально-политических вопросах они демонстрируют смещение, исходя из того, на каком корпусе контента обучены.   

Поэтому я бы не стал считать, что LLM – панацея и абсолютно непредвзятый холодный разум, который гораздо умнее, чем дисциплинированный эксперт. Но чтобы не быть таким скептиком, я попросил LLM помочь мне дать синопсис из 500 слов про книгу «Сигнал и шум» Нейта Сильвера. Одну его фразу процитирую: «В конечном счете «Сигнал и шум» – это не просто руководство для улучшения прогнозирования, но призыв к интеллектуальному смирению перед лицом сложности». Хорошо, что LLM понимают суть того, чему нас учат эксперты в области прогнозирования, и, наверное, если сами LLM будут к этому прислушиваться, то будут двигаться в том же направлении.

Олег Шибанов:

– Вопрос в качестве моделей и в том, как мы их структурируем и будем улучшать. Но если только не вживить нейролинк каждому человеку, чтобы ежесекундно собирать информацию, мы просто не сможем гарантированно понимать, что происходит с экономической активностью. Поэтому шоки мы все равно прогнозировать не сможем.