Центральные банки стремятся говорить ясно, понятно и просто: это критически важно для эффективного таргетирования инфляции. Мы провели оценку доступности коммуникации Банка России с помощью нейросетей: она показала, что уровень его текстов относительно сложен для широкой публики.
28 сентября 2021   |   Алина Евстигнеева, Марк Сидоровский

За последние три десятилетия центральные банки от «эзотерического искусства», «несвязного бормотания» и принципа «никогда не объясняй, никогда не извиняйся» (последний афоризм принадлежит возглавлявшему Банк Англии в 1920–1944 гг. Монтегю Норману) перешли к подробному объяснению решений и максимально возможной открытости.

Сегодня, когда абсолютное большинство центробанков имеет аккаунты в социальных сетях, сложно поверить, что первый пресс-секретарь Банка Англии при приеме на работу в 1940-х получил инструкцию «держи банк подальше от прессы, а прессу – подальше от банка». В том числе за это отношение к коммуникации центробанкиров нередко призывали «покинуть башню из слоновой кости».

Так что же изменилось? Центральные банки начали массово переходить к режиму таргетирования инфляции. По сравнению с прошлыми парадигмами управления денежной массой или золотого стандарта этот режим походил на магию: теперь центробанки стремились управлять ожиданиями и настроениями экономических агентов, которые принимают решения тратить или сберегать. Именно баланс этих настроений в рыночной экономике влияет на инфляцию со стороны спроса. Воздействовать на поведение людей можно двумя способами: через ставки и через коммуникацию. При этом даже чисто инструментальные решения по ставке нужно преподнести так, чтобы люди поверили центробанку и начали вести себя соответствующим образом. Поэтому искусство общения стало важным навыком для современного центробанкира.

Закономерно возникает вопрос: какую коммуникацию центробанка можно считать хорошей? В литературе, как правило, выделяют два параметра. Первый – это удобочитаемость. Этот критерий отвечает на вопрос, какой уровень образования нужен для понимания текста центробанка. Зная уровень удобочитаемости, мы можем сказать, какой охват аудитории потенциально может быть у регулятора при текущем уровне доступности его коммуникаций: смогут ли его понять только доктора наук, или он способен говорить напрямую с самой широкой аудиторией. Второй критерий – это открытость. Он отвечает на вопрос, насколько подробную информацию предоставляет центробанк о своей политике.

Сложнее квантовой механики

Как заметил сотрудник Банка Англии Джонатан Фулвуд в неофициальном блоге Банка Англии Bank Underground, сегодняшние тексты центральных банков необоснованно сложны. По его подсчетам, понимание большей части статей в СМИ и художественных текстов, созданных великими писателями, требует не более десяти лет образования. Даже понимание речи нобелевского лауреата по физике Ричарда Фейнмана с объяснением принципа неопределенности Гейзенберга требует всего восьми лет образования. Но чтобы понять тексты центральных банков, требуется 14 (!) лет образования.

Эти оценки сделаны с помощью классического индекса удобочитаемости Флеша – Кинкейда (используемого, в частности, в пакете Microsoft Office для проверки удобочитаемости). Он рассчитывает сложность текста по двум простым параметрам: средняя длина слова в слогах и средняя длина предложений в словах. Разработанные около полувека назад, эти формулы удобочитаемости до сих пор очень популярны. В том числе их используют исследователи качества коммуникации центробанков и сами центральные банки – например, при подготовке речей руководства.

Дэвид Янсен из Банка Нидерландов в 2010 г. с помощью индекса Флеша – Кинкейда продемонстрировал существование обратной зависимости между удобочитаемостью текстов центральных банков и волатильностью финансовых рынков. В 2013 г. Алес Булир из МВФ с соавторами через тот же индекс сделали вывод о связи низкой удобочитаемости материалов центральных банков с повышенной волатильностью инфляции.

Чуть позже, в 2014 г., экономисты Федерального резервного банка Сент-Луиса проанализировали заявления Комитета по операциям на открытом рынке (Federal Open Market Committee, FOMC) ФРС США с использованием индекса Флеша – Кинкейда. Обнаружилось, что по мере того, как заявления FOMC становились более подробными, они также становились менее доступными для восприятия. К концу председательства Алана Гринспена в январе 2006 г. объем заявлений FOMC составлял в среднем 210 слов, и их понимание требовало 14 лет обучения. В последующие годы, в условиях глобального финансового кризиса, размер и сложность текстов выросли драматически: за время председательства Бена Бернанке к январю 2009 г. средний объем заявления достиг 400 слов, а при Джанет Йеллен (возглавлявшей ФРС в 2014–2018 гг.) превысил 800, и для понимания этих текстов требовалось уже 16 и 18–19 лет обучения соответственно. Таким образом, заявления FOMC стали малопонятны даже выпускникам колледжей.

Модель ясности коммуникации

Для Банка России оценок удобочитаемости текстов по денежно-кредитной политике до сих пор не проводилось. В нашем исследовании, опубликованном в только что вышедшем номере журнала «Деньги и кредит», мы поставили задачу создать такой инструмент, основанный на лингвистическом и текстовом анализе и использующий методы машинного обучения.

Для этого прежде всего были отобраны 10000 текстов, уровень удобочитаемости которых возрастает от первого (соответствует кандидатам и докторам экономических наук) до десятого (соответствует младшим школьникам). Эта шкала была разработана нами, но принцип ее формирования мы позаимствовали из классических индексов удобочитаемости. Например, Рудольф Флеш взял для самого простого уровня сложности тексты комиксов, а для самого сложного – юридические договоры. Мы придерживались той же логики, загрузив в седьмой – десятый уровни удобочитаемости списки литературы, рекомендованные для внеклассного чтения школьникам. На первом, самом сложном, уровне мы поместили сугубо профессиональную экономическую литературу, законы, регулирующие банковскую деятельность и финансовые рынки, а также монографии по макроэкономике и финансам.

Таргетируемым уровнем доступности мы выбрали шестой – он соответствует выпускникам школ. Сюда входят тексты, составляющие зону комфортного чтения в повседневной жизни: это новости, блоги, подкасты, телеграм-каналы, современная развлекательная литература, статьи «Википедии». Восприятие этих текстов не должно быть затруднительным для большей части людей.

В этой системе мы учли один важный нюанс. Тексты с последовательно возрастающей сложностью требуются для обучения модели, и, поскольку модели придется работать с текстами экономической направленности, мы включаем в корпус экономические тексты начиная с шестого уровня удобочитаемости. Таким образом, на уровнях с седьмого по десятый 100% текстов – это художественная литература, на шестом уровне 10% текстов представлены самыми простыми заметками общественно-политических СМИ на близкую к экономике тематику (например, новости о повышении пенсий). На первом и втором уровнях все тексты посвящены сугубо экономической тематике.

Из всех 10000 текстов мы извлекаем не две базовые характеристики, как в классическом индексе Флеша – Кинкейда, а 44. Этот набор составлен на основе советских и российских научных работ, посвященных выявлению того, что делает сложным написанный на русском языке текст, а также мирового опыта развития критериев удобочитаемости. Характеристики условно разделены на шесть уровней:

  • синтаксические (относятся к структуре предложений),

  • лексические (характеристики отдельных слов),

  • морфологические (относятся к структуре слова),

  • фонетические (насколько сложно этот текст произнести),

  • семантические (выявляют сложность на основе значений слов),

  • дискурсивные (внутренние связи текста и его стиль, также сюда входит наш адаптированный для русского языка классический автоматизированный индекс удобочитаемости).

Далее мы обучили на этом датасете несколько популярных в литературе моделей, включая модели машинного обучения. Наилучшие результаты (95% верно классифицированных текстов) показала немного усовершенствованная нами нейронная сеть класса «Трансформер». Причем на вход ей подавались как 44 извлеченные лингвистические характеристики, так и непосредственно сам текст в векторизованном представлении. Для сравнения: точность классификации адаптированной для русского языка формулы индекса Флеша – Кинкейда на нашем наборе данных составила всего 11%.

Оценка коммуникации Банка России

В целом Банк России многое сделал для развития коммуникации. Десятилетие назад он практически не давал ни интервью, ни сигналов о будущих изменениях политики, не раскрывал своей внутренней прогнозной и аналитической кухни. Теперь каждый год регулятор добавляет в свой арсенал новый инструмент коммуникации. Из последних – переход к проведению пресс-конференций после каждого заседания по ключевой ставке (с 2021 г. они проводятся восемь раз в год вместо прежних четырех), публикация информации о модельном аппарате и прогнозной траектории ключевой ставки. Большие усилия предпринимались и для построения диалога с широкой аудиторией: на это нацелена коммуникация в регионах, публикация сокращенных версий стратегических документов, ролики в YouTube.

Судя по данным работы нашей модели, потенциал для качественного улучшения языка этих коммуникаций огромен. Сейчас основная коммуникация по денежно-кредитной политике доступна лишь профессиональной аудитории. На графиках ниже видно, что коммуникация по вопросам денежно-кредитной политики классифицируется моделью в основном как соответствующая первому, второму и третьему уровням удобочитаемости, то есть доступна людям, имеющим высшее экономическое образование или даже научную степень по экономике.

Стоит отметить, что удобочитаемость пресс-релизов и заявлений председателя Банка России по ключевой ставке может зависеть от текущей неопределенности экономической ситуации. Большую часть времени их удобочитаемость находилась на третьем уровне и ухудшалась в период кризиса 2014–2015 гг., волатильности на финансовых рынках в первой половине 2018 г., повышения НДС в начале 2019 г. и пандемии в 2020 г. В 2021 г. немецкие экономисты из Школы бизнеса и экономики Университета Фридриха – Александра получили сходные результаты при оценке удобочитаемости заявлений членов cовета директоров Европейского центрального банка.

Конечно, вряд ли можно судить о качестве коммуникации лишь по одному показателю – удобочитаемости. Поэтому в дальнейшем модель можно дополнить параметрами прозрачности, длины документа (есть свидетельства, которые говорят о том, что длинные документы ухудшают коммуникацию в целом), адресности (нацеленность на определенную аудиторию). Это даст более полное представление о качестве информационной работы Банка России.

При этом разработанную нами модель можно использовать для оценки эффектов коммуникации, например, ее влияния на волатильность финансовых рынков, на доверие к центральному банку, на инфляционные ожидания. Кроме того, модель может быть непосредственно использована Банком России для оперативной оценки текстов. Более доступные для понимания тексты центробанка могут внести вклад в повышение доверия общества к проводимой политике, улучшение предсказуемости решений, снижение и заякоривание инфляционных ожиданий.