Тирания «большой пятерки»
Публикация в пятерке лучших экономических журналов стала профессиональным академическим стандартом. Их темы формируют программы научных исследований. Молодые экономисты одержимы публикацией в топ-5 и не станут заниматься темой, если она не представляет интереса для «большой пятерки». Погоня за топ-5 стала образом жизни и для опытных экономистов, поскольку длительное отсутствие публикации в этих журналах служит сигналом профессионального упадка. В топ-5 входят: American Economic Review, Econometrica, Journal of Political Economy, Quarterly Journal of Economics и Review of Economic Studies.
Вопрос «тирании большой пятерки» поднимают в своей статье нобелевский лауреат по экономике, профессор Чикагского университета Джеймс Хекман и его аспирант Сидхарт Моктан. Хекман также является ведущим редактором Journal of Political Economy, входящего в «большую пятерку». Работа исследователей планируется к публикации в Journal of Economic Literature (его выпускает American Economic Association, издающая топовый American Economic Review). Они описывают ситуацию в университетах США, где во многом и формируется современная наука. Из топ-5 экономических журналов четыре также выходят в США, Review of Economic Studies выпускается Оксфордом.
Вредный фактор
Общаясь с молодыми экономистами, нельзя не заметить их одержимости публикацией в топ-5, пишут Хекман и Моктан. Это вполне понятно: вопросы найма, продвижения, получения постоянных должностей (tenure) в университетах США оцениваются по количеству публикаций в топ-5, заявки на исследования часто оцениваются по тому, способны ли они генерировать публикации для топ-5.
Проанализировав данные о преподавателях, принятых на работу 35 ведущими экономическими факультетами в США с 1996 по 2010 г., Хекман и Моктан выяснили, что для кандидатов с одной статьей, опубликованной в топ-5, вероятность получения должности повышалась на 80% в сравнении с теми, кто опубликовал такое же количество статей, но не в топ-5. Для кандидатов с двумя статьями в топ-5 шансы были выше уже на 230%, с тремя – вчетверо. Дополнительный опрос сотрудников 50 ведущих экономических факультетов США подтвердил, что публикация в топ-5 является определяющим фактором получения должности, важнее рекомендательных писем (они обязательны и имеют серьезное значение в академической среде США) и преподавательского опыта.
В определенной степени для этого есть веские основания, пишут авторы: профессия разрослась, в ней стало много специализаций, и публикация в топ-5 – своего рода сертификат качества, подтверждающий, что кандидат может делать резонансные исследования. Однако цитируемость статьи и цитируемость самого журнала, измеряемая как цитируемость средней статьи в нем ( импакт-фактор), – это далеко не одно и то же.
Например, среди топ-1% самых цитируемых статей, опубликованных в 2000-2010 гг. (измерения проводились в 2018 г.), большинство – более четверти – были выпущены в Journal of Economic Literature, не входящем в топ-5: на «большую пятерку» приходится лишь треть таких публикаций, остальные две трети вышли в 15 других журналах. Более 70% наиболее цитируемых работ на ресурсе RePEc (Research Papers in Economics) были размещены не в топ-5. Это означает, что ориентир на топ-5 как на показатель качества статьи неадекватен, заключают авторы.
Наиболее цитируемые экономисты публикуются не в топ-5, а в специализированных журналах, соответствующих тематике их научных интересов (см. врез). Экономисты из наиболее влиятельных университетов все чаще публикуют статьи в интернете в качестве working papers, которые широко цитируются. В то же время журналы топ-5 в рецензировании полагаются именно на экспертов: получается, ученые, которые сами публикуют, читают и цитируют статьи не топовой «пятерки», оценивают кандидатов для продвижения и найма на основе публикаций в топ-5, навязывая стандарт, которому сами не следуют. Стандарт «топовой пятерки» становится все более сложным для достижения: доля принимаемых к публикации статей сократилась с 15% в 1980 г. до 6% в 2012 г.
Срок полномочий редакторов длительный, низкая текучесть кадров в редакциях создает возможности для того, что авторы для увеличения своих шансов на публикацию ориентируются на тематические или методологические предпочтения редакции, продолжают Хекман и его соавтор. В итоге исследователи игнорируют важные темы, а редакторы отдают предпочтение тем, кого лучше знают. Так, почти четверть работ, опубликованных с 2000 по 2016 г. в Quarterly Journal of Economics, который издается под редакцией Гарварда, принадлежали авторам, аффилированным с этим университетом. Подобный сетевой эффект авторы называют «инцестом» и отмечают, что он еще больше поднимает порог входа в науку для молодых исследователей.
Радикальные меры
Учитывая неблагоприятные последствия, связанные с зависимостью науки от «большой пятерки» журналов, дисциплина должна пересмотреть свои стандарты, заключают Хекман и Моктан.
Чтобы исправить ситуацию, потребуется больше, чем просто расширить топовый список за счет других не менее влиятельных изданий, считают авторы. По их мнению, следует в принципе отказаться от практики рассматривать факт публикации в топ-5 как показатель научных достижений и потенциала ученых. Было бы лучше, если бы на факультетах при решении о назначении рассматривали сами статьи, а не то, где они опубликованы.
Эту точку зрения поддерживают многие представители академического сообщества. В 2012 г. в Сан-Франциско была разработана Декларация об оценке научных исследований (Declaration on Research Assessment, DORA). В ней содержится призыв не использовать метрики научных журналов, такие как импакт-фактор, для решения о найме, продвижении ученых или финансировании их исследований. По состоянию на конец августа 2019 г. декларацию подписали более 1500 организаций и почти 15000 исследователей.
Более радикальным подходом стал бы отход от существующей системы публикаций научных работ, в которой много времени уходит на рецензирование, к открытой системе размещения, отмечают исследователи из Чикагского университета. В качестве примера они приводят ресурсы arXiv (принадлежит Корнеллскому университету) и PLOS ONE (созданный некоммерческой организацией Public Library of Science). Первый ресурс – это самый большой бесплатный электронный архив публикаций научных статей и их препринтов, второй – рецензируемый журнал открытого доступа, где научные работы публикуются по лицензиям Creative Commons. Благодаря открытой системе исследователи получают возможность быстрее распространять свои идеи и получать на них рецензии в реальном времени, подобная практика также стимулирует научную дискуссию и препятствует монополии журналов и редакторов, заключают Хекман и Моктан.
Комментарий Константина Сонина, профессора Чикагского университета и НИУ ВШЭ, сооснователя совместного бакалавриата ВШЭ и РЭШ: «Во многих европейских вузах у каждого научного журнала есть свой коэффициент, и публикации учитываются с этими коэффициентами, которые суммируются. Это чем-то похоже на прогрессивную шкалу налогообложения: топовые журналы «стоят дороже», но не настолько, чтобы не было стимулов публиковаться в журналах среднего уровня.
В России всего несколько университетов, где публикации играют решающую роль, и система похожа на [описанную в исследовании] американскую: то есть публикации в топовых журналах «стоят» намного «дороже», чем публикации в средних.
Однако в американских университетах, помимо публикаций, очень большую роль [при назначении на должности] играет мнение коллег по факультету и коллег, работающих в той же научной области, что и кандидат. Например, я, оказавшись в Чикаго, хотя уже и был знаком с этой системой, был очень удивлен тому, сколько времени и сил тратят и авторы [рекомендательных] писем, и их адресаты. Норма – это 8-10 писем, которые подробнейше описывают вклад каждой статьи, потом адресаты все эти статьи читают и обсуждают. И в принципе, это нормально, если хорошая статья опубликована «не очень хорошо».
Если эта проблема [«диктата большой пятерки»] и есть, то она профессией осознана: все чаще слышу, что не нужно придавать слишком большого значения топ-публикациям. С другой стороны, наука базируется на peer review, где большую роль играют те, кто уже чего-то добился и чье мнение еще долго будет решающим, – но это свойство не топ-5, а науки. Сами топ-5 довольно сильно децентрализованы, среди редакторов очень жесткая ротация – такого, чтобы какой-то один человек много лет контролировал тему, нет. Конкуренция между журналами считается лучшей гарантией того, что редакторы не станут какой-то темой «управлять».
Россия в научной сфере, скорее, не столько в параллельном, сколько в отсталом мире: несменяемые директора, завлабы, отсутствие традиции внешнего найма. Например, в Гарварде будут искать лучших среди всех доступных на рынке, в российских вузах – среди собственных аспирантов. Среди российских журналов нет имеющих мировой авторитет изданий. Хотя задача создавать такие журналы поставлена, на это уйдут десятилетия».
Комментарий Андрея Яковлева, директора Института анализа предприятий и рынков НИУ ВШЭ, президента Ассоциации независимых центров экономического анализа, члена правления EACES (European Association for Comparative Economic Studies): «Ведущие журналы с их системой peer review объективно выполняют роль фильтров, подтверждающих профессиональную квалификацию молодых исследователей. Проблема в том, что эти фильтры не нейтральны – у редакторов и членов редколлегий топовых журналов есть определенные пристрастия (например, одни темы и подходы они считают более важными, а другие отсекаются).
Нынешняя политика этих журналов сформировалась 20-25 лет назад и отражает взгляды, господствовавшие в экономической науке в то время. На фоне бурных изменений в реальной экономике в последние 10 лет нынешнее доминирование этих журналов можно рассматривать как один из индикаторов определенного внутреннего кризиса в экономической науке, но это не конечный диагноз.
В реальной экономике есть запрос на новые идеи и новые решения, и, если экономическая наука, замыкаясь в своей «башне из слоновой кости», не будет реагировать на эти запросы, это неизбежно приведет к изменению организации самой науки – включая систему ее ведущих журналов. Но и сейчас здесь нет монополии, конкуренция никуда не делась: помимо топовых есть масса других журналов, хороших и читаемых. Никто не мешает группе исследователей запустить и продвигать собственный журнал. Один из примеров – Journal of Institutional Economics, более гибкий и более открытый, который пытается находить новые идеи и не использует догматические подходы. При этом по динамике импакт-фактора видно, что журнал востребован».
