В последнее время в связи с дискуссией по поводу реформы законодательства о госзакупках (а также при проведении конкурсов по НИР рядом федеральных органов власти) наблюдается повышенное внимание к зарубежным публикациям, индексам цитирования и сотрудничеству с зарубежными научными центрами в качестве критерия отбора заявок и оценки результатов.

Данное требование предъявляется, прежде всего, к фундаментальным исследованиям в естественных науках, но есть основания полагать, что оно отражает общий сдвиг в приоритетах правительства и будет также распространяться на исследования в сфере социально-экономических наук, включая прикладные экономические исследования.

С точки зрения АНЦЭА данный подход представляется несбалансированным, содержащим в себе риски «искажения сигналов» со стороны заявителя/исполнителя, а предлагаемые оценочные параметры сами по себе могут стать предметом манипулирования (так, индекс цитирования может «наращиваться» за счет самоцитирования, договоренностей о взаимном цитировании и т.д.).

В этой связи применительно к оценке результатов прикладных экономических исследований АНЦЭА считает нужным сформулировать критерии научного признания, в которых отражена позиция Ассоциации по данному вопросу.

2011 год

Критерии научного признания результатов
прикладных экономических исследований

Научные результаты экономических исследований (в том числе и прикладных) в конечном счете являются предметом дискуссии в научном сообществе; важность работ устанавливается в ходе обсуждения идей и результатов. В процессе научного познания огромную роль играет процессы выдвижения идей, новых парадигм, что же касается формы публикации, то огромное влияние на развитие науки может оказать одна выдающаяся статья или книга.

Мы осознаем, что любые формальные рейтинги, индексы и проч.* не являются совершенно точной и, главное, единственной мерой научных достижений, роли того или иного ученого в научном сообществе. В этой связи применительно к оценке результатов прикладных экономических исследований АНЦЭА считает нужным заявить следующее:

1. Публикация результатов исследований российских аналитических центров в международных рецензируемых журналах важна с точки зрения информирования зарубежных коллег о проблемах российской экономики и обсуждения российских проблем в международном академическом сообществе. Публикация результатов исследований российских аналитических центров в ведущих международных журналах (входящих в top-100 по экономике) является индикатором их признания со стороны международного академического сообщества. Ключевые элементы сложившейся системы оценки результатов исследований в международном академическом сообществе, делающие ее достаточно объективной, – это анонимное рецензирование (peer review) при рассмотрении статей и использование индексов цитирования. Анонимное рецензирование позволяет устранить возможные конфликты интересов, а индексы цитирования позволяют выделить те журналы, публикации в которых в большей степени востребованы в профессиональной среде. В качестве общепризнанных международных индексов цитирования в настоящее время могут рассматриваться «Thomson Reuters» (ISI, www.isiwebofknowledge.com) и «Scopus» (www.scopus.com).
2. Вместе с тем статьи в международных рецензируемых журналах, как правило, публикуются с существенным временным лагом по отношению к моменту возникновения тех проблем, которым они посвящены. Кроме того, спектр проблем, обсуждаемых в международных рецензируемых журналах, существенно отличается от того круга проблем, которые актуальны для российской переходной экономики. Проблемы переходных экономик – лишь малая часть тех проблем, которые обсуждаются в международном академическом сообществе. В то же время есть большой круг проблем, который актуален для российской экономики и по которым в силу разных причин нет публикаций в международных журналах. В силу сказанного выше наличие у экспертов конкретного аналитического центра публикаций в международных рецензируемых журналах не является однозначным индикатором того, что исследования этого центра актуальны и имеют практическую значимость для экономической политики в России. В свою очередь, отсутствие у какого-либо центра таких публикаций само по себе не доказывает недостаточную актуальность или низкий уровень его исследований.
3. В этом контексте важным индикатором признания актуальности и значимости работ аналитического центра для экономической политики являются публикации в России. При этом необходимо разграничивать публикации в СМИ (включая деловую прессу) и в профессиональных научных и аналитических изданиях. Публикации в СМИ очень важны в плане доведения результатов исследований центра до широкой аудитории и являются одним из индикаторов общественного признания работы центра. В то же время профессиональное признание основывается на обсуждении результатов исследований в профессиональной экспертной среде. Основой для такого обсуждения могут быть любые результаты – включая отчеты по НИР, доклады на конференциях, научные монографии, публикации в профессиональных журналах. Из приведенного перечня результатов однако лишь статьи в ведущих профессиональных научных и аналитических журналах и научные монографии, изданные в ведущих издательствах, оказываются доступны для анализа и обсуждения в широкой профессиональной среде и позволяют оценить уровень исследований центра и квалификацию его экспертов. Поэтому регулярное публичное представление результатов проведенных прикладных исследований путем публикации их в профессиональных изданиях является для независимых центров экономического анализа важным индикатором их научного признания.
4. Другим существенным элементом обсуждения результатов исследований и их донесения до профессиональной и экспертной аудитории является представление конкретными аналитическими центрами полученных ими результатов на российских и международных конференциях. Приглашение экспертов конкретного аналитического центра для участия с докладом на ведущих российских и международных конференциях также выступает косвенным индикатором признания работ данного центра в профессиональном научном и аналитическом сообществе.
5. Характерной черной отечественных издательств, научных журналов и конференций остается их высокая качественная неоднородность. Наряду с издательствами и журналами, которые используют принципы анонимного рецензирования (peer review), существует множество издательств и журналов, не применяющих подобных процедур. Соответственно, нет гарантий того, что отбор рукописей для публикации проводится объективно и независимо, опираясь лишь на оценку их научной новизны и актуальности. Более того, многие журналы практикуют публикацию статей за плату, получаемую от авторов этих статей, что однозначно порождает для соответствующих редакций серьезный конфликт интересов. Аналогичные негативные тенденции наблюдаются в случае с проведением конференций, программы которых формируются без проведения отбора докладов и оценки их качества. Очевидно, что в этих условиях индикатором научного признания могут быть публикации лишь в ведущих научных и аналитических журналах**, научные монографии, изданные в ведущих издательствах, а также выступления на ведущих конференциях.
6. АНЦЭА полагает, что одним из критериев для выделения ведущих журналов может быть индекс цитирования. В этой связи АНЦЭА поддерживает усилия Минобрнауки по формированию Российского индекса научного цитирования (РИНЦ, http://elibrary.ru/project_risc.asp). Данные РИНЦ уже позволяют формировать рейтинги журналов в разрезе крупных научных направлений по уровню импакт-фактора, количеству цитирований и другим параметрам. Так, в марте 2011 года рейтинг РИНЦ по экономическим наукам включал 488 журналов. При этом появились первые аналитические работы, в которых рассматривается статистика публикаций российских экономистов, сравниваются данные РИНЦ и международных индексов цитирования***. Однако поскольку проект РИНЦ пока находится в начальной стадии своей реализации, АНЦЭА предполагает в кооперации с Новой экономической ассоциацией и другими профессиональными ассоциациями разработать и предложить для профессионального сообщества рейтинг российских журналов по экономике. Этот рейтинг будет учитывать наличие в журнале независимого рецензирования работ, уровень цитирования и импакт-фактор публикуемых исследований, международное признание публикаций журнала и другие факторы. В дальнейшем может быть проведена аналогичная работа по выделению списка ведущих издательств, публикующих научные монографии на основе результатов прикладных экономических исследований.
7. Наряду со статьями в ведущих научных журналах, научными монографиями, изданными в ведущих издательствах, и выступлениями на ведущих конференциях важным индикатором научного признания результатов работы независимых центров экономического анализа могут быть профессиональные награды. К числу таких наград относятся медали Российской академии наук, с 2010 года также стала присуждаться Национальная премия по прикладной экономике, одним из учредителей которой является АНЦЭА. Вместе с тем АНЦЭА считает, что перечень таких наград может быть расширен и в дальнейшем планирует ввести свои профессиональные награды.
8. АНЦЭА сознает, что качество экспертной среды в России также является неоднородным и аналитические центры – участники Ассоциации различаются по своему уровню. В этой связи АНЦЭА будет способствовать повышению качества прикладных экономических исследований путем внедрения в экспертную среду профессиональных стандартов и содействия аналитическим центрам в практическом освоении этих стандартов. Также АНЦЭА будет стремиться воздействовать и на образовательные стандарты для их «синхронизации» с научно-исследовательскими профессиональными стандартами. АНЦЭА рассчитывает на сотрудничество в этом процессе с ведущими университетами, институтами Российской академии наук и профессиональными ассоциациями.

* Важным элементом оценки результатов исследований в международном академическом сообществе выступают также рейтинги журналов, которые составляются отдельными научными центрами или ассоциациями университетов. К числу широко признаваемых относится, например, рейтинг журналов по экономике Института Тинбергена, который в марте 2011 года включал 132 издания с разделением их на категории АА, А и В. Другой известный рейтинг, составляемый Ассоциацией британских бизнес-школ, в 2010 году включал 821 журнал в сфере социальных наук с разделением на категории 4*, 4, 3, 2 и 1 (ранее А, В, C и D). При этом в престижных университетах США и Великобритании при приеме преподавателей на постоянную работу (tenure), как правило, во внимание принимаются публикации в журналах уровней А и В.

** Официальный список ведущих журналов в настоящее время формируется ВАК. По состоянию на февраль 2011 года перечень ВАК включал 2061 журнал, в том числе 136 журналов со словами «экономика» или «экономический» в названии. Однако, несмотря на усилия ВАК по улучшению этого перечня, он остается крайне неоднородным.

*** О РИНЦ и международных индексах цитирования см.: Муравьев А.А. О российской экономической науке сквозь призму публикаций российских ученых в отечественных и зарубежных журналах. Научный доклад № 1 (R)-2011. СПб.: ВШМ СПбГУ, 2011; Савельева И.М., Полетаев А.В. Публикации российских авторов в зарубежных журналах по общественным и гуманитарным дисциплинам в 1993–2008 гг.: количественные показатели и качественные характеристики. WP6/2009/02. М.: ГУ-ВШЭ, 2009.