Является ли статистика, основанная на анализе числа цитирований, импакт-фактора научных журналов, лучшим средством для измерения качества научных исследований? Международный союз математиков считает, что нет.

Международный союз математиков 11 июня 2008 г. распространил доклад, подготовленный тремя международными математическими организациями. Доклад "Citation Statistics" ("Статистика цитирований") посвящен теме, вызывающей всё больший интерес у международного научного сообщества - использованию статистики цитирований при оценке качества научной работы. Авторы доклада задаются вопросом: является ли статистика, основанная на анализе числа цитирований, импакт-фактора научных журналов, лучшим средством для измерения качества научных исследований?

Доклад был написан по заказу Международного союза математиков (the International Mathematical Union) в сотрудничестве с Международным советом по промышленной и прикладной математике (the International Council on Industrial and Applied Mathematics) и Институтом математической статистики (the Institute of Mathematical Statistics).

При подготовке доклада была задействован широкий круг публикаций по анализу цитируемости для оценки качества исследований, включая статьи по импакт-фактору и индексу Хирша. Также использовался практический опыт математиков и ученых из других дисциплин из всех стран мира.

Авторы доклада - математики - пытаются донести до потенциальных читателей понимание того, что статистика цитирований может дать только ограниченную и неполную оценку качества проведенного исследования и что необходимо очень осторожно и корректно использовать эту статистику. В этой связи они выделяют наиболее типичные ошибки при неправильном использовании статистики цитирований.

Главная идея доклада - напомнить людям о том, что не стоит слишком полагаться на статистику цитирований, такую как импакт-фактор или число Хирша, хотя это часто делается из ложной уверенности в точности, объективности и простоте подсчета этих показателей.

Среди ключевых выводов исследования такие:

- Статистика теряет свою точность при её неправильном или ошибочном использовании;

- Объективность анализа числа цитирований является иллюзорной, потому что плохо понимается сама значимость цитирований. Смысл цитаты может быть очень далеко от её "импакта";

- Желание иметь одно число для оценки качества исследования понятно, но может привести к потере понимания сути проведенного исследования. Числа из данных статистики не имеют врожденного превосходства над суждениями в ходе peer-review.

"У исследования множество целей и поэтому было бы правильно оценивать его ценность по множеству критериев", - говорится в докладе.

Авторы доклада также отмечают, что для ранжирования научных журналов часто используется такой показатель как импакт-фактор. Это число - простая средняя, вычисленная по значениям числа цитирований статей, опубликованных в журнале. Средняя охватывает только малую долю информации о распределении числа цитирований и является достаточно грубой статистической оценкой. Любое сравнение журналов по их импакт-фактору требует осторожности. Использование только импакт-фактора, без учета других факторов, подобно тому, как врач учитывал бы только вес человека при анализе состояния его здоровья.  

Для сравнения качества научных публикаций вместо числа цитирований нередко используется значения импакт-факторов научных журналов. Люди верят, что более высокие значения импакт-факторов означают большее число цитирований. Но часто это совсем не так. Использование значения импакт-фактора вместо числа цитирований - это часто встречающаяся ошибка, на которую следует обращать внимание, кем бы и когда бы она ни делалась.

При оценке эффективности труда отдельных ученых достаточно трудно сравнивать данные по числу цитирований их публикаций. Поэтому были сделаны попытки создать простую статистику, которая бы охватывала всю сложность числа цитирований одним единственным числом. Наиболее заметная из них - это число Хирша (индекс Хирша), которое приобретает всё большую популярность. По мнению авторов доклада, даже простая проверка смысла числа Хирша и его вариантов показывает, что это число и его аналоги охватывают лишь малую долю информации о цитируемости трудов исследователей. При этом теряется ключевая информация, которая была бы существенной для оценки качества их исследований.