Сегодня к наукометрии и библиометрии приковано большое внимание — ученые всего мира должны все больше публиковаться и следить за показателями цитируемости своих работ. Между тем, как отмечают эксперты, библиометрия является тонким инструментом, ее важно правильно применять, чтобы действительно помочь науке становиться лучше, повысив качество исследований. Корреспондент ITMO.NEWS встретился с экспертом по наукометрии компании «Clarivate Analytics» (владеющей базой Web of Science) Павлом Касьяновым и узнал у него, почему к историкам и физикам нельзя подходить с одними критериями, почему российские ученые, как правило, реже цитируются, нежели их иностранные коллеги, а также почему многие эксперты критикуют индекс Хирша.

В чем значение библиометрии для современной науки? В чем ее основные задачи, и какую информацию о научной жизни она позволяет нам получать?

Библиометрия дает науке очень большой пласт информации. Первая и самая важная функция, которая появилась у библиометрии еще полвека назад, это возможность с помощью современных баз данных типа Web of Science найти самые актуальные статьи, которые сейчас пишут по тематике ваших исследований. При этом вы можете не просто найти работы других авторов, но еще и увидеть, какие из них наиболее цитируемые, а, следовательно, самые важные, влиятельные, что особенно важно в условиях экспоненциального роста научного знания. Вторая задача — с помощью библиометрии вы можете понять, кто именно по вашей теме активнее всего публикуется и лучше всего цитируется. Для вас как исследователя это может быть полезно с точки зрения наработки научных контактов.

Далее, наши данные могут вам помочь при выборе журнала для опубликования ваших научных результатов. Успешных ученых интересует максимизация огласки, которой предается исследование. Чем больше будет аудитория выбранного журнала, тем больше шансов, что статью там заметят и, возможно, процитируют.

В последние десятилетия стало особенно актуальным, что библиометрия помогает в управлении научными исследованиями и оценке их результативности. Есть возможность оценить научную результативность конкретных авторов, то же самое можно делать с организациями и целыми странами. Мы можем сопоставлять университеты — рейтинги вузов как раз активно используют библиометрию. Наконец, библиометрия может помогать в том, чтобы выделить наиболее важные тренды в конкретной области, в понимании того, что сейчас актуально, какие темы являются прорывными.

Приведите, пожалуйста, пример библиометрического исследования какой-то отдельной области науки?

Мы провели исследование публикационной активности ученых, работающих в области искусственного интеллекта за последние десять лет. В нем хорошо видно, как работает библиометрия.

В ходе исследования мы увидели, что первый всплеск публикационной активности по искусственному интеллекту произошел в 2006 году, а второй пришелся на 2017 год. После пика три года назад мы видим небольшую стагнацию, даже спад, однако, поскольку эта тема новая и активно развивается, мы думаем, что пик еще будет преодолен.

Далее мы взяли высокоцитируемые публикации, и при помощи сторонних приложений, таких как VOSviewer, попробовали визуализировать связи между публикациями и ключевыми словами, которые в них есть. Таким образом, мы смогли найти самые прорывные темы, которые занимали ученых в последние пару лет — это сверточные нейронные сети, мультикритериальное принятие решений и теория Демпстера-Шафера.

Здесь, кстати, надо остановиться на самом понятии высокоцитируемой статьи. Это документ, опубликованный в WoS за последние 10 лет, который попал в 1% самых цитируемых в своей предметной области и своего года публикаций. Год очень важен, поскольку работы, которые были опубликованы в 2017 году, еще просто не могли собрать столько ссылок, сколько работы 2012 года, и сравнивать их по абсолютным показателям цитируемости нельзя.

Вы говорили, что в ходе таких библиометрических исследований можно оценить положение отдельных ученых, институций и даже стран в конкретной области. Каковы результаты российских ученых в исследованиях искусственного интеллекта?

Наши ученые публикуются по тематике искусственного интеллекта довольно скромно, если сравнивать с другими областями. По общему количеству публикаций в этой теме мы занимаем всего 24 место в мире — это гораздо ниже, нежели в физике. Цитируют нас также скромно: средняя российская работа по искусственному интеллекту имеет вдвое меньший показатель нормализованной цитируемости, нежели в среднем по миру. Хотя надо отметить, что в Университете ИТМО этот показатель очень близок к среднемировому.

Встает вопрос — почему так происходит, неужели наши исследования хуже? Вовсе нет, связано это положение вещей с тем, что наши ученые чаще публикуются в низкоимпактовых журналах. По наиболее распространенному показателю цитируемости журнала — импакт-фактору — все издания разделены на четыре равные группы, или квартиля. В первом квартиле — 25% тех изданий, статьи в которых цитируются чаще всего, в четвертом — 25% тех, чьи материалы реже всего получают ссылки. При этом надо понимать, что даже журналы четвертого квартиля — это тоже хорошие журналы, они прошли проверку нашей редакционной коллегией, а она традиционно считается самой жесткой среди всех международных библиометрических баз данных, в этих журналах материалы обязательно рецензируются, но при этом эти издания не обладают большой читательской аудиторией, их едва ли выписывают библиотеки ведущих университетов всего мира, следовательно, и цитат они собирают меньше.

Почему тогда наши ученые так часто в них публикуются?

Факторов довольно много. С одной стороны, я думаю, что это пережиток советской науки. В России много журналов, в которых ученые продолжают публиковаться по инерции, потому что, по мнению ученых, в отечественном журнале легче опубликоваться, это быстрее и так далее. Возможно, тут сказывается также отсутствие опыта работы с редколлегиями больших иностранных изданий. При этом сразу оговорюсь: поскольку мы сейчас говорим об искусственном интеллекте, я вообще не беру вопрос отсутствия знания английского языка. Специалисты в области ИИ наверняка неплохо им владеют, однако для других областей это тоже может быть важным сдерживающим аспектом.

Еще один вопрос — индикаторы эффективности научной работы, которыми руководствуются при оценке исследований. Они очень часто заточены на вал публикаций, а когда ты должен давать вал, то ты не думаешь про высокоимпактовые журналы, тебе выгоднее сделать несколько публикаций в более знакомом и понятном, но низкоимпактовом журнале с менее жестким редакционным фильтром, чем за то же время опубликовать одну статью, но в условном Nature.

Надо сказать, что публикация в неизвестных журналах — не только наша проблема. В XIX веке в США жил и работал выдающийся физик, математик и механик Джозайа Уиллард Гиббс, чьи исследования в области термодинамики во многом предопределили развитие многих направлений в физике в XX веке. К примеру, работа Макса Планка по квантовой механике, за которую он получил в 1918 году Нобелевскую премию, во многом опиралась как раз на труды Гиббса в области термодинамики. Проблема в том, что Планк получил возможность ознакомиться с основополагающей работой Гиббса «On the Equilibrium of Heterogeneous Substances», опубликованной в 1875-1878 годах, не раньше 1892 года и потратил уйму времени на открытие тех термодинамических принципов, что уже были сформулированы 14-17 лет назад.

Так произошло потому, что что Гиббс, будучи человеком достаточно скромным, опубликовал уже упомянутую свою работу в журнале «Transactions of the Connecticut Academy of Arts and Sciences», который издавался его зятем-библиотекарем и который даже по меркам Коннектикута читался весьма и весьма ограниченным кругом людей.

Что же нам с этим делать?

Нам надо постараться публиковаться в журналах из первого-второго квартиля. Не в тех, которые нам привычны, а в тех, которые имеют более высокий импакт-фактор. Для всех подписчиков WoS прямо в системе можно провести тематический поиск по интересующему вас направлению и прямо в результатах поиска в списке публикаций нажать на название любого журнала, и система сразу покажет вам квартиль издания.

Здесь мы не питаем никаких иллюзий — да, в высокоимпактовых журналах, как правило, гораздо сложнее опубликоваться, чем в низкоимпактовых, особенно если вы молодой ученый, но мы рекомендуем следующее правило: «Если ваше сегодняшнее исследование — как минимум не хуже вашего предыдущего, попробуйте опубликовать его результаты в более высокоимпактовом журнале, чем в прошлый раз».

Да, в масштабах страны такой подход, применяемый всеми, вполне возможно, приведет даже к некоторому уменьшению публикационной активности, но зато приведет к росту престижа, к более высокой цитируемости, к более активному вовлечению наших ученых в глобальный исследовательский процесс. Если ты публикуешься в журналах первого квартиля, то с тобой хотят дружить, тебя приглашают выступить на ведущие конференции или просто выступить с лекцией или семинаром в другие университеты, интересующиеся тем же направлением исследований.

Особенно надо присмотреться к журналам с открытым доступом. Эти издания не берут денег за подписку с библиотек, поэтому количество их читателей не ограничено аудиторией подписчиков, но расходы редакции по сопровождению рукописей в таком случае оплачиваются самим автором.

Поскольку в ситуации «кто платит, тот и заказывает музыку» часто возникает конфликт интересов, все издания открытого доступа делятся на легитимные и хищнические. Вторые как раз паразитируют на теле науки, не проводят рецензирования публикаций и фактически продают места на своих страницах нуждающимся в «галочке» ученым. Здесь мы предлагаем университетам задуматься. Дело в том, что публикация в журнале первого или второго квартиля с открытым доступом — это не только максимальный шанс на цитирование и заметность, это ещё и 100%-ная гарантия того, что журнал не только не был замечен в хищнических практиках, но и никогда не задумается о переходе на «темную сторону силы», поскольку репутационные издержки, связанные с таким переходом, никогда не позволят журналу вернуться обратно.

Однако и размер платежа article processing charge, который необходимо сделать для публикации в ведущих журналах открытого доступа, огромен: как правило, это три — четыре тысячи долларов. Ведущие международные фонды давно дополнительно поддерживают такие публикации, резервируя определенную сумму внутри суммы гранта, которую автор как раз может потратить на оплату article processing charge в хорошем журнале открытого доступа. Так вот, если ученый отправил свою рукопись в один из таких журналов, она прошла рецензирование и принята к публикации, но у него в этот момент нет таких денег — почему бы не задуматься о поддержке таких инициатив на уровне вуза?

Я вижу это так: ученый подтверждает администрации университета, что у него приняли статью в такой журнал, что исследование не поддержано грантом, который обязывает опубликовать результаты в открытом доступе — и тогда такого сотрудника поддерживает сам университет, помогая ему оплатить article processing charge.      

Ранее вы упомянули о такой системе оценки как нормализованная цитируемость. Что это такое? Это как-то связано с индексом Хирша?

Нет, они не соотносятся друг с другом. Дело в том, что многие исследователи считают, что метод Хирша имеет ряд недостатков, это далеко не оптимальный инструмент. К примеру, ученый, на которого чаще ссылаются, иногда может иметь меньший индекс Хирша, чем куда менее авторитетный исследователь. Сравним двух условных авторов: один из них имеет десять публикаций, которые были процитированы по десять и более раз. Допустим, каждую по десять раз ровно. У него Хирш — 10. Другой ученый имеет восемь статей с восемью и более ссылками. Однако на три его работы ссылались более тысячи раз, а это, в общем, уже вполне Нобелевский уровень. Тем не менее, у него будет индекс Хирша — 8.

Вторая проблема: мы не можем по индексу Хирша сравнивать ученых, работающих в разных областях. Математики, к примеру, недолюбливают индекс Хирша, потому что, как правило, количество цитирований в этой науке в принципе ниже. Историки ссылаются друг на друга еще реже. Но это ничего не говорит об историках или математиках как об ученых. Просто здесь не такие традиции научного цитирования как в генетике, онкологии, молекулярной биологии, где количество ссылок просто огромно. Однако если мы сравним индекс Хирша математика, генетика и историка, то генетик, скорее всего, выиграет с заметным преимуществом, даже если его авторитет в научном сообществе ниже, чем у двух других.

Частично решает эту проблему показатель нормализованной цитируемости: для этого мы берем дробь, в числитель ставим количество ссылок на статью, а в знаменатель среднее количество ссылок на статьи такого типа, опубликованных в том же году и в этой же предметной области, будь то правоведение, физика или математика. Статьи одного типа здесь сравнивать очень важно, поскольку в некоторых областях знания обзорные статьи цитируются в четыре раза лучше, чем оригинальные исследования.

В классических гуманитарных науках вроде искусствоведения даже такие правила не совсем работают. Там много негативного цитирования, когда человек ругает оппонента на чем свет стоит, но тот получает лишь еще одну ссылку. Да и исследования там публикуются в целом реже, поэтому мы в WoS вообще не считаем импакт-фактор для журналов по этим областям. И это правильно, потому что, когда национальные системы оценки научной результативности пытаются оценивать гуманитариев по журнальному показателю как физиков, то это лишь приводит к ухудшению качества оценки.

А вообще библиометрия в чистом виде не работает практически нигде — без контекста и экспертной интерпретации результатов голые цифры могут скорее навредить. Поэтому, когда начинаются обсуждения, что важнее: экспертиза или цифровые показатели, то для нас этот вопрос не имеет смысла. Важно и то, и другое, работающее вместе.

Помимо показателей публикационной активности важным показателем является также патентная активность. Что вы можете сказать о ее мониторинге?

Есть некоторая разница между данными по научным публикациям и по патентам. Для последних существует несколько показателей, которые позволяют оценить инновационную составляющую вуза.

Первый показатель — количество патентов. Однако здесь надо делать поправку на строгость экспертизы. К примеру, в Роспатенте есть чемпион по количеству патентов, не будем называть его фамилию, у которого более 30 000 патентных записей, то есть, если этот человек моложе 90 лет, то с момента своего совершеннолетия, не отвлекаясь на праздники и выходные, он каждый день или подает патентную заявку, или получает патент. Мы видели заголовки его патентов, уверяю вас — это не те инновации, которыми хотел бы гордиться, например, Университет ИТМО. Тем не менее, на уровне всего мира список лидеров вполне совпадает с ожиданиями: там и Samsung, и Microsoft, и Apple.

Второй показатель — это соотношение поданных заявок и количества патентов, опять же, с поправкой на строгость экспертизы. Он указывает на качество инноваций, но еще важнее то, что сейчас крупные игроки стремятся повысить процент одобренных заявок, ведь это деньги, время и силы.

Наконец, есть еще один показатель, который можно назвать четырехсторонним патентованием. На мой взгляд, это показатель очень похож на показатель количества научных публикаций в лучших журналах. Есть четыре наиболее авторитетных патентных ведомства — США, Европы, Китая и Японии. Если ваше изобретение защищено во всех этих четырех организациях, то это показывает его конкурентоспособность и наличие потенциального спроса на подобные технологии. Увы, пока это не распространено у российских вузов, только четыре российских университета имеют хоть одно изобретение с такими патентами. Вероятно, это определяет то, что в рейтингах инновационных вузов наши университеты пока отсутствуют.

Автор: Константин Крылов

Источник: НИУ ИТМО