Сын ошибок трудных

Вот уже несколько месяцев подряд в научных кругах и на страницах СМИ, пишущих о науке, обсуждается создаваемая компанией...

Вот уже несколько месяцев подряд в научных кругах и на страницах СМИ, пишущих о науке, обсуждается создаваемая компанией “Научная электронная библиотека eLIBRARY.RU” база данных по российской научной периодике “Российский индекс научного цитирования”. И хотя проект РИНЦ возник не сегодня и даже не вчера, дискуссии вокруг него приобрели особую остроту в последнее время. Всплеск эмоций вызвал даже не сам по себе РИНЦ, а то, что его данные вдруг оказались решающими в борьбе ученых и научных коллективов за гранты министерских конкурсов. Впервые в нашей стране показатели цитирования и публикационной активности стали реальными факторами, влияющими на заветное финансирование. При этом российский наукометрический ресурс пока еще далек от идеала. Это не отрицают и его руководители генеральный директор eLIBRARY.RU Геннадий ЕрЕменко и директор по маркетингу Павел Арефьев, которые, как выяснилось в ходе интервью, предлагают пути совершенствования РИНЦ с активным участием научного сообщества.

- Геннадий Олегович, Павел Геннадиевич, напомните, как РИНЦ оказался единственным инструментом в стране для оценки научной деятельности?

Геннадий Еременко: - Идея использования индексов цитирования для анализа состояния российской науки закладывалась в тот момент, когда проект только обсуждался и Минобрнауки принимало решение о необходимости создания такого продукта. В 2005 году компания “Научная электронная библиотека” выиграла конкурс, в котором помимо нас участвовали ГУ-ВШЭ,

ВИНИТИ и некоторые другие организации.

Павел Арефьев: - Если уж возвращаться к истокам, то нужно вспомнить, что в 2004 году Правительству РФ было дано президентское поручение разработать инструмент для оценки результатов научной деятельности. А в 2005-2006 годах начались интенсивные финансовые вливания в науку и, одновременно, активное внедрение конкурсной системы, где нужно было отбирать заявки, потенциальных исполнителей работ. Возник целый ряд направлений, где мог бы быть полезен Российский индекс научного цитирования, ведь если государство начинает куда-то активно вкладывать деньги, то нужен механизм, позволяющий оценить отдачу от этих вложений. К тому же было понятно, что только на основе данных о публикациях, которые попадают в имеющиеся зарубежные базы данных, такой анализ проводить не совсем корректно.

- И все же давайте напомним, что РИНЦ создавался не на пустом месте, иначе вам вряд ли удалось обойти в министерском конкурсе такого конкурента, как ВИНИТИ.

Г.Е.: - В 2005 году eLIBRARY.RU была уже достаточно известной компанией в области работы с научной информацией. Мы накопили огромный массив публикаций, в том числе зарубежных, собрали достаточно мощную базу данных, имели положительный опыт работы с такими крупными партнерами, как РФФИ. Хотя, по логике вещей, работу по созданию национального индекса научного цитирования еще лет 20 назад должен был бы сделать ВИНИТИ. Но почему-то не сделал.

- Как же формулировалось задание министерского лота?

Г.Е.: - Изначально перед РИНЦ ставилась задача обработать определенное количество российских журналов (их число возросло с 1000 в начале проекта до 1500 к 2009 году). И это вызывало у нас некоторое недоумение. Ведь использовать для оценки научной продуктивности научных организаций и отдельных ученых базу данных, которая содержит информацию о статьях, размещенных только в российской периодике, мягко говоря, некорректно. Мы с самого начала решили несколько расширить задачу и поставили для себя цель собрать в РИНЦ не только российские публикации, но и все остальные работы российских авторов независимо от того, в каких журналах (российских или зарубежных) они вышли. Но для того чтобы идти по пути ведущих зарубежных баз данных Web of Science или Scopus, нужно было гораздо большее финансирование, чем выделенное нам в рамках госконтракта, так как потребовалось бы обрабатывать огромные объемы информации. Мы нашли более простой выход. Провели переговоры с руководством Web of Science, Google Scholar, Scopus и в результате, заключив соглашение с Elsevier, приобрели информацию о российских публикациях из базы данных Scopus за период с 1996 по 2012 год. Сейчас идет обработка этих данных совместно с данными РИНЦ.

- А база российских публикаций тоже берет начало с 1996 года?

Г.Е.: - Нет, российские публикации мы отслеживаем с начала работы над проектом РИНЦ, то есть с 2006 года. Конечно, в идеале, хорошо было бы “уйти вглубь” и обработать более ранние архивы хотя бы по самым цитируемым журналам. Но это большая затратная работа, особенно учитывая то, что многие журналы сейчас можно найти только в библиотеках. Потребуется брать печатные экземпляры, сканировать их, распознавать...

П.А.: - В начале 2000-х практически ни у одного из отечественных изданий не было электронных копий. Технологический уровень российских научных издательств и сейчас оставляет желать лучшего, а тогда... В начале 2006 года выяснилось, что 40% редакций российских научных журналов не имели даже адресов электронной почты! Я не буду называть один очень известный журнал, который освещает области высоких технологий, но еще два года назад его главный редактор приносила нам архивные материалы на... дискетах. У этого уважаемого издания, которому исполнилось 40 лет, не было даже выхода в Интернет, никаких электронных архивов, вообще ничего!

- Но ведь сейчас ситуация поменялась? Иначе та работа, которую вы ведете, вообще была бы невозможна?

Г.Е.: - Конечно, ситуация меняется. Я надеюсь, что и мы в какой-то степени способствуем качественному и технологическому развитию журналов. Если в самом начале проекта мы сканировали печатные версии и загружали их в базу, то сейчас информацию в РИНЦ поставляют издатели. Мы предоставляем им программное обеспечение, обучаем, и в большинстве случаев они готовят электронные версии сами. А многие журналы поставляют нам и текущие версии, и архивы.

- То есть сегодня РИНЦ содержит не только статистическую информацию, но и оригиналы статей. Другими словами, через вашу базу можно посмотреть всю российскую научную периодику?

Г.Е.: - По сути, да. Если говорить точно, то РИНЦ - это проект, куда заносится библиографическая информация, но поскольку он размещается на платформе Научной электронной библиотеки eLIBRARY.RU, то все полнотекстовые журналы (а всего их у нас 1800, из них 900 - в открытом доступе), которые в нее попадают, доступны пользователю РИНЦ.

П.А.: - А всего в РИНЦ обрабатывается сегодня более 2500 российских научных журналов.

- Я помню, в прошлогоднем интервью вы говорили, что в стране всего около 1500

качественных научных журналов...

Г.Е.: - Мы и сейчас это подтверждаем, хотя находимся в такой ситуации, которая в определенной степени диктует нам условия. Как известно, чтобы попасть в перечень ВАК, научный журнал должен содержаться в базе РИНЦ. Это означает, что, если издатели присылают нам требуемую информацию, мы должны включить их журналы в РИНЦ, иначе мы просто перекроем им дорогу в ваковский список. Это одна из причин, почему мы обрабатываем все журналы за исключением тех, которые не относятся к науке, технике или медицине, то есть совсем не нашего профиля. Сказанное, однако, не означает, что мы и в дальнейшем не будем “отбраковывать” журналы низкого качества.

Что отличает, к примеру, базу Web of Science? В ней действуют достаточно жесткие критерии отбора, которые позволяют отслеживать мировую научную периодику и выбирать, какие журналы включать в базу, а какие нет. Почему нужны такие критерии - понятно. На обработку каждого издания тратятся немалые деньги. Если его включают в базу, значит, оно должно приносить определенную “ссылочную массу” и при этом быть достаточно активно цитируемым, чтобы как-то повлиять на общую картину. У нас пока политика другая. Мы принимаем в РИНЦ все российские научные журналы. Однако, когда мы обрабатываем журнал в РИНЦ, определяем его цитируемость, импакт-фактор, рассчитываем другие более сложные индикаторы, сразу становится очевидно, чего стоит то или иное издание. Отобрать из всей массы обрабатываемых в РИНЦ журналов лучшие 1000 или 1500 несложно. И действительно вы правы: обработав 2500 журналов, мы определили, что 1500 самых цитируемых из них получают примерно 96% ссылок. А все остальные на общую картину практически не влияют. То есть расширение числа журналов, конечно, приведет к увеличению количества публикаций у отдельных авторов или организаций, но уже не даст значительного увеличения числа их цитирований.

- А какова картина в ваковском списке?

Г.Е.: - Там сейчас почти 2000 наименований научных изданий, и это, конечно, очень много, но, насколько я знаю, ВАК планирует свой список сократить. На наш взгляд, если журналы загружены в РИНЦ, то и перечень ВАК вообще становится неактуальным, потому что по тем показателям, которые мы рассчитываем, можно легко увидеть уровень журнала и, выбрав определенные критерии, определить действительно качественные научные издания. Руководители ВАК, кстати, неоднократно заявляли, что перечень - явление временное. Однако они предполагали, что все достойные отечественные журналы в течение пяти лет окажутся в базе данных Web of Science. На наш взгляд, это нереально, потому что сейчас там всего 150 российских журналов и их количество год от года почти не меняется.

- Остальные не соответствуют жестким критериям?

П.А.: - Конечно, ни критериям Web of Science, ни критериям Scopus. Подавляющее большинство отечественных журналов не цитируются международной научной периодикой (а это основной показатель), причем многие из них по простой причине - они не имеют полнотекстовых англоязычных версий.

- Давайте вернемся к началу разговора и к тому, что РИНЦ сегодня не просто учитывает все российские публикации, но также позволяет судить об эффективности научной деятельности конкретных ученых и научных коллективов. Вероятно, критика, которая звучит в ваш адрес, именно с этим и связана?

Г.Е.: - Если разложить по полочкам претензии, которые мы сегодня слышим, то можно выявить несколько главных моментов. Первое: в РИНЦ представлены не все публикации российских авторов. Это касается главным образом тех работ, которые опубликованы в зарубежных журналах. Как я уже говорил, после интеграции в РИНЦ данных Scopus и зарубежные публикации, и их цитирования будут учитываться в полной мере. То есть эту проблему мы решим.

Другая проблема заключается в том, что еще не все самые цитируемые из российских журналов представлены в РИНЦ. В том числе и некоторые из академических журналов пока не дали согласия на размещение информации в РИНЦ, несмотря на наши неоднократные обращения. Но и здесь ситуация постепенно улучшается, и таких журналов остается все меньше. Издатели начинают понимать, что включение журнала в РИНЦ полезно как для продвижения и повышения видимости в Сети самого журнала, так и для их авторов, поскольку повышает их показатели публикационной активности и цитирования.

Еще одна часто звучащая претензия заключается в том, что публикации в нашей базе данных есть, но не все они привязаны (или привязаны неверно) к конкретному автору или к конкретной организации. Это общая проблема для всех баз данных, обрабатывающих библиографическую информацию. Особенно остра она для организаций из-за множества вариантов написания их названий. Основная часть привязывается автоматически, но многие записи остаются непривязанными, и исправить ситуацию можно только вручную. Учитывая то, что число записей в РИНЦ измеряется уже десятками миллионов, эта работа действительно превращается в серьезную проблему.

Здесь, по большому счету, есть только два пути: либо идти по примеру Web of Science и Scopus, то есть делать продукт коммерческим, а на вырученные средства нанимать людей для просмотра и привязки всего входного потока данных в РИНЦ. Либо работать непосредственно с авторами и научными организациями, дав им возможность самостоятельно привязывать свои публикации. Сейчас РИНЦ - это информационная база, открытая для всех, и это роднит нас скорее с Google Scholar, чем со Scopus или Web of Science. Это наша принципиальная позиция, которую мы не собираемся менять. Но при этом мы будем стремиться достичь качества информации не хуже, чем в Web of Science или Scopus. Поэтому уже в ближайшее время мы предложим авторам и организациям удобный интерфейс, позволяющий им контролировать и корректировать информацию о своих публикациях и цитированиях.

- То есть вы собираетесь допустить их к своей базе? Это мудро.

Г.Е.: - Естественно, процесс мы будем контролировать, но это необходимая мера. Так же, как Web of Science и Scopus, мы часто просто не в состоянии привязать конкретную публикацию к конкретному автору или организации только на основании той информации, которая есть в нашем распоряжении. Это происходит из-за того, что в нормативном списке российских авторов, который уже сейчас содержит более полумиллиона авторов, множество однофамильцев и полных тезок, тематика работ которых может быть похожа; написания фамилии отечественного автора на английском и русском языках нередко отличаются, не говоря уже о названии научной организации. Только авторизованные представители института или университета, с которым мы заключим соглашение, могут реально подтвердить авторство работ своих сотрудников.

- Взвалите на себя новую работу? По одному автору придется “проходиться” несколько раз. Сначала он сам что-то добавит, потом институт подправит, возможно, вы какую-то ошибку заметите... Как-то это не совсем рационально. Трудоемко. А с объективностью как быть? Зарубежные-то базы допускают такое вмешательство пользователей в свои внутренние дела, методологию?

Г.Е.: - Допускают. И в Scopus, и в Web of Science существуют сервисы, позволяющие ученым зарегистрироваться и присылать свои уточнения, замечания, исправления. Мы хотим сделать этот процесс более автоматизированным и нацеленным на выполнение конкретных задач, о чем мы уже говорили. Крупные организации, университеты, где активно ведется исследовательская работа, сегодня хотели бы получить инструмент для оценки ее эффективности, в том числе для внутреннего анализа публикационной активности своих подразделений и сотрудников.

- Давайте конкретно. Если ученый заметит в РИНЦ неточность, что он должен делать, куда писать, зво-нить?

П.А.: - На нашем сайте elibrary.ru указаны контакты службы поддержки, которой можно сообщить об обнаруженной ошибке. Таких сообщений мы сейчас каждый день получаем по нескольку десятков, проверяем информацию, корректируем. Это большая работа, но мы вынуждены ее делать, поскольку понимаем, что те цифры, на которые ссылается, в частности, программа “Кадры”, должны быть максимально корректны.

- Сколько лет существуют различные индексы, столько ходят разговоры о том, что все зависит от методики подсчета. Но если раньше определение количества ссылок было для российских ученых своего рода развлечением, то теперь наукометрия может повлиять на развитие карьеры. Как одно с другим стыкуется, если даже уважаемый Web of Science дает многочисленные ошибки, как на этом можно строить какую-то оценку? Вы, кстати, не боитесь, что вас затопчут?

Г.Е.: - Ну здесь, знаете, как в известном мультике про козленка, который всех посчитал. Негативная реакция при внедрении в практику оценки научной деятельности библиометрических показателей была во всех странах. И если бы в нормативных документах вместо РИНЦ был бы прописан Web of Science, то недовольство тоже было бы, но уже со стороны ученых, активно публикующихся в российских журналах. Если люди видят, что в Web of Science у них цитирований больше, чем в РИНЦ, они возмущаются. А если обнаруживают обратную картину - их все устраивает.

Что касается методики подсчета, тут вы правы, и в любой базе данных - будь то Web of Science, РИНЦ или Scopus - прежде чем получить точные цифры по количеству публикаций и цитирований, придется повозиться: поискать разные варианты написания фамилий, названий организаций, отобрать полный список публикаций, изъять из него не относящиеся к этой организации или автору, неоднократно все внимательно проверить и только после этого просчитать конкретные индикаторы. Очень много зависит также от того, какая база данных, какой хронологический архив и какой поисковый интерфейс используются при расчетах, какие наукометрические показатели и т.д. Также далеко не все ссылки на данную публикацию могут быть к ней привязаны, поскольку в ссылках особенно много ошибок и неточностей, и если, например, страница указана неправильно, такое цитирование не будет засчитано.

- В общем, нет предела совершенству. Но все это не говорит о том, что индекс цитирования, в частности РИНЦ, - плохой инструмент для оценки научной деятельности. Другого-то все равно нет.

Г.Е.: - Во-первых, другого нет, а во вторых, надо понимать, что качественную картину подобные базы данных показывают достаточно объективно. Я думаю, что и в Минобрнауки, и в других ведомствах, где разрабатывают методики оценки, прекрасно понимают, что сравнивать между собой двух ученых, у которых, скажем, 100 и 110 цитирований, абсолютно бессмысленно. Если они работают в одной области, то это одного уровня исследователи. А вот если у одного две ссылки, а у другого - 2000, то разговор иной.

- Сколько времени вам потребуется, чтобы учесть все замечания и устранить все неточности?

Г.Е.: - Первые показатели, рассчитанные на совместных данных РИНЦ и Scopus, мы покажем уже через месяц. Практически одновременно будет открыт интерфейс для авторов, позволяющий им самостоятельно корректировать информацию о своих публикациях в РИНЦ. В дальнейших планах - предоставить авторам возможность добавлять публикации, которых в РИНЦ нет, причем не только статьи в журналах, но и другие типы публикаций - монографии, материалы конференций, научные отчеты, диссертации и т.д. Мы надеемся на понимание и партнерские отношения с учеными и научными организациями, их активное участие позволит сделать РИНЦ максимально корректным и объективным инструментом анализа российской науки.

Есть у нас и еще одно предложение, которое позволило бы значительно ослабить проблему идентификации авторов. Эта проблема, с которой сейчас столкнулись все мировые производители библиометрических и библиографических баз данных, особенно после того, как из Китая хлынул поток научных публикаций с практически одинаковыми фамилиями авторов. Мы планируем при регистрации в РИНЦ выдавать каждому автору уникальный идентификатор, который он может в дальнейшем указывать при отправке статей в журналы, подаче заявок на гранты и конкурсы, в общем, везде, где стоит проблема его идентификации как ученого или специалиста.

- У каждого ученого появится свой авторский ИНН. А что? Ведь это простая и здравая мысль.

Кстати, на днях Минобрнауки объявило конкурс на разработку нового аналитического проекта - информационно-аналитической системы статистического анализа библиометрических показателей науки на основе данных Российского индекса научного цитирования. Свыше 83 миллионов рублей пойдут победителю на создание системы, позволяющей максимально корректно ранжировать российских ученых и отечественные научные организации.

8 октября 2010, 15:31 | Просмотры: 464

Добавить новый комментарий

Для добавления комментария, пожалуйста войдите

0 комментариев