Введение критериев качества исследований поможет интеграции украинской науки в мировое пространство

Наталія ШульгаИсполнительный директор ОО «Украинский научный клуб”, к.б.н. Наталья Шульга
nataliya_shulga@nauka.in.ua

 

Двадцатый век стал эпохой разрушения империй и создания независимых национальных государств, которые начали строить гражданское общество и провозгласили равенство всех перед законом, предоставляя и гарантируя каждому гражданину базовые права человека. Постепенно образование и наука, которые на протяжении тысячелетий были доступны ограниченному количеству избранных членов общества, становились все более доступными. Борьба государств за сплошную грамотность населения становилась программной целью для правительств. Большое количество образованных людей и их выбор профессиональной карьеры в исследовательских лабораториях повлияли на ход современной истории. Развитие науки в прошлом веке привело к революционным открытиям в фундаментальных отраслях и привело к появлению новых технологий и производств, которые изменили представление о возможностях человеческого сообщества.

Времена гениальных одиночек прошли и теперь подавляющее большинство весомых открытий и разработок появляются в группах ученых, управляемых блестящими интеллектуалами. Такие группы могут работать в любой стране, которая способна создать соответствующие условия для творческого процесса. Уже не требует специальных доказательств наблюдения, страны с развитой системой образования и науки имеют и развитую экономику и благосостояние населения. Именно совокупность знаний, технологий и исследовательских инструментов позволяет находить решения проблем в любой области функционирования человеческого общества. Самая мощная страна мира – США – при анализе своих успехов и планировании перспектив развития на 21 век признала, что «… жизнеспособность (их общества – НШ) происходит в значительной степени от производительности хорошо обученных людей и постоянного потока научных и технических инноваций, которые они производят. Без высококачественных, основанных на интенсивном использовании знаний профессий и инновационных предприятий, ведущих к открытиям и новых технологий, наша экономика будет страдать и наши люди увидят падение уровня жизни. Экономические исследования еще во времена информационно-технологической революции (работы Р. Солоу и М.Абрамовица напечатаны в середине 1950-х годов – НШ) показали, что почти 85% измеренного роста доходов на душу населения в США вызвано технологическими изменениями. [1].

Индексы цитирования используются в определении интеллектуального потенциала государств

Более 50 лет назад в развитых странах возникла задача оценить вклад каждого исследователя в общий процесс развития науки с тем, чтобы более рационально использовать интеллектуальный потенциал личности при формировании творческих групп для решения проблем и для обучения новых специалистов. Ответ на вопрос – кто может оценить индивидуальный вклад ученого был найден самими учеными. Кто, как не коллеги по исследованиям, знают стоимость работы и оригинальность идей своих партнеров или конкурентов? Чтобы все было честно и объективно договорились о том, что главным источником знаний о текущих исследованиях являются публикации в специализированных научных журналах, а количество цитирований и ссылок на полученные оригинальные данные будут использоваться как ориентир для определения важности этих конкретных данных для развития научного направления. Современные компьютерные и информационные технологии позволяют создание и постоянное обновление баз данных, в которых аккумулируется информация о каждой реферируемой публикации и количество ссылок на нее, а этот анализ становится доступным через Интернет для всех заинтересованных. Так возникли индексы цитирования на базе которых начали строить всевозможные рейтинговые таблицы индивидуумов [2], изданий [3], исследовательских центров [4], университетов [5] и даже стран [6], которые отражают не только количество, но и качество интеллектуального продукта, который производится определенной человеческой общностю. Этот переход от количества публикаций к их качеству происходит тогда, когда количество независимых ссылок на отдельную публикацию начинает превышать 20, поскольку это означает, что исследователи в различных лабораториях мира признали важность этих данных как для собственного использования, так и для развития отрасли. Когда же количество ссылок на одну оригинальную публикацию превышает 100 и положительная динамика независимых ссылок продолжается более 10 лет, то такие исследователи считаются теми, кто сделал открытие и привели к выдающимуся взносу в определенную отрасль.

Хотя индексы цитирования не являются абсолютным и единственным мерилом качества научных исследований, они все же является объективным и полезным критерием для принятия взвешенных решений при приеме на работу индивидуумов, исследовательский потенциал которых необходимо оценить. Использование ИЦ – это все равно, что использование опроса исследователей в определенной области об их отношении к работам того или иного ученого. Важно и то, что «заказать» независимое международное цитирование работ невозможно и тем самым исключается коррупция и сговор. Еще одним важным аспектом использования ИЦ является аргументация при конкурсном отборе исследовательских проектов для финансирования. Если работу должен выполнять лучше, то этот индивидуум должен иметь доказательства своей состоятельности. Именно конкурентная среда и постоянная борьба за финансы в странах с развитой образованием и наукой создали знаменитую фразу «Публикуйтесь, или погибнете» ( «publish or perish»). Открытое и аргументированное соревнования по четким критериям и правилам является лучшим известным на сегодня способом построения логической и работающей системы научных исследований и высшего образования, в которой в основу заложены результативность и качество. Для исследователей в области гуманитарных наук использования индексов цитирования имеет ограниченное применение в том, что количество оригинальных находок и открытий в этих областях значительно меньше по сравнению с естественными науками.

Если согласиться с принятыми мировыми практиками, то можно не только оценить место Украины в мировом научном пространстве, а и начать строить стратегию страны для успешного интегрирования украинского интеллекта в мировое пространство. Современная вебометрика позволяет сравнивать различные государства согласно их интеллектуальным вкладом в глобальную среду знаний именно из-за важности и признание исследовательских работ авторов за их цитирования. Приведенная ниже таблица, построенная согласно базе данных SCOPUS [7], отражает вклад Украины во все отрасли науки и технологии за последние 12 лет. Для сравнения выбраны в качестве лидирующие страны (США), так и те, что подобные Украины по количеству населения (Испания) и развития (Польша). Также для сравнения добавлена ​​производительность в приоритетных в мире по количеству открытий отраслях современной биологии – биохимии, генетики и молекулярной биологии (БХ, Г, МБ)

Страна Население
в 2008 году
Все статьи /
БХ, Г, МБ
1996-2007 годы
Общий
индекс
цитирования /БХ, Г, МБ
 Средний ИЦ на статью /
БХ, Г, МБ  
H индекс /
БХ, Г, МБ
ИЦ на душу населения /
БХ, Г, МБ
1996-2007 годы
Канада33.525.000550.920/
64.367
6.180.777/
1.173.927
12.44/
19.05
417/
238
0,1844/
0,0350
Польша38.560.000184.120/
19.455
905.331/
144.593
5,55/
8,22
177/
92
0,0234/
0,0038
Испания45.853.000388.908/
43.317
3.126.547/
538.448
9,14/
13,36
284/
161
0,0682/
0,0117
Украина46.191.02265.566/
4.033
178.075/
16.281
2,73/
4,03
85/
52
0,0039/
0,0004
Франция65.073.482732.180/
86.269
7.491.135/
1.489.072
10,78/
17,10
432/
251
0,1151/
0,0229
Германия82.062.2001.013.151/
117.034
10.817.780/
2.149.540
11,30/
18,66
469/
284
0,1318/
0,0262
Россия141.735.840369.018/
34.444
1.352.932/
166.450
3,69/
4,72
206/
108
0,0096/
0,0012
США306.165.0003.885.065/
502.805
55.078.925/
11.161.422
14,51/
22,66
891/
497
0,1799/
0,0365

Показатели общего количества публикаций и их общее цитирование являются количественными показателями в этой таблице. Количество цитирований на одну публикацию, Н индекс (индекс Хирша [8]) и условный интеллектуальный вклад на одного гражданина страны в области науки дают относительные показатели качества публикаций. Эти показатели имеют значение лишь по сравнению с другими участниками процесса. Чем они выше, тем более существенным является качественный вклад.

Сравнение достижений украинских ученых с их коллегами в странах с подобной численностю населения (Испания, Канада), или подобным общественным развитием (Польша, Россия) поражает как в количественном, так и в качественных элементах. Цифры, приведенные в таблице, показывают во сколько раз по сравнению с Украиной, высокие показатели как производительности, так и вклада в научной сферы тех стран, которые анализировались в предыдущей таблице.

 Страна Производительность   Условный вклад общий  Условный вклад
на душу населения
    общий

 в приоритетную
отрасль

 Канада   8,0 35,0   47,088,0
 Польша  2,8  5,1  6,0 9,5
 Испания   5,9 17,6   17,529,3
 Украина   1,0   1,0 1,01,0
 Франция  11,2  42,1  29,5 57,3
 Германия  15,5  60,7  33,8 65,5
 Россия   5,6 7,6  2,5 3,0
США 59,3 309,3  46,191,3

Достижения России, на которую по старой привычке ссылаются зрелые руководители украинской науки, на поверку не являются впечатляющими, как достижения Канады, Франции или Германии, население которых гораздо меньше. Интересно, что Польша выбрала ориентир на качественные исследования и это сразу сказалось на росте интеллектуального потенциала страны. Поэтому украинским руководителям науки следовало бы больше консультироваться с польскими коллегами.

Вклад действительных членов НАН Украины в мировую базу данных о науке

Согласно уставу «Национальная академия наук Украины (далее НАН Украины) является высшей государственной научной организацией Украины, которая основана на государственной собственности и пользуется правами самоуправления.» [9] Среди основных задач НАН Украины согласно статье 2 является «выполнение на мировом уровне фундаментальных и прикладных исследований на приоритетных направлениях науки и усиление влияния их результатов на инновационное развитие экономики, образования и культуры в Украине». Руководство НАН Украины обеспечивается ее членами, к которым относятся действительные члены и члены-корреспонденты. Согласно статье 19 «Действительными членами НАН Украины избираются ученые, внесших выдающийся вклад в развитие соответствующих направлений науки. Членамы-корреспондентами НАН Украины избираются ученые, обогатившие науку выдающимися достижениями». Таким образом НАН Украины собирает под свою крышу лучших ученых, которые определяют направления и приоритеты науки для нашего государства, а также несут ответственность не только за распределение средств для исследований, но и за эффективность использования этих средств.

На страницах официального сайта Украинского Научного Клуба расположены таблицы, которые дают информацию о реферированные публикаций членов НАН Украины. [10] Методология построения таблиц предельно проста. Поиск реферируемых статей сделан по имени автора во всех базах Web of knowledge Тhomson ISI [11] (SCI-EXPANDED, SSCI, A & HCI)
В таблицу внесены:

  • общее количество реферируемых публикаций (критерий производительности),
  • общий индекс цитирования (критерий сведения),
  • средний индекс цитирования на статью (критерий качества исследований),
  • наиболее высокий индекс цитирования одной публикации (критерий популярности, открытия или инновации)
  • индекс Хирша – Н-индекс – (критерий вклада ученого в отрасль).

На официальных сайтах самой НАН Украины, и на соответствующих официальных сайтах учреждений, где работают лучшие ученые, отсутствуют полные перечни оригинальных работ для всех членов НАН Украины. Таким образом представленные ниже данные могут иметь отличия от реальных данных и требуют дальнейшего уточнения от авторов в будущем. Дополнительными трудностями являются разные написания славянских имен при публикации в зарубежных журналах, а также изменение имен на протяжении жизни. Распространенные фамилии могут быть связаны с исследователями в различных отраслях и странах и это также может повлиять на результаты поиска.

Использовались все возможные написания фамилий и имен в переводе на английский с русского и украинского и отбирались работы по направлениям, которые соответствовали заявленным на официальном, обновленном до 90-летнего юбилея, портале НАН Украины для каждого члена Академии. [12] Еще одной оговоркой является то, что для анализа использовалась наиболее опробована, но и требовательна поисковая система Thomson ISI.

Эта система анализирует не все журналы, издаваемые в мире, а только реферированные журналы, отобранные по жестким критериям соответствия современным стандартам научных публикаций. [13] Только 15717 журналов, выходящих во всем мире и представляют все направления исследований, анализируются в этой базе данных. То есть статьи, публиковавшиеся в изданиях, которые не прошли отбор к этой базе данных, не учитываются.

Попытки ученых поделиться своими достижениями с коллегами заставляет публиковать результаты в журналах, которые читают во всем мире, и таким образом предоставить миру возможность оценить их качество и стоимость. Если исследователи таких усилий не делают, то и не могут считать себя теми, кто работает «на мировом уровне», ибо мир о них просто не знает.

Фундаментальные исследования считаются открытыми именно потому, спонсируемых по налогам населения, все желающие имеют к ним свободный доступ через электронные базы данных, через библиотечные депозитарии и через прямой обмен с коллегами. Рядом с профессиональной экспертизой (реферирование) принципы открытости и доступности дополнительными необходимыми элементами для контроля за достоверностью данных, которые публикуются.

Таблицы составлены таким образом, что те, у кого есть ссылки на их оригинальные публикации, расположенные по рейтингу, остальные – в алфавитном порядке.

Обращает внимание тот факт, что каждое отделение НАНУ имеет как блестящих исследователей так и тех, о ком мировому сообществу неизвестно. Учитывая тот факт, что денежная компенсация за выдающиеся вклады в науку предоставляются академикам по жизненно, остается вопрос, на каком основании и по каким рекомендациям были выбраны для такой привилегии те, кто ничего для мира не предоставил и как определялся «мировой уровень» их работ?

Можно принять во внимание те реалии, которые существовали в СССР, который установил «железный занавес» и не позволял ученым свободно публиковаться за рубежом, а количество советских изданий, зарегистрированных в списках Thomson ISI была крайне ограничена. Но более 20 лет уже снято это ограничение и те, кто имели интересные идеи и предложения начали публиковаться во влиятельных журналах.

Даже учитывая фактор закрытости и секретности исследований в советские времена, требует объяснения низкий уровень работ, печатных вновь принятыми членами академии в последние годы. Создается впечатление, что большое количество членов НАНУ занимаются исследованиями, которые никому не интересны и не нужны, а оценить уровень их экспертизы извне невозможно. К тому же все осталось так, как было во времена командно-административной системы СССР. Сами академики себе деньги начисляют, сами их используют, сами себе отчитываются и сами себя выбирают на следующий цикл. Система сама себя восстанавливает. Поскольку невозможно узнать о критериях реального отбора к важнейшей научной структуре Украины, возникает вопрос о том, соответствуют ли существующие члены НАН Украины и кандидаты на вакансии уставным требованиям и целям организации?

Фактор экономического кризиса и ограниченные финансовые возможности в первые десятилетия независимой Украины могут влиять на приведенные выше результаты, но требует анализа эффективности использования средств, выделяемых на научные исследования. И здесь без оценки качества исследований не обойтись.

Приведенный анализ требует от руководства НАН Украины и всего общества ответы на поставленные вопросы, осознание реального положения вещей и срочных действий для решительной реформы научной сферы.

[1] «Rising Above the Gathering Storm: Energizing andEmploying America for a Brighter Economic Future» (2007), Committee on Prospering in the Global Economy of the21st Century: An Agenda for American Science andTechnology, National Academy of Sciences, NationalAcademy of Engineering, Institute of Medicine; ISBN: 978-0-309-10039-7, 592 pages
[2] www.isiwebofknowledge.com
[3] www.thomsonreuters.com/products_services/scientific/Journal_Citation_Reports www.scimagojr.com/journalrank.php
[4] www.webometrics.info/top1000_r&d.asp

[5] www.arwu.org; www.webometrics.info/top4000.asp
[6] www.scimagojr.com/countryrank.php; www.prosperity.com/downloads/2008LegatumPItable.pdf

[7] SCImago (2007) .SJRSCImagoJournal & Country Rank.Retrieved January 20, 2009, from http://www.scimagojr.com

[8] http://en.wikipedia.org/wiki/Hirsch_number

[9] www.legaltexts.nas.gov.ua/nas/1992-2001/regulations/Documents/charter_nasu.pdf

[10] www.nauka.in.ua

[11] http://www.isiwebofknowledge.com/

[12] http://www.nas.gov.ua/members/alphabeth/Pages/default.aspx

[13] http://scientific.thomsonreuters.com/mjl/selection/#jsc

Источник: http://nauka.in.ua/news/integration_ukr_science