Система рейтинговой оценки научной деятельности

Сегодня инновационное развитие Украины становится все более актуальной и насущной потребностью государства. Однако воплощение этой идеи невозможно без передовой и конкурентоспособной науки. «Делать» ее (ученые обычно говорят именно так) способны как яркие личности, так и мощные научные коллективы. Однако вопрос о критериях оценки их деятельности сложный, дискуссионный и неоднозначный. В Институте экспериментальной патологии, онкологии и радиобиологии им. Р.Е. Кавецкого НАН Украины в отделе научно-методического обеспечения инновационной деятельности по инициативе и всестороннему содействию директора института академика НАН Украины В.Ф. Чехуна разработали собственную систему рейтинговых критериев аттестации научных сотрудников. Ее уже апробировали и признаны перспективной. Именно об этой технологии в разговоре с заведующим отдела научно-методического обеспечения инновационной деятельности кандидатом биологических наук Татьяной Витальевной Пьятчаниной.

– Татьяна Витальевна, насколько сегодня актуален вопрос оценки эффективности научной деятельности и почему ученых перестал удовлетворять подход к аттестации кадров, издавна практикуемый в академических институтах и ​​высших учебных заведениях Украины?

– Проблема оценки научных исследований и работы ученого в целом не нова: ей столько лет, сколько и самой науке. Всегда была необходимость определить, насколько качественно, эффективно и результативно работает ученый. Для этого использовали различные системы и наукометрические средства, которые позволяли оценить эту работу по количественным показателям. Речь идет прежде всего о публикациях, патентах и авторских свидетельствах.

Однако разработка методологических подходов к оценке качества научного исследования и результативности деятельности научных работников остается одной из основных проблем науковедения, поскольку, несмотря на многочисленные работы в области наукометрии, сейчас отсутствует универсальная методика, которая решила вопрос сочетание количественных и качественных методов анализа.

Постановлением Кабинета Министров Украины с 1999 г, В соответствии со статьей 21 Закона Украины «О научной и научно-технической деятельности», утверждено положение «Об аттестации научных работников». Оно предусматривает прежде всего определение соответствия ученого занимаемой им должности, но недостатком этого положения, по нашему мнению, является то, что на процессе оценки при аттестации сказывается субъективное суждение членов комиссии, которые не всегда отслеживают, каким образом ученый реализует инновационную составляющую своей работы. Поэтому и возникла необходимость разработать такую ​​систему, которая бы позволяла отслеживать как формализованные показатели (количественные), так и неформализованные (качественные), в том числе и инновационный аспект деятельности конкретного ученого.

– Такую систему Вы разработали, а учтено ли в ней специфику медико-биологической сферы, в частности онкологии?

– Конечно. Особенность научно-инновационной деятельности в медико-биологической сфере заключается в том, что ее результаты направлены не только на «получение новых знаний», но и ориентированы на нужды здравоохранения, как того требует государственное приоритетное направление – здоровье населения. Поэтому надо четко отличать процессы трансформации научных разработок в инновационный продукт для последующего его внедрения в практическую плоскость здравоохранения от подобных процессов в других отраслях.

По онкологии, которая занимает одно из первых мест в мире по показателям заболеваемости и смертности населения, то необходимо признать, что эта отрасль требует очень осторожного отношения к оценке результативности научно-инновационной деятельности учреждений, которые в ней работают. Если принимать во внимание введение в мировой и европейской онкологии такого направления, как «трансляционная медицина», состоящий из «трансляционных исследований» (фундаментальных) и собственно «трансляционной онкологии», то первостепенной важности приобретает оценка каждого из этих взаимосвязанных процессов с точки зрения именно эффективности научно-инновационной деятельности коллективов и вклада каждого работника.

Здесь крайне важно рациональное применение специальных инструментов для проведения мониторинга, которое будет способствовать гибкому управлению деятельностью научных коллективов и создаст условия для внедрения принципов конкурентоспособности научно-инновационной деятельности в стране и в отдельных отраслях ее экономики. Таким инструментом может и должна быть специализированная многофункциональная и широкомасштабная система оценивания, которая учитывает все аспекты деятельности научного сотрудника. Разработка и дизайн такой системы, ее апробация с последующим согласованием и внедрением в научно-исследовательских учреждениях не только медико-биологического, но и естественного направления и стали предметом проводимых нами исследований.

– Пользовались ли Вы зарубежным опытом при разработке этой системы?

– Начнем с того, что в зарубежных научных организациях оценивания индивидуальной эффективности деятельности не исчерпывается только аттестацией. В частности, в России, Беларуси, Казахстане разработали порядок и условия использования поощрительных выплат, обеспечивающих повышение результативности деятельности научных и руководителей научных организаций. Скажем, в Российской академии наук индивидуальный показатель результативности деятельности научных работников является суммой баллов, определяется в соответствии с методикой, которая предусматривает начисление баллов за публикации в периодических журналах, которые рецензируют; за монографии, изданные в научных издательствах и имеют шифр ISBN; учебники с грифом Министерства образования и науки; участие в конференциях; разработку научно-образовательных курсов; создание объектов интеллектуальной собственности; руководство соискателями ученой степени и дипломниками; цитирования, а с 2008 г. – обязательно учитывают еще и российский индекс цитирования.

На Западе используют такие известные показатели, как индекс цитирования, импакт-фактор журнала, в котором опубликована статья, индексы Хирша, Прайса и многие другие наукометрические показатели, позволяющие оценить результативность работы ученого. Но для нашей действительности они не всегда подходят, так как не учитывают роли инновационного фактора, и отечественный ученый привлечен к значительно более широкой сфере деятельности, то есть не только к научной работе. К тому же рассчитывать индекс цитирования по заграничным критериям мы не можем хотя бы потому, что некоторые журналы с высоким импакт-фактором публикуют статьи небезплатно. Эти средства при планировании ГДР у нас не закладывают. Обычно больше шансов что статьи украинских ученых будут опубликованы в соавторстве с зарубежными учеными.

Мы проанализировали таблицы, которые используют для расчета показателя результативности в России и Беларуси. Они очень сложные и громоздкие, поэтому их заполнения требует много времени и соответствующих управленческих решений. Основной, на наш взгляд, недостаток их системы оценивания в том, что она не является сбалансированной, а больше ориентирована на прикладные исследования. Логично, что научные учреждения третичного профиля, например те, которые исследуют социальные проблемы, всегда будут в аутсайдерах.

Возвращаясь к поставленному Вами вопрос, отвечу так: мы воспользовались опытом зарубежных коллег, поскольку мы учли недостатки и предприняли попытку избежать их в дальнейшем. Одно мы знали точно: надо сделать что-то более практичное и простое в применении.

– Как Вы предлагаете оценивать индивидуальную деятельность научного сотрудника и научного коллектива в целом?

– Перед нами стоит задача разработать такую ​​систему рейтинговой оценки индивидуальной научной деятельности, которая позволяла оценить работу ученого конкретной величиной. На основе этой оценки надо построить рейтинг, который бы сделал сравнение деятельности ученых, занимающих аналогичную или разные должности. Это позволит подойти к традиционной аттестации более объективно.

Коллектив нашего отдела научно-методического обеспечения инновационной деятельности в пределах двухлетней темы научно-исследовательской работы создал технологию рейтинговой оценки научно-инновационной деятельности научного сотрудника. Она предусматривает классификацию и систематизацию составляющих научно исследовательской деятельности сотрудников Института экспериментальной патологии, онкологии и радиобиологии им. Р.Е. Кавецкого НАН Украины; регламент оценки; математический аппарат, адаптированный и отработанный именно для этой цели, и, наконец, создание уже на основе этой технологии автоматизированной информационно-расчетной системы рейтинговой оценки деятельности ученого – «Анкеты научного сотрудника», которая стала бы информационным сопровождением принятия объективных управленческих решений. Весь этот комплекс задач выполнено в полном объеме, а его результатом стала разработка на ее основе автоматизированной «Анкеты научного сотрудника», то есть системы рейтинговой оценки деятельности ученого.

Мы воспользовались украинской законодательной базой, в частности Законом Украины «О научной и научно-технической деятельности», и создали достаточно разветвленную систему критериев, или показателей научной деятельности, которая называется «Онтология составляющих научной деятельности сотрудника». По нашему мнению, она охватывает все виды деятельности научного сотрудника естественного профиля – научную, научно-инновационную, научно-методическую и научно-педагогическую деятельность – и все ее составляющие. Введено также группу критериев, которые учитывает квалификационный потенциал ученого. После этого каждый член экспертной комиссии, в которую вошли ведущие ученые нашего института, присвоил количественную балльную оценку предложенным видам деятельности. Эти оценки были обработаны с помощью адаптированного нами математического аппарата.

Особенно стоит отметить, что автоматизированная «Анкета научного сотрудника», созданная на основе технологии рейтинговой оценки индивидуальной результативности работы научного работника, действительно универсальна. Почему? Хотя она и предусмотрена для институтов естественнонаучного профиля, и, изменяя перечень составляющих деятельности научных учреждений другого профиля и предоставляя приоритет другим видам деятельности, ее можно модифицировать таким образом, что она будет пригодной для оценки работы ученого любого заведения разного ведомственного подчинения: НАН Украины, НАМН Украины, НААН Украины, Минобразования Украины и др. Ведь именно изменчивость критериев и соответствие баллов, которые оценивают, делают такую ​​модификацию. Эти учреждения можно будет сравнивать независимо от того, какие приоритетные направления исследований они выберут для себя. Наша технология позволяет это сделать.

– На каких принципах построена эта универсальность?

– Среди ее основных принципов – удобство, открытость, прозрачность и невозможность корректировки со стороны постороннего лица или структуры. Универсальность этой «Анкеты» в том, что она может быть установлена ​​как на одном отдельном компьютере, так и в сети Интернет. Кроме того, «Анкета» может служить индивидуальной базой данных для ученого, так как позволяет, в случае ее постоянного наполнения, хранить все данные: показатели и научной, и организационной и педагогической работы. Она доступна как для научного сотрудника, который вносит туда свои результаты и имеет возможность их изменять, так и для гостя, который, однако, может только наблюдать за показателями и динамикой результативности, но не имеет возможности корректировать данные. Ею может воспользоваться и администратор, который отвечает за функционирование этой системы.

Насколько я поняла, разработанная учеными Вашего отдела анкета рейтинговой оценки деятельности научного сотрудника, – своеобразное ноу-хау?

– Сегодня в Украине нет подобной анкеты. Прежде всего, она автоматизирована: после внесения данных система автоматически вычисляет баллы, а в конце выдает итоговую табличку с определенным результатом, который можно проанализировать, сравнить и который позволяет наметить планы на перспективу. Кроме того, она является хорошим информационным сопровождением для принятия администрацией того или иного научного учреждения управленческих решений, поскольку дает ее руководителю возможность зайти как гость в индивидуальную таблицу любого научного сотрудника и посмотреть, как выражается в баллах результативность его труда, сравнить результаты работы различных ученых и сделать соответствующие выводы.

Новая технология уже апробирована в институте?

– Технология апробирована во время плановой аттестации научных сотрудников института. Мы получили данные и проанализировали заполненные анкеты. Это позволило получить определенные результаты и сделать выводы о возможности наблюдать (даже на перспективу) по динамике работы того или иного сотрудника. «Анкета научного сотрудника» позволяет отслеживать соответствие ученого занимаемой должности согласно его рейтингом. Если человек в течение 5 лет работает с одинаковой производительностью, то это, конечно, побуждает к определенным управленческим решениям. Если ученый хочет занять более высокую должность, то, разумеется, должен повышать и производительность своего труда.

Мы подсчитали интервал в баллах, что соответствует каждой должности: для ведущего инженера – один, для младшего сотрудника – другой и т.д. У нас даже был такой случай, когда человек, работая ведущим инженером, должен был бы на основе результативности своей работы получить повышение еще несколько лет назад. Кстати, количество баллов, о которых идет речь, меняется из года в год, поскольку в институте не может быть ежегодно одинаковой производительности труда. В зависимости от того, как учреждение работает в течение года, определяют интервалы баллов. Вполне индивидуальный подход.

В целом «Анкету» построено так, что каждая страница соответствует определенному виду деятельности и отдельному году. Она имеет привлекательный и понятный интерфейс, очень удобная для пользования. Однако важнее всего то, что эта технология позволяет ученому взглянуть на себя со стороны и способствует его конкурентоспособности.

Как сотрудники института приняли это нововведение? С настороженностью?

– Мы предложили это нововведение еще до презентации «Анкеты», поэтому ученые восприняли его как дополнительную работу для аттестации. Однако, когда во время отчета о выполнении нашей темы мы показали, как «Анкета» работает, то получили очень много вопросов. В общем это новшество восприняли положительно. Она дисциплинирует ученых и облегчает их работу. Ведь каждую статью, грант, патент и т.д. можно внести в «Анкету» и сохранить в ней нужную информацию как в базе данных, а при аттестации просто скопировать ее и подать в научной части.

Новацию уже запатентовали?

– Да. Ожидаем патент в ближайшее время. Речь идет о получении авторского права на две компьютерные программы и о патентовании самой технологии со всеми его составляющими как полезной модели.

– Учитывая универсальность созданной Вами технологии рейтинговой оценки деятельности ученого, рядовые украинцы тоже смогут увидеть, как работают ученые и научное учреждение в целом?

– Конечно. Даже те из них, кто с наукой непосредственного не связан, смогут увидеть работу и оценить ее качество, результативность и даже эффективность. Если «Анкету» усовершенствовать, привлекая к этому экономистов, чтобы показать наши экономические показатели и соответствие результативности использованным средствам, то она будет иметь перспективу и с другой стороны. В будущем каждый, кто пользуется Интернетом, может зайти на наш сайт, зарегистрироваться в качестве гостя, войти в систему и ознакомиться с результатами деятельности любого ученого. Это может сделать администрация учреждения, Президиума Академии, отделения и т.

– Насколько перспективна разработанная технология?

– Мы считаем «Анкету научного сотрудника» довольно перспективной, так как альтернативы ей не видим. Если в научной литературе и есть подобные технологии, то они все равно базируются на других принципах. Большинство учреждений пользуется аттестационной системой 1999, которая субъективно оценивает деятельность ученого, а ее инновационный аспект учтено лишь частично.

Методы исследования, которые мы применили для разработки технологии, очень разнообразны. Это и методы наукометрии и системного анализа и др. В этом помогали наши сотрудники, которые имеют второе высшее образование (они закончили Институт интеллектуальной собственности при Одесской юридической академии). Нам удалось создать автоматизированную анкету благодаря тому, что в институте работают ученые, профессионально владеющие компьютерными технологиями.

Мы лелеем амбициозные планы: хотим представить технологию более широкой аудитории. Есть договоренность с Национальной академией медицинских наук по презентации «Анкеты», готовы рассказать о ее универсальности и показать, как она работает, даже установить на компьютеры. Будем рады сотрудничать, делиться опытом, а ученые других учреждений пусть решают, насколько для них это необходимо.

– Когда планируете окончательно внедрить в своем институте разработанную систему?

– Думаю, это может произойти в ближайшее время. На последнем заседании ученого совета об этом шла речь. К тому же наш директор, академик В.Ф.Чехун, серьезно настроен вводить ее и использовать как дополнительный инструмент мониторинга производительности научной и научно-инновационной деятельности сотрудников и их соответствия занимаемой должности во время проведения плановых аттестаций в учреждении, ведь научная общественность восприняла ее положительно.

Беседовала Ирина НИКОЛАЙЧУК

Источник: http://www.nas.gov.ua