Канн С.К., Павлова Л.П., Дубовенко В.А. Методы оценки эффективности публикаторской деятельности ученых Новосибирска
Навигация
Сборник статей
С.К.Канн, Л.П.Павлова, В.А.Дубовенко
 
МЕТОДЫ ОЦЕНКИ ЭФФЕКТИВНОСТИ
ПУБЛИКАТОРСКОЙ ДЕЯТЕЛЬНОСТИ УЧЕНЫХ
НОВОСИБИРСКА
*

С июля по декабрь 1996 г. в рамках проекта РГНФ "Научный потенциал Сибирского региона: тенденции развития", была проведена оценка показателей цитируемости работ 1326 докторов наук Новосибирска из трех научных секторов - академического, вузовского и отраслевого. Эта работа носила вспомогательный характер и должна была дополнить общий анализ научной деятельности новосибирских ученых. Для проведения анализа использовалась известная база данных (БД) Института научной информации США "Science Citation Index" ("SCI") за 1991-1995 гг. (5 компакт-дисков в версии Compact Disc Edition).

База "SCI" охватывает публикации по проблемам наук о жизни, клинической медицине и биомедицине, наук о Земле, охраны окружающей среды, физики, химии, математики, и строительства. В целом, это тот спектр отраслей, в области которых работают ученые Новосибирского научного центра.
Известно, что "SCI" включает информацию далеко не из всех научных журналов, а лишь тех из них, которые имеют высокий импакт-фактор. Для подготовки указателя отбирается ограниченный, хотя и очень представительный круг источников - около 3500 журналов и 200 продолжающихся изданий по 100 дисциплинам. По словам математика Альфредо Октавио, такой подход призван "продемонстрировать мировому сообществу лидирующее положение американской науки"[1]. С одной стороны, с этим определением нельзя не согласиться. Однако известно и то широкое признание, которым пользуется БД "SCI" среди ученых всех стран.
Анализ цитируемости применяется для решения многих задач, в том числе для выявления наиболее авторитетных научных школ и коллективов, приоритетных направлений современной науки, вклада государств в общемировой прогресс науки.
Универсальность "SCI" позволяет получить весь круг ссылок на искомых авторов, независимо от тематики их работ и сроков публикации, потому что не содержит деления на отдельные дисциплины и отрасли знания и отражает все ссылки, взятые из проанализированных статей. Это преимущество "SCI" соответствовало задачам нашего исследования.
Полученные данные были обработаны и сведены в таблицы.
Они отражают количество статей, в которых встретились ссылки на соответствующих авторов[2]. Применялась следующая методика обсчета. Фамилии докторов наук транслитерировались в несколько латинизированных вариантов (от 1 до 10, в зависимости от сложности фамилий), в соответствии с правилами транслитерации, применяемыми в "SCI", и с учетом возможных ошибок. Поисковая стратегия формировалась по БД 1995 г., после чего производился автоматический поиск в поле "Citation" по 5 годам - с 1991 по 1995 г. В дальнейшем результаты обобщались и суммировались полуавтоматически, с использованием электронных таблиц Excel.
Даже при использовании столь простой методики, машиночитаемых баз "SCI" и компьютерных методов обработки анализ цитирования работ большого числа ученых представляет чрезвычайно трудоемкую задачу, которая, к тому же, по условиям проекта, выполнялась в сжатые сроки. Понимая, что в таких условиях нельзя обеспечить индивидуальную точность результата по каждому из 1326 ученых, так как для этого требовалось библиографически выверять все данные, как вводимые при поиске, так и получаемые из "SCI", мы сосредоточились на анализе отраслей и направлений науки. Сделано это было с целью минимизировать возможные ошибки подсчета. Полученные данные позволили более точно оценить научную деятельность, ее качественную сторону, чем это можно сделать, основываясь лишь на количестве публикаций. В одной из первых отечественных работ об указателе "SCI" ее автор обратил внимание на то, что "последовательность расположения авторов по числу публикаций (ранжирование) совсем иная, если не обратная, чем по частоте цитирования"[3].
БД "SCI" в версии CDE на компакт-дисках не приспособлена для массированных библиометрических подсчетов. Эту базу рационально использовать как подручное средство библиографа или исследователя при индивидуальных поисках. При возрастании объемов работы с данной версией "SCI" значительно возрастает и число ошибок, которые необходимо постоянно держать в поле зрения.
На точность обсчета в сторону занижения получаемых результатов влияли следующие основные факторы: 1) сложные случаи транслитерации фамилий и инициалов, когда были возможны несколько десятков комбинаций; 2) присутствие в базе фамилий только с первым инициалом (стратегия подразумевала поиск по двум инициалам); 3) библиографические ошибки самого указателя "Citation Index", заимствованные из первоисточников. Несмотря на большую работу Института научной информации по "отлавливанию" ошибок, словарь БД "SCI" показывает, что база содержит немало искажений как в фамилиях, так и в остальных элементах библиографического описания.
Как показал анализ, все вышеперечисленные факторы, играющие "на понижение", в значительной степени уравновешиваются мощным фактором противоположного свойства: в случае обсчета распространенных фамилий захватывается масса "чужих" ссылок. Подчас трудно было имеющимися средствами даже примерно "развести" эти ссылки по разным авторам. Так, ориентируясь на тематику исследований, весьма сложно "развести" работы двух докторов наук из Института математики (ИМ) СО РАН - Лаврентьева М.М. - старшего и Лаврентьева М.М. - младшего. Ориентируясь лишь на адрес (Новосибирск) невозможно отделить работы Захарова В.А. из Института катализа (ИК) СО РАН от работ Захарова В.А. из Объединенного института геологии, геофизики и минералогии (ОИГГМ) СО РАН. Именно для таких случаев требуется предварительная библиографическая проработка списков публикаций "обсчитываемых" авторов.
В нашей ситуации принималось конкретное решение, направленное на минимизацию погрешности в рамках общей задачи. В каких-то случаях, когда распространенная фамилия автора совпадала также с распространенными инициалами (Иванов А.А. из Института ядерной физики (ИЯФ) или Ефремов А.В. из Мединститута), было решено вообще не вести обсчет, так как это менее искажало общую картину, чем "вливание" заведомо неверных ссылок, составлявших у такого автора 30-40% от всех ссылок учреждения. В случае Лаврентьевых ссылки обоих авторов не разделялись, потому что полученные цифры считались общими для всего математического направления.
Существенное влияние на погрешность в определении частоты цитирования имеют также широко известные особенности самой БД "SCI": возможность поиска в ней сведений только по первому автору, ограниченный круг источников цитирования, etc. Исследователи отмечают, что слишком сокращены библиографические описания цитируемых работ: даже при наличии списка работ автора не всегда удается определить, на какую из его работ сделана ссылка[4]. Наиболее точные результаты можно было бы получить при тщательной подготовительной работе и последующем программированном сопоставлении данных всех частей "SCI" (Source, Citation & Permuterm Subject Index) на всю глубину издания.
Однако если анализировать полученные цифры суммарно, имеется основа для сравнения разных отраслей и направлений науки.
На момент обобщения данных нами были получены сведения из библиотеки ОИГГМ СО РАН. Там был осуществлен подсчет частоты цитирования по 102 "своим" докторам наук с использованием БД "SCI" (версии CDE) за 1991-1994 гг. Эта работа, в отличие от нашей методики, была выполнена на основе выверенных библиографических списков и знания публикаций авторов-геологов. Сравнение данных, полученных нами и нашими коллегами, показывает, что, несмотря на встречающиеся индивидуальные отклонения по отдельным авторам, в целом наблюдается выраженная корреляция результатов, а общее расхождение за 1991-1994 гг. составляет 16,4% (1335 ссылок по данным ОИГГМ против 1116 - по нашим данным).
Проанализируем состояние дел в каждом секторе науки.

АКАДЕМИЧЕСКАЯ НАУКА
Сибирское отделение Российской академии наук (СО РАН)

Авторы рассматривали абсолютное число ссылок на работы ученых каждого института и на одного доктора наук (для сравнительных характеристик это наиболее объективный показатель). В абсолютном выражении в цитировании лидирует Институт ядерной физики, затем Институты математики и катализа. По относительному показателю картина следующая:
    Институт ядерной физики (ИЯФ[5]) - 75,3;
    Институт химии твердого тела и механохимии (ИХТТМ) - 61,6;
    Институт катализа (ИК) - 54,3;
    Институт автоматики и электрометрии (ИАЭ) - 50,4;
    Институт органической химии (ИОХ) - 49,0;
    Институт химической кинетики и горения (ИХКГ) - 43,7;
    Институт биоорганической химии (ИБХ) - 39,3;
    Институт неорганической химии (ИНХ) - 39,1.
Наименьший показатель в институтах: Центральном Сибирском ботаническом саду (ЦСБС) - 2,1; Институте горного дела (ИГД) - 3,6; Институте систематики и экологии животных (ИСЭЖ) - 4,2; Институте почвоведения и агрохимии (ИПА) - 4,6.
Среднее число ссылок на публикации докторов наук ННЦ составляет 26,7.

Сибирское отделение Российской академии медицинских наук
(СО РАМН)

Наибольшее число ссылок (в абсолютных числах) - на работы ученых Института клинической иммунологии. По относительному показателю лидирует Институт молекулярной патологии - 67; затем Институт клинической иммунологии - 33,5; Институт биохимии - 31,5; Институт терапии - 15; наименьшее - в Институте региональной патологии - 6,7. Средний показатель цитируемости составляет 13,4.

Сибирское отделение Россельхозакадемии (СО РАСХН)

К сожалению, БД "SCI" имеет мало ссылок на публикации сельскохозяйственной тематики. Фамилий многих докторов наук в БД вообще не оказалось. Этим объясняется и низкое цитирование публикаций этой отрасли в СО РАН. Всего была найдена 21 ссылка, что составило в среднем 0,46 на одного доктора наук.

ВУЗОВСКАЯ НАУКА

Не все представители этой науки нашли отражение в БД: не оказалось работ докторов наук Новосибирского агроуниверситета (НАГУ), Новосибирской государственной академии экономики и управления (НГАЭиУ), Института легкой промышленности, Сибирской академии госслужбы (САГС), Новосибирской государственной архитектурно-художественной академии (НГАХА). Лучше других представлены в БД работы докторов наук Медицинского института, Новосибирского государственного технического университета (НГТУ). По среднему показателю (на одного доктора наук) - Новосибирский государственный педуниверситет (НГПУ) - 10,5 ссылок; Новосибирский госуниверситет (НГУ) - 7,46; НГТУ - 3,76; Сибирская государственная академия строительства (СГАС) - 3,4.
Общий средний показатель на одного доктора наук равен 2,12.

ОТРАСЛЕВАЯ НАУКА

Поиск был проведен по всем институтам, результат составил 400 ссылок, в среднем 5,5 на одного доктора наук. Наибольшее число ссылок представлено на труды ученых Государственного научного центра (ГНЦ) "Вектор" - 280 (среднее число ссылок - 15,5), затем - Сибирского научно-исследовательского института геологии, геофизики и минерального сырья (СНИИГГиМС) - 69 (среднее - 3,8), Научно-исследовательского института патологии кровообращения (НИИПК) - 21 (среднее - 2,1).
Таким образом, сравнение индекса цитирования работ докторов наук трех секторов науки показывает на преимущество академической науки. Вторую строчку занимает отраслевая наука - 5,5, а затем вузовская - 2,1.
Интересно было проанализировать цитируемость публикаций авторов отдельных отраслевых блоков науки Новосибирска (см. прил.). Лидером является блок химических наук, представленный лишь академической наукой: средний показатель - 49,5. Затем следует блок физико-технических наук - 21,3; далее - блок математических наук, также представленный только академической наукой, - 18,4, и биологических наук - 12,2. Хорошо представлен блок наук о Земле (геологический), включающий все три сектора, - 11,6. Блоки сельскохозяйственных и гуманитарных наук имеют небольшую степень цитируемости и совсем отсутствуют в БД данные по экономическим наукам. Поиск по БД "Social Science Citation Index" мог бы исправить картину цитируемости работ.
Для получения более полных и объективных данных о наличии публикаций сибирских ученых дополнительно был проведен поиск через Интернет по каталогу изданий библиотеки Гарвардского университета, а также по БД Medline. Эти БД были выбраны, с одной стороны, из-за их значимости в мировом информационном пространстве (научность изданий, отражаемых в них, полнота, высокая информативность изданий и т.п.), а с другой, - по причине их доступности в сети Интернет.
В БД Medline хорошо представлены труды ученых СО РАМН. Здесь оказалось 1552 их публикации (средний показатель на одного доктора наук - 25). Больше всего БД отражает публикации докторов наук Института физиологии, затем Института клинической иммунологии, далее - Института региональной патологии и клинической и экспериментальной лимфологии. По среднему показателю лидируют доктора наук институтов биохимии - 66, клинической иммунологии - 36, Президиума СО РАМН - 32,5.
В БД также полно представлены труды ученых отраслевых институтов медицинского профиля: Института патологии кровообращения (ИПК) - 26,5; НИИ гигиены - 19; НИИ травматологии и ортопедии (НИИТО) - 4,14, а также вузовской науки: мединститута - 13,6.
В каталоге библиотеки Гарвардского университета поиск велся по публикациям ученых всех научных учреждений Новосибирска. Больше всего публикаций имеют ученые, занимающиеся гуманитарными науками - в относительном выражении (среднее число) - 11,5; затем следуют науки о Земле - 4,29; математические науки - 3,6; сельскохозяйственные - 2,8; химические науки - 1,4; биологические науки - 1,3; физико-технические - 1,3; экономические науки - 0,8.
Таким образом, мы осуществили лишь попытку ранжирования научных публикаций докторов наук Новосибирска, используя информационные ресурсы, которыми располагает Отделение Государственной публичной научно-технической библиотеки СО РАН в настоящее время.

ЛИТЕРАТУРА
 
[1] Alfredo Oktavio. The "Indexed" Theorem // The Math. Intelligencer. 1996. Vol.18, N 4. P.9-11.
[2]Гарфилд Ю. Можно ли выявлять и оценивать научные достижения и научную продуктивность? // Вестн. АН СССР. 1982. N 7. С.50; Маршакова-Шайкевич И.В. Вклад России в развитие науки: библиометрический анализ. М.: Янус, 1995. С.21.
[3]Васильев Р.Ф. О количестве публикаций и частоте их цитирования как наукометрических показателях // Материалы к симпозиуму "Исследование операций и анализ развития науки". М., 1967. Ч.1. С.67.
[4]Опыт изучения "Science Citation Index" / Гиляревский Р.С., Мульченко З.М., Терехин А.Т., Черный А.И. // Прикладная документалистика. М., 1968. С.48.
[5]В 1997 г. ряд институтов были объединены, и они получили новые названия.



Приложение 1
Сравнительная характеристика по отраслям и ветвям наук
 ____________________________________________________________________________ 
|                                                   |___Наличие публикаций__|
|                             Коли-                                         |
|                             чест-   Цити-    Сред-  в б-ке    в           |
|                             во до-  рова-   нее на  Гарвар-  б-ке     в   |
|    Наука       Институты     кто-    ние    1 док-  дского   Кон-    Med- |
|                              ров    БД SCI   тора   универ-  грес-   line |
|                             наук             наук   ситета   са           |
|___________________________________________________________________________|
|______1_____________2__________3_______4________5_______6_______7_______8__|
|                                                                           |
|                       Биолого-медицинские науки                           |
|                                                                           |
|Академическая  ИЦИГ СО РАН     52     1431     26,5    139                 |
|               ИБХ СО РАН       9      319     35,4     11                 |
|               Мед. упр. СО                                                |
|               РАН                                                         |
|               СО РАМН         62      836     13,4    138            1552 |
|                    Итого     123     2586    21,02    288            1552 |
|Вузовская      Мед. институт   82      219      2,6     27            1138 |
|Отраслевая     НИИТО            7                        6              29 |
|               ИПК             10       21      2,1                    265 |
|               НИИ гигиены      3                                       57 |
|               Центр медицины                                              |
|               катастроф        1        1       1                         |
|               НИИМБ "Вектор"  18      280     15,5     13                 |
|                    Итого      39      302      6,1     19             351 |
|                    Всего     244     3107     12,2    334            3041 |
|                                                                           |
|                       Сельскохозяйственные науки                          |
|                                                                           |
|Академическая  ИПА СО РАН      11       56      4,6     68                 |
|               ЦСБС СО РАН     14       30     2,14    110                 |
|               ИСиЭЖ           12       55      4,2     56                 |
|               СО РАСХН        35       21      0,6     11                 |
|               (7 учреждений)                                              |
|                    Итого      72      162     22,5    270                 |
|Вузовская      НАГУ            24                                          |
|                    Всего      96      162     2,25    270                 |
|                                                                           |
|                       Экономика и управление                              |
|                                                                           |
|Академическая  ОЭиОП           20                               200        |
|               СибНИИ эконом.   4                        2                 |
|               СО РАСХН                                                    |
|                    Итого      24                        2      200        |
|Вузовская      НГАЭУ           12                       25                 |
|               САГС             4                        6        8        |
|                    Итого      16                       31        8        |
|                    Всего      40                       33      208        |
|                                                                           |
|                   Просвещение и гуманитарные науки                        |
|                                                                           |
|Академическая  ОИФФиФ          53                      896                 |
|               ГПНТБ СО РАН     3                       29                 |
|               Институт образ.                                             |
|               технологий       1                       19                 |
|                    Итого      57                      944                 |
|Вузовская      НГУ             31       82     7,46    177                 |
|               НГПУ            17       74     10,5     50       25        |
|                    Итого      48      156     3,25    227       25        |
|                    Всего     105      156      1,4   1171       25        |
|                                                                           |
|                       Геология, геодезия                                  |
|                                                                           |
|Академическая  ОИГГМ          103     1502     14,5    577                 |
|               Ин-т монокрист.  1                                          |
|               КТИ              1                                          |
|                    Итого     105     1502     14,5    577                 |
|Вузовская      СГГА            11       19      1,9     11        6        |
|                    Итого      11       19      1,9     11        6        |
|Отраслевая     СНИИГГиМС       18       69      3,8                        |
|               НИИ метрологии   1        1       1                         |
|               СибНИИ                                                      |
|               геодезии         2        3      1,5                        |
|                    Итого      21       73      3,4                        |
|                    Всего     137     1594     11,6    588        6        |
|                                                                           |
|                       Математика и вычислительная техника                 |
|                                                                           |
|Академическая  ИМ             104     2424    25,25    235                 |
|               ИВТ             11       73      6,6     13                 |
|               ВЦ              32      325      9,8    237                 |
|               ИСИ              7       51      7,2     75                 |
|                    Всего     154     2873     18,4    560                 |
|                                                                           |
|             Физико-технические науки, энергетика, горные науки            |
|                                                                           |
|Академическая  ИТПМ            39      596     17,5     67                 |
|               ИГД             18      117      3,6    109                 |
|               ИТФ             43      883      19     115                 |
|               ИГиЛ            47      777     17,2     44                 |
|               ИФП             25     1251     34,7     62                 |
|               ИАиЭ            23     1260     50,4     42                 |
|               ИЯФ             62     4523     75,3     87                 |
|               ИЛФ             11      159     14,4     10                 |
|               КТИ              3       73     24,3      4                 |
|               СибНИИ мех. и                                               |
|               электр. с/х СО                                              |
|               РАСХН            6                                          |
|                    Итого     277     9639     34,8    540                 |
|Вузовская      СГАС            36       83      3,4     15       26        |
|               СГАПС           38       66     2,06     30                 |
|               НГАВТ           20        5      0,3      9       16        |
|               СГАТиИ          17       25      1,7     13       12        |
|               Ин-т легкой                                                 |
|               пром-сти         2                                          |
|               НГАХА            2                        5        4        |
|               НГТУ            66      216     3,76     28                 |
|                    Итого     181      395     2,18    100       58        |
|Отраслевая     СибНИИА          7        1      0,1      1                 |
|               НИИ трансп.                                                 |
|               стр-ва           1        1       1                         |
|               СибНИИ энерге-                                              |
|               тики             3                        2                 |
|               НИИ электро-                                                |
|               приб.            1                                          |
|               НИИ комп.                                                   |
|               электроприб.     1       23       23                        |
|                    Итого      13       25      1,9      3                 |
|                    Всего     471    10059     21,3    643       58        |
|                                                                           |
|                       Химические науки                                    |
|                                                                           |
|Академическая  ИХТТиМ           8      493    61,6      9                  |
|               ИНХ             34     1409    39,1     57                  |
|               ИОХ             22     1087      49     35                  |
|               ИХКиГ           21      918    43,7     24                  |
|               ИК+КТИ          44     2489    54,3     62                  |
|                    Всего     129     6396    49,5    187                  |
|___________________________________________________________________________|


Приложение 2
Ссылки на публикации докторов наук (Новосибирск, 1991-1995 гг.)
 
Приложение - GIF 29Kb   Приложение - GIF 27Kb

*Опубликовано в сборнике:Оптимизация информационно-библиографического обслуживания ученых и специалистов: Сб. науч. тр. / ГПНТБ СО РАН. - Новосибирск, 2000. - С.98-108: диагр., табл. - Библиогр.: с.103-104 (5 назв.).
 
Публикации С.К.Канна | Л.П.Павловой | В.А.Дубовенко  
[О библиотеке | Академгородок | Новости | Выставки | Ресурсы | Библиография | Партнеры | ИнфоЛоция | Поиск | English]
  Пожелания и письма: branch@gpntbsib.ru
© 1997-2024 Отделение ГПНТБ СО РАН (Новосибирск)
Статистика доступов: архив | текущая статистика
 

Документ изменен: Wed Feb 27 14:57:24 2019. Размер: 44,268 bytes.
Посещение N 7932 с 06.12.2004