niedziela, 8 grudnia 2019

O jakości nauki

Dziś chciałbym napisać kilka słów nauce w odniesieniu do metod oceny dorobku naukowego. Każdy z nas, pracowników naukowych lub naukowo-dydaktycznych podlega okresowej ocenie przez macierzystą uczelnię. Ocena indywidualnego dorobku naukowego to podstawa przy aplikowaniu o stopnie naukowe i tytuł naukowy profesora.

Istnieje wiele kryteriów oceny np.:
  • liczba publikacji,
  • liczba publikacji z pierwszym autorstwem,
  • liczba prac oryginalnych,
  • liczba prac opublikowanych na tzw. Liście Filadelfijskiej,
  • wartość sumaryczna punktacji wg Ministerstwa,
  • skumulowana wartość współczynnika Impact Factor,
  • liczba cytacji,
  • liczba cytacji z pominięciem autocytacji,
  • liczba cytacji z pominięciem autocytacji i cytacji wszystkich współautorów.

Te parametry odzwierciedlają przede wszystkim cechy ilościowe dorobku naukowego choć np. indeks cytowań to wskaźnik mówiący także o jakości dorobku. Od 2007 gdy J. Hirsch opublikował swój indeks nazwany od jego nazwiska indeksem h to właśnie ten wskaźnik jest najczęściej stosowaną metodą dla oceny indywidualnego dorobku naukowego. To wskaźnik ilościowo-jakościowy. Ciągle poszukuje się innych metod oceny dorobku, metod zdolnych do oceny cech jakościowych.

Zespól autorski składający się z Prof. B. Drozdzowskiej, dr hab. P. Adamczyka i dr K. Nogi oraz piszącego te słowa opracował całkiem nowy wskaźnik nazwany Scientific Quality Index (SQI).

Na wartość SQI składają się dwa parametry:
  • odsetek publikacji z liczbą cytacji co najmniej 10 w odniesieniu do liczby wszystkich publikacji (parametr nr 1),
  • średnia liczba cytacji na publikację (parametr nr 2).

W obliczeniu obu parametrów bierze się pod uwagę także publikacje bez cytacji. Cytacje własne i wszystkich współautorów nie są brane pod uwagę. Niezbędne dane są dostępne w bazie Scopus.

SQI jest parametrem bardziej zależnym od cech jakościowych dorobku niż indeks h. Analizę wykorzystującą SQI wykorzystano w kilku opublikowanych pracach. Wśród nich najważniejsza jest publikacja zamieszczona w Scientometrics. W tej pracy poddano analizie dorobek 480 autorów, po 40 światowych liderów z 12 różnych dziedzin medycyny. Porównano wyniki przy zastosowaniu SQI i indeksu h. Wykazano, że SQI jest metodą bardziej zależną od jakości dorobku niż indeks h. Co więcej, SQI jest jedynym wskaźnikiem, który może maleć jeśli jakość dorobku będzie spadać. Np. jeśli nowe prace nie będą wystarczająco często cytowane to oba parametry będą maleć i finalna wartość SQI zmniejszy się. Inne w/w parametry bibliometryczne nigdy nie maleją wobec czego nie mogą służyć do monitorowania jakości w czasie.

Zdajemy sobie sprawę, że SQI nie jest wskaźnikiem doskonałym np. nie nadaje się do oceny początkujących naukowców. Niemniej SQI wnosi on nowe dane w zakresie oceny jakościowej dorobku naukowego, a możliwość obserwowania zmian jakościowych w czasie to unikalna cecha odróżniająca SQI od innych wcześniej stosowanych metod. Dobre wyniki wg SQI są udziałem osób pracujących systematycznie pracujących i utrzymujących stały poziom jakości nowych publikacji. Każdorazowe obniżenie aktywności i jakości pracy musi odbić się na indywidualnej ocenie.

Od 16 marca, gdy nasza praca zastała opublikowana online zanotowano ponad 1100 ściągnięć.

W trakcie są opracowania dorobku naukowego globalnych liderów z wielu innych dziedzin nauk medycznych i te wyniki będziemy sukcesywnie publikować.

Zapraszam do lektury i nadsyłania komentarzy, pdf pracy jest pod tekstem.

Pobrania pracy SQI

Link do pobrania treści pracy "Scientific Quality Index: a composite size‐independent metric compared with h‐index for 480 medical researcher"s

0 komentarze: