O co chodzi z tymi rozporządzeniami? Cz. 2 – ewaluacja jakości działalności naukowej

W tym wpisie omówimy pokrótce najważniejsze założenia rozporządzenia o ewaluacji działalności naukowej oraz przeanalizujemy dotyczące tego dokumentu uwagi, pojawiające się w kilku różnych opiniach organizacji konsultujących. Jest on nieco dłuższy niż poprzedni, jednak ze względu na ogromne znaczenie rozporządzenia o ewaluacji, warto zapoznać się ze zgłoszonymi do niego uwagami, które nierzadko uderzają w podstawy Konstytucji dla Nauki i wskazują znaczące mankamenty proponowanych rozwiązań.

Zaplanowany przez MNiSW system oceny działalności polskich uczelni jest centralnym elementem całego systemu szkolnictwa wyższego i nauki. 

To właśnie na podstawie przeprowadzanej ewaluacji jednostkom naukowym przyznawane będą kategorie: A+, A, B+, B i C. Od tego jaką kategorię uzyska dana uczelnia będą zależały jej dalsze losy, ponieważ z kategorią bezpośrednio skorelowany będzie podział na uczelnie akademickie i zawodowe, czy możliwość tworzenia związków z innymi uczelniami, tak jak uczyniły to np. UMCS, Politechnika Lubelska i Uniwersytet Przyrodniczy.

Co jeszcze ważniejsze, to właśnie przyznana kategoria zdecyduje o tym, czy dana uczelnia będzie mogła nadawać stopnie naukowe i prowadzić szkoły doktorskie oraz będzie miała wpływ na przydzielane jej środki finansowe z budżetu Państwa.

Dlatego tak ważne jest zapewnienie odpowiedniej jakości rozporządzenia regulującego kwestie ewaluacyjne, tak aby jego zapisy były klarowne, możliwie jednoznaczne i sprawiedliwe dla wszystkich ocenianych jednostek.

Ewaluacja działalności przebiegała będzie w oparciu o trzy kryteria:

I kryterium – ocena poziomu naukowego prowadzonej działalności w zakresie badań naukowych i prac rozwojowych;

II kryterium – ocena efektów finansowych badań naukowych i prac rozwojowych (czyli to jak dużo środków udało się uczelni pozyskać na przeprowadzenie badań);

III kryterium –  ocena wpływu działalności naukowej na funkcjonowanie społeczeństwa i gospodarki.

A teraz do meritum – jakie obawy budzi opiniowane rozporządzenie?

— I —

Przede wszystkim, wątpliwości budzi już sama filozofia opracowanych rozwiązań, które zdaniem Komitetu Psychologicznego PAN skupiają się na karaniu naukowców za praktyki nieuczciwe, zamiast nagradzać postawy godne promowania i istotne osiągnięcia. Niestety ta praktyka znajduje również swój wyraz w podejściu do działalności pozaakademickiej naukowców. W ich ocenie pracowniczej nie będą uwzględniane żadne działania pro bono, których podejmują się w ramach istotnych społecznie inicjatyw. Czas poświęcony na liczne i cenne inicjatywy, takie jak choćby krakowska Sztuka Myślenia, czy lubelskie filmowe spotkania filozoficzne, które organizowane są „w czasie wolnym” również przez akademików i rozbudzają społeczną świadomość oraz potrzebę myślenia, w żaden sposób nie zostanie przez komisję oceniającą dorobek naukowców zrekompensowany. Zdecydowanie zniechęci więc do ich do podejmowania takich inicjatyw.

Komitet Kryzysowy Humanistyki Polskiej zwraca też uwagę na zapisy popychające akademię w rejony niebezpiecznie zbliżające się do znaczącej komercjalizacji jej zadań:

Szczególnie ryzykowne i idiosynkratyczne są rozwiązania dotyczące włączenia w bezpośrednią ewaluację naukową związków usługowych z „przedsiębiorcami”. (Nie jest wyjaśnione, czemu mowa jest o przedsiębiorcach, a nie o przedsiębiorstwach). Jest to zapis oznaczający utratę niezależności nauki, a nawet pozytywną ocenę nauki podległej podmiotom gospodarczym na zasadach komercyjnych.

Natomiast Obywatele Nauki uznając rozporządzenie za „ostatnią szansę” ministerstwa na wprowadzenie do systemu szkolnictwa wyższego rozwiązań wspierających naukową doskonałość, zauważają, że cała filozofia tego aktu prawnego jest przestarzała i traci popularność w krajach lepiej radzących sobie na arenie międzynarodowej niż Polska:

Wydaje się, że projekt rozporządzenia będzie w Polsce umacniał stosowanie metod oceny jakości działalności naukowej, od której już odeszły kraje wyprzedzające nas w międzynarodowych rankingach działalności naukowej czy rankingach uniwersytetów badawczych. W Stanach Zjednoczonych, Wielkiej Brytanii czy Skandynawii stawia się obecnie nacisk na podejście procesualne w ewaluacji jakości działalności naukowej, nie zaś na wynikowe, które stoi u podstaw projektu rozporządzenia.

— II —

A więc po kolei: w związku z pierwszym wzmiankowanym kryterium, czyli oceną działalności naukowej, Rada Młodych Naukowców postuluje, aby do katalogu publikacji nieuznawanych za artykuł naukowy włączyć również noty biograficzne, które ich zdaniem nie powinny być uwzględniane w cyklicznej ocenie pracownika. MNiSW nie uznało również za istotne kategorii publikacji jaką stanowią recenzje, z czym zdecydowanie nie zgadzają się KKHP oraz Obywatele Nauki, wskazując, że zwłaszcza w naukach humanistycznych i teologicznych niezwykle istotne jest prowadzenie za pomocą recenzji debat na temat otrzymanych wyników badań, a także, że

Publikowane na łamach czasopism naukowych recenzje z wydawnictw książkowych (monografii autorskich i zbiorowych) należą do klasycznych gatunków wypowiedzi badawczych. W przeszłości właśnie działy recenzji budowały prestiż najważniejszych periodyków akademickich.

Niemal wszystkie organizacje zgłosiły też uwagi – choć o różnorodnym charakterze – odnośnie pozycji, jaką stanowią monografie (o tym również tutaj). KP PAN wskazuje, że zmniejszenie roli monografii (wydawanych głownie po polsku) wspomoże umiędzynarodowienie polskiej nauki, przez „przymuszenie” badaczy do publikacji w czasopismach – a opłacalne będzie przede wszystkim publikowanie w języku angielskim.  To ma pomóc zaistnieć im w międzynarodowym obiegu.

Przeciwnego zdania jest komentujący rozporządzenie na swoim blogu Piotr Stec, który uważa klasę monografii za niedocenioną przez ministerstwo i postuluje przyznanie im zdecydowanie wyższej punktacji. Jego zdaniem jeżeli można otrzymać 200 punktów za 10 stronicowy artykuł, to 300 punktów, jakie można otrzymać za, średnio licząc, 200 stronicową monografię, to zbyt mała gratyfikacja za czas poświęcony na dogłębne zbadanie danego zagadnienia. KKHP postuluje też zwiększenie możliwości wykazania w ocenianym dorobku monografii do 50%, ze względu na znaczącą rolę, jaką ten rodzaj publikacji odgrywa w humanistyce i naukach społecznych oraz rozszerzenie jej definicji o „naukowe wydanie tekstu źródłowego na podstawie rękopisu, starego druku, druku w dawnej prasie czy też na przykład wydań z XIX wieku lub zbioru inskrypcji rytych w materiale twardym”.

Natomiast niepokój Kolegium Dziekańskiego Ek-Soc UŁ wzbudziły zapisy mogące stanowić furtkę dla różnego rodzaju nadużyć. Podczas gdy katalog publikacji  i wydawnictw uwzględnianych przy ocenie jest (lub raczej będzie) dość ściśle opracowany, to w rozporządzeniu pojawia się również napis, że do oceny mogą zostać włączone „monografie naukowe wydane przez wydawnictwa niezamieszczone w wykazie wydawnictw”, o ile decyzja ta podjęta zostanie w oparciu o ocenę ministerialnych ekspertów. Takie zapisy, których pojawia się w rozporządzeniu dość dużo, otwierają niestety możliwość „przepychania” bocznym wejściem publikacji, które na normalnych zasadach nie zostałyby wliczone do oceny.

— III —

Równie dużo wątpliwości wzbudza wśród opiniodawców kryterium drugie, według którego ilość przyznanych punktów zależeć będzie od tego, ile środków finansowych uda się danej jednostce pozyskać na badania, np. z NCN, NCBiR czy w wyniku komercjalizacji (na dużą problematyczność tej ostatniej pozycji wskazują Obywatele Nauki).

Jak zauważa Piotr Stec, jest to kryterium problematyczne ze względu na liczne działania „pozauczelniane”, które nie zostaną w żaden sposób w tym kryterium uwzględnione, ze względu na brak pozyskiwanych w celu (lub wyniku) ich realizacji środków:

W ewaluacji w kryterium II nie będą brane pod uwagę działania pro bono, wprowadzone słusznie, choć w wersji ultrabiurokratycznej przez poprzednią ekipę. Problemu nie załatwia „wpływ” w kryterium III, bo nie chodzi tu o jakieś szczególne osiągnięcia, tylko bieżące działania w ramach współpracy z otoczeniem. Ot, na przykład pomoc w opracowaniu strategii niezbyt zamożnej gminy, wsparcie wiedzą fachową lokalnych organizacji pozarządowych itd. Rzeczy robione w ramach misji uczelni, często w ramach włączania studentów do badań.

KKHP wysuwa natomiast postulat zupełnego zlikwidowania z kryterium oceny efektów finansowych w odniesieniu do nauk humanistycznych, społecznych i teologicznych, ze względu na niewielką korelację w tych dziedzinach pomiędzy jakością badań, często głównie teoretycznych, a zatem co do zasady wymagających mniej środków, a ilością pozyskiwanych na nie środków. Mówiąc prościej, dobre badania w tych dziedzinach nie muszą być drogie. Zamiast tego proponują uwzględnić w ocenie takie działania, jak: recenzowanie prac doktorskich i habilitacyjnych, liczba przeprowadzonych przewodów doktorskich czy pełnienie funkcji recenzenta wniosku o grant w NCN.

Kryterium to jest również problematyczne co najmniej z dwóch istotnych względów. Można sobie łatwo wyobrazić sytuację, w której mały ośrodek  otrzymuje dużą dotację, za którą przeprowadza badania. Mimo iż nie będą one stanowiły istotnego wkładu w rozwój polskiej nauki – bo na przykład będą po prostu niskiej jakości – ośrodek ten otrzyma podczas ewaluacji wysoką notę, właśnie ze względu na zebrane środki. Podobnie można sobie wyobrazić ten problem podczas rywalizacji dwóch ośrodków. Jeden team wykonuje drogie badania z miernym skutkiem, drugi natomiast tańsze, na które nie musiał uzyskać dużego dofinansowania, a które swoimi efektami przyniosą korzyść nauce. Mimo to, ze względu na kryterium drugie, zespół z pierwszego ośrodka otrzyma lepszą ocenę. I gdzie tu sprawiedliwość?

— IV —

Jednak najwięcej kontrowersji budzi kryterium trzecie, które według opiniujących organizacji jest zbyt uznaniowe i może prowadzić do nadużyć, zwłaszcza, że może mieć decydujący wpływ na wynik ewaluacji. Nawet zasadniczo popierająca projekt rozporządzenia RMN stwierdza, że:

każdy opis wpływu działalności naukowej na funkcjonowanie społeczeństwa i gospodarki oceniany będzie przez dwóch ekspertów powoływanych przez ministra na wniosek Przewodniczącego Komisji Ewaluacji Nauki. Rozporządzenie nie precyzuje jednak kryteriów tego, kto może być ekspertem oraz jakie powinien mieć on kwalifikacje. W ocenie Rady Młodych Naukowców niezbędne jest uszczegółowienie tej kwestii.

Rada postuluje również, aby przynajmniej jeden z tych ekspertów był afiliowany w renomowanej zagranicznej jednostce naukowej. Natomiast Piotr Stec zauważa, że:

Żeby ocena ekspercka była sprawiedliwa, wymagane jest nie tylko uzasadnienie punktów przyznanych za każde case study, ale i zasad ich przyznawania.

A niestety, tego najważniejszego elementu oceny zdecydowanie w wielu miejscach rozporządzenia brakuje. Dlaczego kryterium to jest tak ważne i wrażliwe na ewentualne manipulacje? Cały problem kryje się w tworzonym później rankingu uczelni, który zorganizowany będzie na zasadzie „konkursowej”. Oznacza to, że skorelowane z oceną jednostki naukowej uprawnienia otrzymają nie wszystkie uczelnie w nim sklasyfikowane (które otrzymały ocenę min. B+), a jedynie pewna liczba najlepszych uczelni. A zatem, jeżeli dwie jednostki na podstawie pierwszego i drugiego kryterium uzyskają wynik zbliżony, to o ich pozycji w rankingu – która niesie ze sobą zasadnicze dla funkcjonowania uczelni konsekwencje – zdecyduje kryterium trzecie, które jest wyjątkowo uznaniowe, zależy od oceny ministerialnych ekspertów i dla którego brak jest w rozporządzeniu obiektywnych mierników. Jakie mogą być konsekwencje takiej sytuacji – można się łatwo domyśleć.

Warto też zwrócić uwagę na wątpliwość podnoszoną przez KD Ek-Soc, którą wzbudził taki zapis rozporządzenia:

W celu wyłonienia podmiotów, których działalność naukowa prowadzona w ramach poszczególnych dyscyplin naukowych i artystycznych zostanie zaliczona do kategorii naukowej A+, Komisja przeprowadza dodatkową ocenę ekspercką. Ocena jest dokonywana przez dwóch ekspertów, w tym jednego pochodzącego ze znaczącego zagranicznego ośrodka naukowego, powołanych przez ministra na wniosek Przewodniczącego Komisji.

Wydaje się, że tak istotna decyzja, jak nadanie najwyższej z możliwych do uzyskania kategorii nie powinna zależeć od decyzji jedynie dwóch osób, ponieważ nieść ona może ze sobą gigantyczne konsekwencje – przede wszystkim finansowe.

— V —

Na koniec już trzeba zwrócić uwagę na zasygnalizowane również w komentarzach do poprzednich rozporządzeń kwestie podnoszone przez większość opiniodawców.

Po pierwsze, rozporządzenie o ewaluacji również nie oferuje możliwości rozwiązania problemu „punktozy”. Stawiając głównie na czynniki ilościowe, nie promuje ono rozwiązań projakościowych dla polskiej nauki. Natomiast kryteria „jakościowe”, czyli oceny ekspertów są skonstruowane w sposób zdecydowanie wadliwy. KKHP podsumowuje ten problem następująco:

Uważamy, że doskonałość naukowa nie polega wyłącznie na uczestnictwie w globalnym dyskursie naukowym, gdyż istnieją na przykład badania regionalne, które z natury rzeczy w takim dyskursie uczestniczyć nie mogą, natomiast mogą być prowadzone w sposób doskonały. Istotą „punktozy” jest publikowanie przede wszystkim w celu uzyskania punktów, a zatem w takim miejscu i formie, by było to jak najbardziej opłacalne, a nie tam, gdzie miałoby to największy sens ze względu na problematykę prowadzonych badań. Obecne rozporządzenie bynajmniej nie niweluje zatem owego zjawiska, a jedynie zmienia reguły tej „gry”, niekoniecznie na korzystniejsze.

Po drugie, zarówno KP PAN jak i Obywatele Nauki zwracają uwagę na anty-interdyscyplinarny charakter rozporządzenia (więcej tutaj):

Współczesna nauka jest oparta na współpracy zespołowej oraz interdyscyplinarnej. Komentowane Rozporządzenie nie tylko nie uwzględnia tego faktu, ale wręcz karze za prace podejmowane we współpracy z innymi ośrodkami i innymi dyscyplinami.

Dlatego ON postulują zwiększenie progu umożliwiającego publikowanie prac spoza wybranej przez danego badacza dziedziny z 20 do 50% lub całkowite zrezygnowanie z tego ograniczenia, co zachęci naukowców do wkraczania ze swoimi badaniami na nowe terytoria, zamiast karać ich za prowadzenie badań z pogranicza różnych dyscyplin.

Niedługo kolejny komentarz.

Reklamy

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Wyloguj /  Zmień )

Zdjęcie na Google+

Komentujesz korzystając z konta Google+. Wyloguj /  Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Wyloguj /  Zmień )

Zdjęcie na Facebooku

Komentujesz korzystając z konta Facebook. Wyloguj /  Zmień )

Connecting to %s