Il primo esercizio nazionale di valutazione della ricerca proposto dal Ministero dell’Istruzione, dell’Università e della Ricerca: VTR 2001-2003-CIVR, ha diffuso tra le organizzazioni pubbliche la febbre da valutazione. Successivamente la legge 9 gennaio 2009 n.1 con cui una parte del fondo ordinario del 2009 per le Università è stato assegnato alle Università secondo indicatori relativi agli esiti del VTR e l’allocazione di una quota crescente di questo fondo in funzione del merito, hanno scatenato una vera e propria pandemia. In questo contesto si è rivelata quanto mai utile una riflessione sullo stato dell’arte della scienza e tecnologia della valutazione della ricerca.

Per questo Giovanni Abramo fondatore del laboratorio di studi sulla Ricerca e il Trasferimento Tecnologico per il supporto alla valutazione della ricerca dell’Università di Roma Tor Vergata ha presentato all’Ateneo scaligero la soluzione dell’Osservatorio della Ricerca Pubblica.

Ingegnere Abramo quali sono le caratteristiche del Sistema di supporto alla valutazione della ricerca?
Il sistema SSV-ORP consente di stilare classifiche per diversi indicatori di performance di tutti i ricercatori italiani per settori scientifico disciplinari. Censendo la produzione scientifica dei singoli, permette di condurre valutazioni comparate delle organizzazioni in base al totale degli strutturati, ai soli produttivi o ai soli top-scientist, le eccellenze. Dalle analisi delle co-authorship, è possibile anche valutare il tasso di internazionalizzazione della ricerca e di collaborazione tra ambito pubblico e privato. Ssv attinge alla base dati dell’Osservatorio della Ricerca Pubblica (ORP), derivata da Web of Science™ su licenza Thomson Reuters, che a partire dal 2001 censisce tutte le 272.000 pubblicazioni scientifiche e le 100.000 conference proceeding delle 354 organizzazioni pubbliche e private localizzate in Italia. Si tratta di un sistema assolutamente non invasivo che non richiede alcun input da parte delle organizzazioni sotto osservazione con conseguenti risparmi di costo e di tempi di esecuzione.

Perché proporre un alternativa al sistema di valutazione informed peer-review utilizzato dal Comitato di indirizzo per la valutazione della ricerca nel 2001-2003?
Si tratta di un sistema che manca di precisione, robustezza, affidabilità, funzionalità e che ha costi elevati e tempi lunghi. E’ ancora utilizzato in quei paesi in cui la quota di prodotto di ricerca valutato è senz’altro maggiore che in Italia e non viene fissata in funzione del numero di addetti. Le organizzazioni, infatti, sono libere di sottomettere tutti i prodotti che ritengono eccellenti. Nonostante ciò il metodo di valutazione peer-review non può essere considerato soddisfacente. I sistemi bibliometrici dal canto loro non hanno potuto offrire una valida alternativa su larga scala, per la difficoltà di associare ciascuna pubblicazione al suo vero autore. Ad oggi, nessun paese al mondo dispone infatti di una base dati a livello nazionale della produzione scientifica dei singoli ricercatori. Nessuno, tranne l’Italia.

In che modo gli enti pubblici e privati di ricerca potranno farsi trovare preparati al prossimo appuntamento con il Civr?
E’ auspicabile in Italia una valutazione nazionale che utilizzi il sistema SSV-ORP nelle discipline in cui la pubblicazione è rappresentativa del prodotto di ricerca e la peer-review nelle rimanenti. In caso contrario il paradosso di valutare proprio la ricerca ignorando gli avanzamenti della stessa nelle metodologie di valutazione sarebbe veramente eclatante. Alcune organizzazioni hanno già sperimentato SSV-ORP. Al decisore politico e alle altre organizzazioni di ricerca è rimandato il compito di decidere se utilizzare per le loro diagnosi la radiografia o la tomografia computerizzata, (quest’ultima a un costo paradossalmente inferiore), al fine di formulare le terapie più appropriate per il bene pubblico.