(pubblicato su “Articolo 33” del 3 Aprile 2017)
Sostenere la necessità di valutare l’attività della ricerca scientifica, o la sua qualità, è un’inutile ridondanza. Non si può parlare di carattere scientifico della ricerca se non si specifica la forma di valutazione adottata. Ogni scoperta, esperimento, asserzione ha, infatti, bisogno di dimostrazioni, osservazioni che provino la loro correttezza scientifica, e i ricercatori di qualsiasi disciplina considerano la valutazione un normale strumento di lavoro, almeno dai tempi dell’Illuminismo.
La valutazione oggettiva e suoi effetti
Le riforme del sistema universitario che si sono succedute negli ultimi anni hanno dato concretezza a questa tendenza introducendo in modo capillare lo strumento della valutazione oggettiva, cioè non basata sull’opinione di esperti qualificati, ma su dati numerici, che si ipotizzano non essere dipendenti da distorsioni soggettive o, peggio, interessi personali. Il risultato è che la vita di un docente universitario è oramai scandita in ogni suo aspetto dalla capacità di accumulare evidenza del proprio lavoro nelle forme richieste dal metodo valutativo adottato.
Assegnazione di borse di studio e contratti, ingresso in ruolo, progressione di carriera, partecipazione a commissioni, allocazione fondi, possibilità di sviluppare progetti di ricerca, l’esistenza di interi dipartimenti sono alcune delle decisioni, cruciali nella vita di un ricercatore, che dipendono dalla valutazione declinata da una serie di dati meticolosamente definiti che, si suppone, rappresentano una misura corrispondente alla qualità del lavoro del ricercatore (identificata, per estensione, alla qualità del ricercatore stesso).
Un numero non è altro che l’espressione di un conteggio, cioè espressione di un multiplo di una data unità di misura. Per poter quantificare la qualità scientifica è quindi necessario definire un’unità di misura fondamentale, un metro standard, ipotizzata come invariante nel tempo e comune per tutti i soggetti valutati. Per misurare la qualità della ricerca il metro più comunemente utilizzato, implicitamente o esplicitamente, è la “pubblicazione”, ad esempio un articolo scientifico, che può essere modificato per alcuni fattori, come il numero di citazioni ricevute, il “peso” della rivista che lo ospita, ecc. Molti osservatori hanno ripetutamente dimostrato come gli inevitabili errori di stima e l’uso di elaborazioni arbitrarie possono condurre a distorsioni (o vere e proprie assurdità) nei risultati, rendendo la valutazione basata su indicatori numerici sostanzialmente inutilizzabile perché non in grado di rappresentare correttamente la differenziazione dei soggetti valutati. Uno dei motivi è dovuto agli effetti della cosiddetta “Legge di Goodhart”. La legge afferma che in contesti sociali, nei quali gli oggetti di studio sono esseri senzienti, quando un indicatore viene trasformato in obiettivo perde la sua capacità di rappresentazione perché i soggetti saranno incentivati rafforzare la misura del proprio valore e non le qualità che l’indicatore dovrebbe misurare. In altre parole, ad esempio, si può ipotizzare che il numero di pubblicazioni sia un buon indicatore della qualità di un ricercatore. Ma quando l’indicatore si tramuta in un incentivo, ad esempio per promozioni o concorsi, anche i ricercatori meno dotati troveranno il modo di aumentare il loro punteggio, rendendo sempre meno affidabile quel parametro come misura della qualità del ricercatore.
Le distorsioni degli indicatori
Il problema dovuto alla perdita di capacità degli indicatori quantitativi di identificare i ricercatori migliori produce, come risultato, una perdita di efficienza del sistema, perché si investiranno risorse su persone o progetti che non sono i più promettenti. Ma a questo problema se ne aggiunge un altro – sicuramente più grave per il lungo periodo – che non solo rende il sistema meno efficiente, ma mette a rischio l’esistenza di un sistema di ricerca di qualità.
L’attività di ricerca scientifica è, per sua natura, incerta. Un progetto di ricerca si pone l’obiettivo (o almeno dovrebbe) di far avanzare la frontiera della conoscenza oltre i limiti attuali. Al momento di definire il progetto, di conseguenza, il ricercatore non può essere in grado di valutare con precisione quale sarà il risultato finale. Ci sono molti modi per mitigare l’incertezza, quali l’esperienza, la sensibilità, la storia di progetti nello stesso campo, i consigli di colleghi ed esperti, che potranno contribuire a ridurre l’incertezza di un progetto incrementandone le possibilità di successo. Resta però il vincolo insuperabile dato dalla correlazione positiva tra le probabilità di successo di un progetto e il suo potenziale impatto innovativo. L’unico tipo di progetti privo di rischi consiste nella riformulazione di risultati già acquisiti, quindi, nella maggior parte dei casi, privi di reali contributi innovativi.
Idealmente un ricercatore dovrebbe decidere la propria strategia di ricerca seguendo il proprio istinto nel bilanciare il rischio di fallimento con l’importanza del potenziale risultato. Solo progetti molto ambiziosi possono giustificare un alto rischio di fallimento mentre, al contrario, puntare su raffinamenti marginali delle conoscenze acquisite può essere motivato se il progetto assicura ragionevoli garanzie di successo. In un mondo ideale il ricercatore (o l’organizzazione di cui fa parte) dovrebbe decidere esclusivamente in base alla propria esperienza e sensibilità.
Se il mezzo diventa il fine
La comunità, formata da ricercatori eterogenei, avrà così modo di perseguire progetti con profili di rischio e di ambizione diversificati limitando gli effetti negativi degli insuccessi e moltiplicando le probabilità di identificare linee di ricerca ad alta produttività. Questo è quello normalmente succedeva nei dipartimenti di ricerca gestiti con metodi tradizionali, dove l’incentivo del ricercatore era dato dalla soddisfazione personale di aver raggiunto il traguardo e, al massimo, dall’ambizione di aumentare il proprio prestigio presso i colleghi. Se però l’incentivo per la carriera dei ricercatori, e addirittura la stessa possibilità di essere assunti in ruolo, dipende non dal prestigio tra i colleghi, ma dal numero di pubblicazioni, allora scrivere articoli sarà non più una delle attività collaterali della ricerca, ma il fine stesso del progetto. Questo semplice fatto ha effetti drammatici sul tipo di ricerca prodotto e il profilo scientifico dei ricercatori che verranno formati da questo sistema di incentivi.
Se lo scopo di un ricercatore consiste nel pubblicare articoli molto citati su riviste prestigiose, la scelta dell’argomento di ricerca non sarà più guidata da curiosità scientifica, interesse personale, bilanciamento tra rischio e potenziale innovativo. Al contrario, la scelta sarà determinata da fattori che poco hanno a che fare con la qualità della ricerca scientifica, e anzi possono essere in contrasto con essa.
La necessità di pubblicare spingerà, infatti, a selezionare obiettivi con la massima probabilità di produrre risultati positivi e velocemente spendibili. Per fare un esempio, invece che esplorare la possibilità di un approccio scientifico mai tentato prima, sarà meglio dedicarsi a una raccolta ragionata della letteratura più recente oppure a un raffinamento marginale di un risultato noto e di grande rilievo. Nel primo caso si rischia, infatti, di sprecare del tempo senza avere alcun risultato positivo, e i risultati negativi, per quanto potenzialmente interessanti scientificamente ed empiricamente, sono notoriamente molto difficili da pubblicare. Nel secondo, al contrario, una rivista scientifica, anche se non necessariamente di primissimo piano, alla fine accetterà di pubblicare un contributo, se non altro per la difficoltà a trovare argomenti per rifiutare la pubblicazione. Quindi, l’utilizzo di indicatori numerici basati sulle pubblicazioni, che come misuratore è generalmente correlato alla qualità della ricerca, se diventa un obiettivo da raggiungere, sicuramente ridurrà la “propensione al rischio” dei ricercatori, favorendo percorsi di ricerca meno innovativi e più conservatori.
In molti campi le riviste sono nate, o hanno sviluppato nel tempo, una qualche forma di specializzazione, preferendo dare spazio ad articoli che si occupano di certi argomenti o che applicano certi strumenti metodologici e rifiutando ricerche che, per tema o approccio, divergono dalla linea preferita della rivista. Questa strategia editoriale è perfettamente sensata, soprattutto considerando la crescente specializzazione dei saperi. Ma la conseguenza è che alcuni argomenti di ricerca di un’area (o alcuni suoi approcci metodologici) avranno la fortuna di essere trattati da riviste che per qualche motivo hanno ottenuto alti punteggi nella quantificazione della qualità. Di conseguenza, questi temi o metodi continueranno ad attrarre l’attenzione di ricercatori desiderosi, giustamente, di vedere riconosciuto il proprio valore, ulteriormente rinforzando gli indicatori numerici di successo scientifico della rivista. Questa tendenza avverrà indipendentemente dal valore intrinseco dei risultati scientifici, misurati in termini di creatività, qualità reale del lavoro svolto, impatto sulla società, o ogni altri criterio si voglia adottare, ma saranno esclusivamente dovuti al sistema di auto-rafforzamento determinato dalla quantificazione della qualità della ricerca e non dall’analisi del suo contenuto.
Il circolo chiuso di una ricerca standardizzata
La conseguenza speculare dell’incremento di potere accademico di alcune linee di ricerca è il decremento di attrattività per ogni approccio alternativo, anche se potenzialmente rilevante sia per il presente che per il futuro. Se una linea di ricerca non è considerata rilevante dalla maggioranza dei ricercatori di una certa area, chi volesse esplorarla è costretto a una lotta impari per veder riconosciuto il valore del proprio lavoro, anche in caso di successo. Infatti, non sarà in grado di pubblicare su riviste valutate con il massimo dei voti, e quindi, a meno di rarissime opportunità, non sarà in grado di acquisire la visibilità necessaria a competere con quello che è considerato lo standard di ricerca sulle riviste più note della disciplina.
Questa sostanziale auto-censura del sistema di ricerca impedisce, o almeno scoraggia fortemente, il rinnovo degli approcci scientifici. È, infatti, noto che l’incremento di conoscenza procede quasi sempre con modalità non uniformi. Lo stato delle conoscenze a una certa data si definisce normalmente all’interno di un “paradigma” scientifico, attraverso il quale si possono introdurre miglioramenti e raffinamenti limitati dall’accettazione dei metodi, obiettivi e prospettive definiti dal paradigma corrente. Nel corso del tempo le possibilità di nuove scoperte all’interno di un paradigma si esauriscono, e diventa quindi necessario porre in discussione le fondamenta del paradigma per identificarne uno più ambizioso che superi i limiti imposti da quello attuale.
Anche se è normale osservare una certa resistenza al cambiamento da parte di un’accademia che è cresciuta all’interno di una data visione, la formalizzazione di successo in termini prioritariamente, se non esclusivamente, di mezzi di comunicazione scientifica non può che rallentare il processo di rinnovo del paradigma. Le riviste scientifiche tendono naturalmente a riflettere le assunzioni e i metodi alla base di successi passati, mentre la ricerca di frontiera, la più interessante, può avvenire solo superando queste barriere. Tentare di fare ricerca innovativa soddisfacendo i criteri di pubblicazione adottati da riviste di prestigio, acquisito grazie ai successi passati, può diventare quasi impossibile.
Il risultato è una trasformazione delle attitudini di ricerca scientifica, particolarmente per le giovani generazioni di studiosi che più necessitano di risultati da far valere nella competizione per una posizione lavorativa stabile.
Ricerca o marketing?
Negli ultimi anni si è assistito a un cambiamento sociale nella comunità dei ricercatori tanto forte quanto preoccupante. Le discussioni su eventuali progetti vengono basate non su quali risultati si spera di ottenere, ma su quali argomenti hanno la maggiore probabilità di venire premiati con una pubblicazione. Inoltre, una volta che si ottenga un risultato positivo, il ricercatore, soprattutto se giovane, sarà incentivato a moltiplicare le pubblicazioni sullo stesso tema cercando di massimizzare il “ritorno” del numero di pubblicazioni rispetto all’investimento effettuato. Il risultato è che anche una semplice occhiata ai curriculum dei ricercatori mostrerà un gran numero di pubblicazioni, superiori al passato, ma tutte molto simili, indicando interessi di ricerca essenzialmente monotematici. Le critiche ai paradigmi dominanti sono evitate accuratamente per non rischiare di ridurre la probabilità di accettazione di una pubblicazione. Ricerche multi-disciplinari, che hanno ovviamente difficoltà a trovare una precisa collocazione tematica nella letteratura, saranno oggettivamente discriminate. Tutto questo implica una forte riduzione della varietà dei temi trattati e una cristallizzazione degli approcci scientifici utilizzati.
La ricerca diventa quindi una professione dove si definiscono le operazioni da svolgere, non i risultati che si cerca di ottenere, meritando l’appellativo, vagamente denigratorio, di “addetti alla ricerca” utilizzato nel gergo ministeriale. L’avanzamento delle conoscenze rallenta, forzando i ricercatori a sfornare il maggior numero possibile di “prodotti della ricerca”, il cui valore consiste esclusivamente nell’essere stampato in una certa rivista senza che nessuno sia veramente interessato a quali conoscenze aggiuntive sono state fornite alla comunità. L’evoluzione della conoscenza che richieda la “distruzione creativa” del consenso dominante viene rallentata, fino a rischiare di fermarsi. L’introduzione di un metro di misura, all’apparenza oggettivo, una volta che viene utilizzato come obiettivo determinante per la carriera di un ricercatore si trasforma in una clava che, se non neutralizzata, rischia di distruggere il sistema di ricerca basato sulla intuizione, la curiosità, e il desiderio di abbattere i confini della conoscenza. I sostenitori della valutazione mediante quantificazione della qualità della ricerca difendono la loro proposta sostenendo che questa eviti comportamenti opportunistici, quando non esplicitamente fraudolenti, permessi da valutazioni soggettive, e che eventuali difficoltà potranno essere corrette con una maggiore attenzione ai dati e alle elaborazioni utilizzati. Ma il pericolo più grave, secondo me, non è causato da errori e approssimazioni, ma dall’impossibilità per la scienza di mantenere il gusto per il rischio e la varietà di approcci necessari per proseguire gli avanzamenti della conoscenza. Per una valutazione efficace che non introduca distorsione nocive per il sistema è necessario adottare alcuni semplici iniziative.
Alcuni correttivi
In primo luogo è necessario eliminare la riduzione del profilo scientifico di un ricercatore con quantificazioni artificiose e arbitrarie e dare piena visibilità all’intera attività di ricerca. È sufficiente per questo implementare una delle iniziative legislative curiosamente trascurate da un vertice ministeriale normalmente molto rigido nelle applicazioni regolamentari. È prevista da anni, ma mai seriamente considerata, l’istituzione di un’Anagrafe della ricerca che contenga le informazioni essenziali su ogni forma di attività svolta, oltre che sui risultati ottenuti.
In secondo luogo è necessario differenziare i criteri di valutazione in funzione dei fini della valutazione stessa. Un indicatore che può essere utile per assegnare risorse è sicuramente poco adatto per valutare l’eventuale progressione di carriera. Sulla base dei dati contenuti nell’Anagrafe della ricerca, opportunamente organizzati per permetterne l’accesso in modo flessibile, sarebbe possibile apprezzare gli aspetti rilevanti per ciascun momento valutativo.
In terzo luogo è necessario assegnare la responsabilità delle decisioni valutative a chi possiede la competenza e ha gli incentivi per svolgere questo compito nel modo più appropriato, senza inseguire il sogno utopico di una valutazione priva di valutatori. Per quanto errori e divergenze non possano mai essere evitati completamente, come per ogni giudizio soggettivo, se ne può sostanzialmente ridurre l’impatto mediante la pubblicità degli atti, non solo presso gli interessati ma presso l’intera comunità, assicurando l’esplicita assunzione di responsabilità dei valutatori anche mediante un sistema di valutazione dei valutatori che comporti forti penalizzazioni per chi persegue fini diversi da quelli istituzionali.
In quarto luogo bisogna definire propriamente il perimetro dell’applicazione della valutazione. Ad esempio, è insensato permettere la competizione per una data posizione sia a “interni”, ampiamente conosciuti dall’istituzione interessata, che a “esterni”, con meno legami diretti e un costo per l’istituzione, in caso di vittoria, sostanzialmente superiore rispetto ai primi.
Infine, vanno riordinati i criteri per le progressioni di carriera in modo che non sia necessario a chi svolge il proprio lavoro da anni attendere che l’istituzione dimostri, spesso in modo artificioso, la necessità di una ipotetica nuova figura che, in realtà, svolgerà la stessa funzione.
Mentre la valutazione del ricercatore deve essere continua per l’intera sua vita lavorativa, devono essere eliminate quelle tappe artificiali di ipotetica “crescita di maturità” previste formalmente dalla legislazione attuale ma non più rispondenti ad alcuna necessità se non quella di dividere la comunità.
