Pubblichiamo volentieri questa lettera di tre colleghi che, avendo preso sul serio l’invito dell’ANVUR a formulare osservazioni e proposte sul “bando provvisorio” della nuova VQR, hanno deciso di scrivere al Comitato ANVUR (o a quel che ne resta), formulando alcune osservazioni e fornendo alcuni suggerimenti di buon senso. Vista la grandissima importanza che ormai il processo di valutazione riveste, invitiamo chi volesse far propria la lettera (o alcune sue parti) ad inviarne il testo a vqr@anvur.it.

Gentile ANVUR,

come richiesto dalla pubblicazione sul vostro sito del Bando Provvisorio VQR 2011-2014 vi inoltriamo i nostri rilievi con la certezza che, avendone fatto richiesta, si userà la cortesia di informare gli scriventi circa l’uso che si è fatto dei loro contributi, eventualmente motivandone la mancata adozione.

Per comodità riassumiamo sinteticamente i principali punti critici sui quali riteniamo siano necessarie modifiche del testo, o che comunque crediamo richiedano approfondimenti:

1. Definizione, senza alcuna apparente motivazione operativa, del Bando VQR da parte di un Consiglio Direttivo temporaneamente composto da solo 3 dei 7 membri previsti nonostante la nomina imminente dei 4 consiglieri mancanti.
2. Raffinamento della classificazione per i prodotti di più alto livello e aumento della tolleranza per i prodotti peggiori, mancanti e frodi.
3. Impossibilità del confronto con la precedente VQR a causa delle modifiche apportate.
4. Impossibilità di calcolo di alcuni indicatori.
5. Indicatori basati su somme di valutazioni individuali, favorendo inspiegabilmente le grandi strutture ed i grandi enti.
6. Mancanza di logica nei criteri distributivi della quota premiale del FFO.
7. Immotivata ed ingannevole definizione di graduatorie.
8. Errori materiali presenti nel testo.

1) Consiglio Direttivo incompleto

In primo luogo vogliamo sollevare una questione di metodo. L’Agenzia è un organo progettato istituzionalmente con una direzione collettiva formata da 7 membri. Dato che 4 posti sono, allo stato, vacanti, riteniamo che i 3 superstiti dovrebbero limitarsi a gestire l’ordinaria amministrazione ed a preparare il lavoro futuro. Al contrario, la tempistica prospettata nel bando sembra suggerire che le principali caratteristiche dell’esercizio di valutazione verranno fissate prima che i membri subentranti possano dare il loro contributo. Chiediamo quindi al Comitato Direttivo più che dimezzato di astenersi dal produrre atti formali che vincoleranno la maggioranza del futuro CD a decisioni a cui i nuovi membri non hanno potuto contribuire. Se, contrariamente alle apparenze, vi fossero improrogabili esigenze tecniche che impongono la definizione del Bando alla data del 31 Luglio, chiediamo sia reso pubblico quale attività di tale urgenza sarà compiuta nei primi giorni di Agosto che non possa essere rimandata di qualche settimana quando i nuovi membri potranno formalmente entrare in servizio. Da notare che nel cronoprogramma dello stesso bando non esistono scadenze precedenti il 31 Ottobre (definizione criteri dei GEV), tranne la nomina dei GEV prevista per il 31 Luglio decisa quindi da un Direttivo altamente menomato.

2) Modifiche classificazioni

Venendo alle questioni di contenuto, iniziamo con una questione generale. Per quale motivo il bando inasprisce la distanza tra i prodotti di altissimo livello rispetto a quelli di livello alto e intermedio, rispetto alla scorsa edizione della VQR? Posto che sia possibile approssimare il valore di un prodotto scientifico con una distribuzione ordinata, l’arbitrarietà (e quindi la possibilità di errore) di distinguere tra livelli altissimi o meramente alti è massima in quanto il prodotto di ricerca di alto livello è, per definizione, innovativo, e quindi non classificabile su scale definite in epoche storiche precedenti. Inoltre, ma non meno rilevante, i ricercatori che aspirano a raggiungere il top nel loro campo non hanno alcun bisogno di incentivi per dare il massimo impegno possibile, essendo guidati principalmente da orgoglio professionale. Di conseguenza, distinguere tra il 10%, 20% o 30% migliore al mondo è sia un’assurdità epistemologica che uno spreco di sforzo, creando spazio a quelle arbitrarietà facilmente sospettabili di essere un prodotto di preferenze relazionali che l’Agenzia si propone, formalmente, di combattere. Va anche considerato che il principale contributo del sistema universitario al paese non viene solo da pochi ed isolati contributi di rinomanza mondiale, ma dalla massa di contributi di ricerca di alto livello, anche se non necessariamente eccelso, che possono avere un impatto sul tessuto produttivo e culturale del paese. Non si capisce quindi la ratio che condanna chiunque produca attività di ricerca classificabile nel 50% inferiore (internazionalmente) ad una votazione punitiva, quasi indistinguibile da chi non ha prodotto nulla (0,1 contro 0,0). Vi chiediamo quindi di soprassedere alla modifica delle valutazioni nei termini indicati dal bando provvisorio.

3) Impossibilità di confronto con VQR 2004-2010

La modifica dei punteggi assegnati alle stesse categorie di prodotti, se anche fosse in qualche modo giustificata, creerebbe comunque un altro, fondamentale, problema. Essendo modificata la scala dei valori diventerebbe impossibile confrontare i risultati della precedente edizione della VQR con quella futura. Verrebbe quindi vanificato uno degli scopi principali dell’esercizio, cioè giudicare se un’istituzione ha migliorato o peggiorato la sua performance rispetto al passato. Ogni differenza, positiva o negativa, potrebbe infatti essere imputata al cambio di scala, potenzialmente punendo chi ha fatto progressi reali ed esaltando enti che non hanno apportato alcuna modifica, o, addirittura, che hanno peggiorato le loro performance. Queste considerazioni rafforzano i dubbi riguardo a una modifica della scala delle valutazioni che, se non modificate rispetto al bando provvisorio, richiedono una adeguata motivazione.

4) Indicatori non calcolabili

Riguardo al tipo di dati presentati come risultati della valutazione (par. 2.6, ed altri), apprezziamo la decisione di fornire il “profilo di qualità” composto dalla “distribuzione percentuale nei cinque livelli” (per i punti a) e b) relativi ai prodotti della ricerca), che, pur con forti approssimazioni, permette una rappresentazione maggiormente analitica rispetto ad una semplice media. Ci domandiamo però come questo si possa conciliare con la dichiarazione che “Il profilo di qualità complessivo di ciascuna Istituzione è determinato dalla somma ponderata degli indicatori relativi ai tre profili a), b) e c) precedenti, attribuendo a quello di cui alla lettera a) un peso pari al 75%, a quello di cui alla lettera b) un peso pari al 20% e a quello di cui alla lettera c) un peso pari al 5%” (pag.10). Il testo sembra quindi ignorare che non è possibile fare somme ponderate di intere distribuzioni. Si chiede quindi di correggere il testo indicando le procedure che s’intendono applicare, motivandole adeguatamente.

5) Indicatori somma

Rimanendo in tema di risultati della valutazione, lascia interdetti il punto d) che viene definito come “il rapporto tra la somma delle valutazioni attribuite ai prodotti attesi dell’Istituzione nell’Area e la valutazione complessiva di Area“. Trattandosi di somma è evidente il vantaggio accordato a istituzioni di dimensioni maggiori, ponendo in un ingiustificato svantaggio istituzioni di dimensioni minori. Posto che anche questo non sia un errore tipografico, si chiede di modificare questa indicazione oppure di fornire adeguata giustificazione del vantaggio accordato ai grandi istituti.

6) Quota premiale indiscriminata

Contestiamo fortemente il paragrafo I.2 (pag.18) nel quale si dichiara, in 5 righe scarse, il modo in cui i risultati saranno utilizzati. In particolare, si afferma che “La valutazione finale delle Istituzioni finalizzata alla distribuzione della quota premiale del FFO riguarderà separatamente gli indicatori di area IRAS1-IRAS5, opportunamente integrati per trasformarli in un indicatore unico riferito all’Istituzione.“. Tale affermazione è priva di qualsiasi significato in quanto si limita a raccomandare un aumento delle risorse (o, meglio, un taglio più contenuto) ad alcune istituzioni senza alcuna considerazione dell’uso che si farà delle risorse differenziali. Anche assumendo che gli indicatori utilizzati siano correlati con la qualità della ricerca, la logica del premiare chi ha evidentemente meno bisogno di risorse sembra altrettanto banale e logicamente inconsistente quanto il criterio speculare di fornire maggiori risorse alle strutture o agli enti con performance peggiori. Si tratta, in sostanza, dell’equivalente di un sistema sanitario che fornisce medicine in proporzione alla salute dei pazienti. Dopo aver valutato la qualità della ricerca, ai fini premiali sarebbe necessario considerare le risorse usate per ottenere i diversi risultati e, sulla base del rapporto tra produzione e risorse da un lato e potenzialità dall’altro, definire le assegnazioni in base alle prospettive di miglioramento. In altri termini, l’Agenzia non dovrebbe limitarsi ad una traduzione automatica tra qualità della ricerca e distribuzioni premiali, ma dovrebbe approfondire le cause delle differenze qualitative e raccomandare l’uso delle risorse in base alla loro probabilità di produrre i risultati migliori.

Va anche considerato che i risultati della VQR sono spesso utilizzati dagli atenei per la distribuzione interne delle risorse tra aree diverse. E’ quindi compito dell’Agenzia fornire tutte le informazioni necessarie affinché gli atenei possano fare queste scelte con una corretta rappresentazione delle strutture.

7) Graduatorie

Troviamo completamente illogico ed immotivato l’impegno di fornire graduatorie dei dipartimenti ed enti di ricerca , attività che non è richiesta da alcuna norma o regolamento. La stessa agenzia riconosce il carattere multidimensionale della qualità della ricerca, ed è quindi arbitrario contrarre questa caratteristica in un unico indicatore che nulla potrà dire rispetto alle vere differenze tra gli organismi elencati. Inoltre, tale eventuale graduatoria non sarebbe di alcuna utilità dato che non trova alcun plausibile uso amministrativo interno al sistema universitario mentre, al contrario, rischia di essere fuorviante per il pubblico. Infatti, per la stragrande maggioranza della popolazione esterna alle università le informazioni riguardo agli atenei interessano ai fini didattici, per scegliere a quale iscriversi. A prescindere dagli errori metodologici, pubblicare classifiche basate sulla qualità della ricerca che si sa essere utilizzate da un vasto pubblico interessato, eventualmente, alla qualità didattica è quindi non solo immotivato, ma volutamente ingannevole.

8) Errori tipografici

Ritenendolo un mero errore tipografico, invitiamo gli estensori a correggere i riferimenti errati a pag.11, che indicano rimandi ai paragrafi 2.5.1 e 2.5.2 quando, probabilmente, si intendeva 2.6.1 e 2.6.2. In quest’ultimo caso, oltretutto, il paragrafo oggetto del rinvio consta di poco più di una riga di testo che, a sua volta, rimanda ad un’appendice. Si consiglia di evitare una non necessaria frammentazione del testo cancellando rimandi composti esclusivamente di altri rimandi.

Conclusioni

Concludendo, segnaliamo che non possiamo considerare come fondamento delle criticità riscontrate nel Bando il testo prodotto dal DM 458 del 27 Giugno 2015, da cui pure, per legge, il bando dovrebbe dipendere. Questo perché lo stesso DM altro non fa che riportare fedelmente le numerose comunicazioni ufficiali di fonte Anvur espresse nei mesi scorsi. Quindi vi chiediamo di non utilizzare l’argomento che l’Anvur è costretta a seguire le indicazioni ministeriali quando queste originano, in tutta evidenza, dalla stessa Agenzia.

Ringraziando per l’opportunità di fornire commenti al bando VQR provvisorio entro il 27 Luglio, confidiamo di ricevere risposta ai nostri quesiti entro la prevista data di approvazione del bando definitivo del 31 Luglio.

Distinti saluti,

Marcella Corsi

Paolo Pini

Marco Valente