Relazione finale della Commissione per la

Valutazione dei Programmi di Ricerca delle Università

 

 

INDICE

1. Premessa

2. Programmi presentati

3. Procedura di revisione delle proposte

4. Costituzione dell'archivio dei revisori

5. Analisi delle proposte

6. Metodo di valutazione

7. Distribuzione dei punteggi

8. Attribuzione del cofinanziamento

9. Raccomandazioni

Figure 1 - 5

Allegato A. Documento di indirizzo

Allegato B. Lettera ai rettori

Allegato C. Messaggio di assegnazione bilingue

Allegato D. Scheda di valutazione

Allegato E. Elenco finanziati

1. Premessa

Il Decreto ministeriale n. 320 del 23/4/97 ha introdotto numerose novità nel finanziamento della ricerca universitaria. Esse possono così schematizzarsi:

  1. incremento, sia pure non certamente congruo, del fondo per la ricerca universitaria, rispetto alla dotazione del precedente (1996) 40%;
  2. promozione della ricerca universitaria attraverso una libera e autonoma proposta di programmi di ricerca da parte della comunità nazionale;
  3. introduzione di un nuovo meccanismo di cofinanziamento da parte delle Università, con lo scopo di disporre di una risorsa finanziaria complessiva di maggiore significatività e, contestualmente, di coinvolgere più responsabilmente gli Atenei attraverso un loro ruolo attivo di partecipazione al finanziamento e di incentivarli sia nel loro impegno a destinare risorse per la ricerca di base sia a indirizzare, con scelte autonome, eventuali settori di particolare interesse e valore scientifico;
  4. stimolo alla creazione di reti nazionali di ricerca attraverso l’aggregazione di unità di ricerca per complementarietà intra e inter-universitrarie;
  5. creazione di un nuovo sistema di valutazione (con procedure di peer review) con revisori anonimi, realizzando contestualmente un albo di revisori italiani e stranieri raggruppati per settori e sotto-settori;
  6. una nuova innovativa impostazione dei meccanismi di finanziamento attraverso l’impegno a sostenere tutte le spese riconosciute necessarie alla realizzazione dei progetti di ricerca;
  7. inizio di un processo di valutazione-certificazione sulla validità della ricerca universitaria nelle singole aree, premessa necessaria allo sviluppo di una politica di realistico e adeguato sostegno alla ricerca universitaria per i suoi ruoli fondamentali di sviluppo della conoscenza e addestramento dei ricercatori.

 

Per chiarire questi elementi e indirizzare le proposte di programma la Commissione dei Garanti ha predisposto, come primo suo compito, un Documento di Indirizzo teso a illustrare sia la natura del nuovo metodo adottato sia i criteri cui i Garanti intendevano ispirarsi nella fase di valutazione. Il testo del Documento è presentato nell’Allegato A. Esso è stato reso pubblico tramite Internet al sito Web del Ministero e spedito ai Rettori con preghiera di darne massima diffusione, prima della data di scadenza per la presentazione delle proposte.

L’elemento di maggiore novità sottolineato nel documento riguarda la necessità che i programmi proposti abbiano un preciso obbiettivo scientifico, con carattere di originalità e di rilevanza nazionale, e non siano una semplice aggregazione di attività di diversi gruppi sotto un titolo generico. Tale impostazione corrisponde alla tipologia di progetto scientifico avanzato che abitualmente viene sottoposto alla procedura di peer-review.

 

 

 

 

 

Prima di entrare nei dettagli dell’esposizione dell’attività svolta è opportuno riassumerne brevemente i momenti essenziali:

 

 

 

 

 

 

 

2. Programmi presentati

La Tabella I illustra la distribuzione tra le diverse aree dei programmi pervenuti a seguito del bando, la loro natura (intra- o inter-universitari), la loro composizione (numero di unità operative) e le richieste complessive di cofinanziamento.

 

Tabella I

 

Area

Numero intra-universitari

Numero inter -universitari

Numero di Unità operative

Richiesta di finanziamento

01

2

28

396

20.338.068.000

02

3

68

416

42.324.699.000

03

2

51

671

58.311.262.000

04

0

32

319

17.522.188.000

05

8

109

1114

68.876.281.000

06

61

226

1833

84.694.773.000

07

0

76

800

32.984.188.000

08

7

116

844

40.125.500.000

09

5

121

1035

66.542.992.000

10

28

221

964

27.369.385.000

11

19

177

831

21.492.891.000

12

12

75

346

9.777.621.000

13

19

117

615

18.857.305.000

14

2

50

200

6.477.340.000

Totale

178

1467

10.384

515.664.531.000

 

 

L’elevato numero di progetti (1645) e la presenza di oltre 10.000 unità di ricerca testimoniano il forte interesse e la intensa partecipazione al bando. Occorre tuttavia notare che la tipologia delle proposte è molto differenziata. Nei settori della matematica e della chimica prevalgono programmi con un alto numero di unità operative (mediamente 13 per proposta) e una distribuzione abbastanza parcellizzata delle risorse, mentre nei settori umanistici, nelle scienze giuridiche e in quelle sociali la dimensione media è dell’ordine di 3-4 unità operative per progetto.

L’ammontare del cofinanziamento evidenzia il fatto che le università hanno dichiarato risorse disponibili o acquisibili per i programmi presentati per circa altri 350-400 miliardi. Non v’è dubbio quindi che l’operazione avviata con il bando sia di grande portata ed abbia riflessi su tutta la ricerca italiana.

Un altro elemento interessante riguarda il personale universitario (Professori di I e II fascia, Ricercatori Universitari, Dottorandi, Borsisti) coinvolto a vario titolo nei programmi. La Tabella II illustra la distribuzione dei ricercatori per Area disciplinare e il numero medio di ricercatori per programma.

Tabella II

 

Area

Numero Ricercatori

Numero Programmi

Numero medio di Ricercatori

 

01

3436

30

114,5

 

02

3615

71

50,9

 

03

5440

53

102,6

 

04

2663

32

83,2

 

05

8493

117

72,6

 

06

12361

287

43,1

 

07

5400

86

62,8

 

08

6092

123

49,5

 

09

6818

126

54,1

 

10

5562

249

22,3

 

11

4634

196

23,6

 

12

2295

87

26,4

 

13

3637

136

26,7

 

14

1126

52

21,6

 

Totale

71572

1645

43,5

 

 

L’elevato numero di ricercatori, approssimativamente pari al doppio del numero di professori di ruolo nelle università, conferma l’importanza che i fondi ex-40% rivestono per tutta l’università. La quarta colonna, che fornisce il numero medio di ricercatori per programma, mostra come le risorse umane coinvolte nelle specifiche iniziative siano molto diverse da un’area disciplinare all’altra. Va peraltro precisato che il numero riportato nella seconda colonna rappresenta le persone coinvolte nei vari progetti e non il loro impegno: in molti casi il coinvolgimento è molto ridotto e il numero di ricercatori effettivamente impegnati può essere assai inferiore. Nell’insieme questa tabella conferma i dati della precedente, in particolare il fatto che le Aree di Matematica e Chimica sono quelle con le più estese reti di ricerca, mentre quelle delle scienze umane, economiche e sociali sono le più ridotte.

3. Procedura di revisione delle proposte

L’elevato numero di programmi pervenuti e la loro complessità ha posto immediatamente un problema di gestione della procedura di revisione delineata nel decreto. Sottomettere a dei revisori per l’ordinaria via postale la copia cartacea delle proposte al fine di ottenerne la valutazione, è risultato impraticabile per i seguenti motivi:

  1. la necessità di duplicare diverse centinaia di migliaia di pagine avrebbe comportato notevoli ritardi e costi rilevanti;
  2. la sottomissione via posta avrebbe comportato tempi lunghi di risposta, incertezza nella trasmissione, difficoltà di sostituire rapidamente un revisore nel caso di impossibilità o rifiuto, costi di spedizione e difficoltà di attivare un efficiente sistema di sollecito;
  3. l’adozione del fax, pur consentendo tempi di trasmissione più rapidi, non avrebbe garantito la necessaria riservatezza e l’anonimato del revisore;
  4. sarebbe in ogni caso stato difficile evitare errori di duplicazione;
  5. sarebbero sorti non pochi problemi nella analisi e comparazione della risposta dei revisori, trattandosi di diverse migliaia di valutazioni, e nella stesura di graduatorie.

 

Di fronte a queste difficoltà si è scelta una strada completamente innovativa consistente in una procedura telematica articolata in due fasi:

I Fase : trasmissione di un messaggio di posta elettronica al revisore, con il quale gli si attribuisce formalmente il compito di valutazione, consentendogli l’accesso al sito Web, ove il testo del programma è disponibile, e chiedendogli formale dichiarazione di

competenza e accettazione dell’incarico;

II Fase: in caso di accettazione, messa a disposizione del revisore di una scheda di

valutazione da compilare presso il medesimo sito Web.

In questo modo si sono realizzati diversi obiettivi. In primo luogo non è stato necessario duplicare né spedire copie cartacee dei programmi, con notevole risparmio di tempo e denaro. Si è poi messa in opera una procedura che, tramite l’utilizzo di parole chiave e codici di accesso, ha assicurato la massima riservatezza e l’anonimato dei revisori. Infine si sono creati i presupposti per rendere possibile la gestione dei solleciti e, soprattutto, la gestione delle risposte dei revisori, l’analisi statistica dei punteggi, la comparazione di programmi di aree diverse etc. essenziali ai fini della determinazione delle proposte da finanziare.

Come già avvenuto per la redazione delle proposte, l’intero sistema di consultazione di revisori, gestione delle risposte e selezione dei programmi è stato realizzato dal CINECA, che ha sviluppato il software necessario (non disponibile sul mercato) e offerto una totale ed efficace collaborazione con le proprie strutture di elaborazione dati. Va sottolineato, infatti, che procedure di questo tipo non sono comunemente adottate dalle agenzie di ricerca e solo di recente sono divenute disponibili presso le maggiori riviste a diffusione internazionale. Si tratta di una realizzazione assolutamente originale e nuova, che pone il nostro paese in una posizione di avanguardia in questo particolare aspetto della gestione dell’attività di ricerca. Essa ha anche contribuito a una maggiore alfabetizzazione informatica dei dipartimenti universitari: in molti casi infatti i docenti cui era stato richiesto di svolgere la funzione di revisore si sono dovuti dotare di un indirizzo di posta elettronica, di cui precedentemente non disponevano, e/o del software di accesso alla rete Internet. Per non pochi studiosi questa è stata l’occasione per accedere a strumenti informatici verso i quali vi era diffidenza o scarsa familiarità.

Per quello che riguarda il sistema adottato e il software predisposto vi è stato un generale apprezzamento, anche da parte dei revisori stranieri. Molti degli inconvenienti riscontrati dai revisori a seguito di problemi di indirizzamento di posta elettronica o di inefficienza degli strumenti informatici a loro disposizione (software inadeguato, insufficiente memoria del computer, problemi di collegamento etc.) sono stati superati grazie alla pronta consulenza offerta dal CINECA.

Naturalmente l’avvio in tempi rapidi di questa procedura non è stato esente da inconvenienti. In certe aree disciplinari si è riscontrata qualche difficoltà all’uso del mezzo informatico sia per l’inadeguatezza delle strutture messe a disposizione dai dipartimenti sia per la scarsa disponibilità dei revisori stessi a dotarsi di strumenti più appropriati. In questi casi è stato necessario o sostituire il revisore o fornirgli copie cartacee delle proposte. Si è trattato tuttavia di una percentuale inferiore al 10% dei revisori consultati.

4. Costituzione dell’archivio dei revisori

Il sistema di selezione adottato dal decreto si basa sull’utilizzo di revisori anonimi. Esso infatti prevede che la Commissione individui i programmi da finanziare e stabilisca l’ammontare del cofinanziamento sulla base delle valutazioni acquisite. Un’accurata scelta dei revisori è quindi essenziale ai fini del corretto funzionamento della procedura.

La Commissione ha considerato pertanto suo compito primario quello di costituire un archivio di revisori adeguato alla varietà e complessità delle proposte presentate. Si è trattato di un’impresa di notevole impegno sia perché nulla del genere era stato fatto in precedenza nel nostro paese sia per i tempi ristretti in cui si è dovuto operare.

Per creare l’archivio si è proceduto nel seguente modo:

La Commissione ha provveduto a integrare le indicazioni, così raccolte, contattando esperti italiani e stranieri. Si è in questo modo costituita una base di dati comprendente 4900 nominativi, in buona parte docenti universitari italiani e stranieri, e strutturata in larga misura secondo le indicazioni fornite dai Dipartimenti e gli Istituti universitari consultati. Essa consente di individuare i revisori competenti di uno specifico campo attraverso l’utilizzo di parole-chiave o tramite la specificazione del settore disciplinare.

Nell’assegnare il compito di revisione si è seguito la seguente procedura:

  1. Per ogni singolo programma si è individuato un insieme di esperti sulla base dei settori disciplinari e delle tematiche di ricerca oggetto della proposta;
  2. Da tale insieme sono stati sottratti coloro che, a diverso titolo, potevano essere interessati al programma proposto (perché essi stessi proponenti di programmi affini o perché afferenti alla stessa sede universitaria etc.)
  3. Dalla lista così ottenuta sono stati selezionati quelli cui sottoporre il programma proposto.

Il numero di revisori utilizzati è stato di circa 2000. Il mancato utilizzo degli altri nominativi è dovuto essenzialmente al fatto che si trattava di studiosi coinvolti nei programmi da valutare. In diversi casi infatti i Dipartimenti o gli Istituti universitari hanno indicato come potenziali revisori persone coinvolte nelle stesse proposte da revisionare.

Molte delle proposte avevano il carattere di "domanda ombrello" con il coinvolgimento di una larga percentuale dei docenti universitari italiani attivi in certi settori disciplinari e una scarsa focalizzazione degli obiettivi e delle risorse richieste. Alcuni revisori hanno apertamente criticato programmi di questo tipo perché l’assenza di obiettivi precisi rende il progetto invalutabile, anche quando i gruppi proponenti sono credibili.

5. Analisi delle proposte

La Commissione ha svolto un’analisi degli aspetti relativi alle risorse umane, strumentali e finanziarie dei programmi presentati, con il duplice obbiettivo di acquisire criteri comparativi di congruità finanziaria e di evidenziare eventuali problemi che fossero emersi in questa prima esperienza di presentazione delle domande cofinanziate. Gli elementi fondamentali di questa analisi si possono riassumere come segue:

  1. Si è in primo luogo verificato se vi erano coordinatori o responsabili di unità operative presenti a diverso titolo in più programmi. Il decreto ministeriale precisava infatti che un ricercatore avrebbe potuto partecipare a un solo programma di ricerca. Si è riscontrata la presenza di circa 200 omonimie nelle diverse proposte buona parte delle quali derivavano dalla partecipazione a più programmi. Si è proceduto a eliminare questi casi adottando le seguenti regole:

Di tali regole si è fatto uso al momento di determinare il cofinanziamento in programmi dichiarati ammissibili (si veda in Sez.9)

Tabella III

AREA DISCIPLINARE

Costo annuo medio pro-capite

(Milioni di Lire)

Voce B annuo medio pro-capite (Milioni di Lire)

01

58,417 (28,660)

40,886 (10,840)

02

42,617

18,114

03

28,992

16,771

04

35,928

22,886

05

26,967

17,866

06

46,195

25,974

07

32,312

24,560

08

43,998

29,801

09

37,894

21,174

10

29,649

18,771

11

23,641

15,556

12

22,169

13,303

13

27,662

20,702

14

31,860

24,299

 

  1. Si è determinato per ogni programma il costo annuo pro-capite delle ricerche da svolgere attraverso il rapporto tra il costo totale dichiarato e il numero di ricercatori universitari impegnati nel programma. Dalla conoscenza di questo dato si è risalito al costo medio annuo pro-capite della area di appartenenza del programma. La Tabella III mostra i costi medi così ottenuti per tutte le aree. Con l’esclusione dell’area matematica, il cui valore è in larga misura determinato da due progetti "anomali", in quanto contenenti richieste di cofinanziamento per iniziative di formazione alla ricerca (il valore ottenuto escludendo queste proposte è sensibilmente inferiore ed è riportato tra parentesi), si può ipotizzare che questi dati siano ragionevolemente rappresentativi del costo reale della ricerca nelle varie aree. Il rapporto tra il costo annuo pro-capite di un programma e il costo medio dell’area costituisce un elemento di valutazione della congruità della richiesta finanziaria. Un valore elevato di questo rapporto può derivare o dall’alto costo della ricerca specifica (è il caso delle ricerche archeologiche e storico-artistiche rispetto ad altre dell’area umanistica) o da una sovrastima del costo della ricerca.
  2. Analoga analisi è stata fatta per il costo di funzionamento annuo pro-capite, ottenuto per ogni programma sottraendo dal costo di Voce B dichiarato la spesa di eventuali contratti di ricerca e dividendo il risultato per il numero di ricercatori universitari. Anche in questo caso si può confrontare la richiesta media di Voce B per Area (riportata nella stessa Tabella) con quella di un singolo programma per verificare se vi sono richieste eccessive rispetto alla media e se esse corrispondono a una reale esigenza di ricerca o a una sovrastima dei costi necessari.

 

La Commissione ha utilizzato questi elementi, unitamente al parere espresso in proposito dai revisori, per definire l’ammontare del cofinanziamento di ogni proposta (si veda in seguito).

Come considerazione generale si può dire che in molti casi il parere dei revisori è stato coerente con la valutazione di eccesso o difetto che emerge da questa analisi comparativa. Essa peraltro evidenzia una certa leggerezza o frettolosità nella determinazione dei costi della ricerca da parte dei proponenti, molto probabilmente dovuta a inesperienza o allo scarso tempo disponibile per la presentazione delle proposte.

Si sottolinea in particolare che:

  1. in molti programmi il cofinanziamento richiesto appare determinato più dalle risorse disponibili o dichiarate come acquisibili che dal costo effettivo della ricerca;
  2.  

  3. vi è una tendenza generalizzata ad aumentare le spese di funzionamento, per le quali non era richiesta alcuna precisazione nel modulo di presentazione della proposta;
  4.  

  5. in numerosi casi è presente una certa confusione tra richieste di Voce A e richieste di Grandi Attrezzature.

 

E’ interessante notare che il primo punto è stato messo in evidenza, indipendentemente, da parecchi revisori, che, analizzando specifici programmi, hanno sottolineato come il meccanismo di cofinanziamento, quando non correttamente inteso, può portare a richiedere più del necessario per lo svolgimento della ricerca.

 

6. Metodo di Valutazione

Per ogni programma si è acquisito il parere di almeno due revisori. Per poter raggiungere questo risultato è stato necessario consultare un notevole numero di studiosi italiani e stranieri. Ogni revisore è stato contattato attraverso un Messaggio di Assegnazione bilingue (inglese-italiano), che assegna al revisore il programma da valutare e la password per accedere al sito Internet ove prendere visione del programma stesso. Il testo del messaggio è riportato in Allegato C. Al revisore è stato richiesto di accettare (o rifiutare ) formalmente la proposta e, in caso di accettazione, di trasmettere la valutazione compilando la scheda relativa. Il Messaggio inoltre richiede che i revisori forniscano valutazioni sulla competenza scientifica delle varie unità, sul loro grado di integrazione e sull’opportunità di finanziarle. Un buon numero di revisori ha accettato di svolgere il compito di valutazione e lo ha effettuato con notevole impegno e solerzia. In non pochi casi il revisore ha risposto in dettaglio alle richieste avanzate del Messaggio, precisando quali unità apparivano deboli o non coerenti con la proposta, quali erano prive delle risorse necessarie, quali avanzavano richieste eccessive in rapporto ai compiti da svolgere etc.

E’ stato previsto un sistema di sollecito periodico dei revisori, da attivarsi qualche settimana dopo la spedizione del messaggio di indirizzo per sollecitare la accettazione e /o la valutazione delle proposte. Si è rilevata infatti una certa inerzia da parte dei revisori italiani (specie universitari) a svolgere il compito di revisore, anche nei casi in cui il Dipartimento di appartenenza li aveva esplicitamente indicati per questo scopo. Si è riscontrato che numerosi revisori hanno fornito la loro accettazione solo dopo che al messaggio di indirizzo erano seguite una o più telefonate di sollecito da parte di uno o più membri della Commissione. Segno questo che il compito di valutare non è ancora avvertito come una componente dell’attività professionale del ricercatore.

Non pochi revisori consultati hanno rifiutato. I motivi di rifiuto più frequenti sono stati la mancanza di tempo, conseguente a impegni di ricerca, didattici o professionali, l’assenza dalla sede per un periodo di tempo prolungato, difficoltà di collegamento via rete e, per gli stranieri, non sufficiente dimestichezza con la lingua italiana etc. Solo un numero limitato di rifiuti è stato dovuto a una dichiarazione di non competenza da parte del revisore.

Una percentuale pari al 10% dei revisori consultati non ha risposto. Nella quasi totalità dei casi la mancata risposta è probabilmente dovuta a problemi relativi allo strumento informatico (mancata consultazione della posta elettronica, indirizzamento di posta elettronica non corretto etc.).

La Commissione ha cercato, quando possibile, di sottomettere ogni programma a tre revisori sia per limitare l’effetto delle rinunce e delle mancate risposte sia per acquisire un numero sufficiente di opinioni. Non è raro infatti che i giudizi di due revisori si discostino notevolmente e l’acquisizione di un parere addizionale porti a una valutazione più accurata del programma. In un numero limitato di casi è stato necessario ricorrere a più di tre valutazioni a causa del carattere multidisciplinare della proposta, che ha richiesto revisori per ogni specifico contributo disciplinare al programma.

In alcuni casi, in conseguenza del ritardo con cui uno o più revisori di uno specifico programma hanno risposto, si sono avute più di tre valutazioni, poiché si sono sommate le tardive risposte dei revisori inizialmente assegnati a quelle dei loro sostituti.

Gli elementi che hanno limitato la scelta dei revisori e, di conseguenza, la possibilità di acquisire tre valutazioni per ogni programma sono stati nell’ordine: i) la difficoltà di reperire un revisore non coinvolto nella proposta; ii) la impossibilità di trovare un esperto che conoscesse la lingua italiana; iii) la non disponibilità dei revisori contattati.

Al fine di facilitare l’operato dei revisori e di rendere possibile la valutazione comparativa dei diversi programmi sia all’interno della stessa area disciplinare sia tra aree differenti, la Commissione ha predisposto una Scheda di Valutazione (Allegato D), invitando ogni revisore a compilarla. La scheda si articola nelle seguenti parti:

  1. la dichiarazione, da sottoscriversi da parte del revisore, di non essere coinvolto nel programma e di essere competente nel relativo settore disciplinare;
  2. undici domande relative ad aspetti di merito (originalità e rilevanza del programma, competenza dei proponenti, adeguatezza dei metodi proposti), organizzativi (capacità del coordinatore, complementarietà delle competenze nelle diverse sedi) e riguardanti la congruità delle richieste finanziarie, cui il revisore è invitato a rispondere attraverso un punteggio (da 1 a 5 punti per domanda), esprimendo, se lo ritiene, anche le motivazioni della scelta;
  3. la richiesta di classificare il programma proposto all’interno di quattro qualifiche (A o B per indicare la priorità con cui finanziare programmi valutati positivamente, C nel caso di programmi per i quali si consiglia la riformulazione, D per programmi ritenuti non validi e pertanto da rigettare);
  4. uno spazio ove includere un giudizio complessivo della proposta, eventuali suggerimenti al coordinatore e/o eventuali indicazioni ai garanti.

 

Relativamente ai punti 2 e 3, si è ritenuto di richiedere al revisore, accanto a una valutazione numerica, che esprime la somma dei giudizi su singoli aspetti della proposta, una qualificazione di merito, in modo da disporre di un elemento qualitativo che consente di interpretare correttamente la volontà del revisore, superando le inevitabili differenze nell’assegnazione dei punteggi dovute alla sua maggiore o minore severità. D’altra parte l’elemento quantitativo fornito dal punteggio permette il confronto tra programmi valutati positivamente anche per aree e settori disciplinari differenti (si veda in seguito).

La scheda è bilingue: ogni singola parte è formulata sia in italiano sia in inglese ed è comparabile, nella impostazione e formulazione delle domande, quelle dei programmi europei.

E’ interessante illustrare brevemente la reazione dei revisori allo schema di valutazione proposto.

La grande maggioranza di coloro che si sono espressi ha manifestato apprezzamento per la scheda di valutazione. In qualche caso i revisori hanno trovato difficoltà a rispondere compiutamente ad alcune delle domande proposte (in particolare quelle relative alle richieste finanziarie o alle risorse a disposizione dei gruppi proponenti).

Diversi revisori, una volta compilata la scheda, hanno fornito suggerimenti e indicazioni su possibili migliorie dei moduli di presentazione dei programmi.

Non pochi revisori hanno contattato i Garanti prima di esprimere il loro parere, per essere certi di avere correttamente inteso lo scopo del bando e di adottare il metro di giudizio appropriato. A tutti questi è stato suggerito di fare riferimento al Documento di Indirizzo e di parametrare la propria valutazione sulla base dei criteri generali ivi espressi.

Non si è riscontrata alcuna difficoltà di principio da parte dei numerosi studiosi stranieri, prevalentemente europei, utilizzati nella revisione, relativamente alla scheda di valutazione. Non pochi di loro, tuttavia, hanno espresso critiche sulla genericità dei programmi, quando si trattava di "programmi ombrello".

In un numero considerevole di casi i revisori oltre ad attribuire una votazione all’intero progetto, hanno assegnato voti e giudizi di merito alle singole unità operative, in particolar modo quando la proposta presentava una notevole disparità o una scarsa complementarietà dei contributi, utilizzando la stessa formulazione proposta dalla scheda.

La gran parte dei revisori si è avvalsa della possibilità di commentare le singole votazioni attribuite in risposta alle domande, per fornire maggiori elementi di giudizio. In molti casi questi elementi sono stati utili per definire il cofinanziamento alla proposta.

 

 

 

7. Distribuzione dei punteggi

A seguito quindi della valutazione espressa dai revisori sono stati associati ad ogni programma un punteggio medio, dato dalla media dei punteggi espressi dai revisori, vale a dire

Xi = SR XiR/Ni

ove Xi è il punteggio medio dell’i-esimo programma, XiR rappresenta il punteggio dell’R-esimo revisore del programma e Ni è il numero di revisori, e un insieme di lettere che esprimono le qualifiche attribuite alla proposta. Per tenere conto del fatto che qualche revisore non aveva dato risposta ad alcune domande si è normalizzato il punteggio al numero di risposte fornite.

Gli istogrammi riportati nelle Figg. 1-4 illustrano la distribuzione dei punteggi attribuiti ai programmi: più precisamente essi rappresentano la distribuzione degli scarti definiti come

xi = Xi - <X>

ove

<X > = Si Xi / M

con M pari al numero dei programmi per l’area di interesse. In altri termini gli scarti rappresentano le differenze tra i punteggi X i conseguiti dai programmi e quello medio dell’area <X>, calcolato come media dei punteggi ottenuti dai programmi dell’ area. Per comodità negli istogrammi sono riportati gli scarti riferiti al punteggio medio per domanda.

La Tabella IV rappresenta il valore di <X> e del punteggio massimo per ogni area

Tabella IV

Area Disciplinare

Punteggio medio

Punteggio medio per domanda

Punteggio massimo

Numero di Valutazioni

         

01

44,392

4,114

53,500

76

02

39,799

3,700

53,000

179

03

42,584

3,907

53,000

137

04

40,614

3,801

52,000

83

05

37,663

3,505

54,000

303

06

31,752

2,957

53,500

662

07

37,422

3,457

49,500

218

08

36,205

3.361

51,000

332

09

38,520

3,559

50,666

371

10

39,800

3.705

53,666

731

11

38,243

3,551

54,000

497

12

37,305

3,494

52,000

175

13

36,575

3,452

51,000

285

14

35,500

3,283

51,500

104

 

.

E’ evidente da questi dati che la distribuzione dei punteggi presenta significative differenze tra le varie aree. Esse sono presenti anche a parità di qualifica assegnata ai programmi e riflettono pertanto sia il diverso metro di giudizio delle varie discipline sia la diversa qualità delle proposte avanzate. Le discipline mediche presentano i valori medi più bassi , mentre quelli più elevati si ritrovano nella chimica e nell’area matematica, che, tuttavia, si caratterizzano per essere discipline con uno scarso numero di proposte (rispettivamente 52 e 30) specie se confrontate a quelle delle aree umanistiche e bio-mediche, che sono diverse centinaia. In tutti i casi le distribuzioni presentano, non sorprendentemente, una forma ben diversa da quella della distribuzione normale.

Si può notare come tutti gli istogrammi, con l’esclusione di quello relativo all’area geologica, presentino una forte asimmetria nell’intervallo degli scarti, quello corrispondente a valori negativi (cioè a punteggi inferiori a quello medio) è più esteso dell’intervallo di scarti positivi. In genere questo dato non comporta un’analoga asimmetria della distribuzione. Per esempio le prime tre aree mostrano una netta maggioranza dei programmi con votazione sopra la media, nonostante si abbiano elevati scarti negativi. Fa eccezione l’istogramma dell’Area 14 che mostra una notevole maggioranza di valutazioni negative.

Accanto a questo elemento, relativo al punteggio assegnato, è utile, ai fini della analisi delle valutazioni pervenute, mostrare come i revisori hanno attribuito le qualifiche (A,B, C o D) nelle diverse aree. La Tab. V riporta la percentuale delle qualifiche assegnate nelle diverse aree.

 

Tabella V

Area

Percentuale A

Percentuale B

Percentuale C

Percentuale D

       

01

61.8

23.7

10.5

4.0

02

39.7

32.4

19.6

8.3

03

51.8

36.5

8.0

3.7

04

53.0

26.5

10.8

9.7

05

41.3

32.3

14.2

2.2

06

20.6

31.9

20.8

26.7

07

32.6

41.7

15.1

10.6

08

31.6

38.0

21.1

9.3

09

39.6

37.7

15.9

6.8

10

35.6

43.9

13.4

7.1

11

37.8

37.6

13.5

11.1

12

33.9

42.0

14.9

9.2

13

39.1

34.5

15.1

11.3

14

23.1

44.2

25.0

7.7

 

Il risultato più evidente riguarda l’alto numero di qualifiche negative dell’area medica (47,5%)con una percentuale di rigetti superiore al 25% che non ha equivalente nelle altre aree. Tra le aree scientifiche la fisica appare la più selettiva per il più alto numero di qualifiche negative (28%) e il minor numero di A. Spiccano per l’elevato numero di qualifiche negative anche l’ingegneria civile e architettura (area 8) e le scienze politico-sociali (area 14), entrambi al di sopra del 30%.

Altre informazioni significative possono essere ottenute dalla analisi congiunta della distribuzione dei punteggi e delle qualifiche. La Tabella VI mostra per ogni area la percentuale dei programmi con punteggio superiore alla media e quella dei programmi sopra la media che hanno conseguito almeno due qualifiche positive (A o B) e nessuna qualifica di rigetto (D).

Si noti come le aree scientifiche presentino una netta maggioranza di programmi con votazione sopra la media nell’area di appartenenza. Questo è conseguenza di una forte differenza tra la votazione dei programmi ritenuti accettabili e quella dei programmi respinti, la cui votazione cade notevolmente sotto la media. La stessa considerazione vale per le scienze storiche e quelle giuridiche. Tutte le altre aree mostrano valori più in linea con una distribuzione uniforme delle valutazioni, con l’esclusione delle scienze sociali, che mostrano un netto prevalere dei programmi con punteggio sotto la media.

Una seconda considerazione, che si può trarre dall’analisi di questi dati, è che vi è in generale una certa discrepanza tra la percentuale di programmi con votazione sopra il punteggio medio dell’area e quella dei programmi che, oltre ad avere conseguito un punteggio superiore alla media, hanno anche ottenuto una coppia di qualifiche positive. Questa percentuale, riportata nella terza colonna, rappresenta i programmi con valutazione fortemente positiva. La differenza, più accentuata nelle aree della ingegneria civile e architettura, della fisica, della biologia e delle scienze economiche, è indice di diversità di giudizio dei revisori. Si noti, ancora una volta, l’identico comportamento dell’area matematica e di quella chimica, che non mostrano differenze di sorta.

 

 

Tabella VI

Area Disciplinare

Percentuale con voto sopra la media

Percentuale con voto sopra la media e due qualifiche positive

Percentuale dei programmi cofinanziati

01

63

63

47

02

59

52

35

03

60,3

60,3

30,2

04

56

53

37,5

05

56

48,7

26,5

06

50,5

48,7

16,3

07

51,2

45,3

27,9

08

51

43,1

20,3

09

50,8

47,6

23

10

51,4

50,6

26,9

11

54,1

48

25,5

12

55,2

48,3

50,5

13

51,5

44,1

30,1

14

44,2

38,4

50

 

Per confronto è stata riportata nell’ultima colonna la percentuale dei programmi cofinanziati. E’ interessante notare che solo una frazione dei programmi con forte valutazione positiva è stata finanziata. Fanno esclusione le aree di giurisprudenza e delle scienze sociali, che hanno beneficiato in modo particolare della quota riservata. Va peraltro tenuto presente il diverso ammontare delle singole proposte sia all’interno della stessa area disciplinare sia nelle varie aree.

 

8. Attribuzione del cofinanziamento

 

L’attribuzione del cofinanziamento è stata effettuata in quattro fasi.

  1. Si sono in primo luogo individuati i programmi da ammettere al cofinanziamento utilizzando la quota riservata a ogni area disciplinare e le modalità per definire la loro graduatoria ;
  2. successivamente si sono stabiliti i criteri di ammissibilità al cofinanziamento tramite la quota non riservata (pari al 58% del totale) e la formazione della relativa graduatoria;
  3. si sono poi precisate le regole per assegnare l’ammontare del cofinanziamento sulla base dei
  4. pareri dei revisori e/o di criteri generali;

  5. si è proceduto a stilare la lista finale dei programmi finanziati e delle eventuali riserve.

 

Nel seguito viene presentato il dettaglio di ogni singola fase.

I Fase: Quota riservata

Il decreto ministeriale prevede che a ogni disciplina venga riservato il 3% del totale. Si è deciso prioritariamente di utilizzare questa quota per il cofinanziamento di quelle proposte che avessero ottenuto almeno due valutazioni A (di alta priorità) e nessuna valutazione C o di rigetto D, assegnando il cofinanziamento in ordine di punteggio, fino all’esaurimento dei fondi disponibili. Qualora il numero di programmi con queste qualifiche non fosse tale da esaurire la quota riservata, si è deciso di proseguire nell’assegnazione del cofinanziamento ai programmi con almeno una valutazione di alta priorità (A) e nessuna valutazione C o D in ordine di punteggio. Se anche in questo modo non fosse possibile esaurire la quota riservata, si è stabilito di procedere con i programmi con qualifiche solo B in ordine di punteggio.

Il mancato esaurimento della quota riservata al termine di questa procedura comporta la sua redistribuzione tra le altre aree, come indicato nel decreto ministeriale.

II Fase: Quota comune

Si è stabilito di assegnare il cofinanziamento per la parte comune dichiarando ammissibili quei programmi che avessero riportato almeno due qualifiche positive (A o B) e nessun giudizio di rigetto (qualifica D) e che avessero conseguito una votazione superiore alla media dell’area di pertinenza. Per ordinare questi programmi sulla base del punteggio è stato necessario fissare un criterio che consentisse il confronto di valutazioni effettuate tra diverse aree disciplinari. Per tener conto del diverso metro di giudizio delle varie aree disciplinari, si è considerato per ogni programma, che avesse le caratteristiche di ammissibilità, il punteggio pari al rapporto tra lo scarto rispetto alla media dell’area e lo scarto positivo massimo dell’area stessa, utilizzando la variabile standardizzata

zi = (Xi - <X>)/(Xmax - <X>)

che tiene conto sia delle differenze in valore assoluto, sia dell’escursione nei voti assegnati dai revisori. Essa varia tra zero (punteggio pari alla media dell’area) e uno (punteggio pari al valore massimo). In questo modo programmi di aree differenti che hanno conseguito una punteggio corrispondente alla stessa percentuale del massimo voto assegnato nell’area di appartenenza sono classificati a pari merito.

Ordinando così i programmi ammissibili risulta possibile effettuare una graduatoria di tutte le proposte e, pertanto, assegnare la parte di risorse addizionali rispetto a quelle riservate.

III Fase: Determinazione del cofinanziamento

Come indicato nel documento di indirizzo, la Commissione si è ispirata al principio di concedere il cofinanziamento per l’intero ammontare necessario per la realizzazione del programma selezionato. Ogni decurtazione quindi in rapporto alla richiesta avanzata dai coordinatori è stata motivata o dai pareri espressi dai revisori in merito o da criteri di ordine generale, relativi alla congruità della richiesta finanziaria e conseguenti all’analisi comparativa, illustrata al paragrafo 4. Più precisamente si è convenuto di adottare i seguenti criteri:

IV Fase: Determinazione dell’elenco dei programmi finanziati

Una volta determinati i programmi ammissibili alla quota riservata e i relativi cofinanziamenti, si è proceduto per ogni Area alla copertura della quota riservata inizialmente prevista pari ai 3% della somma totale di 147.350.000.000, cioè in 4.420.500.000.

A procedura completata è emerso che l’Area 14 (Scienze Politiche e Sociali) era in grado di coprire con i programmi dichiarati ammissibili la somma di Lire 2.931.000.000. Come precisato nel decreto ministeriale si è pertanto riportato la differenza tra il 3% previsto e la somma utilizzata ad incrementare la parte riservata delle altre aree. In tal modo le prime 13 aree hanno avuto disponibile come quota riservata la somma di Lire 4.535.000.000. Si è quindi proceduto ad attribuire la parte riservata per le prime 13 aree, assegnando la somma di 56.922.000.000, così ripartita:

Tabella VII

Area

Richiesta

(Milioni di Lire)

Assegnazione

(Milioni di Lire)

01

3238,694

3087

02

3404,326

2868

03

4471,800

4134

04

5014.141

4442

05

5154.742

4405

06

5634.133

4418

07

5294,829

4420

08

4763,529

4377

09

4306,495

4006

10

5418,691

4451

11

5509,310

4371

12

5542,348

4501

13

4988,405

4511

14

3566,870

2931

Totale

66308,320

56922

 

In questo modo sono stati attribuiti 56,922 Miliardi dei 61,635 disponibili. Ciò in quanto al termine di questa assegnazione è risultato che l’ultimo dei programmi che in ogni Area cadeva all’interno della quota riservata poteva essere finanziato solo parzialmente. Si è completato il finanziamento a questi programmi, anche attingendo alla quota comune, nel modo seguente:

Tabella VIII

Area

Richieste

Cofinanziamento

01

2525,569

1967

02

2030,000

1966

03

1167,354

1167

04

55,95

44

05

1801,000

1391

06

806,500

687

07

223,25

162

08

197,399

187

09

1917,500

1900

10

150,723

126

11

176,750

149

12

69,000

54

13

192,750

130

Totale

11313,746

9930

La somma rimanente pari a Lire 80,498 Miliardi è stata ripartita ordinando i programmi non ancora finanziati sulla base dello scarto standard, come definito nella Fase II, e assegnando il relativo cofinanziamento fino ad esaurimento della somma. La ripartizione risultante è data da:

Tabella IX

Area

Richieste

Cofinanziamento

01

4343,303

3966

02

10206,439

8025

03

18381,555

14044

04

545,300

357

05

18342,523

15179

06

22581,016

15663

07

4671,978

4015

08

4837,386

4047

09

13126,802

9820

10

4545,121

3391

11

2093,762

1601

13

410,375

390

Totale

104085,562

80498

 

Completata questa assegnazione si è verificato che i programmi corrispondenti al valore più basso dello scarto z, pari a 0,37, non potevano essere finanziati interamente. Per evitare che ciò andasse a danno di qualche proposta si è richiesto al Ministero un’integrazione al finanziamento globale.. Avendo il Ministero messo a disposizione la somma di Lire 611 ML si è proceduto all’assegnazione fino all’esaurimento di tale somma. In tale modo è stato possibile definire l’elenco dei programmi cofinanziati, che viene riportato in Allegato E, ove viene indicata anche la sede universitaria del coordinatore.

 

E’ interessante verificare la ripartizione per area disciplinare del cofinanziamento assegnato e la percentuale del finanziamento in rapporto alla somma disponibile. La Tabella X illustra questo dato e lo confronta con quello relativo allo scorso anno:

 

Tabella X

 

Area

Finanziamento 1997 (Milioni)

Percentuale

Finanziamento 1996 (Milioni)

Percentuale

Differenza 1997-1996

01

9020

6,09

4083

4,18

1,91

02

12859

8,69

8108

8,30

0,39

03

19345

13,07

10158

10,40

2,67

04

4843

3,27

3434

3,52

-0,25

05

20975

14,18

11509

11,78

2,40

06

21379

14,44

14232

14,57

-0,13

07

8597

5,81

9161

9,38

-3,57

08

8611

5,82

8722

8,98

-3,16

09

15726

10,63

12404

12,70

-2,07

10

7968

5,39

4608

4,72

0,67

11

6121

4,14

3303

3,38

0,76

12

4555

3,08

2223

2,28

0.80

13

5031

3,40

4536

4,64

-1,24

14

2931

1,98

1207

1,24

0.74

Totale

147961

100,00

97688

100,00

 

 

 

Prima di commentare questa tabella va precisato che il cofinanziamento del 1997 riguarda prevalentemente progetti biennali, per i quali viene assegnato l’intero contributo ministeriale, mentre nel 1996 il finanziamento era assegnato prevalentemente a progetti annuali.

La prima considerazione che emerge dall’analisi dei risultati complessivi, anche comparativa tra le singole aree, è quella di una distribuzione dei finanziamenti significativamente diversa rispetto al passato, che vede una forte crescita di alcune aree mentre per altre, pur rilevandosi un aumento del finanziamento globale, dovuto all’incremento del fondo di dotazione MURST, si deve constatare un arretramento rispetto alle percentuali "storiche".

La seconda considerazione è quella che, attraverso il meccanismo della quota riservata si è potuto operare un significativo finanziamento anche nell’ambito dei settori con valutazioni medie più basse.

Inoltre, dall’analisi dei progetti selezionati, si può constatare la consistenza significativa dei finanziamenti di alcuni progetti di ricerca; ciò conferma l’impostazione innovativa del nuovo metodo intesa a finanziare l’intero importo richiesto e dunque a sostenere l’intera esecuzione del progetto.

Il numero dei progetti approvati, pari al 27,6% di quelli presentati, permette di considerare questo risultato in termini certamente più favorevoli rispetto agli esiti dei progetti finanziati dall’Unione Europea o agli standard di finanziamento dei programmi internazionali più avanzati.

Va infine sottolineato che i programmi approvati coinvolgono circa 17500 ricercatori: un aspetto che evidenzia l’importanza dell’intervento svolto.

 

 

 

 

 

 

 

 

9. Raccomandazioni

 

E’ opinione della Commissione che almeno un triennio sia necessario perché un metodo così innovativo possa andare a regime e a questo fine si sottolineano e si raccomandano alcune modifiche.

 

  1. Ampliamento dell’archivio revisori che potrà essere ottenuto tramite l’uso contestuale, nella
  2. formulazione dei progetti, della lingua inglese al fine di poter meglio utilizzare i valutatori

    stranieri.

  3. Maggiore disponibilità di tempo per la predisposizione dei progetti da parte dei ricercatori proponenti.
  4. Miglioramenti dei moduli di presentazione sulla base anche delle indicazioni e dei suggerimenti
  5. pervenuti dai revisori utilizzati.

  6. Sottolineare più incisivamente e far meglio recepire ai proponenti la esigenza di
  7. realizzare collaborazioni intra o inter-universitarie basate su una effettiva complementarietà

    scientifica e non risultanti da aggregazioni generiche.

  8. Maggiore disponibilità di fondi in quanto il finanziamento attuale non può considerarsi adeguato rispetto alle esigenze e alle potenzialità del sistema nazionale universitario. Ne è prova il fatto che già in questa prima fase molti programmi valutati positivamente sono stati esclusi per mancanza di fondi (si veda in proposito la Tabella VI). Il cofinanziamento di tali proposte avrebbe richiesto una cifra significativamente più elevata di quella disponibile, dal momento che il loro ammontare è dell’ordine dei 65 Miliardi.
  9. Fornire la possibilità a ricercatori, che abbiano precisato il proprio impegno temporale su progetti in modo credibile, di essere finanziati anche in due bandi successivi, fermo restando il principio della partecipazione a un singolo programma per bando, compatibilmente con la disponibilità di tempo.

 

Infine la Commissione esprime il parere che, nell’ambito dei nuovi indirizzi per il "Riordino del Sistema Nazionale di Ricerca" si debba attentamente considerare l’opportunità di applicare queste metodologie di valutazione alla gestione di altri progetti nazionali di ricerca, prestando la necessaria attenzione alle singole tipologie e particolarità dei vari settori.