Relazione finale della Commissione per la

Valutazione dei Programmi di Ricerca delle Università

(Anno 1999)

 

INDICE

1. Premessa

2. Valutazione dei revisori e ampliamento dell'albo

3. Programmi presentati

4. Procedura di revisione delle proposte

5. Distribuzione dei punteggi

6. Formazione delle graduatorie e attribuzione del Co-finanziamento

7. Conclusioni

Addendum I: Monitoraggio dei progetti co-finanziati

Addendum II: Commissione di valutazione ex-post per i progetti co-finanziati 1997

Allegato A. Decreto ministeriale

Allegato B. Documento di indirizzo

Allegato C. Modello A      Modello B

Allegato D. Scheda di valutazione

Allegato E. Guida per i revisori

Allegato F. Programmi ammessi al Co-finanziamento suddivisi per Area

Allegato G. Programmi ammessi al Co-finanziamento suddivisi per Università del Coordinatore Nazionale

Allegato H. Elenco Monitori 1997

Allegato I. Elenco Monitori 1998

Allegato L. Elenco delle Commissioni di Valutazione ex-post 1997




1. Premessa

Il Decreto ministeriale n.811 del 3 dicembre 1998 (Allegato A) nel dare avvio al bando 1999 per il Co-finanziamento di programmi di ricerca di interesse nazionale liberamente proposti dalle Università, ha confermato in larga misura le modalità di presentazione e selezione ed i criteri di finanziamento già adottati nel bando 1998. In particolare riteniamo importante sottolineare che:

  1. sono rimaste valide sia la richiesta di compilazione delle proposte in due lingue, italiano ed inglese, che aveva già condotto a positivi sviluppi nel 1998, permettendo lo straordinario ampliamento del data base dei revisori, giunto oggi ad oltre 14.000 esperti delle varie discipline; sia l’aumentata quota di partecipazione al Co-finanziamento da parte del Ministero (50% per i progetti intra-universitari e 70% per gli interuniversitari).

  2. la data di scadenza della presentazione delle domande è stata anticipata al 31 Marzo, che ha permesso di sviluppare successivamente, entro tempi relativamente ampi, la valutazione dei progetti.

  3. è stato introdotto nel modulo A della proposta, oltre alle parole chiave ed ai miglioramenti introdotti nel 1998, anche il riassunto della proposta stessa. Quest’ultimo si è rivelato di grande utilità soprattutto per la gestione del programma da parte del Comitato dei Garanti.

  4. è stato confermato il ruolo dei Coordinatori nazionali e dei Responsabili delle unità locali dei progetti quali diretti e principali studiosi partecipanti alle ricerche proposte.

Inoltre il Ministro ha deliberato di aumentare da 5 a 7 il numero dei membri della Commissione di Garanzia incaricata di provvedere alla scelta dei revisori per i progetti presentati e, in base ai pareri ottenuti, di procedere alla loro selezione, nominando in data 17 marzo 1999 i Professori: Carlo Calandra Buonaura, Luigi Campiglio, Mario Caravale, Errico Cuozzo, Jacopo Meldolesi, Luigi Nicolais, Luigi Spagnoli. La Commissione nella sua prima riunione (22 marzo 1999) ha provveduto a confermare alla Presidenza il Prof. Carlo Calandra Buonaura, sostituito in data 22 Aprile dal Prof. Jacopo Meldolesi. Il ruolo del segretario è stato assunto dal Prof. Nicolais. Inoltre la Commissione ha deciso di confermare, quale guida per la sua attività, il Documento di Indirizzo elaborato dalla Commissione 1998, qui presentato come Allegato B, disponibile su Internet al sito Web del Ministero. In questo modo tutti coloro che, a diverso titolo, hanno compilato i moduli di domanda hanno avuto a disposizione una guida chiara e dettagliata per il lavoro da compiere.

Il documento di Indirizzo sottolinea la necessità che i programmi proposti abbiano un obbiettivo scientifico preciso, con carattere di originalità e di rilevanza nazionale, e non siano una semplice aggregazione di attività di diversi gruppi sotto un titolo generico. Tale impostazione corrisponde alla tipologia di progetto scientifico avanzato che abitualmente viene sottoposto alla procedura di peer-review in ambito internazionale. Anche a seguito delle numerose osservazioni critiche espresse dai revisori consultati nel 1997 e 1998, in particolare da quelli stranieri, circa programmi con scarsa focalizzazione degli obbiettivi, il documento raccomanda di evitare la presentazione di programmi con troppe unità locali.

Per quanto riguarda i modelli A e B (reperibili quali allegati C di questa relazione) essi sono rimasti largamente immutati rispetto al 1998 (ad eccezione della richiesta del riassunto già sottolineata). Miglioramenti del software, già portato ad un notevole livello di eccellenza nel 1998, hanno riguardato l'allestimento di un sito riservato in via esclusiva al singolo docente; questo allo scopo di facilitare la compilazione di moduli e l'espletamento di pratiche (consuntivi, relazioni annuali, certificazioni, e così via) riguardanti la ricerca scientifica. Il sito infatti contiene tutte le richieste di finanziamento del docente dal 1994 al 1999 e permette di allertare il docente sulle varie scadenze. Particolare rilievo va posto alla nuova possibilità offerta tramite il sito docente di compilare i nuovi progetti per il bando 1999 direttamente senza la necessità di effettuare una registrazione.

Importanti modifiche rispetto al 1998 hanno riguardato la scheda di valutazione destinata ad essere compilata dai revisori. In proposito era stata sollevata la critica che, quantunque l’importanza dei vari aspetti della attività di ricerca indicati nelle varie domande riportate nella scheda fosse evidentemente diverso, il punteggio ad esse attribuito restava uguale per tutte. A questo proposito la Commissione ha deciso i seguenti cambiamenti:

  1. che la valutazione generale del progetto, delineata dalle lettere A-D, fosse da riferirsi non a tutte le domande della scheda ma solo alle prime due, quelle cioè relative a caratteristiche di fondo del progetto quali l’originalità e l’importanza a livello nazionale;

  2. che il numero totale delle domande della scheda fosse ridotto da 9 a 8 attraverso l’accorpamento delle due ultime, relative all’attrezzatura disponibile e al finanziamento della proposta. Dato che per ogni domanda il revisore ha a disposizione un punteggio da 1 a 5, la valutazione massima possibile è scesa da 45 a 40.

Il modello della nuova scheda è presentato nell’allegato D mentre la guida per i revisori, sostanzialmente immutata rispetto al 1998, compare nell’allegato E.

Infine si sono confermate le regole per l’ammissibilità al finanziamento delle proposte valutate. In particolare è stato deciso che questa finanziabilità resti limitata soltanto alle proposte con valutazione generale complessiva di A o B e il cui punteggio complessivo risulti maggiore della media d’area. La Comunità accademica è stata puntualmente informata delle modifiche introdotte attraverso pubblicazioni su Internet delle regole e in particolare delle modifiche.

 

 

2. Valutazione dei revisori e ampliamento dell’albo

 

La Commissione dei Garanti ha proceduto ad esprimere un giudizio individuale sulla attività dei revisori 1998 seguendo i criteri relativi alla solerzia e alla accuratezza già specificati nella relazione 1998. Contemporaneamente è iniziata una attenta revisione dell’albo basata essenzialmente su due iniziative:

  1. I revisori che non avessero condotto adeguatamente il loro lavoro, specialmente quelli che, dopo avere accettato l’incarico di revisore, non hanno proceduto alla valutazione, sono stati presi in seria considerazione per esclusione dall’albo. A questo proposito, però, si è convenuto che l’esclusione venga realizzata soltanto per i revisori che lo abbiano richiesto o che siano stati inadempienti per almeno due anni. Inadempienza per un anno, infatti, potrebbe essere dovuta non a precisa decisione del revisore ma a imprevedibili contrattempi. Esclusione dalle attività nei prossimi anni può essere inoltre considerata per revisori che con loro valutazioni inducono a sospettare una mancanza di obbiettività o altro tipo di parzialità.

  2. Un’altra importante iniziativa realizzata nel 1999 è stata un programma di verifica globale dell’albo dei revisori per il quale il Ministero ha messo a disposizione la cifra totale di £ 120 milioni da utilizzare per l’attivazione di due borse di studio biennali (assegnate alla Dr. Francesca Spanò e al Dr. Nembo Buldrini). I due borsisti hanno iniziato a lavorare nel mese di maggio e luglio, rispettivamente, presso la sede del CINECA, verificando tutte le caratteristiche che risultavano per i vari revisori, dall’indirizzo e-mail alle parole chiave. Questo lavoro è stato giudicato come assolutamente necessario perché, da un lato, l’albo revisori era stato assemblato a partire da contributi profondamente diversi tra loro e, in qualche caso, obbiettivamente incongrui; dall’altro lato, sia oggi che in futuro, bisognerà seguire le modifiche "fisiologiche" dell’albo stesso, dovute al trasferimento, al cambio di e-mail etc. dei vari revisori. Al momento il lavoro è in corso ma esso ha già contribuito significativamente a migliorare il processo di valutazione delle proposte 1999.

Infine, nel corso dell’anno si è proceduto ad un ampliamento dell’archivio revisori introducendo
a) nominativi forniti da vari Dipartimenti che hanno risposto alle sollecitazioni della Commissione dei Garanti;
b) altri nominativi identificati dai Garanti o direttamente o attraverso segnalazioni ricevute anche da strutture scientifiche internazionali.

La Tabella I mostra la distribuzione dei revisori per aree disciplinari. Vengono precisati per ogni area il numero totale di revisori che utilizzano la lingua inglese, quello degli italiani, il numero totale per Area, nonché il numero di nuove aggiunte all’archivio.

Appare evidente l’importanza che, per un bando aperto a tutti i settori disciplinari e, quindi in linea di principio, a tutti i possibili argomenti di studio, riveste, ai fini della qualità delle valutazioni, la disponibilità di un elevato numero di revisori. Inoltre i problemi relativi al non coinvolgimento del revisore nel programma presentato e alla autoreferenzialità delle comunità nazionali si sono considerevolmente ridotti da quando è divenuto possibile scegliere tra numerosi possibili esperti.

 

Tabella I - Revisori 1999

Area

Numero Revisori
Stranieri

Numero Revisori
Italiani

Numero Totale

Nuovi Revisori

01

591

137

728

233

02

705

360

1.065

367

03

518

367

885

250

04

257

211

468

178

05

3.700

536

4.236

331

06

1.505

675

2.180

422

07

184

468

652

218

08

178

312

490

93

09

541

617

1.158

188

10

298

427

725

183

11

231

354

585

99

12

54

242

296

56

13

173

631

804

139

14

53

257

310

33

Totale

8.988

5.594

14.582

2.790

 

 

Al di là di questo aspetto quantitativo, vi è un aspetto qualitativo da sottolineare: in molti settori i revisori stranieri risultano per qualificazione ed esperienza tra i maggiori esperti a livello internazionale.

La consultazione di un archivio con un così elevato numero di dati può essere effettuata solo se si dispone di un adeguato strumento informatico di ricerca. A questo fine il CINECA ha predisposto sistemi di consultazione per (a) nominativo; (b) area e/o settore disciplinare; (c) parole chiave in italiano o inglese, che consentono una ricerca automatica dei revisori a seconda delle necessità. Tali sistemi si sono rivelati essenziali (come verrà meglio precisato in seguito) per lo svolgimento del compito di assegnazione dei programmi proposti ai revisori.

 

 

3. Programmi presentati

La Tabella II illustra la distribuzione tra le diverse aree dei programmi pervenuti a seguito del bando, la loro natura (intra- o inter-universitari), la loro composizione (numero di unità operative) e le richieste complessive di co-finanziamento.

 

 

Tabella II - Proposte di co-finanziamento, 1999

Area

Numero programmi
intra-universitari

Numero programmi
inter-universitari

Numero di
Unità Operative

Richiesta di
finanziamento

01

2

45

344

21.945.000.000

02

2

83

372

40.718.000.000

03

3

60

411

48.745.000.000

04

1

45

227

15.121.000.000

05

17

140

790

65.823.000.000

06

48

211

1.311

91.401.000.000

07

7

95

621

35.768.000.000

08

7

72

486

32.273.000.000

09

5

142

768

67.516.000.000

10

15

128

608

27.686.000.000

11

15

91

462

21.809.000.000

12

6

66

269

10.512.000.000

13

13

82

363

15.683.000.000

14

6

38

183

10.356.000.000

Totale

147

1.298

7.215

505.356.000.000

 

 

 

Per confronto il quadro dei programmi proposti gli scorsi anni è il seguente

 

Tabella III - Proposte di co-finanziamento, 1998 e 1997

 

 

1998

Area

Numero programmi
intra-universitari

Numero programmi
inter-universitari

Numero di
Unità Operative

Richiesta di
finanziamento

01

2

27

179

12.515.668.000

02

5

72

393

38.974.670.000

03

7

56

414

48.404.117.000

04

3

30

200

15.149.620.000

05

10

122

725

52.455.427.000

06

38

177

1.116

76.038.004.000

07

12

90

619

33.731.695.000

08

8

85

555

34.441.471.000

09

7

136

803

71.616.871.000

10

24

129

532

21.704.093.000

11

9

107

492

19.356.922.000

12

11

54

492

8.381.458.000

13

15

87

415

17.630.602.000

14

4

31

139

6.272.879.000

Totale

155

1.203

6.814

456.673.497.000

 

 

 

 

 

1997

Area

Numero programmi
intra-universitari

Numero programmi
inter-universitari

Numero di
Unità Operative

Richiesta di
finanziamento

01

2

28

396

20.338.068.000

02

3

68

416

42.324.699.000

03

2

51

671

58.311.262.000

04

0

32

319

17.522.188.000

05

8

109

1.114

68.876.281.000

06

61

226

1.833

84.694.773.000

07

0

76

800

32.984.188.000

08

7

116

844

40.125.500.000

09

5

121

1.035

66.542.992.000

10

28

221

964

27.369.385.000

11

19

177

831

21.942.891.000

12

12

75

346

9.777.621.000

13

19

117

615

18.857.305.000

14

2

50

200

6.477.340.000

Totale

178

1.467

10.384

516.664.531.000

 

Dal confronto si può notare quanto segue

* Vi è stato un modesto ma significativo aumento nel numero delle proposte (circa il 6% in più dello scorso anno); essa ha riguardato in particolare la matematica, la fisica, le scienze della terra, biologiche e mediche.

* Il numero di Unità di ricerca per programma è invece rimasto costante rispetto allo scorso anno. Per quanto riguarda le Unità/progetto, le proposte con un numero maggiore o uguale a 10 costituiscono l’8,3% del totale. L’esperienza di questi anni relativa alle proposte con molte unità è in generale negativa sia per le difficoltà incontrate nella nomina dei revisori sia per il livello disomogeneo dei proponenti. In futuro perciò si raccomanda che il numero delle Unità/progetto non possa superare un valore ragionevole, per esempio 6. La richiesta totale di finanziamento, d’altro canto, è aumentata dell’11.1%, con punte significative in Matematica, Biologia, Medicina e Scienze dell’Antichità.

 

4. Procedura di revisione delle proposte

Il successo della procedura telematica messa in opera grazie al CINECA lo scorso anno (l’unica peraltro possibile visto l’elevato numero di programmi e i tempi a disposizione per la revisione) ha indotto i Garanti a seguire senza sostanziali modifiche l’iter di revisione previsto lo scorso anno che prevede due fasi:

I Fase: trasmissione di un messaggio di posta elettronica al revisore, con il quale gli si attribuisce formalmente il compito di valutazione, consentendogli l’accesso al sito Web, ove il testo del programma è disponibile, e chiedendogli formale dichiarazione di competenza e accettazione dell’incarico;

II Fase: in caso di accettazione, messa a disposizione del revisore di una scheda di valutazione da compilare presso il medesimo sito Web.

Sul piano tecnico non ci sono state sostanziali modifiche rispetto al sistema del 1998, basato sul software CINECA (non disponibile sul mercato) che garantisce una totale ed efficace collaborazione con le strutture di elaborazione dati. Va sottolineato, infatti, che procedure di questo tipo non sono comunemente adottate dalle agenzie di ricerca e solo di recente sono divenute disponibili presso le maggiori riviste a diffusione internazionale. Si tratta di una realizzazione assolutamente originale e nuova, che pone il nostro paese in una posizione di avanguardia in questo particolare aspetto della gestione dell’attività di ricerca. Può essere interessate notare che le maggiori Agenzie di ricerca degli Stati Uniti si avviano a utilizzare una procedura analoga a partire dall’Ottobre 2000.

Per quello che riguarda il sistema adottato e il software predisposto vi è stato un generale apprezzamento, anche da parte dei revisori stranieri. Molti degli inconvenienti riscontrati dai revisori a seguito di problemi di indirizzamento di posta elettronica o di inefficienza degli strumenti informatici a loro disposizione (software inadeguato, insufficiente memoria del computer, problemi di collegamento etc.) sono stati superati grazie alla pronta consulenza offerta dal CINECA.

Il sistema di selezione adottato dal decreto si basa sull’utilizzo di revisori anonimi. Esso infatti prevede che la Commissione individui i programmi da finanziare e stabilisca l’ammontare del co-finanziamento sulla base delle valutazioni acquisite. Un’accurata scelta dei revisori è quindi essenziale sia per assicurare a ogni programma una valutazione appropriata sia per evitare che nella selezione si inseriscano elementi estranei all’analisi oggettiva delle proposte.

Nell’assegnare il compito di revisione si è seguita la procedura già sperimentata negli anni 1997 e 1998. In particolare:

1. Per ogni singolo programma si è individuato un insieme di esperti sulla base dei settori disciplinari e delle parole chiave indicate nella proposta;

2. Da tale insieme sono stati esclusi coloro che, a diverso titolo, potevano essere interessati al programma proposto (perché essi stessi partecipanti al programma, o proponenti di programmi affini etc.). Tali esclusioni sono state effettuate dal sistema di elaborazione in modo automatico, nel senso che gli interessati venivano indicati dall’elaboratore direttamente al momento in cui si individuavano i possibili esperti dell’argomento.

3. Dalla lista così ottenuta sono stati selezionati quelli cui sottoporre il programma proposto sulla base anche della disponibilità temporale e, nel caso di revisori già consultati nel 1997, della valutazione espressa dalla Commissione precedente.

4. Come criterio generale si è cercato, ovunque possibile, di avere tre o più valutazioni con almeno un revisore straniero e, nel caso di programmi di particolare complessità, che coinvolgono più settori o aree disciplinari, di disporre di un numero di revisori in grado di coprire i diversi aspetti della proposta.

 

Tabella IV - Attività dei revisori nelle varie aree

Area

Senza
risposta

Accettazioni
non seguite da
valutazione

Rifiuti

Valutazioni

Totale

01

36

3

71

155

267

02

64

9

114

240

427

03

48

4

96

181

329

04

53

1

73

135

262

05

95

11

141

328

577

06

284

60

457

886

1.690

07

58

4

151

269

482

08

131

5

142

232

510

09

167

34

347

439

987

10

150

2

161

370

688

11

89

16

175

278

567

12

46

1

35

167

249

13

2

0

12

192

206

14

55

3

66

104

229

Totale

1.278

153

2.041

3.976

7.470

 

La Tabella IV illustra i dati relativi alla consultazione dei revisori. Essa è stata costruita tenendo conto di tutte le richieste di valutazione sottomesse dai Garanti (un revisore che abbia avuto assegnata più di una proposta viene contato tante volte quante sono le proposte assegnate: si noti che uno stesso revisore può avere accettato e valutato una proposta e rifiutato di valutarne altre).

Si vede che circa il 54% dei revisori consultati ha risposto positivamente alla richiesta di svolgere la funzione di revisore, effettuandola nei tempi e nella forma indicata. Una percentuale pari al 2%, pur avendo accettato, non ha svolto completamente l’incarico o perché non è stata in grado di dare risposta a buona parte dei quesiti richiesti o per difficoltà o altri impegni sopraggiunti. Il numero di rifiuti è stato pari al 27 %. Le motivazioni più comuni sono state: a) impossibilità a svolgere il compito nei tempi indicati; b) mancanza di tempo; c) non sufficiente competenza relativamente allo specifico tema del programma proposto; d) coinvolgimento indiretto nella proposta. Nel 17% dei casi non si è avuta risposta da parte dei revisori consultati. Le ragioni di questo possono essere varie: assenza dalla sede, mancata consultazione della posta elettronica, non disponibilità a effettuare revisioni, problemi di collegamento e/o accesso alla rete, utilizzo di indirizzi di posta elettronica non più attivi etc. E’ probabile che con il consolidamento della procedura di aggiornamento annuale dell’archivio si possa pervenire nei prossimi anni a percentuali di risposta più elevate.

La percentuale di rifiuti è da considerarsi fisiologica quando si considera la possibiltà di effettuare valutazioni su numeri così elevati di proposte.

Relativamente ai risultati della procedura di valutazione, occorre in primo luogo notare che oltre i due terzi dei programmi hanno avuto almeno tre valutazioni: un risultato che conferma quello dello scorso anno. La percentuale è tuttavia diversa tra le varie aree disciplinari, essendo nettamente più elevata per la aree scientifiche (in particolare la biologia) e più bassa per le scienze dell’ingegneria e per le discipline umanistiche e giuridiche. Questo è in parte conseguenza del fatto che in alcuni settori è oggettivamente difficile reperire un sufficiente numero di esperti non coinvolti nelle proposte. Non è un caso che si abbia di solito un più alto numero di valutazioni nelle Aree ove è maggiore la presenza di revisori stranieri. E’ evidente comunque che l’obiettivo di ottenere tre valutazioni per tutte le proposte non è facilmente raggiungibile e per questo si dovrà provvedere a ulteriori integrazioni dell’archivio dei revisori.

Nel merito delle specifiche valutazioni si è constatato in tutte le Aree una notevole convergenza nei pareri espressi da diversi revisori sullo stesso programma, sia nelle qualifiche sia nelle motivazioni fornite per i punteggi assegnati. In molti casi in cui si sono avuti due pareri discordanti, la Commissione si è preoccupata di acquisire pareri addizionali, che consentissero una valutazione obbiettiva della proposta.

Una seconda osservazione riguarda le qualità delle valutazioni. La Commissione ha concordemente osservato che essa è progressivamente cresciuta a partire dal primo anno (1997) fino a oggi. Le valutazioni odierne sono infatti il più spesso complete e dettagliate, accompagnate da pareri generali molto estesi che forniscono non solo un giudizio ma anche suggerimenti per lo sviluppo del lavoro in corso d’opera e nei prossimi anni.

Un terzo elemento importante riguarda il contributo dei revisori stranieri, già sottolineato nel 98, reso possibile dalla introduzione della lingua inglese nella formulazione delle proposte: esso è stato fondamentale sia nelle aree tecnico-scientifiche sia in quelle umanistiche, raggiungendo una percentuale totale di circa un terzo delle valutazioni, con valori più elevati nelle Aree scientifiche e bio-mediche. Si può confermare che mai come in occasione dei programmi di Co-finanziamento la ricerca universitaria italiana viene sottoposta al vaglio internazionale in forma così estesa. Ferme restando le particolarità di ogni Area disciplinare è auspicabile che il coinvolgimento della comunità scientifica internazionale possa estendersi ulteriormente nei prossimi anni.

 

5. Distribuzione dei punteggi

Con l’eccezione della riduzione (da 9 a 8) del numero delle domande nella scheda, il presente paragrafo delle relazioni e quello successivo non presentano modifiche se non nei commenti rispetto al 1998. I paragrafi di quella relazione vengono quindi qui largamente riportati.

A seguito della valutazione espressa dai revisori sono stati associati ad ogni programma a) un punteggio medio, dato dalla media dei punteggi espressi dai revisori, vale a dire

Xi = SR XiR/Ni

ove Xi è il punteggio medio dell’i-esimo programma, XiR rappresenta il punteggio dell’R-esimo revisore del programma e Ni è il numero di revisori, e b) un insieme di lettere che esprimono le qualifiche generali attribuite alla proposta. Per tenere conto del fatto che qualche revisore non aveva dato risposta ad alcune domande si è normalizzato il punteggio al numero di risposte fornite.

Gli istogrammi riportati nella Fig. 1 illustrano la distribuzione dei punteggi attribuiti ai programmi: più precisamente essi rappresentano la distribuzione degli scarti definiti come

xi = Xi - <X>

ove

<X > = Si Xi / M

con M pari al numero dei programmi per l’area di interesse. In altri termini gli scarti rappresentano le differenze tra i punteggi Xi conseguiti dai programmi e quello medio dell’area <X>, calcolato come media dei punteggi ottenuti dai programmi dell’area.

Si noti che il punteggio Xi è ottenuto per ogni programma prendendo il voto medio di ogni revisore per domanda e facendo la media sul numero dei revisori cui il programma è stato sottoposto. Domande per le quali i revisori non abbiano espresso punteggio non vengono contate.

 

Tabella V - Punteggi assegnati nelle varie Aree

Area
Disciplinare

Punteggio medio
per domanda

Punteggio
Massimo
per domanda

Percentuale A

Programmi ammissibili al co-finanziamento

 

 

 

 

 

01

4.4998

5.0000

83%

53%

02

4.1682

4.8500

55%

59%

03

4.0764

4.8333

37%

52%

04

3.8974

4.7083

30%

50%

05

3.8504

4.7500

27%

54%

06

3.4278

4.6875

15%

53%

07

3.8100

4.8750

26%

52%

08

3.6855

4.7500

28%

57%

09

3.9977

4.8125

32%

53%

10

4.0585

5.0000

47%

59%

11

3.8598

4.9375

35%

61%

12

3.8174

5.0000

31%

56%

13

3.7489

4.7500

27%

57%

14

3.8780

4.8333

32%

55%

 

La Tabella V rappresenta il valore di <X> e del punteggio massimo per ogni area, nonché le percentuali dei programmi classificati con qualifica A e quelle relative ai programmi con valutazione positiva, vale a dire qualifica A o B e voto sopra la media dell’Area e, pertanto, ammissibili al Co-finanziamento.

La distribuzione dei punteggi presenta significative differenze tra le varie aree. Esse riflettono sia il diverso metro di giudizio delle varie discipline sia la diversa qualità delle proposte presentate. Tali differenze non si distaccano molto da quelle osservate nel 1998: il valore medio del punteggio per domanda varia fino al 32% da un’Area all’altra, un valore quasi identico a quello degli anni precedenti. Lo stabilizzarsi delle valutazioni nelle varie aree è un fatto positivo, in quanto manifesta lo stabilirsi di una certa coerenza di valutazione tra le varie aree disciplinari. Ad essa ha certamente contribuito sia la definizione dei criteri di ammissibilità al finanziamento sia la dettagliata informazione fornita dal 1998 e 1999 ai revisori relativamente al significato delle singole domande.

 

6. Formazione delle graduatorie e attribuzione del Co-finanziamento

Analogamente a quanto prescritto nel 1997 e 1998, il DM 99 prevede che la Commissione formi (i) una graduatoria dei programmi per ogni Area disciplinare e (ii) una graduatoria per tutte le Aree; esso inoltre prevede che ai programmi valutati positivamente di ogni Area disciplinare venga riservato il 3% del totale disponibile.

Anche nell’anno in corso la Commissione ha provveduto a rendere note prima della scadenza del bando le modalità di formazione delle graduatorie, secondo quanto di seguito riportato.

Ammissibilità

Come precisato nelle istruzioni ai revisori, vengono dichiarati ammissibili al Co-finanziamento quei programmi che hanno conseguito una qualifica A o B sulla base della media dei prodotti delle valutazioni espresse dai revisori in risposta alle prime due richieste della scheda di valutazione (si veda l’Allegato E e quanto discusso nella Introduzione) e che hanno conseguito un punteggio superiore alla media dell’Area di appartenenza.

Quota riservata

Per l’assegnazione dei finanziamenti all’interno della quota riservata a ogni Area disciplinare vengono prioritariamente finanziati i programmi che hanno ricevuto qualifica A e media dei punteggi dei revisori superiore al punteggio medio dell’Area disciplinare di appartenenza effettuando le assegnazioni secondo l’ordine del punteggio. Se in questo modo non si esaurisce la quota riservata si procede al finanziamento dei programmi con qualifica B e punteggio superiore alla media ordinandoli per punteggio. Il mancato esaurimento della quota riservata al termine di questa procedura comporta la sua ridistribuzione tra le altre Aree, come indicato nel decreto ministeriale.

Quota comune

Questa quota viene utilizzata prioritariamente per completare il finanziamento di quei programmi che, risultando gli ultimi della graduatoria riservata, non abbiano avuto copertura totale della loro richiesta.

I programmi con qualifica di ammissibilità e con votazione superiore alla media dell’area di appartenenza, che non hanno ottenuto finanziamento nell’ambito della quota riservata, vengono finanziati all’interno della quota comune fino all’esaurimento delle risorse disponibili.

Per ordinare questi programmi sulla base del punteggio è stato necessario fissare un criterio che consentisse il confronto di valutazioni effettuate tra diverse Aree disciplinari. Un semplice confronto del punteggio assoluto non è possibile a causa del diverso metro di giudizio, come è evidente se si considera la differenza nei valori medi per Area disciplinare. Analogamente a quanto già fissato con successo nel 1998, la soluzione adottata è stata quella di assegnare ad ogni programma che avesse le caratteristiche di ammissibilità un punteggio pari al rapporto tra lo scarto rispetto alla media dell’Area e lo scarto positivo massimo dell’Area stessa. In questo modo si introduce una variabile standardizzata

zi = (Xi - <X>)/(Xmax - <X>)

che tiene conto sia delle differenze in valore assoluto, sia dell’escursione nei voti assegnati dai revisori. La variabile così definita varia tra zero (punteggio pari alla media dell’area) e uno (punteggio pari al valore massimo). In questo modo programmi di aree differenti che hanno conseguito una punteggio corrispondente alla stessa percentuale del massimo voto assegnato nell’Area di appartenenza sono classificati a pari merito.

Ordinando così i programmi ammissibili risulta possibile effettuare un unica graduatoria di tutte le proposte e, pertanto, assegnare la parte di risorse addizionali rispetto a quelle riservate.

Determinazione del Co-finanziamento

Come indicato nel documento di indirizzo, il Comitato si è ispirato al principio di concedere il co-finanziamento per l’intero ammontare necessario per la realizzazione del programma selezionato. Ogni decurtazione in rapporto alla richiesta avanzata dai coordinatori è stata quindi motivata o dai pareri espressi dai revisori in merito o da criteri di ordine generale, relativi alla congruità della richiesta finanziaria e conseguenti a un’analisi comparativa dei costi di ogni proposta.

Come per il bando 1998, la Commissione ha effettuato un’analisi delle richieste finanziarie previste nei programmi, evidenziando quei casi in cui la richiesta appariva nettamente superiore alla media dell’Area di appartenenza. Più precisamente si è determinato per ogni programma il costo annuo pro-capite previsto per ogni voce di spesa (materiale inventariabile, grandi attrezzature, missioni, consumo, personale etc.) e, attraverso questo dato, si è calcolato il costo medio previsto nell’Area disciplinare di appartenenza. Nel caso in cui un programma presentasse, globalmente o per specifiche voci, richieste al di sopra della media si è effettuata un’analisi della proposta per verificare se vi erano specifiche motivazioni per tali richieste. In assenza di tali motivazioni, la Commissione ha ritenuto di dover fissare il finanziamento in rapporto ai valori medi dell’Area.

Pertanto il co-finanziamento è stato determinato secondo i seguenti criteri:

* Se uno o più revisori si sono espressi per una decurtazione precisa del co-finanziamento al progetto o ad alcune unità di ricerca in esso coinvolte si è effettuata tale riduzione in modo conforme alle indicazioni espresse.

* Se da parte dei revisori è stato espresso motivato parere per l’eliminazione di una o più Unità di ricerca dalla proposta, si è provveduto a escluderle dal finanziamento.

* Se uno o più revisori hanno espresso il motivato parere che le richieste avanzate fossero eccessive in rapporto a quanto necessario per ottenere gli obbiettivi indicati nel programma, si è proceduto assegnando un co-finanziamento ridotto come suggerito.

* Se l’analisi comparativa dei costi ha evidenziato, globalmente o per specifiche voci di spesa, richieste in eccesso rispetto al costo medio annuo pro capite dell’Area di appartenenza, si è ridotta l’assegnazione al valore medio, a meno che tali richieste non avessero una specifica motivazione nella proposta.

* Non si sono disposti finanziamenti a grandi attrezzature per le quali non erano fornite adeguate giustificazioni nel testo della proposta.

Determinazione dell’elenco dei programmi finanziati

Una volta determinati i programmi con valutazione positiva, cioè qualifica di ammissibilità e voto sopra la media dell’Area, e i relativi co-finanziamenti, si è proceduto per ogni Area alla copertura della quota riservata inizialmente prevista pari ai 3% della somma totale di Lit. 237.019 milioni cioè 7.110,6 milioni. A procedura completata è emerso che le Aree 12 (Scienze Giuridiche) e 14 (Scienze Politiche e Sociali) non erano in grado di esaurire la quota riservata con i programmi valutati positivamente, ammontando questi rispettivamente a Lit. 5.262 e 6.275 milioni.

Come precisato nel decreto ministeriale si è pertanto riportato la differenza tra il 3% previsto e la somma utilizzata nelle due Aree, in totale 2.685 milioni, ad incrementare la parte riservata alle rimanenti dodici, ciascuna delle quali ha così avuto a disposizione la somma totale di Lit. 7.333 milioni.

Si è quindi proceduto al co-finanziamento dei programmi nell’ambito della quota riservata, così ridefinita, secondo la procedura indicata. Poiché l’ultimo dei programmi inclusi per ogni Area nell’ambito della quota riservata è risultato co-finanziato solo parzialmente, si è completato il co-finanziamento acquisendo le risorse dalla quota non riservata. In tale modo si sono impegnate Lit. 3.624 milioni pari al 1,53% del totale, cioè circa 4,2% in più del totale previsto per la parte riservata.

Successivamente la Commissione ha proceduto a formare la graduatoria per i programmi con co-finanziamento a carico della parte non riservata, ordinandoli sulla base dello scarto standardizzato z precedentemente definito ed assegnando il co-finanziamento fino all’esaurimento della somma disponibile pari a Lit. 237.019 milioni. L’elenco di tutti i programmi co-finanziati è presentato nell’Allegato F.

L’Allegato G presenta la distribuzione dei programmi e delle assegnazioni per sede universitaria del Coordinatore nazionale.

E’ interessante verificare la ripartizione per Area disciplinare del co-finanziamento assegnato e la percentuale del finanziamento in rapporto alla somma disponibile confrontandola con i dati del 1998. La Tabella VI illustra questi risultati. Si osserva che in alcune Aree - Scienze della Terra, Biologia, Medicina, Sociologia - la percentuale di co-finanziamento è aumentata mentre in Fisica, Chimica, Agraria e nelle due Aree di Ingegneria è diminuita. In molti di questi casi, però, le modifiche risultano essere conseguenze di parallele fluttuazioni del numero delle domande (cfr. Tabelle II e III). Infine, la Tabella VII specifica il rapporto tra progetti effettivamente finanziati e quelli che, in base alla qualifica (A o B) e al punteggio (superiore alla media) risultavano ammissibili al co-finanziamento:

Tabella VI- Co-finanziamento totale nelle varie Aree

1999 e 1998

 

Area

Finanziamento
1999 (Milioni)

Percentuale

Finanziamento
1998 (Milioni)

Percentuale

01

8.772

3,70

6.971

3,47

02

19.848

8,37

18.689

9,31

03

21.801

9,20

23.521

11,72

04

7.964

3,36

5.479

2,73

05

29.174

12,31

20.884

10,41

06

47.027

19,84

34.755

17,32

07

13.905

5,87

13.685

6,82

08

14.356

6,06

15.292

7,62

09

29.826

12,58

28.245

14,07

10

12.386

5,23

10.799

5,38

11

11.741

4,95

8.676

4,32

12

5.262

2,22

3.500

1,74

13

8.682

3,66

6.972

3,47

14

6.275

2,65

3.182

1,59

Totale

237.019

100,00

200.650

 

 

Tabella VII - Progetti co-finanziati nelle varie aree:

rapporto con i programmi finanziabili

Area

Programmi ammissibili al Co-finanziamento

Numero dei
programmi
finanziati

Percentuale

01

25

21

84%

02

50

40

80%

03

33

28

85%

04

23

23

100%

05

84

71

85%

06

136

118

87%

07

53

47

89%

08

45

35

78%

09

78

64

82%

10

84

73

87%

11

65

58

89%

12

40

40

100%

13

54

51

94%

14

24

24

100%

Totale

794

693

87%

 

Vale la pena di sottolineare comunque che a differenza di quanto osservato lo scorso anno, il confronto tra i risultati 1998 e 1999 presenta differenze relativamente modeste come atteso in vista delle innovazioni relativamente scarse introdotte quest’anno.

 

7. Conclusioni

I risultati ottenuti nel 1999 confermano nel loro complesso quelli del 1998. La procedura di selezione delle proposte e a un suo consolidamento sia dal punto di vista della qualità delle revisioni e dei giudizi espressi sia sul piano tecnico operativo risultano quindi essere ormai acquisiti al Programma Co-finanziamento.

La coerenza delle valutazioni espresse nell’ambito delle diverse Aree comprova la capacità di consolidamento del sistema di selezione messo in opera. Esso, anche in virtù dei suggerimenti provenienti dalla comunità scientifica, appare quindi vicino allo stato di regime, paragonabile nei suoi livelli ai modelli internazionali.

Occorre tuttavia sottolineare, anche alla luce di numerose osservazioni e commenti espressi dai revisori, che, come rilevato già nel 1998, la domanda di finanziamento è fortemente condizionata da alcuni fattori, che non dipendono dalla qualità del sistema di selezione.

In particolare:

* permane un limite sostanziale nella richiesta legato alla non disponibilità di infrastrutture adeguate (laboratori, biblioteche etc.) che, in ragione della loro entità e dei costi di produzione della ricerca, richiederebbero stanziamenti ben superiori a quelli disponibili nell’ambito del presente bando;

* un ulteriore limite deriva dalla ridotta capacità di acquisizione di fondi per co-finanziare in conseguenza delle scarse risorse complessivamente disponibili per la ricerca presso gli Atenei;

* vi è ancora una tendenza a limitare fortemente la richiesta di finanziamenti per la spesa di personale, in particolare di giovani con assegni di ricerca o contratti: tale elemento è stato sottolineato da molti revisori stranieri, sulla base della considerazione che questo costituisce una delle maggiori voci di spesa nei programmi internazionali.

E’ opinione della Commissione che solo con il superamento di queste difficoltà il sistema di selezione messo in opera potrà operare con piena efficacia, contribuendo ad evidenziare gli elementi di eccellenza nei programmi di rilevanza nazionale.

 

ADDENDUM I: Monitoraggio dei progetti co-finanziati

Nell’ambito del Programma di Co-finanziamento, istituito dal MURST nel 1997, è previsto che ogni anno ad una frazione dei progetti finanziati venga assegnato un ricercatore esterno, specialista del campo, incaricato di seguire in itinere lo sviluppo degli studi e riferirne al MURST attraverso periodiche relazioni. Per la sua attività il Monitore riceve dal MURST un compenso pari a £ 400.000/anno per ogni Unità del progetto di sua competenza. Questa cifra è concepita per permettergli di stabilire contatti non occasionali con i vari ricercatori, organizzare incontri delle Unità del progetto, visitare i laboratori partecipanti. Il ruolo del Monitore è duplice. Da un lato egli deve seguire lo sviluppo del lavoro di ricerca, assicurandosi della serietà, dell’impegno e del coinvolgimento coordinato delle varie Unità coinvolte. Questo lavoro gli permetterà di identificare non solo le caratteristiche (eventualmente) negative ma anche quelle positive dell’impresa scientifica a lui affidata. La seconda funzione del Monitore è quella di stabilire con le attività di ricerca del progetto un rapporto di stimolo e di critica che (nelle condizioni più favorevoli) permetta di realizzare nuove possibilità di sviluppo scientifico.

Il numero dei progetti da monitorare è stato stabilito in proporzione uguale per ogni area in base al finanziamento disponibile. Questo numero è risultato essere intorno al 25% del totale nel 1997 e intorno al 20% nel 1998. La selezione dei progetti da monitorare è stata condotta secondo due criteri identici tanto nel 1997 che nel 1998. Una metà sono stati scelti in quanto assegnatari dei più abbondanti finanziamenti in ogni singola Area; l’altra metà è stata selezionata a sorte tra i restanti progetti, quelli cioè con finanziamenti meno abbondanti. Ove ritenuto opportuno, ci si è poi rivolti al Coordinatore sollecitandolo alla designazione di almeno tre nominativi di scienziati a suo giudizio qualificati per condurre il monitoraggio. Questi esperti, ed eventualmente altri, sono stati contattati per verificare la disponibilità, dopo di che la nomina è stata fatta su proposta del Garante che ha coordinato le valutazioni d’Area e sotto la responsabilità dell’intero Comitato.

L’esperienza condotta, relativa finora al 1997, risulta largamente positiva. La maggior parte dei Monitori ha lavorato con entusiasmo insieme al Coordinatore e agli altri Responsabili del "loro" progetto, inviando tempestivamente le relazioni richieste. Solo nel caso di un piccolo numero di Monitori (circa 10%) l’attività di monitoraggio non si è realizzata positivamente o per la mancata integrazione con il Coordinatore o per altre specifiche ragioni. I Monitori che non hanno condotto (o completato) il loro lavoro sono stati identificati e dichiarati decaduti dal loro incarico, con conseguente perdita (parziale o completa) del loro compenso. L’elenco dei Monitori 1997 e 1998 e dei progetti da essi monitorati o in corso di monitoraggio è presentato negli Allegati H e I

 

ADDENDUM II: Commissione di valutazione ex-post per i progetti co-finanziati 1997

Una seconda novità nel processo di verifica, attesa da tempo dalla Comunità scientifica italiana, è stata la nomina delle Commissioni di Verifica ex-post relative al Programma del 1997, relative a tutte le Aree disciplinari finanziate. La nomina di queste Commissioni risponde ad una precisa esigenza, quella di garantire che il lavoro di ricerca previsto dal contratto di Co-finanziamento sia stato realmente condotto e completato secondo i progetti approvati. A questo proposito bisogna ricordare che i Coordinatori dei progetti sono tenuti ad inviare, al termine del primo anno e (per i progetti biennali) anche del secondo anno, adeguate relazioni a proposito del lavoro svolto. L’analisi di queste relazioni nonché di quelle dei Monitori, discusse nell’Addendum I, rischiavano però di rimanere senza adeguato impatto. Il Comitato dei Garanti, infatti, sia per la sua ristrettezza numerica (e quindi per la mancanza di specifiche competenze) sia per l’intenso lavoro a cui è chiamato non era infatti in grado di seguire direttamente il lavoro dei singoli progetti, che rischiavano di restare senza riscontro. Lo stesso problema si poneva per le relazioni dei Monitori, discusse nel dettaglio nell’Addendum I. La nomina delle prime Commissioni di Valutazione ex-post, relativa ai progetti finanziati nel 1997, deliberata dal Ministro Zecchino il 13 Settembre 1999, ha risposto ad importanti e precise esigenze. L’elenco dei membri delle Commissioni si può trovare nell’Allegato L In ciascuno degli anni successivi verranno nominate nuove Commissioni che rappresentano quindi ormai delle componenti stabili del Programma di Co-finanziamento. Ogni Commissione d’Area ex-post è composta da tre scienziati di prestigio scelti dal Ministro a partire da rose di nomi proposte dal Comitato dei Garanti. Nella riunione di insediamento delle Commissioni, tenuta al MURST insieme al Comitato Garanti il 13/X/1999, il lavoro che attende la Commissione è stato sintetizzato come segue. La funzione della Commissione sarà duplice: 1) Valutazione specifica dei vari programmi finanziati e 2) Sviluppo di una "visione globale" del COFIN. La valutazione sarà relativa, ai 1615 progetti del 1997, valutati separatamente come già accennato.

Nella valutazione sarà importante stabilire: 1. La coerenza complessiva tra la proposta approvata e la realizzazione. Le cause e significato di eventuali incoerenze. Il ruolo delle varie Unità partecipanti al programma; 2. L’utilizzo delle risorse in rapporto agli scopi del progetto; 3. Il conseguimento di risultati e la valutazione della loro importanza. La visione globale permetterà di valutare il lavoro svolto finora prestando attenzione anche 1) alla qualità della rendicontazione scientifica e dal quadro globale che da essa emerge e 2) al monitoraggio "in itinere", una presenza nuova nella realtà scientifica italiana, utile non solo come verifica ma anche come stimolo alla ricerca. Da questo lavoro ci si attende anche un giudizio globale sul lavoro dei revisori e sull’impatto che la loro presenza ha avuto sui progetti di ricerca ad essi affidati.

Le conclusioni che si potranno trarre dal lavoro delle Commissioni permetteranno di fare il punto su domande quali: 1. Come ha risposto il Programma di Co-finanziamento 97 alle esigenze del sistema Università? 2. Come hanno risposto le modifiche introdotte negli anni successivi alle esigenze già emerse nella prima esperienza? Quali indicazioni si possono trarre per ulteriori modifiche?

Il materiale già disponibile per il lavoro delle Commissioni ex-post riguarda tutti i Progetti annuali del 1997, i cui consuntivi sono stati consegnati entro il 15 settembre 1999. Dei progetti biennali sono disponibili le relazioni del primo anno mentre i consuntivi finali verranno ricevuti entro il 15/3/2000. A questo materiale si aggiungono le relazioni dei Monitori, che sarà assai interessante valutare anche comparativamente a quelle dei Coordinatori. Nella riunione del 13/X è stata anche discussa una preoccupazione espressa da molti, cioè che le segnalazioni delle Commissioni restino inascoltate. Queste segnalazioni saranno invece esaminate dalla Commissione dei Garanti e quelle che identificano successi o inadempienze nel lavoro finanziato nel 97 saranno comunicate al MURST. Sarà compito del MURST identificare gli strumenti attraverso i quali assicurare un giusto riscontro sia ai progetti valutati positivamente sia a quelli chiaramente inadempienti. In quest’ultimo caso è dichiarata intenzione del Ministero richiedere alle Università la restituzione dei fondi.