Relazione finale della Commissione per la
Valutazione dei Programmi di Ricerca delle Università
(Anno 2000)

 

INDICE

1. Premessa

2. Valutazione dei revisori e ampliamento dell'albo

3. Programmi presentati

4. Procedura di revisione delle proposte

5. Distribuzione dei punteggi

6. Formazione delle graduatorie e attribuzione del Co-finanziamento

7. Conclusioni

Allegato A. Decreto ministeriale

Allegato B. Documento di indirizzo

Allegato C. Modello A      Modello B

Allegato D. Scheda di valutazione

Allegato E. Guida per i revisori

Allegato F. Programmi ammessi al Co-finanziamento suddivisi per Area

Allegato G. Programmi ammessi al Co-finanziamento suddivisi per Università del Coordinatore Nazionale




1. Premessa

Il Decreto ministeriale n.10 del 13 gennaio 2000 (Allegato A) nel dare avvio al bando 2000 per il Co-finanziamento di programmi di ricerca di interesse nazionale liberamente proposti dalle Università, ha confermato in larga misura le modalità di presentazione e selezione ed i criteri di finanziamento già adottati nel bando 1999. In particolare riteniamo importante sottolineare che:

  1. sono rimaste valide sia la richiesta di compilazione delle proposte in due lingue, italiano ed inglese, che aveva già condotto a positivi sviluppi, permettendo il notevole ampliamento del data base dei revisori, giunto oggi ad oltre 16.000 esperti delle varie discipline; sia la quota di partecipazione al Co-finanziamento da parte del Ministero (50% per i progetti intra-universitari e 70% per gli interuniversitari).
  2. la data di scadenza della presentazione delle domande è stata confermata al 31 Marzo, che ha permesso di sviluppare successivamente, entro tempi relativamente ampi, la valutazione dei progetti.
  3. è stato inserito nel modulo A della proposta, oltre alle parole chiave ed ai miglioramenti introdotti nel 1998, anche il riassunto della proposta stessa. Quest’ultimo si è confermato di grande utilità soprattutto per la gestione del programma da parte del Comitato dei Garanti.
  4. è stato confermato il ruolo dei Coordinatori nazionali e dei Responsabili delle unità locali dei progetti quali diretti e principali studiosi partecipanti alle ricerche proposte.

Inoltre il Ministro ha confermato a 7 il numero dei membri della Commissione di Garanzia incaricata di provvedere alla scelta dei revisori per i progetti presentati e, in base ai pareri ottenuti, di procedere alla loro selezione, nominando in data 23 marzo 2000 i Professori: Ciro Ciliberto, Romano Cipollini, Enrico Cuozzo, Jacopo Meldolesi, Antonio Padoa Schioppa, Alberto Quadrio Curzio e Armando Rubino. In seguito alle dimissioni del prof. Alberto Quadrio Curzio, il Ministro ha nominato in suo luogo a membro della Commissione il prof. Luigi Paganetto. La Commissione nella sua prima riunione (6 aprile 2000) ha provveduto a nominare alla Presidenza il Prof. Antonio Padoa Schioppa. Il ruolo del segretario è stato assunto dal Prof. Ciliberto. Inoltre la Commissione ha deciso di confermare, quale guida per la sua attività, il Documento di Indirizzo elaborato dalla Commissione 1999, qui presentato come Allegato B, disponibile su Internet al sito Web del Ministero. In questo modo tutti coloro che, a diverso titolo, hanno compilato i moduli di domanda hanno avuto a disposizione una guida chiara e dettagliata per il lavoro da compiere.

Il documento di Indirizzo sottolinea la necessità che i programmi proposti abbiano un obbiettivo scientifico preciso, con carattere di originalità e di rilevanza nazionale, e non siano una semplice aggregazione di attività di diversi gruppi sotto un titolo generico. Tale impostazione corrisponde alla tipologia di progetto scientifico avanzato che abitualmente viene sottoposto alla procedura di Peer-review in ambito internazionale. Anche a seguito delle numerose osservazioni critiche espresse dai revisori consultati nel 1997, 1998 e 1999, in particolare da quelli stranieri, circa programmi con scarsa focalizzazione degli obbiettivi, il documento raccomanda di evitare la presentazione di programmi con troppe unità locali.

Per quanto riguarda i modelli A e B (reperibili quali allegati C di questa relazione) essi sono rimasti largamente immutati rispetto al 1999. Miglioramenti del software, già portato ad un livello di elevata qualità, hanno riguardato l'allestimento di un sito riservato in via esclusiva al singolo docente; questo allo scopo di facilitare la compilazione di moduli e l'espletamento di pratiche (consuntivi, relazioni annuali, certificazioni, e così via) riguardanti la ricerca scientifica. Il sito infatti contiene tutte le richieste di finanziamento del docente dal 1994 al 1999 e permette di allertare il docente sulle varie scadenze. Particolare rilievo va posto alla nuova possibilità offerta tramite il sito di compilare i nuovi progetti per il bando 2000 direttamente senza la necessità di effettuare una registrazione.

A questo proposito la Commissione ha confermato per il 2000:

  1. che la valutazione generale del progetto, delineata dalle lettere A-D, fosse da riferirsi non a tutte le domande della scheda ma solo alle prime due, quelle cioè relative a caratteristiche di fondo del progetto quali l’originalità e l’importanza a livello nazionale;
  2. che il numero totale delle domande della scheda fosse limitato a 8.

Il modello della scheda è presentato nell’allegato D mentre la guida per i revisori, sostanzialmente immutata rispetto al 1999, compare nell’allegato E.

Infine si sono confermate le regole per l’ammissibilità al finanziamento delle proposte valutate. In particolare è stato deciso che questa finanziabilità resti limitata soltanto alle proposte con valutazione generale complessiva di A o B secondo i criteri indicati oltre, al punto 6.

 

2. Valutazione dei revisori e ampliamento dell’albo

E' stato proseguito nel 2000 un programma di verifica globale dell’albo dei revisori per il quale il Ministero ha messo a disposizione la cifra totale di £ 120 milioni da utilizzare per l’attivazione di due borse di studio biennali (assegnate alla dr. Francesca Spanò e al Dr. Nembo Buldrini. Nel settembre 2000, venuta meno per scadenza la collaborazione di quest'ultimo, è subentrata la collaborazione della dr. Maria Luisa Garlaschi). I borsisti hanno proceduto alla verifica delle caratteristiche dei vari revisori, dall’indirizzo e-mail alle parole chiave. Questo lavoro è stato giudicato come assolutamente necessario perché, da un lato, l’albo revisori era stato assemblato a partire da contributi profondamente diversi tra loro e, in qualche caso, obbiettivamente incongrui; dall’altro lato, sia oggi che in futuro, bisognerà seguire le modifiche "fisiologiche" dell’albo stesso, dovute ai trasferimenti, al cambio di e-mail, etc. dei vari revisori. Il lavoro è tuttora in corso ma esso ha già contribuito significativamente a migliorare il processo di valutazione delle proposte 2000.

Infine, nel corso dell’anno si è proceduto ad un ulteriore ampliamento dell’archivio revisori introducendo

a) nominativi forniti da vari Dipartimenti che hanno risposto alle sollecitazioni della Commissione dei Garanti;

b) altri nominativi identificati dai Garanti o direttamente o attraverso segnalazioni ricevute anche da strutture scientifiche internazionali.

In tal modo il numero dei revisori è aumentato nel corso dell'anno 2000 da 14.582 a 16.352 unità, con particolare incremento per aree, quali quella giuridica (area 12) che in precedenza potevano disporre di un numero troppo limitato di revisori.

Le Tabelle I-II mostrano la distribuzione dei revisori per aree disciplinari, rispettivamente, nel 2000 e nel 1999. Vengono precisati per ogni area il numero totale di revisori che utilizzano la lingua inglese, quello degli italiani, il numero totale per Area, nonché il numero di nuove aggiunte all’archivio.

Appare evidente l’importanza che, per un bando aperto a tutti i settori disciplinari e, quindi in linea di principio, a tutti i possibili argomenti di studio, riveste, ai fini della qualità delle valutazioni, la disponibilità di un elevato numero di revisori. Inoltre i problemi relativi al non coinvolgimento del revisore nel programma presentato e alla autoreferenzialità delle comunità nazionali si sono considerevolmente ridotti da quando è divenuto possibile scegliere tra numerosi possibili esperti.

 

Tabella I - Revisori 2000

Area

Numero Revisori
Stranieri

Numero Revisori
Italiani

Numero Totale

Nuovi Revisori

01

719

103

822

107

02

1.016

241

1.257

202

03

661

267

928

69

04

349

147

496

32

05

3.503

944

4.447

245

06

947

1.377

2.324

182

07

381

390

771

126

08

332

205

537

43

09

884

442

1.326

179

10

538

315

853

134

11

458

249

707

124

12

164

539

703

428

13

441

401

842

37

14

193

146

339

32

Totale

11.963

4.389

16.352

1.904

 

Tabella II - Revisori 1999

Area

Numero Revisori
Stranieri

Numero Revisori
Italiani

Numero Totale

Nuovi Revisori

01

591

137

728

233

02

705

360

1.065

367

03

518

367

885

250

04

257

211

468

178

05

3.700

536

4.236

331

06

1.505

675

2.180

422

07

184

468

652

218

08

178

312

490

93

09

541

617

1.158

188

10

298

427

725

183

11

231

354

585

99

12

54

242

296

56

13

173

631

804

139

14

53

257

310

33

Totale

8.988

5.594

14.582

2.790

Al di là di questi aspetti quantitativi, vi è un aspetto qualitativo da sottolineare: in molti settori i revisori stranieri risultano per qualificazione ed esperienza tra i maggiori esperti a livello internazionale.

La consultazione di un archivio con un così elevato numero di dati può essere effettuata solo se si dispone di un adeguato strumento informatico di ricerca. A questo fine il CINECA ha predisposto sistemi di consultazione per (a) nominativo; (b) area e/o settore disciplinare; (c) parole chiave in italiano o inglese, che consentono una ricerca automatica dei revisori a seconda delle necessità. Tali sistemi si sono rivelati essenziali (come verrà meglio precisato in seguito) per lo svolgimento del compito di assegnazione dei programmi proposti ai revisori.

3. Programmi presentati

La Tabella III illustra la distribuzione tra le diverse aree dei programmi pervenuti a seguito del bando, la loro natura (intra- o inter-universitari), la loro composizione (numero di unità operative) e le richieste complessive di co-finanziamento.

 

 

Tabella III - Proposte di co-finanziamento, 2000

Area

Numero programmi
intra-universitari

Numero programmi
inter-universitari

Numero di
Unità Operative

Richiesta di
finanziamento

01

2

55

287

18.281.000.000

02

5

101

415

49.149.000.000

03

4

92

449

57.590.000.000

04

3

45

183

15.636.000.000

05

21

170

717

63.574.000.000

06

48

232

1.155

88.954.000.000

07

14

124

616

37.260.000.000

08

4

107

569

41.777.000.000

09

8

188

860

78.076.000.000

10

21

140

590

28.664.000.000

11

10

92

423

20.295.000.000

12

18

64

260

10.802.000.000

13

23

84

358

16.115.000.000

14

1

42

153

9.733.000.000

Totale

182

1.536

7.035

535.906.000.000

 

Per confronto il quadro dei programmi proposti gli scorsi anni è il seguente:

 

Tabella IV - Proposte di co-finanziamento, 1999, 1998 e 1997

1999

Area

Numero programmi
intra-universitari

Numero programmi
inter-universitari

Numero di
Unità Operative

Richiesta di
finanziamento

01

2

45

344

21.945.000.000

02

2

83

372

40.718.000.000

03

3

60

411

48.745.000.000

04

1

45

227

15.121.000.000

05

17

140

790

65.823.000.000

06

48

211

1.311

91.401.000.000

07

7

95

621

35.768.000.000

08

7

72

486

32.273.000.000

09

5

142

768

67.516.000.000

10

15

128

608

27.686.000.000

11

15

91

462

21.809.000.000

12

6

66

269

10.512.000.000

13

13

82

363

15.683.000.000

14

6

38

183

10.356.000.000

Totale

147

1.298

7.215

505.356.000.000

1998

Area

Numero programmi
intra-universitari

Numero programmi
inter-universitari

Numero di
Unità Operative

Richiesta di
finanziamento

01

2

27

179

12.515.668.000

02

5

72

393

38.974.670.000

03

7

56

414

48.404.117.000

04

3

30

200

15.149.620.000

05

10

122

725

52.455.427.000

06

38

177

1.116

76.038.004.000

07

12

90

619

33.731.695.000

08

8

85

555

34.441.471.000

09

7

136

803

71.616.871.000

10

24

129

532

21.704.093.000

11

9

107

492

19.356.922.000

12

11

54

492

8.381.458.000

13

15

87

415

17.630.602.000

14

4

31

139

6.272.879.000

Totale

155

1.203

6.814

456.673.497.000

 

 

1997

Area

Numero programmi
intra-universitari

Numero programmi
inter-universitari

Numero di
Unità Operative

Richiesta di
finanziamento

01

2

28

396

20.338.068.000

02

3

68

416

42.324.699.000

03

2

51

671

58.311.262.000

04

0

32

319

17.522.188.000

05

8

109

1.114

68.876.281.000

06

61

226

1.833

84.694.773.000

07

0

76

800

32.984.188.000

08

7

116

844

40.125.500.000

09

5

121

1.035

66.542.992.000

10

28

221

964

27.369.385.000

11

19

177

831

21.942.891.000

12

12

75

346

9.777.621.000

13

19

117

615

18.857.305.000

14

2

50

200

6.477.340.000

Totale

178

1.467

10.384

516.664.531.000

 

Dal confronto si può notare quanto segue:

* Vi è stato nel 2000 un significativo aumento nel numero delle proposte (circa il 18,9% in più dello scorso anno); essa ha riguardato in particolare la fisica, la chimica, le scienze biologiche e mediche, le scienze agrarie e veterinarie, le scienze ingegneristiche.

* Il numero di Unità di ricerca per programma rispetto allo scorso anno è aumentato per le scienze fisiche, chimiche e ingegneristiche, mentre è calato per le altre aree. La richiesta totale di finanziamento, d’altro canto, è aumentata del 6,4%, con punte significative nelle aree fisica, chimica, ingegneria.

 

4. Procedura di revisione delle proposte

Il buon funzionamento della procedura telematica messa in opera grazie al CINECA (l’unica concretamente praticabile visto l’elevato numero di programmi e i tempi a disposizione per la revisione) ha indotto i Garanti a seguire senza sostanziali modifiche l’iter di revisione previsto lo scorso anno che prevede due fasi:

I Fase: trasmissione di un messaggio di posta elettronica al revisore, con il quale gli si attribuisce formalmente il compito di valutazione, consentendogli l’accesso al sito Web, ove il testo del programma è disponibile, e chiedendogli formale dichiarazione di competenza e accettazione dell’incarico;

II Fase: in caso di accettazione, messa a disposizione del revisore di una scheda di valutazione da compilare presso il medesimo sito Web.

Sul piano tecnico non ci sono state sostanziali modifiche rispetto al sistema del 1999, basato sul software CINECA (non disponibile sul mercato) che garantisce una totale ed efficace collaborazione con le strutture di elaborazione dati. Va sottolineato, infatti, che procedure di questo tipo non sono comunemente adottate dalle agenzie di ricerca e solo di recente sono divenute disponibili presso le maggiori riviste a diffusione internazionale. Si tratta di una realizzazione originale che ha dotato il nostro paese di uno strumento di avanguardia in questo particolare aspetto della gestione dell’attività di ricerca. Può essere interessante notare che le maggiori Agenzie di ricerca degli Stati Uniti si sono avviate ad utilizzare una procedura analoga a partire dall’anno 2000.

Per quello che riguarda il sistema adottato e il software predisposto vi è stato un ampio apprezzamento, anche da parte dei revisori stranieri. Molti degli inconvenienti riscontrati dai revisori a seguito di problemi di indirizzamento di posta elettronica o di inefficienza degli strumenti informatici a loro disposizione (software inadeguato, insufficiente memoria del computer, problemi di collegamento etc.) sono stati superati grazie alla pronta consulenza offerta dal CINECA.

Il sistema di selezione adottato dal decreto si basa sull’utilizzo di revisori anonimi. Esso infatti prevede che la Commissione individui i programmi da finanziare e stabilisca l’ammontare del co-finanziamento sulla base delle valutazioni acquisite. Un’accurata scelta dei revisori è quindi essenziale sia per assicurare a ogni programma una valutazione appropriata sia per evitare che nella selezione si inseriscano elementi estranei all’analisi oggettiva delle proposte.

Nell’assegnare il compito di revisione si è seguita la procedura già sperimentata negli anni dal 1997 al 1999. In particolare:


  1. Per ogni singolo programma si è individuato un insieme di esperti sulla base dei settori disciplinari e delle parole chiave indicate nella proposta;

  2. Da tale insieme sono stati esclusi coloro che, a diverso titolo, potevano essere più direttamente interessati al programma proposto (perché essi stessi partecipanti al programma, o proponenti di programmi affini). Tali esclusioni sono state effettuate dal sistema di elaborazione in modo automatico, nel senso che gli interessati venivano indicati dall’elaboratore direttamente al momento in cui si individuavano i possibili esperti dell’argomento. Inoltre, sono stati generalmente esclusi i proponenti di programmi Cofin 1999. Infine i revisori di un progetto dell’anno precedente non finanziato, i quali avessero espresso allora un giudizio negativo, sono stati esclusi dalla valutazione del medesimo progetto ripresentato per il Cofin 2000.

  3. Dalla lista così ottenuta sono stati selezionati quelli cui sottoporre il programma proposto sulla base anche della disponibilità temporale e, nel caso di revisori già consultati, anche della valutazione espressa dalle Commissioni precedenti.

  4. Come criterio generale si è cercato, ovunque possibile, di avere tre o più valutazioni con almeno un revisore straniero e, nel caso di programmi di particolare complessità, che coinvolgono più settori o aree disciplinari, di disporre di un numero di revisori in grado di coprire i diversi aspetti della proposta. Ciò ha comportato difficoltà notevoli, in quanto i rifiuti o il mancato invio della valutazione si sono verificati in un elevato numero di casi (talora sono stati contattati fino a dieci o dodici revisori per ottenere, alla fine due sole valutazioni). Si è ottenuto che i revisori fossero comunque almeno due per ogni progetto.

 

Tabella V - Attività dei revisori nelle varie aree (2000)

Area

Senza
risposta

Accettazioni
non seguite da
valutazione

Rifiuti

Valutazioni

Totale

01

63

10

116

208

397

02

146

23

193

314

676

03

69

4

153

265

491

04

42

2

75

123

242

05

202

43

459

642

1.346

06

278

36

424

739

1.477

07

111

18

201

381

711

08

147

10

168

283

608

09

230

34

422

575

1.261

10

200

22

203

522

947

11

149

15

240

308

712

12

126

12

88

296

522

13

136

15

247

389

787

14

63

7

52

133

255

Totale

1.962

251

3.041

5.178

10.432

 

Tabella VI - Attività dei revisori nelle varie aree (1999)

Area

Senza
risposta

Accettazioni
non seguite da
valutazione

Rifiuti

Valutazioni

Totale

01

36

3

71

155

267

02

64

9

114

240

427

03

48

4

96

181

329

04

53

1

73

135

262

05

95

11

141

328

577

06

284

60

457

886

1.690

07

58

4

151

269

482

08

131

5

142

232

510

09

167

34

347

439

987

10

150

2

161

370

688

11

89

16

175

278

567

12

46

1

35

167

249

13

2

0

12

192

206

14

55

3

66

104

229

Totale

1.278

153

2.041

3.976

7.470

Le Tabelle V e VI illustrano i dati relativi alla consultazione dei revisori. Esse sono state costruite tenendo conto di tutte le richieste di valutazione sottomesse dai Garanti (un revisore che abbia avuto assegnata più di una proposta viene contato tante volte quante sono le proposte assegnate: si noti che uno stesso revisore può avere accettato e valutato una proposta e rifiutato di valutarne altre).

Si vede che circa il 50% dei revisori consultati ha risposto positivamente alla richiesta di svolgere la funzione di revisore, effettuandola nei tempi e nella forma indicata. Una percentuale pari al 2%, pur avendo accettato, non ha svolto completamente l’incarico o perché non è stata in grado di dare risposta a buona parte dei quesiti richiesti o per difficoltà o altri impegni sopraggiunti. Il numero di rifiuti è stato pari al 29%. Le motivazioni più comuni sono state: a) impossibilità a svolgere il compito nei tempi indicati; b) mancanza di tempo; c) non sufficiente competenza relativamente allo specifico tema del programma proposto; d) coinvolgimento indiretto nella proposta. Nel 19% dei casi non si è avuta risposta da parte dei revisori consultati. Le ragioni di questo possono essere varie: assenza dalla sede, mancata consultazione della posta elettronica, non disponibilità a effettuare revisioni, problemi di collegamento e/o accesso alla rete, utilizzo di indirizzi di posta elettronica non più attivi ed altro. E’ probabile che con il consolidamento della procedura di aggiornamento annuale dell’archivio si possa pervenire nei prossimi anni a percentuali di risposta più elevate.

La percentuale di rifiuti è da considerarsi fisiologica quando si considera la possibilità di effettuare valutazioni su numeri così elevati di proposte.

Relativamente ai risultati della procedura di valutazione, occorre in primo luogo notare che si è quest’anno riusciti ad ottenere una media di tre valutazione per ogni Progetto di ricerca, con un incremento notevole rispetto all’anno passato. La percentuale è tuttavia diversa tra le varie aree disciplinari, come risulta dal confronto tra le tabelle V e III. E’ evidente comunque che l’obiettivo di ottenere tre valutazioni per tutte le proposte non è facilmente raggiungibile e per questo si dovrà provvedere a ulteriori integrazioni dell’archivio dei revisori, che pure quest’anno è cresciuto sensibilmente raggiungendo il numero di 16.352 unità, con un aumento del 12% rispetto al 1999.

Nel merito delle specifiche valutazioni si è constatato in tutte le Aree una sufficiente convergenza nei pareri espressi da diversi revisori sullo stesso programma, sia nelle qualifiche sia nelle motivazioni fornite per i punteggi assegnati. In molti casi in cui si sono avuti pareri discordanti, la Commissione si è preoccupata di acquisire, ove possibile, pareri addizionali, che consentissero una valutazione obbiettiva della proposta.

Una seconda osservazione riguarda le qualità delle valutazioni. La Commissione ha concordemente osservato che essa è progressivamente cresciuta a partire dal primo anno (1997) fino a oggi. Le valutazioni odierne sono infatti più spesso complete e dettagliate, accompagnate da pareri generali molto estesi che forniscono non solo un giudizio ma anche suggerimenti per lo sviluppo del lavoro in corso d’opera e nei prossimi anni.

Un terzo elemento importante riguarda il contributo dei revisori stranieri reso possibile dalla introduzione della lingua inglese nella formulazione delle proposte: esso è stato fondamentale sia nelle aree tecnico-scientifiche sia in quelle umanistiche, raggiungendo una percentuale totale di circa un terzo delle valutazioni, con valori più elevati nelle Aree scientifiche e bio-mediche. Si può confermare che mai come in occasione dei programmi di Co-finanziamento la ricerca universitaria italiana viene sottoposta al vaglio internazionale in forma così estesa. Ferme restando le particolarità di ogni Area disciplinare è auspicabile che il coinvolgimento della comunità scientifica internazionale possa estendersi ulteriormente nei prossimi anni.

 

5. Distribuzione dei punteggi

Il presente paragrafo delle relazioni e quello successivo non presentano modifiche se non nei commenti rispetto al 1999. I paragrafi di quella relazione vengono quindi qui largamente riportati.

A seguito della valutazione espressa dai revisori sono stati associati ad ogni programma a) un punteggio medio, dato dalla media dei punteggi espressi dai revisori, vale a dire

Xi = SR XiR/Ni

ove Xi è il punteggio medio dell’i-esimo programma, XiR rappresenta il punteggio dell’R-esimo revisore del programma e Ni è il numero di revisori, e b) un insieme di lettere che esprimono le qualifiche generali attribuite alla proposta. Per tenere conto del fatto che qualche revisore non aveva dato risposta ad alcune domande si è normalizzato il punteggio al numero di risposte fornite.

Gli istogrammi riportati nella Fig. 1 illustrano la distribuzione dei punteggi attribuiti ai programmi: più precisamente essi rappresentano la distribuzione degli scarti definiti come

xi = Xi - <X>

ove

<X > = Si Xi / M

con M pari al numero dei programmi per l’area di interesse. In altri termini gli scarti rappresentano le differenze tra i punteggi Xi conseguiti dai programmi e quello medio dell’area <X>, calcolato come media dei punteggi ottenuti dai programmi dell’area.

Si noti che il punteggio Xi è ottenuto per ogni programma prendendo il voto medio di ogni revisore per domanda e facendo la media sul numero dei revisori cui il programma è stato sottoposto. Domande per le quali i revisori non abbiano espresso punteggio non vengono contate.

 

Tabella VII - Punteggi assegnati nelle varie Aree

Area
Disciplinare

Punteggio medio
per domanda

Punteggio
Massimo
per domanda

Programmi con
punteggio superiore
alla media d'area

01

4.50946

5.00000

60%

02

4.29868

4.93750

60%

03

4.21805

5.00000

55%

04

4.09524

4.87500

58%

05

4.04516

4.87500

54%

06

3.62042

4.93750

55%

07

3.83488

4.87500

52%

08

3.77033

4.75000

59%

09

4.03194

4.87500

53%

10

4.16438

5.00000

61%

11

3.98320

4.91667

56%

12

3.69978

4.56250

51%

13

3.72716

4.70833

58%

14

3.90975

4.78125

58%

 

La Tabella VII rappresenta il valore di <X> e del punteggio massimo per ogni area, nonché le percentuali dei programmi classificati con qualifica A e quelle relative ai programmi con valutazione positiva, vale a dire qualifica A o B e voto sopra la media dell’Area.

La distribuzione dei punteggi presenta alcune differenze tra le varie aree che riflettono sia il diverso metro di giudizio delle varie discipline sia la diversa qualità delle proposte presentate. Il valore medio del punteggio per domanda varia fino ad un massimo 12,5% da un’area all’altra. Lo stabilizzarsi delle valutazioni nelle varie aree è un fatto positivo, in quanto manifesta lo stabilirsi di una certa coerenza di valutazione tra le varie aree disciplinari. Ad essa ha certamente contribuito sia la definizione dei criteri di ammissibilità al finanziamento sia la dettagliata informazione fornita dal 1999 e 2000 ai revisori relativamente al significato delle singole domande.

 

6. Formazione delle graduatorie e attribuzione del Co-finanziamento

Analogamente a quanto prescritto nel 1997, 1998 e 1999, il DM 10/2000 prevede che la Commissione formi (i) una graduatoria dei programmi per ogni Area disciplinare e (ii) una graduatoria per tutte le Aree; esso inoltre prevede che ai programmi valutati positivamente di ogni Area disciplinare venga riservato il 3% del totale disponibile.

Anche nell’anno in corso la Commissione ha provveduto a rendere note prima della scadenza del bando le modalità di formazione delle graduatorie, secondo quanto di seguito riportato.

Ammissibilità

Come precisato nelle istruzioni ai revisori, vengono dichiarati ammissibili al Co-finanziamento quei programmi che hanno conseguito una qualifica A o B sulla base della media dei prodotti delle valutazioni espresse dai revisori in risposta alle prime due richieste della scheda di valutazione (si veda l’Allegato E e quanto discusso nella Introduzione).

La Commissione, con una parziale modifica rispetto alla procedura seguita nello scorso anno, ha inoltre stabilito di adottare i seguenti criteri, con l’obbiettivo congiunto di preservare una sufficiente quota di finanziamento a ciascuna grande area disciplinare e di assicurare che una elevata soglia qualitativa dei progetti quale condizione imprescindibile per ottenere il finanziamento:

(a) sono stati considerati ammissibili al finanziamento i progetti con qualifica A e B e con punteggio superiore alla media d'area, nonchè i progetti con qualifica A e B che, pur avendo riportato un punteggio non superiore alla media d'area, abbiano però riportato un punteggio medio almeno uguale a 3 per ciascuna delle otto domande poste ai revisori;

(b) nell'assegnazione della quota riservata del 3% ad ogni area disciplinare si sono prioritariamente finanziati i progetti con qualifica A e punteggio superiore alla media d'area, poi quelli con qualifica B e punteggio superiore alla media d'area, poi quelli con qualifica A e punteggio non superiore alla media d'area che abbiano riportato un punteggio medio almeno uguale a 3 per ciascuna delle otto domande poste ai revisori, infine quelli con qualifica B e punteggio non superiore alla media d'area che abbiano riportato un punteggio medio almeno uguale a 3 per ciascuna delle otto domande poste ai revisori.

Quota riservata

Per l’assegnazione dei finanziamenti all’interno della quota riservata a ogni Area disciplinare vengono prioritariamente finanziati i programmi che hanno ricevuto qualifica A. Se in questo modo non si esaurisce la quota riservata si procede al finanziamento dei programmi con qualifica B e punteggio superiore alla media ordinandoli per punteggio secondo il criterio sopra descritto. Il mancato esaurimento della quota riservata al termine di questa procedura comporta la sua ridistribuzione tra le altre Aree, come indicato nel decreto ministeriale.

Quota comune

Questa quota viene utilizzata prioritariamente per completare il finanziamento di quei programmi che, risultando gli ultimi della graduatoria riservata, non abbiano avuto copertura totale della loro richiesta.

I programmi con qualifica di ammissibilità e con votazione superiore alla media dell’area di appartenenza, che non hanno ottenuto finanziamento nell’ambito della quota riservata, vengono finanziati all’interno della quota comune fino all’esaurimento delle risorse disponibili.

Per ordinare questi programmi sulla base del punteggio è stato necessario fissare un criterio che consentisse il confronto di valutazioni effettuate tra diverse Aree disciplinari. Un semplice confronto del punteggio assoluto non è possibile a causa del diverso metro di giudizio, come è evidente se si considera la differenza nei valori medi per Area disciplinare. Analogamente a quanto già fissato nel 1998 e nel 1999, la soluzione adottata è stata quella di assegnare ad ogni programma che avesse le caratteristiche di ammissibilità un punteggio pari al rapporto tra lo scarto rispetto alla media dell’Area e lo scarto positivo massimo dell’Area stessa. In questo modo si introduce una variabile standardizzata

zi = (Xi - <X>)/(Xmax - <X>)

che tiene conto sia delle differenze in valore assoluto, sia dell’escursione nei voti assegnati dai revisori. La variabile così definita varia tra zero (punteggio pari alla media dell’area) e uno (punteggio pari al valore massimo). In questo modo programmi di aree differenti che hanno conseguito un punteggio corrispondente alla stessa percentuale del massimo voto assegnato nell’Area di appartenenza sono classificati a pari merito.

Ordinando così i programmi ammissibili risulta possibile effettuare un’unica graduatoria di tutte le proposte e, pertanto, assegnare la parte di risorse addizionali rispetto a quelle riservate.

Determinazione del Co-finanziamento

Come indicato nel documento di indirizzo, il Comitato si è ispirato al principio di concedere il co-finanziamento per l’intero ammontare necessario per la realizzazione del programma selezionato. Ogni decurtazione in rapporto alla richiesta avanzata dai coordinatori è stata quindi motivata o dai pareri espressi dai revisori in merito o da criteri di ordine generale, relativi alla congruità della richiesta finanziaria e conseguenti a un’analisi comparativa dei costi di ogni proposta rapportati alle medie dei costi delle rispettive area.

Come per il bando 1999, la Commissione ha normalmente effettuato un’analisi delle richieste finanziarie previste nei programmi, evidenziando quei casi in cui la richiesta appariva nettamente superiore alla media dell’Area di appartenenza. Più precisamente si è determinato per ogni programma il costo annuo pro-capite previsto per ogni voce di spesa (materiale inventariabile, grandi attrezzature, missioni, consumo, personale etc.) e, attraverso questo dato, si è calcolato il costo medio previsto nell’Area disciplinare di appartenenza. Nel caso in cui un programma presentasse, globalmente o per specifiche voci, richieste al di sopra della media si è effettuata un’analisi della proposta per verificare se vi erano specifiche motivazioni per tali richieste. In assenza di tali motivazioni, la Commissione ha di norma ritenuto di dover fissare il finanziamento in rapporto ai valori medi dell’Area.

Pertanto il co-finanziamento è stato determinato secondo i seguenti criteri:

* Se uno o più revisori si sono espressi per una decurtazione precisa del co-finanziamento al progetto o ad alcune unità di ricerca in esso coinvolte si è effettuata tale riduzione in modo conforme alle indicazioni espresse.

* Se da parte dei revisori è stato espresso motivato parere per l’eliminazione di una o più Unità di ricerca dalla proposta, si è provveduto a escluderle dal finanziamento.

* Se uno o più revisori hanno espresso il motivato parere che le richieste avanzate fossero eccessive in rapporto a quanto necessario per ottenere gli obbiettivi indicati nel programma, si è proceduto assegnando un co-finanziamento ridotto come suggerito.

* Se l’analisi comparativa dei costi ha evidenziato, globalmente o per specifiche voci di spesa, richieste in eccesso rispetto al costo medio annuo pro capite dell’Area di appartenenza, si è ridotta l’assegnazione al valore medio, a meno che tali richieste non avessero una specifica motivazione nella proposta.

* Non si sono disposti finanziamenti a grandi attrezzature per le quali non erano fornite adeguate giustificazioni nel testo della proposta.

Determinazione dell’elenco dei programmi finanziati

Una volta determinati i programmi con valutazione positiva, cioè la qualifica di ammissibilità e la sussistenza dei requisiti di graduatoria sopra descritti, nonché i relativi co-finanziamenti, si è proceduto per ogni Area alla copertura della quota riservata inizialmente prevista pari ai 3% della somma totale di Lit. 250.880 milioni cioè 7.526,4 milioni. A procedura completata è emerso che le Aree 12 (Scienze Giuridiche) e 14 (Scienze Politiche e Sociali) non erano in grado di esaurire la quota riservata con i programmi valutati positivamente, ammontando questi rispettivamente a Lit. 6.587 e 5.513 milioni.

Come precisato nel decreto ministeriale si è pertanto riportato la differenza tra il 3% previsto e la somma utilizzata nelle due Aree, in totale 2.952,8 milioni, ad incrementare la parte riservata alle rimanenti dodici, ciascuna delle quali ha così avuto a disposizione la somma complessiva di Lit. 7.773 milioni.

Si è quindi proceduto al co-finanziamento dei programmi nell’ambito della quota riservata, così ridefinita, secondo la procedura indicata. Poiché in taluni casi l’ultimo dei programmi inclusi per ogni Area nell’ambito della quota riservata è risultato co-finanziato solo parzialmente, si è completato il co-finanziamento acquisendo le risorse dalla quota non riservata.

Successivamente la Commissione ha proceduto a formare la graduatoria per i programmi con co-finanziamento a carico della parte non riservata, ordinandoli sulla base dello scarto standardizzato precedentemente definito ed assegnando il co-finanziamento fino all’esaurimento della somma disponibile pari a Lit. 250.880.019 milioni. L’elenco di tutti i programmi co-finanziati è presentato nell’Allegato F.

L’Allegato G presenta la distribuzione dei programmi e delle assegnazioni per sede universitaria del Coordinatore nazionale.

E’ interessante verificare la ripartizione per Area disciplinare del co-finanziamento assegnato e la percentuale del finanziamento in rapporto alla somma disponibile confrontandola con i dati del 1999. La Tabella VIII illustra questi risultati. Si osserva che in alcune Aree - Fisica, Chimica, Matematica, Scienze Giuridiche. Scienze dell'Antichità e nelle due Aree di Ingegneria - la percentuale di co-finanziamento è aumentata, mentre in Scienze della Terra, Storiche e Statistiche, Politiche e sociali, Medicina, Biologia ed Agraria è diminuita. In taluni di questi casi, però, le modifiche risultano essere conseguenze di parallele fluttuazioni del numero delle domande.

Tabella VIII- Co-finanziamento totale nelle varie Aree

2000 e 1999

 

Area

Finanziamento
2000 (Milioni)

Percentuale

Finanziamento
1999 (Milioni)

Percentuale

01

10.296

4,10

8.772

3,70

02

26.061

10,39

19.848

8,37

03

25.850

10,30

21.801

9,20

04

7.849

3,13

7.964

3,36

05

29.601

11,80

29.174

12,31

06

44.829

17,87

47.027

19,84

07

14.688

5,85

13.905

5,87

08

16.045

6,40

14.356

6,06

09

32.421

12,92

29.826

12,58

10

13.984

5,57

12.386

5,23

11

9.391

3,74

11.741

4,95

12

6.587

2,63

5.262

2,22

13

7.765

3,10

8.682

3,66

14

5.513

2,20

6.275

2,65

Totale

250.880

100,00

237.019

100,00

 

7. Conclusioni

I risultati ottenuti nell’anno 2000 confermano nel loro complesso quelli del 1999. La procedura di selezione delle proposte sia dal punto di vista della qualità delle revisioni e dei giudizi espressi sia sul piano tecnico operativo risultano quindi essere ormai in buona misura acquisiti al Programma Co-finanziamento.

La coerenza delle valutazioni espresse nell’ambito delle diverse Aree comprova la capacità di consolidamento del sistema di selezione messo in opera. Esso, anche in virtù dei suggerimenti provenienti dalla comunità scientifica, appare quindi vicino allo stato di regime, senz’altro paragonabile nei suoi livelli ai modelli internazionali.

Peraltro la Commissione ha dedicato una cura particolare - in vista del Programma di Cofinanziamento per l’anno 2001 - all’esame dei possibili miglioramenti ulteriori di un sistema che, proprio per la sua complessa articolazione, richiede ad avviso della Commissione una costante attenzione al fine di renderlo sempre meglio aderente alle esigenze della comunità scientifica. Le proposte di modifica elaborate dalla Commissione sono state inviate al Ministro.

Occorre infine richiamare, anche alla luce di osservazioni e commenti espressi dai revisori, che, come rilevato già nel 1999, la domanda di finanziamento è condizionata da alcuni fattori, che non dipendono dalla qualità del sistema di selezione.

In particolare:

* permangono i limiti legati alla non disponibilità di infrastrutture adeguate (laboratori, biblioteche etc.) che, in ragione della loro entità e dei costi di produzione della ricerca, richiederebbero stanziamenti spesso ben superiori a quelli disponibili nell’ambito del presente bando;

* un ulteriore limite deriva dalla ridotta capacità di acquisizione di fondi per co-finanziare in conseguenza delle scarse risorse complessivamente disponibili per la ricerca presso gli Atenei;

* vi è tuttora una tendenza a limitare fortemente la richiesta di finanziamenti per la spesa di personale, in particolare di giovani con assegni di ricerca o contratti: tale elemento è stato sottolineato da molti revisori stranieri, sulla base della considerazione che questo costituisce una delle maggiori voci di spesa nei programmi internazionali.

E’ opinione della Commissione che solo con il superamento di queste difficoltà il sistema di selezione messo in opera potrà operare con piena efficacia, contribuendo ad evidenziare gli elementi di eccellenza nei programmi di rilevanza nazionale.

Antonio Padoa Schioppa
Ciro Ciliberto
Romano Cipollini
Errico Cuozzo
Jacopo Meldolesi
Luigi Paganetto
Armido Rubini

6 dicembre 2000