Relazione finale della Commissione per la

Valutazione dei Programmi di Ricerca delle Università

(Anno 1998)

 

INDICE

1. Premessa

2. Valutazione dei revisori e ampliamento dell'albo

3. Programmi presentati

4. Procedura di revisione delle proposte

5. Distribuzione dei punteggi

6. Formazione delle graduatorie e attribuzione del cofinanziamento

7. Conclusioni

Figure 1 - 3

Allegato A. Decreto ministeriale n. 1451

Allegato B. Nota illustrativa prot. n.246

Allegato C. Documento di indirizzo

Allegato D. Modello A      Modello B

Allegato E. Guida per i revisori

Allegato F. Scheda di valutazione

Allegato G. Science vol.282, 9 ottobre 1998

Allegato H. Programmi ammessi al cofinanziamento suddivisi per area

Allegato I. Programmi ammessi al cofinanziamento suddivisi per Università




1. Premessa

Il Decreto ministeriale n.1451 del 4 /12/1997 (Allegato A) nel dare avvio al bando 1998 per il finanziamento di programmi di ricerca di interesse nazionale liberamente proposti dalle università, oltre a confermare le modalità di selezione e i criteri di finanziamento già adottati nel bando 1997, ha introdotto le seguenti importanti innovazioni:

  1. la data di scadenza per la presentazione dei programmi è stata anticipata al 30 Aprile, con il duplice obbiettivo di rendere più agevole la consultazione dei revisori e di assicurare il completamento della procedura di assegnazione dei fondi in congruo anticipo rispetto alla fine dell’anno;
  2. si è richiesta la compilazione della domanda anche in lingua inglese al fine di accedere alle competenze presenti nella comunità scientifica internazionale;
  3. è stata elevata la quota di partecipazione del Ministero alle ricerche cofinanziate, portandola al 50% per programmi intra-universitari e al 70% per quelli interuniversitari.

 

La successiva nota illustrativa emessa in data 10/2/98 (prot. N. 246, Allegato B), oltre a dettagliare le modalità di stesura per via telematica delle richieste, richiamava alcuni elementi fondamentali per la corretta formulazione delle proposte, sottolineando in particolare il ruolo di esecutori principali della ricerca del coordinatore nazionale e dei responsabili delle unità locali e richiamando l’opportunità di evitare inutili duplicazioni di unità di ricerca per i gruppi afferenti allo stesso dipartimento universitario e coinvolti in una stessa proposta.

Il Ministro in data 4/2/98 ha effettuato la nomina della Commissione di Garanzia incaricata della selezione delle proposte, costituita dai Proff. C. Calandra, F. Jovane, J. Meldolesi, F. Silva, G. Tavani (quest’ultimo, avendo rassegnato le dimissioni, è stato successivamente sostituito dal Prof. G. Giarrizzo). La Commissione ha predisposto, come primo suo compito, un Documento di Indirizzo teso a illustrare sia la natura del nuovo metodo adottato sia i criteri cui i Garanti intendevano ispirarsi nella fase di valutazione. Il testo del Documento è presentato nell’Allegato C. Esso è stato reso pubblico tramite Internet al sito Web del Ministero, allegato alla nota illustrativa e spedito ai Rettori con preghiera di darne massima diffusione. In questo modo tutti coloro che, a diverso titolo, hanno compilato i Moduli di domanda hanno avuto l’opportunità di consultarlo.

Il documento sottolinea la necessità che i programmi proposti abbiano un obbiettivo scientifico preciso, con carattere di originalità e di rilevanza nazionale, e non siano una semplice aggregazione di attività di diversi gruppi sotto un titolo generico. Tale impostazione corrisponde alla tipologia di progetto scientifico avanzato che abitualmente viene sottoposto alla procedura di peer-review in ambito internazionale. Anche a seguito delle numerose osservazioni critiche espresse dai revisori consultati nel 1997, in particolare da quelli stranieri, circa programmi con scarsa focalizzazione degli obbiettivi , il documento raccomanda di evitare la sottomissione di programmi con troppe unità locali.

La Commissione ha inoltre apportato significativi cambiamenti al formato di presentazione delle domande, con l’obbiettivo di fornire ai revisori maggiori elementi di valutazione.

 

In particolare:

La prime due modifiche vengono incontro alla richiesta, avanzata sia da revisori utilizzati lo scorso anno sia da parte di numerosi autorevoli studiosi, di introdurre la qualificazione dei proponenti, e in modo particolare la loro recente attività scientifica, come elemento di valutazione. Le altre mirano a fornire al revisore gli elementi per una valutazione più analitica della congruità dei costi previsti e delle risorse disponibili in rapporto agli obbiettivi della ricerca.

Copia dei due modelli è presentata nell’Allegato D   (Modello A    Modello B).

La Commissione ha preso atto di due importanti miglioramenti al software per la formulazione delle proposte introdotti dal CINECA. Essi riguardano l’introduzione di forme di controllo per evitare (a) che una stessa persona si presenti in più proposte, contravvenendo a quanto stabilito dal Decreto Ministeriale, (b) che un ricercatore dichiari di dedicare alla ricerca una quantità di tempo superiore a quella effettivamente disponibile sulla base degli impegni assunti nel precedente bando ’97. Nel primo caso si tratta di impedire preventivamente forme di partecipazione non consentita (nel 1997 si era reso necessario un faticoso controllo a posteriori sulle domande basato sulle omonimie dei partecipanti alle ricerche); nel secondo di avere una corretta valutazione dell’impegno effettivo dedicato alla ricerca.

Successivamente la Commissione si è riunita nel corso del mese di Aprile per introdurre , anche alla luce delle osservazioni e dei suggerimenti pervenuti da più parti dopo il bando 1997, modifiche alla procedura di revisione con l’obbiettivo di migliorare la valutazione delle proposte. In particolare:

 

Di tali modifiche è stata data puntuale informazione a tutta la comunità accademica tramite Internet.

 

 

 

2. Valutazione dei revisori e ampliamento dell’albo

 

La Commissione dei Garanti 1997 ha completato il proprio lavoro esprimendo una valutazione dei revisori utilizzati e /o consultati lo scorso anno. Ad ogni revisore sono stati attribuiti due voti relativi (i) alla solerzia cioè prontezza nel rispondere e svolgere il compito di revisore, e (ii) alla accuratezza con cui tale compito è stato effettuato. Per esprimere queste valutazioni, oltre a utilizzare i dati a disposizione dei Garanti, si sono analizzate le osservazioni critiche espresse dai proponenti a seguito del primo bando. I revisori che hanno mostrato di non aver corrisposto del compito loro attribuito o che hanno dichiarato di non essere disponibili a svolgerlo, sono stati cancellati dall’archivio.

Contestualmente è stata avviata da parte del CINECA, cui si deve la creazione dell’archivio dei revisori, l’operazione di verifica e aggiornamento dei dati relativi ai revisori introdotti nel corso del 1997. Per ogni revisore l’archivio prevede una scheda con i dati anagrafici, la sede di lavoro, l’indirizzo di posta elettronica, l’area e i settori disciplinari nel cui ambito svolge la propria attività di ricerca e la lista delle parole chiave (italiane o inglesi) attraverso le quali identificare le specifiche competenze.

Ad ogni studioso, contattato per via telematica, sono stati richiesti (a) l’autorizzazione preventiva a fare parte dell’archivio, (b) l’aggiornamento dei dati anagrafici, (c) la specificazione di parole chiave relative alle proprie competenze scientifiche e (d) la disponibilità nel corso del 1998. (Quest’ultimo dato è particolarmente importante in quanto consente di contattare e di conoscere anticipatamente i periodi nei quali il revisore è meno impegnato e può svolgere più proficuamente e celermente il compito di revisione). Dei 3300 studiosi contattati oltre 2500 hanno risposto aggiornando personalmente i loro dati.

L’introduzione nel bando 1998 della lingua inglese ha consentito di estendere notevolmente il numero di potenziali revisori, non essendovi più praticamente alcuna barriera linguistica all’analisi delle proposte per la maggior parte degli studiosi stranieri. Come lo scorso anno, la Commissione dei Garanti ha invitato le università ad esprimere nominativi di autorevoli studiosi fornendo per ognuno di essi i dati previsti nella scheda. Tali indicazioni, tuttavia, non sono state sufficienti sia per la quantità sia per le caratteristiche dei nominativi indicati. Ciò ha richiesto da parte dei Garanti un impegno diretto per assicurare la disponibilità di studiosi all’altezza del compito di valutazione. Per questo i Garanti si sono rivolti a laboratori, istituti, fondazioni e accademie (anche stranieri) per acquisire i dati relativi a possibili qualificati revisori.

La Tabella I mostra la distribuzione dei revisori per aree disciplinari. Vengono precisati per ogni area il numero totale di revisori che utilizzano la lingua inglese, quello degli italiani, il numero totale per Area, nonché il numero di nuove addizioni all’archivio.

Appare evidente l’importanza che riveste, ai fini della qualità delle valutazioni, la disponibilità di un elevato numero di revisori, per un bando aperto a tutti i settori disciplinari e, quindi in linea di principio, a tutti i possibili argomenti di studio. Inoltre i problemi relativi al non coinvolgimento del revisore nel programma presentato e alla autoreferenzialità delle comunità nazionali sono considerevolmente ridotti quando sia possibile scegliere tra numerosi possibili esperti. Anche tenendo conto che tra i revisori italiani vi è un buon numero di studiosi coinvolti nelle proposte presentate, l’albo dei revisori risulta più che raddoppiato rispetto allo scorso anno.

Tabella I

Area

Numero Revisori
Stranieri

Numero Revisori
Italiani

Numero Totale

Nuovi Revisori

01

394

111

505

380

02

409

259

668

286

03

359

296

655

303

04

144

143

287

164

05

464

419

883

566

06

4.517

363

4.880

3.339

07

187

333

460

330

08

138

272

410

178

09

474

495

969

454

10

217

351

568

274

11

301

213

514

227

12

49

267

316

98

13

182

460

642

383

14

56

202

262

200

Totale

7.737

4.272

12.019

7.182

 

Al di là di questo aspetto quantitativo, vi è un aspetto qualitativo da sottolineare: in molti settori i revisori stranieri risultano per qualificazione ed esperienza tra i maggiori esperti a livello internazionale.

La consultazione di un archivio con un così elevato numero di dati può essere effettuata solo se si dispone di un adeguato strumento informatico di ricerca. A questo fine il CINECA ha predisposto sistemi di consultazione per (a) nominativo; (b) area e/o settore disciplinare; (c) parole chiave in italiano o inglese, che consentono una ricerca automatica dei revisori a seconda delle necessità. Tali sistemi si sono rivelati essenziali, come verrà meglio precisato in seguito, per lo svolgimento del compito di assegnazione dei programmi proposti ai revisori

 

 

3. Programmi presentati

 

La Tabella II illustra la distribuzione tra le diverse aree dei programmi pervenuti a seguito del bando, la loro natura (intra- o inter-universitari), la loro composizione (numero di unità operative) e le richieste complessive di cofinanziamento.

 

Tabella II

Area

Numero programmi
intra-universitari

Numero programmi
inter-universitari

Numero di
Unità Operative

    

Richiesta di
finanziamento

01

2

27

179

    

12.515.668.000

02

5

72

393

    

38.974.670.000

03

7

56

414

    

48.404.117.000

04

3

30

200

    

15.149.620.000

05

10

122

725

    

52.455.427.000

06

38

177

1.116

    

76.038.004.000

07

12

90

619

    

33.731.695.000

08

8

85

555

    

34.441.471.000

09

7

136

803

    

71.616.871.000

10

24

129

532

    

21.704.093.000

11

9

107

492

    

19.356.922.000

12

11

54

492

    

8.381.458.000

13

15

87

415

    

17.630.602.000

14

4

31

139

    

6.272.879.000

Totale

155

1.203

6.814

    

456.673.497.000

 

 

Per confronto il quadro delle programmi proposti lo scorso anno è il seguente

Tabella III

Area

Numero programmi
intra-universitari

Numero programmi
inter-universitari

Numero di
Unità Operative

    

Richiesta di
finanziamento

01

2

28

396

    

20.338.068.000

02

3

68

416

    

42.324.699.000

03

2

51

671

    

58.311.262.000

04

0

32

319

    

17.522.188.000

05

8

109

1.114

    

68.876.281.000

06

61

226

1.833

    

84.694.773.000

07

0

76

800

    

32.984.188.000

08

7

116

844

    

40.125.500.000

09

5

121

1.035

    

66.542.992.000

10

28

221

964

    

27.369.385.000

11

19

177

831

    

21.942.891.000

12

12

75

346

    

9.777.621.000

13

19

117

615

    

18.857.305.000

14

2

50

200

    

6.477.340.000

Totale

178

1.467

10.384

    

516.664.531.000

 

Dal confronto si può notare quanto segue

 

4. Procedura di revisione delle proposte

Il successo della procedura telematica messa in opera grazie al CINECA lo scorso anno (l’unica peraltro possibile visto l’elevato numero di programmi e i tempi a disposizione per la revisione) ha indotto i Garanti a seguire senza sostanziali modifiche l’iter di revisione previsto lo scorso anno che prevede due fasi:

I Fase : trasmissione di un messaggio di posta elettronica al revisore, con il quale gli si attribuisce formalmente il compito di valutazione, consentendogli l’accesso al sito Web, ove il testo del programma è disponibile, e chiedendogli formale dichiarazione di competenza e accettazione dell’incarico;

II Fase: in caso di accettazione, messa a disposizione del revisore di una scheda di valutazione da compilare presso il medesimo sito Web.

Sul piano tecnico il CINECA ha introdotto due importanti innovazioni mirate a facilitare il lavoro dei revisori:

  1. Ogni revisore consultato anzichè avere un separato accesso a ognuno dei programmi assegnati per la valutazione con un distinto indirizzo WEB, ha potuto accedere a un sito Internet a lui destinato in esclusiva, ove ha potuto analizzare tutti i programmi da valutare, consultare le istruzioni per i revisori, depositare valutazioni da completare, prendere visione del fac-simile della scheda di valutazione prima di compilarla etc. In altri termini ogni revisore ha avuto a disposizione di un proprio ufficio (virtuale) di valutazione dei programmi MURST, che si è chiuso solo quando ha completato il compito assegnato.
  2. Si è provveduto a crittografare i messaggi da e verso il revisore, in modo da assicurare nel modo più efficiente l’anonimato del revisore e la riservatezza della valutazione espressa.

Tutto ciò è stato reso possibile dal CINECA, che ha sviluppato il software necessario (non disponibile sul mercato) e offerto una totale ed efficace collaborazione con le proprie strutture di elaborazione dati. Va sottolineato, infatti, che procedure di questo tipo non sono comunemente adottate dalle agenzie di ricerca e solo di recente sono divenute disponibili presso le maggiori riviste a diffusione internazionale. Si tratta di una realizzazione assolutamente originale e nuova, che pone il nostro paese in una posizione di avanguardia in questo particolare aspetto della gestione dell’attività di ricerca. Può essere interessate notare che le maggiori Agenzie di ricerca degli Stati Uniti si avviano a utilizzare un procedura analoga a partire dall’Ottobre 2000 (si veda l’allegato articolo di Science Allegato G (Science vol.282, 9 ottobre 1998))

Per quello che riguarda il sistema adottato e il software predisposto vi è stato un generale apprezzamento, anche da parte dei revisori stranieri. Molti degli inconvenienti riscontrati dai revisori a seguito di problemi di indirizzamento di posta elettronica o di inefficienza degli strumenti informatici a loro disposizione (software inadeguato, insufficiente memoria del computer, problemi di collegamento etc.) sono stati superati grazie alla pronta consulenza offerta dal CINECA.

Il sistema di selezione adottato dal decreto si basa sull’utilizzo di revisori anonimi. Esso infatti prevede che la Commissione individui i programmi da finanziare e stabilisca l’ammontare del cofinanziamento sulla base delle valutazioni acquisite. Un’accurata scelta dei revisori è quindi essenziale sia per assicurare a ogni programma una valutazione appropriata sia per evitare che nella selezione si inseriscano elementi estranei all’analisi oggettiva delle proposte.

Nell’assegnare il compito di revisione si è seguito la seguente procedura:

  1. Per ogni singolo programma si è individuato un insieme di esperti sulla base dei settori disciplinari e delle parole chiave indicati nella proposta;

  2. Da tale insieme sono stati sottratti coloro che, a diverso titolo, potevano essere interessati al programma proposto (perché essi stessi partecipanti al programma, o proponenti di programmi affini o perché afferenti alla stessa sede universitaria etc.). Tali sottrazioni sono state effettuate dal sistema di elaborazione in modo automatico, nel senso che gli interessati venivano indicati dall’elaboratore direttamente al momento in cui si individuavano i possibili esperti dell’argomento.
  3. Dalla lista così ottenuta sono stati selezionati quelli cui sottoporre il programma proposto sulla base anche della disponibilità temporale e, nel caso di revisori già consultati nel 1997, della valutazione espressa dalla Commissione precedente.
  4. Come criterio generale si è cercato, ovunque possibile, di avere tre valutazioni con almeno un revisore straniero e, nel caso di programmi di particolare complessità, che coinvolgono più settori o aree disciplinari, di disporre di un numero di revisori in grado di coprire i diversi aspetti della proposta.

Tabella IV

Area

   

Senza
risposta

   

Accettazioni
senza
valutazione

   

Rifiuti

   

Valutazioni

   

Totale

01

   

11

   

2

   

27

   

88

   

128

02

   

29

   

9

   

93

   

229

   

360

03

   

39

   

4

   

69

   

182

   

294

04

   

13

   

3

   

37

   

101

   

154

05

   

90

   

20

   

216

   

521

   

847

06

   

148

   

18

   

278

   

661

   

1.105

07

   

57

   

9

   

146

   

309

   

521

08

   

76

   

9

   

128

   

216

   

429

09

   

78

   

19

   

123

   

365

   

585

10

   

130

   

16

   

174

   

428

   

748

11

   

89

   

6

   

163

   

342

   

600

12

   

48

   

7

   

26

   

171

   

252

13

   

43

   

2

   

87

   

281

   

413

14

   

19

   

6

   

34

   

93

   

152

Totale

   

868

   

132

   

1.601

   

3.987

   

6.588

 

La Tabella IV illustra i dati relativi alla consultazione dei revisori. Essa è stata costruita tenendo conto di tutte le richieste di valutazione sottomesse dai Garanti (un revisore che abbia avuto assegnata più di una proposta viene contato tante volte quante sono le proposte assegnate: si noti che uno stesso revisore può avere accettato e valutato una proposta e rifiutato di valutarne altre).

Si vede che circa il 60% dei revisori consultati ha risposto positivamente alla richiesta di svolgere la funzione di revisore, effettuandola nei tempi e nella forma indicata. Una percentuale pari al 2% , pur avendo accettato non ha svolto completamente l’incarico o perché non è stata in grado di dare risposta a buona parte dei quesiti richiesti o per difficoltà o altri impegni sopraggiunti. Il numero di rifiuti è stato pari al 24.2 %, le motivazioni più comuni sono state: a) impossibilità a svolgere il compito nei tempi indicati; b) mancanza di tempo; c) non sufficiente competenza relativamente allo specifico tema del programma proposto; d) coinvolgimento indiretto nella proposta. Nel 13% dei casi non si è avuta risposta da parte dei revisori consultati. Le ragioni di questo possono essere varie: assenza dalla sede, mancata consultazione della posta elettronica, non disponibilità a effettuare revisioni, problemi di collegamento e/o accesso alla rete, utilizzo di indirizzi di posta elettronica non più attivi etc. E’ probabile che con il consolidamento della procedura di aggiornamento annuale dell’archivio si possa pervenire nei prossimi anni a percentuali di risposta più elevate.

La percentuale di rifiuti è da considerarsi fisiologica quando si considera la possibilità di effettuare valutazioni su numeri così elevati di proposte.

Relativamente ai risultati della procedura di valutazione, occorre in primo luogo notare che oltre i due terzi dei programmi hanno avuto almeno tre valutazioni: un risultato nettamente superiore a quello dello scorso anno quando non era stato possibile avere più di due valutazioni che per meno del 30% delle proposte. La percentuale è tuttavia diversa tra le varie aree disciplinari, essendo nettamente più elevata per la aree scientifiche (in particolare la biologia) e più bassa per le scienze dell’ingegneria. Questo è in parte conseguenza dei rifiuti da parte di revisori (l’Area 08 ha complessivamente la più alta percentuale di rifiuti) e in parte del fatto che in alcuni settori è oggettivamente difficile reperire un sufficiente numero di esperti non coinvolti nelle proposte. Non è un caso che si abbia di solito un più alto numero di valutazioni nelle Aree ove è maggiore la presenza di revisori stranieri. E’ evidente comunque che l’obiettivo di ottenere tre valutazioni per tutte le proposte non è facilmente raggiungibile e per questo si dovrà provvedere a ulteriori integrazioni dell’albo dei revisori.

Nel merito delle specifiche valutazioni si è constatato in tutte le Aree una notevole convergenza nei pareri espressi da diversi revisori sullo stesso programma, sia nelle qualifiche sia nelle motivazioni fornite per i punteggi assegnati. Nei pochi casi in cui si sono avuti due pareri discordanti, la Commissione si è preoccupata di acquisire pareri addizionali, che consentissero una valutazione obbiettiva della proposta.

 

Un secondo elemento importante riguarda il contributo dei revisori stranieri, reso possibile dalla introduzione della lingua inglese nella formulazione delle proposte: esso è stato fondamentale sia nelle aree tecnico-scientifiche sia in quelle umanistiche raggiungendo una percentuale di circa un terzo delle valutazioni, con valori più elevati nelle Aree scientifiche e bio-mediche . Si può affermare che mai come in questa occasione la ricerca universitaria italiana è stata sottoposta al vaglio internazionale in forma così estesa. Ferme restando le particolarità di ogni Area disciplinare è auspicabile che il coinvolgimento della comunità scientifica internazionale possa estendersi ulteriormente nei prossimi anni.

E’ interessante illustrare brevemente la reazione dei revisori allo schema di valutazione proposto.

La grande maggioranza di coloro che si sono espressi ha manifestato apprezzamento per la scheda di valutazione. In qualche caso i revisori hanno trovato difficoltà a rispondere compiutamente ad alcune delle domande proposte (in particolare quelle relative alle richieste finanziarie o alla qualificazione dei gruppi proponenti), in quanto i modelli di presentazione non fornivano i necessari dettagli. Per questo motivo qualche revisore ha preferito non dare risposta ad alcune delle domande o ha precisato che la sua valutazione non era sufficientemente affidabile.

In un numero considerevole di casi i revisori oltre ad attribuire una votazione all’intero progetto, hanno assegnato voti e giudizi di merito alle singole unità operative, in particolar modo quando la proposta presentava una notevole disparità o una scarsa complementarietà dei contributi, utilizzando la stessa formulazione proposta dalla scheda.

La gran parte dei revisori si è avvalsa della possibilità di commentare dettagliatamente le singole votazioni attribuite in risposta alle domande, per fornire maggiori elementi di giudizio. In molti casi questi elementi sono stati utili per definire il cofinanziamento alla proposta.

 

 

5. Distribuzione dei punteggi

A seguito quindi della valutazione espressa dai revisori sono stati associati ad ogni programma un punteggio medio, dato dalla media dei punteggi espressi dai revisori, vale a dire

Xi = SR XiR/Ni

ove Xi è il punteggio medio dell’i-esimo programma, XiR rappresenta il punteggio dell’R-esimo revisore del programma e Ni è il numero di revisori, e un insieme di lettere che esprimono le qualifiche attribuite alla proposta. Per tenere conto del fatto che qualche revisore non aveva dato risposta ad alcune domande si è normalizzato il punteggio al numero di risposte fornite.

Gli istogrammi riportati nelle Figg. 1-3 illustrano la distribuzione dei punteggi attribuiti ai programmi: più precisamente essi rappresentano la distribuzione degli scarti definiti come

xi = Xi - <X>

ove

<X > = Si Xi / M

con M pari al numero dei programmi per l’area di interesse. In altri termini gli scarti rappresentano le differenze tra i punteggi X i conseguiti dai programmi e quello medio dell’area <X>, calcolato come media dei punteggi ottenuti dai programmi dell’ area.

Si noti che il punteggio Xi è ottenuto per ogni programma prendendo il voto medio per domanda di ogni revisore e facendo la media sul numero dei revisori cui il programma è stato sottoposto. Domande per le quali i revisori non abbiano espresso punteggi non vengono contate.

Si può notare come tutti gli istogrammi, con l’esclusione di quello relativo all’area geologica, presentino una forte asimmetria nell’intervallo degli scarti: quello corrispondente a valori negativi (cioè a punteggi inferiori a quello medio) è più esteso dell’intervallo di scarti positivi. L’effetto è particolarmente pronunciato nelle aree 02, 09, 10 e 11.

Tabella V

Area
Disciplinare

Punteggio medio
per domanda

Punteggio
Massimo
per domanda

Percentuale A

Percentuale dei
programmi
positivi

         

01

4.428

4.944

79%

59%

02

3.936

4.778

42%

61%

03

4.000

4.963

38%

56%

04

3.773

4.741

21%

52%

05

3.642

4.833

14%

50%

06

3.336

4.833

21%

50%

07

3.576

4.889

16%

53%

08

3.522

4.944

17%

51%

09

3.865

4.723

25%

56%

10

3.927

4.844

38%

58%

11

3.762

4.944

33%

53%

12

3.423

4.630

12%

54%

13

3.443

4.723

22%

50%

14

3.476

4.630

14%

51%

 

La Tabella V rappresenta il valore di <X> e del punteggio massimo per ogni area, nonché le percentuali dei programmi classificati con qualifica A e quelle relative ai programmi con valutazione positiva, vale a dire qualifica A o B e voto sopra la media dell’Area e, pertanto, ammissibili al cofinanziamento.

Come già si ebbe modo di notare lo scorso anno, la distribuzione dei punteggi presenta significative differenze tra le varie aree. Esse riflettono sia il diverso metro di giudizio delle varie discipline sia la diversa qualità delle proposte presentate. Le differenze sono tuttavia assai meno pronunciate di quelle osservate nel 1997: il valore medio del punteggio per domanda varia fino al 33% da un’Area all’altra contro il 37% del bando precedente. Ancor più ridotta è l’escursione nella percentuale dei programmi con valutazione positiva, che è pari a undici punti percentuali contro i 25 del 1997. Questa maggiore uniformità nelle valutazioni è un fatto positivo, in quanto manifesta lo stabilirsi di una certa coerenza di valutazione tra le varie aree disciplinari. Ad essa ha certamente contribuito sia la più precisa definizione dei criteri di ammissibilità al finanziamento sia la maggiore informazione fornita ai revisori relativamente al significato delle singole domande.

6. Formazione delle graduatorie e attribuzione del cofinanziamento

Il DM 1451 prevede che la Commissione formi (i) una graduatoria dei programmi per ogni Area disciplinare e (ii) una graduatoria per tutte le Aree; esso inoltre prevede che ai programmi valutati positivamente di ogni Area disciplinare venga riservato il 3% del totale disponibile.

La Commissione ha provveduto a rendere note prima della scadenza del bando le modalità di formazione delle graduatorie, secondo quanto di seguito riportato.

Ammissibilità

Come precisato nelle istruzioni ai revisori, vengono dichiarati ammissibili al finanziamento quei programmi che hanno conseguito una qualifica A o B sulla base della media dei prodotti delle valutazioni espresse dai revisori in risposta alle prime due richieste della scheda di valutazione (si veda l’Allegato E) e che hanno conseguito un punteggio superiore alla media dell’Area di appartenenza.

Quota riservata

Per l’assegnazione dei finanziamenti all’interno della quota riservata a ogni Area disciplinare vengono prioritariamente finanziati i programmi che hanno ricevuto qualifica A e media dei punteggi dei revisori superiore al punteggio medio dell’Area disciplinare di appartenenza effettuando le assegnazioni secondo l’ordine del punteggio. Se in questo modo non si esaurisce la quota riservata si procede al finanziamento dei programmi con qualifica B e punteggio superiore alla media ordinandoli per punteggio. Il mancato esaurimento della quota riservata al termine di questa procedura comporta la sua ridistribuzione tra le altre Aree, come indicato nel decreto ministeriale.

Quota comune

Questa quota viene utilizzata prioritariamente per completare il finanziamento di quei programmi che, risultando gli ultimi della graduatoria riservata, non abbiano avuto copertura totale della loro richiesta.

I programmi con qualifica di ammissibilità e con votazione superiore alla media dell’area di appartenenza, che non hanno ottenuto finanziamento nell’ambito della quota riservata, vengono finanziati all’interno della quota comune fino all’esaurimento delle risorse disponibili.

Per ordinare questi programmi sulla base del punteggio è stato necessario fissare un criterio che consentisse il confronto di valutazioni effettuate tra diverse Aree disciplinari. Un semplice confronto del punteggio assoluto non è possibile a causa del diverso metro di giudizio, come è evidente se si considera la differenza nei valori medi per Area disciplinare. La soluzione che è apparsa più equilibrata è stata quella di assegnare ad ogni programma che avesse le caratteristiche di ammissibilità un punteggio pari al rapporto tra lo scarto rispetto alla media dell’Area e lo scarto positivo massimo dell’Area stessa. In questo modo si introduce una variabile standardizzata

zi = (Xi - <X>)/(Xmax - <X>)

che tiene conto sia delle differenze in valore assoluto, sia dell’escursione nei voti assegnati dai revisori. La variabile così definita varia tra zero (punteggio pari alla media dell’area) e uno (punteggio pari al valore massimo). In questo modo programmi di aree differenti che hanno conseguito una punteggio corrispondente alla stessa percentuale del massimo voto assegnato nell’Area di appartenenza sono classificati a pari merito.

Ordinando così i programmi ammissibili risulta possibile effettuare un unica graduatoria di tutte le proposte e, pertanto, assegnare la parte di risorse addizionali rispetto a quelle riservate.

Determinazione del cofinanziamento

Come indicato nel documento di indirizzo, il Comitato si è ispirato al principio di concedere il cofinanziamento per l’intero ammontare necessario per la realizzazione del programma selezionato. Ogni decurtazione quindi in rapporto alla richiesta avanzata dai coordinatori è stata motivata o dai pareri espressi dai revisori in merito o da criteri di ordine generale, relativi alla congruità della richiesta finanziaria e conseguenti a un’analisi comparativa dei costi di ogni proposta.

Come per il bando 1997, la Commissione ha effettuato un’analisi delle richieste finanziarie previste nei programmi, evidenziando quei casi in cui la richiesta appariva nettamente superiore alla media dell’Area di appartenenza. Più precisamente si è determinato per ogni programma il costo annuo pro-capite previsto per ogni voce di spesa (materiale inventariabile, missioni, consumo, personale etc.) e, attraverso questo dato, si è calcolato il costo medio previsto nell’Area disciplinare di appartenenza. Nel caso in cui un programma presentava, globalmente o per specifiche voci, richieste al di sopra della media si è effettuata un’analisi della proposta per verificare se vi erano specifiche motivazioni per tali richieste. In assenza di tali motivazioni, la Commissione ha ritenuto di dover riportare la richiesta ai valori medi dell’Area.

Pertanto il cofinanziamento è stato determinato secondo i seguenti criteri:

Determinazione dell’elenco dei programmi finanziati

Una volta determinati i programmi con valutazione positiva, cioè qualifica di ammissibilità e voto sopra la media dell’Area, e i relativi cofinanziamenti, si è proceduto per ogni Area alla copertura della quota riservata inizialmente prevista pari ai 3% della somma totale di Lit. 200.650.000.000 cioè 6.020.000.000.

A procedura completata è emerso che le Aree 04 (Scienze della Terra), 12 (Scienze Giuridiche) e 14 (Scienze Politiche e Sociali) non erano in grado di esaurire la quota riservata con i programmi valutati positivamente, ammontando questi rispettivamente a Lit. 5.479.000.000, Lit. 3.500.000.000 e Lit. 3.182.000.000.

Come precisato nel decreto ministeriale si è pertanto riportato la differenza tra il 3% previsto e la somma utilizzata nelle tre Aree, in totale 5.899.000.000, ad incrementare la parte riservata alle rimanenti undici, ciascuna delle quali ha così avuto a disposizione la somma di Lit. 6.556.000.000.

 

Si è quindi proceduto al cofinanziamento dei programmi nell’ambito della quota riservata, così ridefinita, secondo la procedura indicata. Poiché l’ultimo dei programmi inclusi per ogni Area nell’ambito della quota riservata è risultato cofinanziato solo parzialmente, si è completato il cofinanziamento acquisendo le risorse dalla quota non riservata. In tale modo si sono impegnate Lit. 87.502.000.000 pari al 43% del totale, cioè circa 1% in più del totale previsto per la parte riservata. L’elenco dei programmi cofinanziati nell’ambito della quota riservata e di quelli per i quali si è ricorso al cofinanziamento misto, cioè attingendo parte delle risorse dalla quota generale è dato in Allegato H.

Successivamente la Commissione ha proceduto a formare la graduatoria per i programmi con cofinanziamento a carico della parte non riservata, ordinandoli sulla base dello scarto standardizzato z precedentemente definito ed assegnando il cofinanziamento fino all’esaurimento della somma disponibile pari a Lit. 113.148.000.000. L’elenco dei programmi così cofinanziati è presentato nello stesso Allegato H.

L’Allegato I presenta la distribuzione dei programmi e delle assegnazioni per sede universitaria del coordinatore nazionale.

E’ interessante verificare la ripartizione per Area disciplinare del cofinanziamento assegnato e la percentuale del finanziamento in rapporto alla somma disponibile. La Tabella VI illustra questo dato e lo confronta con quello relativo allo scorso anno:

 

Tabella VI

 

Area

Finanziamento
1997 (Milioni)

Percentuale

Finanziamento
1998 (Milioni)

Percentuale

Differenza
1998-1997

01

9.020

6,14

6.971

3,47

- 2,67

02

12.859

8,73

18.689

9,31

0.58

03

19.345

13,12

23.521

11,72

- 1,40

04

4.843

3,29

5.479

2,73

- 0,56

05

20.975

14,23

20.884

10,41

- 3,82

06

20.768

14,09

34.755

17,32

3,23

07

8.597

5,83

13.685

6,82

0,99

08

8.611

5,84

15.292

7,62

1,78

09

15.726

10,67

28.245

14,07

3,40

10

7.968

5,41

10.799

5,38

- 0,03

11

6.121

4,15

8.676

4,32

0,17

12

4.555

3,09

3.500

1,74

- 1,35

13

5.031

3,41

6.972

3,47

0,06

14

2.931

2,00

3.182

1,59

- 0.41

Totale

147.350

100,00

200.650

 

 

Il primo dato che emerge da questo confronto è quello di una riduzione della percentuale di risorse attribuita alle Aree scientifiche, quelle dalla 01 alla 05, e di un considerevole aumento dell’Area delle Scienze mediche (06), dell’Agraria (07) e delle Scienze dell’Ingegneria (08 e 09). Tale risultato non è sorprendente ed è conseguenza sia del fatto che le esigenze relative alle richieste delle prime Aree erano già state largamente soddisfatte lo scorso anno, sia delle innovazioni introdotte nella formulazione delle proposte e nella revisione, che hanno probabilmente consentito più accurate valutazioni. E’ interessante anche notare che i valori percentuali per il 1998 sono in generale più in linea con quelli "storici" anteriori al 1997: segno che le inevitabili brusche fluttuazioni conseguenti alla prima applicazione del nuovo metodo sono in fase di superamento.

E’ da notare, inoltre, che, dato il considerevole aumento dei fondi disponibili, la riduzione della percentuale di risorse assegnate a una certa Area non significa in generale una riduzione del cofinanziamento. E’ il caso delle Aree 03 (Scienze Chimiche), 04 (Scienze Geologiche), 10 (Scienze dell’Antichità), 14 (Scienze Politiche e Sociali), il cui cofinanziamento aumenta rispettivamente del 22%, 13%, 36% e 9%.

Un ulteriore elemento di valutazione proviene dall’analisi, riportata in Tabella VII della percentuale di programmi valutati positivamente che sono stati cofinanziati. Si noti come nel caso delle Aree 01 (Scienze Matematiche), 04 (Scienze Geologiche) , 12 (Scienze Giuridiche) e 14 (Scienze Politiche e Sociali) sono stati finanziati tutti i programmi con valutazione positiva a fronte di percentuali che variano dal 76% al 91% nelle altre Aree disciplinari.

Tabella VII

Area

Numero dei
programmi
positivi

Numero dei
programmi
finanziati

Percentuale

01

17

17

100%

02

47

40

85%

03

37

28

76%

04

17

17

100%

05

66

50

76%

06

107

96

90%

07

54

43

80%

08

47

43

91%

09

80

63

79%

10

89

83

92%

11

61

56

92%

12

35

35

100%

13

52

45

87%

14

18

18

100%

Totale

727

634

87%

 

Vale la pena di sottolineare, comunque, che il confronto tra i risultati 1997 e 1998 è fortemente influenzato dalle innovazioni introdotte quest’anno, in modo particolare la notevole partecipazione di revisori stranieri e le ridotte dimensioni dei gruppi partecipanti ai singoli programmi con la conseguente migliore definizione degli obbiettivi.

 

7. Conclusioni

Le innovazioni introdotte nel 1998, in risposta alle raccomandazioni con le quali la Commissione aveva concluso i propri lavori nel 1997, hanno portato a un significativo miglioramento della procedura di selezione delle proposte e a un suo consolidamento sia dal punto di vista della qualità delle revisioni e dei giudizi espressi sia sul piano tecnico-operativo.

La maggiore coerenza delle valutazioni espresse nell’ambito delle diverse Aree e la riduzione delle forti variazioni nelle percentuali di cofinanziamento rispetto al bando dello scorso anno comprovano la capacità di auto-miglioramento del sistema di selezione messo in opera. E’ ragionevole aspettarsi che esso, anche in virtù dei suggerimenti provenienti dalla comunità scientifica, possa andare a regime raggiungendo livelli internazionali in tempi brevi.

Occorre, tuttavia, sottolineare, anche alla luce di numerose osservazioni e commenti espressi dai revisori, che la domanda di finanziamento è fortemente condizionata da alcuni fattori, che non dipendono dalla qualità del sistema di selezione.

 

In particolare:

 

E’ opinione della Commissione che solo con il superamento di queste difficoltà il sistema di selezione messo in opera potrà operare con piena efficacia, contribuendo ad evidenziare gli elementi di eccellenza nei programmi di rilevanza nazionale.