Documento operativo del Comitato dei Garanti

Suggerimenti e chiarimenti indirizzati ai Coordinatori di Progetti di Co-finanziamento.

 

Il presente documento è stato elaborato tenendo presenti sia l’analisi condotta dal Comitato dei Garanti sui risultati ottenuti dai progetti presentati nelle prime tre tornate del Programma sia le obbiezioni più spesso sollevate dai Coordinatori di progetti che non sono stati ammessi a godere del Co-finanziamento. Molte delle informazioni qui presentate sono riprese dagli altri documenti già disponibili sul sito MURST, in particolare il Documento di Indirizzo del Comitato dei Garanti e le Relazioni Finali prodotte ogni anno dal Comitato subito dopo l’assegnazione dei Co-finanziamenti. La presentazione più breve, mantenuta su linee generali e concrete dovrebbe (nelle intenzioni) facilitare la lettura ed eliminare ragioni di incomprensione che oggi appaiono non ancora superate.

  1. Il Comitato dei Garanti. Come tutti sanno, il Comitato è composto da un piccolo numero (7 nel 1999) di professori, nominati dal Ministro anche su indicazione del CUN e della CRUI, incaricati di organizzare collegialmente la valutazione dei progetti di ricerca presentati nell’ambito del Programma Co-finanziamento e di garantire l’alto livello qualitativo e la equanimità delle scelte. Il metodo impiegato per la valutazione è quello della "revisione da parte dei propri pari", o "peer review", l’unico che, seppure inevitabilmente imperfetto, fornisce garanzie di competenza e indipendenza, dato che si basa sul coinvolgimento di esperti revisori esterni cui viene garantito l’anonimato. Al contrario i Garanti non sono, nè mai potrebbero essere, esperti in tutti i campi della ricerca universitaria. Ne consegue la regola che il Comitato si è dato, fin dall’inizio del Programma (1997), di accettare per la valutazione finale del progetto tutti i pareri ricevuti dagli esperti revisori a meno che formalmente incompleti o scorretti nel loro complesso o anche in singoli aspetti. I Garanti, in altre parole, non possono entrare nel merito delle valutazioni. Al contrario, la garanzia che essi forniscono è che tutti i pareri ricevuti per ogni progetto verranno in ogni caso utilizzati nella valutazione dello stesso. Le richieste spesso avanzate da Coordinatori di eliminare il parere di un revisore o di intervenire sulle graduatorie e sul finanziamento in base a considerazioni che esulano dal parere dei revisori, cadono quindi al di là dei poteri dei Garanti.
  2. L’archivio e la scelta dei revisori. La conclusione di cui sopra rimanda al problema della disponibilità di revisori appropriati per ogni progetto. L’archivio disponibile è passato da circa 3000 esperti del primo anno a più di 14.500 disponibili oggi, scelti in base ai suggerimenti di Università, Dipartimenti, Accademie e Istituti Scientifici italiani e stranieri. Al momento il numero dei revisori stranieri ammonta a circa il 60% del totale. In specifiche aree (Biologia) essi corrispondono a oltre l’80% del totale. Si tratta di esperti provenienti da oltre 20 diversi paesi, molti dei quali di lingua madre diversa dall’inglese. Valutazioni scritte in inglese "non perfetto" non forniscono quindi alcuna indicazione sulla nazionalità del revisore.

Ogni anno l’archivio viene sistematicamente verificato in base anche alla prontezza e all’attenzione posta dai vari revisori nel lavoro di valutazione. Esso inoltre viene aggiornato anche attraverso l’interazione diretta del CINECA con gli esperti. Si può concludere quindi che il profilo dei revisori inclusi nell’archivio è molto alto e sistematicamente verificato.

L’altro punto critico è quello della scelta dei revisori per gli specifici progetti. Essa viene fatta sulla base sia della competenza scientifica generale che dalla corrispondenza tra le parole chiave fornite dal revisore e quelle caratterizzanti il progetto di ricerca. Nel caso di progetti che, per la loro connotazione scientifica, presentino una collocazione "inter-area", i revisori potranno essere scelti non in un’area sola ma nelle varie aree coinvolte, con conseguente aumento del loro numero complessivo (vedi 4). L’esistenza di rapporti personali, positivi o negativi, tra i partecipanti al progetto e i revisori non può essere nota ai Garanti, se non in casi eccezionali. Bisogna però sottolineare che una percentuale significativa dei revisori che rifiutano di assumere la responsabilità di un progetto giustifica questa scelta proprio con l’esistenza di rapporti personali. Nell’intento di migliorare la qualità della valutazione, I Garanti 1999 hanno comunque deciso che, nella scheda 2000, sia possibile al Coordinatore segnalare un massimo di tre cultori di grande prestigio internazionale, esperti nel campo del progetto tra cui, senza alcun impegno da parte dei Garanti, sarà possibile scegliere un revisore.

  1. Una condizione che spesso si realizza è la discrepanza dei pareri espressi da vari revisori di uno stesso progetto. L’esperienza che esiste in proposito non induce a ritenere una condizione del genere come indice di manchevolezza o addirittura di scorrettezza. Infatti ogni progetto può essere valutato da revisori di esperienza scientifica diversa, propensi quindi a inquadrarlo in termini non omogenei. Quando possibile, valutazioni diverse hanno comunque indotto il Garante a richiedere il parere di ulteriori valutatori, come discusso al punto 4.

4. Il numero dei pareri ricevuti dai singoli progetti non è costante ma varia da un minimo di 2 fino anche a 5 o 6 (media nel 1999: 2.75). Questa variabilità, pienamente compatibile con il dettato dei decreti che hanno bandito il Co-finanziamento, dipende in larga misura dalle condizioni e dai tempi nei quali le valutazioni vengono richieste e ricevute. Soltanto poco più del 50% delle richieste avanzate ai revisori viene infatti a concretizzarsi, le altre andando incontro a rifiuto o restando, in alcuni casi, senza risposta. Il Comitato dei Garanti deve, quindi, sempre premunirsi proponendo fin dall’inizio la revisione di ogni progetto ad un numero ampio di revisori (in genere 4; per progetti inter-area vedi punto 2) ed intervenendo ancora successivamente nel caso che i pareri non siano ricevuti nei tempi previsti. Accade inoltre che revisori inizialmente "muti" (magari per ottime ragioni, quali ferie, malattia o anni sabbatici ecc.) si premurino di inviare poi i loro pareri, seppure in ritardo. Infine (come spiegato in 3) i Garanti possono richiedere ulteriori pareri in caso di discrepanza non immediatamente spiegabile tra i pareri già ricevuti. In tutti questi casi il numero dei pareri cresce e, come spiegato in 1, tutti vengono tenuti presenti per la valutazione finale del progetto.

5. La doppia valutazione dei progetti: per lettera e per numero. Come tutti sanno, ogni progetto riceve una doppia valutazione: per lettera (A-D) e per numero, quest’ultimo ottenuto attraverso una semplice equazione spiegata in dettaglio nella Relazione Finale reperibile al sito MURST. Ora può accadere che un progetto valutato positivamente per lettera (A o B) riceva una valutazione severa per numero (in qualche caso anche viceversa). Questa situazione non è sorprendente perché le lettere si rifanno esclusivamente alle prime due domande della scheda di valutazione, relative alla originalità e alla rilevanza nazionale della ricerca. E’ parso giusto al Comitato dei Garanti assegnare a queste due proprietà del progetto un ruolo più importante delle altre nel processo di valutazione. Solo i progetti valutati positivamente (A o B) in base ai due criteri suddetti sono quindi ritenuti considerabili per il finanziamento. La finanziabilità o meno, comunque, sarà calcolata in base non solo ai primi due ma a tutti gli otto criteri specificati nella scheda (valori numerici). Eventuali discrepanze tra lettere e numeri sono quindi solo apparenti, facilmente spiegabili dalla lettura attenta delle schede compilate. In conclusione, ricordiamo che per essere finanziabile un progetto deve avere una valutazione per lettera di A o B e una valutazione numerica superiore alla media della sua area. Finora, però, i fondi disponibili non sono stati sufficienti a finanziare tutti i progetti finanziabili, quindi nella maggior parte delle aree (quelle che per l’alto numero dei progetti finanziabili hanno accesso non solo alla quota riservata ma anche a quella comune) i progetti finanziabili con punteggio vicino alla media sono comunque rimasti esclusi (vedi Relazioni Finali).

6. Un’altra considerazione assai importante riguarda lo stato dei progetti di ricerca, in particolare la loro dimensione e la loro importanza scientifica. I Decreti annuali del MURST non hanno posto finora specifiche limitazioni al numero delle Unità afferenti a singoli progetti. I Garanti intendono però comunicare che progetti troppo ampi (che includano più di 5-6 Unità) sono spesso risultati non solo molto difficili da valutare (essi infatti vengono spesso rifiutati dai revisori perché troppo onerosi; inoltre molti dei possibili revisori italiani non sono disponibili in quanto già partecipanti del progetto o ad essi legati da rapporti personali) ma anche privi di una solida giustificazione scientifica. Infatti il livello dei progetti troppo grandi è spesso variabile, con presenze di Unità mediocri che rappresentano un rischio di valutazione severa per l’intero progetto. Inoltre la co-esistenza in un Progetto di varie Unità originate dallo stesso Dipartimento non risulta quasi mai avere una adeguata giustificazione scientifica. Il Comitato Garanti, quindi, raccomanda che i progetti 2000 non includano un numero di Unità superiore a 6.

E’ inoltre importante tenere sempre presente che la valutazione richiesta ai revisori riguarda soprattutto le caratteristiche del progetto in quanto tale. La presenza di ricercatori di prestigio, che però propongono di condurre ricerche di basso profilo; di Unità locali di livello variabile, da ottimo a molto modesto; di progetti redatti in modo confuso, senza attenzione per il coordinamento tra le Unità, viene immediatamente notata dai revisori. Date le caratteristiche di eccellenza ormai raggiunte dal Programma Co-finanziamento, si richiede che i progetti siano non solo originali e di importanza nazionale, ma anche presentati da Unità ben coordinate e di livello scientifico elevato; che siano adeguatamente impostati e completi in ogni loro parte. Deficienze ed errori in questi aspetti sono stati spesso causa di critiche, con conseguenti valutazioni severe e mancato finanziamento di progetti potenzialmente validi.

  1. Le critiche sollevate dai revisori nei confronti di un progetto, anche se in qualche caso discutibili, possono tuttavia servire per identificarne aspetti di debolezza, utili quindi per impostare una versione rinnovata (e rinforzata) da presentare l’anno successivo. Si raccomanda quindi che queste opportunità non vengano lasciate cadere, ripresentando progetti senza miglioramenti e correzioni. E’ comunque importante sottolineare che, in caso di mancato finanziamento, viene garantito dal Comitato dei Garanti che nell’anno successivo i revisori di un progetto non saranno gli stessi ma verranno cambiati. Questo per allargare le prospettive di valutazione e prevenire ogni rischio di parere preconcetto.
  2. Rispetto delle scadenze. Il rispetto delle date di scadenza rappresenta per molti di noi una sorta di optional. In tutti i paesi avanzati e a livello europeo, invece, la puntualità è obbligatoria. Per indurre il progresso anche in questo campo il Comitato Garanti ha deciso che ai colleghi che non presenteranno relazioni e rendiconti del lavoro svolto verrà preclusa la possibilità di partecipare ai Programmi Co-finanziamento degli anni successivi. Inoltre i finanziamenti non rendicontati verranno addebitati a carico delle Università e sottratti dal loro finanziamento ministeriale.
  3. La valutazione ex-post. Come forse già sapete, le vostre relazioni non saranno soltanto archiviate ma verranno lette da specifici comitati di valutazione (quelli per il Co-finanziamento 1997 sono già all’opera), collegati con i Garanti. Questi ultimi, sulla base delle informazioni ricevute dai valutatori, potranno da un lato sviluppare un quadro generale del lavoro fatto, dalle punte di eccellenza fino ad eventuali risultati di basso profilo scientifico; dall’altro lato rendere pubblico il quadro, nello spirito della visibilità e della trasparenza tipico del Co-finanziamento.

In conclusione, il Programma Co-finanziamento ha raggiunto un livello di qualità e prestigio ormai ampiamente riconosciuto. Le semplici considerazioni fornite in questo documento dovrebbero nelle intenzioni aiutare i docenti a concepire e realizzare i loro progetti. Per dettagli specifici, relativi anche ad aspetti qui non discussi, si rimanda alle Relazioni Finali dei vari anni e ai documenti ad essi allegati, anch’essi disponibili nel sito Internet del MURST.

 

Cinque raccomandazioni operative per i Progetti 2000

  1. Originalità e importanza a livello nazionale e/o internazionale
  2. A meno di specifiche e documentate ragioni, non più di 5 o 6 Unità/Progetto (mai più Progetti giganti!)
    (modificato il 9 marzo 2000)
  3. In tutte le Unità livello scientifico elevato, focalizzato agli scopi del Progetto
  4. Documentata coerenza e complementarietà scientifica ed operativa tra le Unità partecipanti al Progetto
  5. Rispetto delle scadenze nelle relazioni, annuali e biennali, e nel rendiconto. L’inosservanza precluderà la presentazione di progetti nei programmi di Co-finanziamento dei prossimi anni.