Clicca per scaricare il pdf - Associazione di Valutazione Italiana
Transcript
Clicca per scaricare il pdf - Associazione di Valutazione Italiana
novembre-dicembre 2013, n. 3 ASSOCIAZIONE ITALIANA DI VALUTAZIONE SOMMARIO Mita Marra, Costruiamo insieme il “mosaico formativo” AIV; Barbara Befani, Valutazione d’impatto: metodi rigorosi al di là del controfattuale; Gabriele Tomei, I tasselli della formazione AIV; Fabrizio Tenna, Il Registro dei soci professionisti: nuovi criteri e vecchie sfide; Gianluca Braga, Indicazioni per i percorsi di apprendimento di aspiranti valutatori e valutatrici; CALL FOR PAPERS XVII CONGRESSO & NEWS Costruiamo insieme il “mosaico formativo” AIV ... Idee per una cultura della valutazione Mita Marra - Presidente Associazione Italiana di Valutazione Il dibattito sulla professione del valutatore nella nostra associazione si è finora sviluppato lungo due direttrici separate, che presentano, però, molteplici punti di contatto e potenziali sinergie. Da un lato, il valutatore è l’esperto di metodi e tecniche e la revisione tra pari è un processo di professionalizzazione e accreditamento condiviso e accettato internazionalmente. Dall’altro il valutatore è un professionista, con una missione eticamente pubblica, immerso in un mercato e in un complesso mondo professionale, amministrativo e politico. La competenza metodologica non è l’unica metrica capace di generare e validare le sue credenziali. In entrambi gli ambiti delineati, il percorso di affermazione culturale, economica, e socio-politica della professione del valutatore è una vicenda su cui AIV ha offerto un contributo significativo. Sul primo versante, l’associazione si è impegnata ad arricchire e diversificare i profili formativi universitari e postuniversitari, come puntualizza Tomei in questo numero. Ha contribuito a suscitare il confronto tra metodi e approcci, tentando di superare l’asfittica guerra tra i paradigmi positivisti e non, quantitativisti e qualitativisti. L’attuale direttivo sposa senza riserve una posizione pluralista, aperta al confronto e al dialogo epistemologico senza alcun dogmatismo. S u l s e c o n d o ve r s a n t e, l a n o s t r a associazione è impegnata ad accrescere la presenza, all’interno delle strutture di 1 valutazione dello Stato, di esperti valutatori sensibili alle esigenze politiche e amministrative del nostro tempo. Il rapporto con la pubblica amministrazione è per noi un terreno di azione prioritario, ove a p p re n d e re d a i p o l i t i c i , d a i committenti, dai manager e dagli stessi valutatori che condividono le proprie esperienze di lavoro con e per le amministrazioni locali, regionali, centrali e comunitarie. Il nostro obiettivo è di mettere a punto non un programma, ma un mosaico for mativ o composito e sfaccettato, sviluppando sia temi specifici -- ad es. la valutazione delle pari opportunità o la misurazione della performance nella PA -sia questioni di metodo -- ad es. il disegno della ricerca valutativa o la valutazione basata sulla teoria del programma. Stiamo lavorando per dar vita ad attività formative che contribuiscano a creare e rafforzare le competenze dei valutatori. In questo numero, il contributo di Barbara Befani (Institute of Development Studies University of Sussex e European Evaluation Society) propone altri approcci “rigorosi” oltre l’analisi controfattuale per la valutazione d’impatto. Segue il contributo critico di Gabriele Tomei (Università di Pisa e membro del Direttivo AIV) che ripercorre il cammino non sempre lineare della formazione AIV finora realizzata. Fabrizio Tenna, coordinatore del Comitato Esecutivo Soci Professionisti (CESP) dà conto del dibattito interno al Registro AIV teso a riformulare i criteri di accesso al Registro stesso. Chiude la newsletter il contributo di Gianluca Braga, membro del direttivo A I V, va l u t at o re e fo r m at o re ch e problematizza il tema della formazione per adulti-valutatori. Braga accorda particolare importanza alla relazione dialettica tra apprendimento formale e informale. E’, infatti, nell’interazione tra sapere tacito e conoscenza codificata che nel tempo si costruiscono le competenze professionali specifiche al fine di far funzionare meglio prog rammi e istituzioni. E tale dialettica è, appunto, il modus operandi della formazione targata AIV. Torneremo a confrontarci su questo tema in occasione del prossimo Congresso (v. Call for papers allegata) e in un futuro seminario dedicato al tema delle competenze. Intanto, il prossimo numero 4 della newsletter si occuperà della valutazione delle performance della giustizia italiana. In questo ambito, la valutazione può offrire un importantissimo contributo utile a riformulare processi, ridisegnare funzioni, m e t t e r e i n c o l l e g a m e n t o fi g u r e professionali, spostando parte del potere decisionale a livelli più bassi della gerarchia istituzionale. Invitiamo i lettori ad intervenire con commenti agli articoli e a suggerire approfondimenti ai temi trattati. Per proporre contributi scrivete a: [email protected] novembre-dicembre 2013, n. 3 Valutazione d’impatto: metodi rigorosi al di là del controfattuale Barbara Befani - Research Fellow, Institute of Development Studies University of Sussex e European Evaluation Society (EES) ([email protected]) Nel 2011, a pochi giorni dal mio approdo oltremanica, mando una breve email ad Elliot Stern, col quale avevo da poco finito di lavorare alla valutazione esterna dell’UNESCO, dicendogli più o meno “ciao, sono emigrata, da una settimana vivo a Londra e non torno più in Italia”. Lui mi chiama al telefono dopo pochi minuti, proponendomi di lavorare con lui a un’offerta per una ricerca che suonava estremamente interessante: un’esplorazione di metodi e disegni di ricerca, in uso nelle scienze sociali, che potessero essere adatti e adattati alla valutazione d’impatto delle politiche di sviluppo. Il bando, privato e limitato a otto possibili team leader, era segno di una nuova volontà da parte del Dipartimento per le politiche sviluppo del governo inglese (DFID, l’ex ufficio per l’amministrazione delle colonie dell’impero britannico...!!) di risolvere una situazione paradossale, che vedeva i metodi ritenuti “rigorosi” essere adatti a una minima percentuale dei progetti e programmi finanziati dal dipartimento, stimata intorno al 5%. DFID voleva capire se veramente doveva smettere di fare il 95% delle cose che faceva perché non erano valutabili in maniera rigorosa, oppure perdere reputazione per non saper valutare quello che faceva, o se magari c’era una terza via. Il nostro compito era esplorare questa terza via: capire se era possibile valutare in maniera rigorosa l’impatto di progetti e programmi complessi, che non è possibile valutare con metodi sperimentali o basati sul controfattuale. La collaborazione nata quel giorno, a cui hanno partecipato anche John Mayne, Nicoletta Stame, Kim Forss e Rick Davies, insieme a una schiera di advisors sparsi per il mondo, è diventata un rapporto, uscito nel 2012 e divenuto noto come “Stern paper” o anche “options paper”, che ha avuto una notevole diffusione ed è stato citato un po’ ovunque si parli di valutazione d’impatto (per avere un’idea basta cercare su google DFID impact 2 evaluation, o anche solo DFID evaluation e lo si troverà ai primissimi posti del ranking dei risultati di ricerca). Tutto ciò con grande sorpresa degli autori: pensavamo fosse decente ma avvertivamo un che di “unfinished business”, un che di non risolto. Era un rapporto che apriva un vaso di pandora, più che fornire delle risposte operative; un tentativo di aprire le menti, piuttosto che offrire degli strumenti ad uso e consumo della comunità di valutazione. E’ stata una piacevole sor presa constatare quanto fosse alta la domanda per nuovi concetti, nuovi approcci di filosofia della scienza, nuove categorie interpretative e nuovi strumenti di pensiero; ma sapevamo che sarebbe arrivato presto il momento in cui un seguito pratico e operativo sarebbe apparso necessario. Quello che non sapevamo è che il rapporto sarebbe stato considerato un punto di riferimento per l’innovazione globale nella valutazione d’impatto, come dimostra la volontà di DFID di finanziare un nuovo Centro d’Eccellenza, dell’ordine di 20 milioni di sterline per i primi cinque anni, guidato dagli sviluppi intellettuali del nostro rapporto. Cosa c’è di tanto speciale in questo rapporto? Cominciamo con le infor mazioni di base: il titolo è “broadening the range of designs and methods for impact evaluations”, e si propone di ampliare la gamma di opzioni disponibili, in termini di disegno e metodi, per la valutazione d’impatto. Comincia col demolire il mito che esistano metodi superiori sempre e comunque, e introduce il concetto di “appropriatezza” dei metodi. Appropriatezza a cosa? L’idea centrale è che 1) diversi metodi sono necessari per rispondere a diverse domande di valutazione d’impatto e 2) diversi metodi si adattano meg lio ag li “attributes” di questi programmi, ovvero alle caratteristiche dell’intervento, che possono riguardare sia il tipo di programma che le condizioni di implementazione. Ad esempio, le domande di valutazione d’impatto non sono solo del tipo “quanto è l’effetto netto del programma”, ma anche “che tipo di differenza ha fatto il programma”, “come e perché il programma ha fatto la differenza” e “avrà il programma lo stesso effetto altrove”? Questa parte è stata sviluppata da Elliot insieme a me, John Mayne e la nostra advisor Nancy Cartwright, la quale in quel periodo stava scrivendo un libro (EvidenceBased Policy, 2012) in cui sostiene che l’approccio sperimentale serve soltanto a rispondere alla domanda “did it work here” (ha funzionato qui?) ma è inutile per capire se il programma funzionerà altrove (will it work elsewhere / elsewhen?). Questo perché l’approccio sperimentale non offre informazioni sui “fattori di supporto” che hanno permesso al programma di funzionare. Il programma funzionerà nel contesto B solo se i “fattori di supporto” che gli hanno permesso di funzionare nel contesto A sono egualmente presenti nel contesto B. E questo il controfattuale non ce lo dice. Altra domanda a cui il controfattuale non risponde è “come e perché ha funzionato”, mentre il concetto più generale del “fare la differenza” permette di cogliere le differenze qualitative che possono essere state ottenute grazie al programma, che gli approcci sperimentali non necessariamente colgono, essendo tesi a misurare una differenza quantitativa su un indicatore prestabilito. Dietro a queste diverse domande di valutazione c’è il concetto di inferenza causale, intesa in senso ampio, come viene utilizzata nelle scienze sociali e nella filosofia della scienza: mentre scrivevo la mia appendice sui modelli di inferenza causale mi chiedevo, ma se nelle scienze sociali esiste una pluralità di modelli e di modi di attribuire cause ad effetti, perché nella valutazione d’impatto ne deve esistere solo uno? Veramente siamo così fighi e speciali? Sembra impossibile a quanti vanno vendendo il controfattuale come l’UNICO modo di fare inferenza e attribuire cause ad effetti, ma nella scienza esistono almeno tre modelli alternativi. Uno, basato sulla regolarità di Hume, è compatibile coi metodi quantitativi e gli approcci quasisperimentali come la regressione. Ma gli altri due sono molto più radicalmente diversi: sia gli approcci basati sulla regolarità di Hume che il controfattuale di John Stuart Mill (Mill lo chiamava “il metodo della differenza”, the method of difference) sono modelli in cui si cerca di associare UN effetto con UNA causa. Sono modelli che Pawson chiama “successionist” o sequenziali. Quello produce questo; questo è prodotto da quello. La realtà dovrebbe essere semplice e lineare, e se non è così non la valutiamo. Gli altri due approcci invece, uno basato sui meccanismi (genetico) e novembre-dicembre 2013, n. 3 uno “configurazionale” o “multiplocongiunturale” analizzano non una singola causa, ma un insieme di cause che agiscono come un pacchetto, una combinazione, per produrre l’effetto. Diversi pacchetti posso produrre lo stesso effetto; e lo stesso intervento può produrre l’effetto o meno a seconda del contesto, o di quali altre cause si trovano n e l p a c c h e t t o. I n a l t r e p a ro l e l’intervento è solo una causa in mezzo a un pacchetto, e non è isolabile nel senso di produrre un effetto residuo. La base matematica di questo approccio non è l’analisi, coi suoi intorni e numeri reali, bensì la teoria degli insiemi, coi suoi concetti di unione, intersezione, negazione. Il che porta a specificare se la causa è necessaria, o sufficiente, oppure né necessaria né sufficiente. Nell’analisi controfattuale spesso si dà per scontato che l’intervento sia necessario e sufficiente, o almeno sufficiente. Ma esistono cause che sono soltanto necessarie, e altre ancora che non sono né necessarie né sufficienti, e sono pur sempre cause... un intervento può essere sufficiente a produrre un effetto, ma non necessario (l’effetto può essere prodotto anche senza l’intervento); oppure può essere necessario (non riesco mai a produrre l’effetto senza l’intervento) ma non sufficiente, perché ha bisogno di altri fattori per produr re l’ef fetto (i supporting factors di Nancy); ma nella maggior parte dei casi non è né necessario né sufficiente, e se siamo fortunati è una “INUS cause”, ovvero una parte necessaria di un pacchetto sufficiente (non basta da solo a produrre l’effetto, l’effetto in generale può essere prodotto anche senza, ma in un contesto molto specifico è necessario perché il contesto da solo senza l’intervento non produce mai l’effetto). Quindi la questione dell’attribuzione causale è molto più complessa di come spesso si cerca di venderla, e il controfattuale risulta adeguato per una minoranza di programmi categorizzabili come “semplici”, e caratterizzati da un rapporto lineare e diretto tra causa ed effetto. Cosa facciamo negli altri casi, quando i programmi sono complicati o complessi? Il paper offre una serie di opzioni disponibili, e una serie di caratteristiche degli interventi che hanno un ruolo nell’indicare la pista da seguire. Le caratteristiche degli interventi che hanno un ruolo nella scelta dei metodi sono: 3 1. arco temporale in cui si producono gli effetti (breve, medio o lungo periodo); 2. grado di conoscenza della traiettoria di cambiamento (è lineare? Veloce? S i d eve p e g g i o r a re p r i m a d i migliorare? Si migliora all’inizio ma non è sostenibile?); 3. chiarezza nell’identificazione degli effetti, compresi quelli intermedi 4. sovrapposizione ad altri interventi con obiettivi simili 5. combinazione di attività multiple e diverse messe in atto per raggiungere un obiettivo 6. implementazione di uno stesso programma in contesti diversi 7. erogazione indiretta (ad esempio attraverso l’istituzione di un fondo o di una struttura amministrativa semiautonoma) I metodi disponibili sono molti, alcuni relativamente recenti ma or mai consolidati nella pratica accademica di scienze sociali: ad esempio studi di caso e metodi di sintesi basati sulla comparazione sistematica di studi di caso (es. la QCA); contribution analysis, impact pathway analysis, process tracing, social simulation, systems thinking e i vari approcci informati dalla complexity science. Il paper è come un menu di un grosso ristorante, ma non ci sono piatti del giorno o consigli dello chef. Introduce e giustifica il concetto di “ristorazione à la carte”; ma non ordina nulla per nessuno. Sta ad ogni valutatore, in base al mandato specifico di valutazione, scegliere la combinazione di metodi e approcci che meglio si adatta alle caratteristiche dell’intervento e alle domande di valutazione. Quali sono i pranzi migliori, magari quelli più completi o più facili da digerire o quelli che offrono il miglior rapporto qualitàprezzo; o ancora quelli migliori in base alla stagione, si scoprirà nel tempo: quando il lavoro di tutti i valutatori che oggi utilizzano questa logica pluralistica e multidisciplinare di appropriatezza, e applicano gli ultimi sviluppi metodologici delle scienze sociali alla valutazione, si consoliderà. Il mio istituto e il nuovo Centro di Eccellenza che DFID sta mettendo in cantiere cercheranno di stimolare, consolidare e diffondere questo tipo di ricerca; per cui, se siete interessati agli sviluppi, restate sintonizzati sui canali d’oltremanica. Riferimenti bibliografici Stern, E., Stame, N., Mayne, J., Forss, K., Davis, R., Befani, B., (2012) Broadening the Space of Designs and Methods for Impact Evaluation, Report of a Study Commissioned by the Department for International Development, Working Paper No. 38, Department for International Development, UK. I tasselli della formazione AIV Gabriele Tomei - Università degli Studi di Pisa ([email protected]) Come ha recentemente ribadito Claudio Bezzi, la valutazione è una disciplina che nonostante la sua più che trentennale storia ancora non riesce ad affermarsi come pratica “normale” all’interno della pubblica amministrazione italiana. Gran parte della responsabilità deve essere attribuita alle rigidità del sistema istituzionale italiano che da un lato ha introdotto la valutazione in molti campi delle politiche pubbliche del paese (es. istruzione, ricerca, pubblica amministrazione) procedendo ad istituzionalizzare agenzie tecniche specializzate (INVALSI, ANVUR, CIVIT-ARAN) ma che dall’altro la ha inter pretata come una attività esclusivamente di tipo burocraticogestionale. Qualche elemento di responsabilità per l’arretratezza della cultura valutativa italiana (dice sempre Bezzi) è però da addebitare anche alla comunità dei valutatori che, “sebbene molto cresciuta (e ringiovanita nds) negli anni, propone ancora metodi incerti e poco originali, si adagia sul disinteresse d e l l ’ a m m i n i s t r a z i o n e e p ro p i n a valutazioni scarsamente utili e meno ancora utilizzabili”. L’AIV è impegnata fin dalla sua costituzione (nel 1997) sul fronte della formazione culturale e professionale dei valutatori. Il primo sforzo sistematico è stato organizzato attraverso le famose “scuole AIV”: esperienze fondamentali per molti valutatori che hanno potuto apprendere o aggiornare competenze specifiche attraverso la partecipazione a corsi monografici brevi (generalmente tra i due giorni e la settimana). Ma il carattere necessariamente specialistico ed occasionale delle scuole ha spinto AIV ad affiancare a quelle una proposta formativa più articolate e sistematica, novembre-dicembre 2013, n. 3 4 attivando collaborazioni con alcune Università impegnate sul tema per utilizzare la loro crescente attività di ricerca come base per l’istituzionalizzazione di un’offerta diffusa di corsi curricolari di metodi e tecniche della valutazione delle politiche pubbliche. In occasione del Congresso AIV di Napoli (2008) alcune Univer sità si assunsero l’impegno di sviluppare una offerta formativa che fosse incardinata nei curricula universitari di terzo livello (master). Da questo impegno sono nati i Master in Valutazione di Pisa (2010), Catania (2011), Genova e Sassari (2012), Venezia (2013) che in occasione del Congresso di Bari (2012) hanno deliberato di intraprendere un percorso di avvicinamento in vista della elaborazione una proposta unitaria a carattere nazionale. I master hanno garantito una offerta formativa di base incentrata su cinque assi tematici: un primo asse di fondamentali (sociologia, economia, statistica, ecc.), tre di carattere teoricometodologico (analisi dei processi decisionali e della programmazione strategica nella PA, teoria della valutazione, metodologia e tecniche della ricerca valutativa); il quarto di carattere sostantivo e variabile a seconda delle sedi del master (valutazione delle politiche sociali a Pisa e Genova; valutazione dello sviluppo territoriale a Catania; valutazione delle politiche sanitarie a Venezia). Attraverso questi master gli allievi possono sviluppare una solida formazione di base di carattere teorico e tecnico-metodologico. Tuttavia, per quanto fondamentale ed imprescindibile, questo risultato ancora non basta per rilanciare una cultura valutativa all’altezza delle sfide che il nostro Paese richiederebbe. I soci professionisti di AIV (CESP) hanno da tempo avviato una riflessione sulle competenze necessarie allo svolgimento delle diverse attività relative alla ricerca valutativa, evidenziando bisogni integrativi rispetto ai contenuti della formazione teorica e metodologica fornita dai master e dagli altri strumenti di alta fo r m a z i o n e a c c a d e m i c a ( c o r s i , seminari, ecc.). I percorsi universitari forniscono infatti strumenti teorici e metodologie per analizzare e comprendere i diversi contesti che esprimono il bisogno/la domanda di valutazione e per elaborare piani di v a l u t a z i o n e . Tu t t a v i a i c o r s i universitari fanno strutturalmente fatica ad affiancare alla formazione d’aula degli adeguati percorsi di work experience e non sono in grado di offrire una formazione applicativa nel campo della gestione della ricerca valutativa (management, gestione gruppi, comunicazione interna, ecc.) e della predisposizione e comunicazione pubblica della sua documentazione finale. Inoltre la scelta di privilegiare la formazione iniziale non si presta a rispondere ai bisogni di aggiornamento dei professionisti che invece richiedono aggiornamenti più puntuali ed approfonditi. Per promuovere la for mazione culturale e professionale dei valutatori oggi è necessario integrare tutte queste proposte all’interno di un disegno organico ma pluralistico, nel quale agli attuali strumenti diretti alla formazione di base in ingresso (master e corsi di alta formazione esistenti) si vadano ag giungere percor si di aggiornamento più brevi e specialistici (scuole AIV, seminari) e confronti di esperienze tra pari all’interno di comunità di pratiche (laboratori) ai quali possano accedere i valutatori in base al proprio grado di esperienza e bisogno, in una logica di formazione c o n t i nu a e p e r s o n a l i z z at a . L a formazione seguirà così un percorso a “mosaico”, fatto di tasselli che ciascun valutatore potrà combinare a seconda dei propri punti di partenza, delle competenze e delle esperienze maturate, degli interessi e delle aspettative di crescita culturale e professionale. Il nuovo direttivo AIV si è impegnato ad impostare un disegno di questo tipo in collaborazione con le Università, il CESP ed i gruppi tematici e nei prossimi mesi inviterà i soggetti interessati ad un primo momento di confronto seminariale nel quale ragionare sulla strategia generale di questa proposta. Il Registro dei soci professionisti: nuovi criteri e vecchie sfide Fabrizio Tenna - Coordinatore Comitato Esecutivo dei Soci Professionisti (CESP)AIV, consulente di Agriconsulting ([email protected]) A un convegno a cui mi è capitato di partecipare, alla fine di ottobre, mi sono confrontato con un collega, un professionista che da anni coordina servizi di valutazione indipendente su programmi regionali cofinanziati dalla UE. Un collega che è stato per anni dentro AIV e poi ha deciso di non iscriversi più. Stavo cercando di raccontargli dell'esperienza del Registro e di ciò c h e A I V vo r r e b b e f a r e p e r i professionisti, ma più andavo avanti e più vedevo in lui crescere un sentimento ostile. Tanto che ad un certo punto mi sono fermato e gli ho chiesto se ci fosse qualcosa che lo contrariava. Si è riversato sulla nostra discussione senza lasciare una possibilità di replica come un fiume che ha rotto gli argini. Il nocciolo della sua invettiva può essere circoscritto a due questioni: da una parte sottolineava la debolezza di un'operazione di stampo “albesco”, in questa fase storica, alla luce di tutti i fattori degenerativi che connotano gli Albi; dall'altra stigmatizzava la presunzione da parte di AIV di poter stabilire chi sia un professionista e chi no. Il titolo di questo articolo è figlio di quella discussione. Vuole raccontare ai soci e ai non soci la nostra proposta sfidando anche diffidenze e pregiudizi; sentimenti diffusi nella comunità umana e dunque anche nei valutatori, non solo in quelli che si incontrano ai convegni. Come Coordinamento dei soci professionisti (CESP) abbiamo da poche settimane articolato una nuova proposta per l'accesso al Registro che presto circolerà all'interno di AIV, la proposta poggia su criteri che delineano un nuovo sistema volontario di “registrazione” della professionalità. La proposta cerca di fare tesoro dell’esperienza maturata in questi primi anni di gestione del Registro cercando di trovare un equilibrio tra la pratica della valutazione (l’esercizio della professione) e il possesso delle competenze adeguate per esercitarla (la professionalità). Ci è subito apparso chiaro che una rivisitazione dei criteri - attualmente incentrati su una soglia di sei mesi l’anno impiegati in attività di valutazione - non potesse essere slegata dalla “missione” del Registro. I criteri definiscono non solo cosa deve “possedere” chi è dentro, ma anche il come, attraverso quale meccanismo e il perché, qual è lo scopo. COSA: il socio professionista deve possedere una professionalità maturata novembre-dicembre 2013, n. 3 nell'arco della carriera professionale in attività di valutazione. COME: il socio professionista deve dimostrare il possesso delle competenze attraverso un sistema di autovalutazione (competenze legate al profilo di valutatore professionista presentato all'ultimo Congresso di Milano e in corso di pubblicazione all'interno del Libro Bianco sulla valutazione). Le competenze sono sapere in azione e dunque presuppongono un esercizio professionale delle capacità acquisite. PERCHE': perché vuole ottenere il riconoscimento sociale di una professione “atipica”, perché vuole fare parte di una comunità di valutatori che ha valori comuni (codice etico) e che sia in g rado di far crescere la sua professionalità (formazione-tutoraggio), perché il riconoscimento professionale possa avere anche un ritorno sul mercato (pensiamo ai giovani, ai free lance e alle barriere poste all'ingresso della nostra professione). Pensiamo dunque - rispondendo idealmente al collega del convegno - che non è nostra intenzione creare un albo. L'AIV non è interessata ad un'operazione del genere. Non è nostra intenzione creare una barriera in entrata al mercato né creare uno spartiacque tra professionisti riconosciuti dall'Associazione e altri professionisti che non gravitano nell'orbita AIV. Crediamo invece che sia quanto mai necessario, in questa fase, rilanciare sul terreno del professionismo un'iniziativa che abbia una finalità culturale: sia verso chi farà parte del Registro sia verso chi non si 5 riconosce nella professione pur facendo parte di organismi che hanno nella loro “ragione sociale” la parola valutazione. Riteniamo infatti che se AIV riuscisse a costruire un Registro pieno di contenuti, credibile e trasparente nel meccanismo di selezione, tale operazione potrebbe essere rivolta ad un'ampia platea di soggetti ed istituzioni che si cimentano con la valutazione; proponendosi non come un soggetto che fa accreditamento ma come soggetto che si fa garante della professionalità dei soci. L'adesione al Registro sarà su base volontaria e chi deciderà di entrare si troverà all'interno di una comunità di soggetti che condividono valori ed esperienze e che perseguono la crescita continua di capacità che si potranno tradurre, se applicate, in nuove competenze. I nuovi criteri sono incentrati sulle competenze del socio professionista: il socio che esercita con continuità le proprie competenze nell'ambito di attività di valutazione riconducibili a quelle previste dall'articolo 1 del nostro Statuto. Con questo approccio il meccanismo di accesso al Registro non prevede più una verifica del “monte ore” raggiunto in attività di valutazione ma “certifica” il possesso delle competenze necessarie a essere un professionista. La valutazione può essere infatti un'attività svolta saltuariamente e non con continuità nel corso dell'anno (o degli anni). Basarsi esclusivamente sui mesi/ uomo per stabilire chi è professionista e chi no, ha di fatto circoscritto il Registro a un quarantina di soggetti; un numero che è rimasto stabile in quest’ultimo biennio (il primo CESP è stato eletto al Congresso di Trento del 2011). Il socio che intende accedere al Registro deve dunque dimostrare di possedere competenze acquisite nel corso della propria vita professionale. Per stabilire il minimo di competenze per accedere al Registro abbiamo previsto un percorso in cui chi fa domanda di accesso sintetizza gli elementi salienti della sua attività professionale e valuta come e quanti di questi lavori lo abbiano “obbligato” a dispiegare la propria conoscenza. Alla fine di questo percorso il candidato sulla base delle competenze che pensa di aver acquisito decide in quale profilo di “valutatore professionista” riconoscersi. Al momento abbiamo previsto quattro profili: il metodologico, il coordinatore, l’esperto settoriale e l'analista. L’analista è il profilo minimo per accedere al Registro. La scelta di prevedere profili differenti consente da un lato di allargare la platea dei possibili professionisti agli junior della valutazione o a chi lavora dentro organismi che fanno valutazione in team (Nuclei e OIV), e dall'altro consente di costruire moduli di aggiornamento professionale diversificati per profilo di competenza. Prevediamo inoltre che lo status di socio professionista, a differenza degli albi, sia soggetto a una verifica periodica (segua la durata del mandato del Direttivo) al fine di avere a disposizione un orizzonte temporale più ampio per crescere come comunità di pratica. Ricordiamo che il novembre-dicembre 2013, n. 3 meccanismo attuale prevede una verifica annuale dei requisiti. In quest'ultimo anno altre associazioni di valutazione - ci riferiamo all’Associazione di valutazione del Regno Unito e a quella Europea stanno ragionando su un sistema di standard e di meccanismi di gestione per registrare i valutatori professionisti. La nostra proposta dovrà necessariamente cogliere alcuni elementi previsti dalla normativa nazionale in materia di professioni non regolamentate (ad esempio il tema della formazione obbligatoria) e dall’altro creare un ponte con gli altri modelli internazionali per puntare ad un registro di valutatori professionisti europei. L’obiettivo è quello di trovare un denominatore comune che consenta ai nostri soci professionisti di confluire automaticamente (attraverso il nostro modello di selezione) all’interno del Registro europeo. L’obiettivo che ci siamo posti è di arrivare al prossimo congresso annuale con una proposta che sia di tutta l ’ A s s o c i a z i o n e. N e l l e p ro s s i m e settimane il documento del CESP verrà messo a disposizione dell’Associazione affinché possa essere migliorato e integrato con l’apporto di tutte e tutti. Indicazioni per i percorsi di apprendimento di aspiranti valutatori e valutatrici Gianluca Braga - Direttivo AIV, valutatore ([email protected]) 6 Si potrebbe introdurre qualsiasi contributo sul tema della valutazione affermando – senza particolari timori di smentita – che la valutazione sia professione giovane. Che, ad esempio, in Italia l’Associazione Italiana di Valutazione vede la luce soltanto nel 1997; ma che anche la relativamente più longeva American Evaluation Association tiene la sua prima Evaluation Conference solo nel 1986. Una tale prolusione suonerebbe più che altro come alibi; mettere le mani avanti a fronte di qualsiasi critica possa venir avanzata. Per quanto giovane, ogni professione ha bisogno di alcune chiarezze: cosa fa (il valutatore, la valutatrice), perché lo fa (quali obiettivi, quali i vantaggi che procura) e come si fa (metodi, tecniche, prassi della valutazione), sono elementi chiave per raccontarsi al mondo. Potremmo soprassedere, almeno all’inizio, su quando e dove si debba fare valutazione (“dall’inizio alla fine” e “un po’ ovunque” potrebbero essere buone approssimazioni). Ma per rispondere alla domanda “chi è il valutatore, chi è la valutatrice”, è obbligatorio dare chiare e univoche risposte a tutte le macro-domande proposte. Occorre definire il profilo professionale. Valutatori quasi per caso? Ad oggi non si può affermare che esista, in Italia, un percorso formativo strutturato che consenta ad uno studente neo-laureato di formarsi alla professione del valutatore. In questa stessa Newsletter, Gabriele Tomei ricorda come nel corso di questi anni siano state realizzate edizioni di Master in tema di valutazione e interessanti edizioni di Scuole Estive; sporadici eventi formativi sono stati e sono proposti ogni anno da varie organizzazioni. Ma un percorso standard, consolidato, che abiliti alla professione di valutatore non esiste. Ciononostante esiste – presso AIV – un Registro che censisce una quarantina di soci professionisti; colleghi che dimostrano di lavorare prevalentemente e con continuità come valutatori e valutatrici. Costoro sono da considerare solo una parte del sistema-valutazione, che è composto da un numero non precisato di persone che svolgono saltuariamente l’attività di valutatore (ad esempio, circa 80 furono inizialmente le domande di adesione al Registro), e da coloro che fanno ricerca e insegnano valutazione presso scuole e Università, o che lavorano presso organismi che hanno compiti valutativi (gli iscritti, per anno, all’AIV viaggiano attorno ai 250; e sarebbe interessante verificare quante per sone sono transitate nel corso degli anni in quanto “fiancheggiatrici”: non credo possano essere inferiori al migliaio di persone). La valutazione è dunque a tutti gli effetti una professione, con un percorso formativo non (ancora) codificato. Non è la sola professione in tale condizione ed è, anzi, in buona compagnia. Amministratori di Condominio, interpreti e traduttori, bibliotecari, psicomotricisti, progettisti d’interni sono altrettante professioni “non regolamentate”, che hanno però beneficiato delle recenti normative (Decreto Legislativo 206/07 e Legge 4/2013) e hanno fatto richiesta presso il Ministero per ottenere il riconoscimento dei requisiti specifici a tutela della professione e, in ultima analisi, dei suoi beneficiari. Questo è un punto decisivo: riconoscere una disciplina ed elevarla al rango di professione consente non soltanto di codificarne il mandato e le competenze necessarie a svolgerla, ma permette di individuare dei criteri di qualità dell’operare che sono a garanzia di tutti, in particolare dei beneficiari e clienti. Da garanzia verso l’esterno, a chiarezza per chi sta dentro Avere un quadro complessivo della professione del valutatore e della valutatrice significa dunque codificarne una serie di aspetti. Il mandato, si diceva, ma anche gli ambiti di impiego e le prassi tipiche. In altri termini, si tratta di individuare le “competenze” professionali, intese sia nell’accezione del “cosa compete” a chi si occupa di valutazione, sia degli apprendimenti necessari a gestire nel modo più corretto (“competente”) tale mandato. Definire le competenze necessarie a svolgere una professione consente peraltro di strutturare non solo percorsi formativi coerenti, ma anche sistemi più generali di offerta formativa; dove possano trovare collocazione proposte ampie ed esaurienti, ma dove vi sia spazio anche per iniziative specifiche, facilmente localizzabili all’interno del cor pus disciplinare complessivo. Consente una sorta – insomma – di geog rafia della professione che permette di individuare la posizione e le principali caratteristiche dei continenti-valutazione, ma anche di sapere in quale relazione ogni singolo stato-competenza, regione-conoscenza, villag gio-abilità stanno rispetto all’intero pianeta. …Ma chi sei: Mandrake?!? Apprendere le competenze di una professione vasta, complessa e talvolta imprevedibile Il Comitato Esecutivo dei Soci Professionisti (CESP) sta, da qualche tempo, lavorando su un’interessante p r o p o s t a d i d e fi n i z i o n e d e l l e competenze valutative e su una scheda di autovalutazione di tali competenze. Un passaggio che consentirà un salto in avanti rispetto all’identità di valutatore e valutatrice, spostando la questione novembre-dicembre 2013, n. 3 dalla quantità di tempo impiegato per for marsi e lavorare, alla documentazione di competenze professionali specifiche. Quando si legge un ruolo professionale attraverso competenze, la sensazione che spesso si prova è di impotenza di fronte all’immenso. Che siano richieste troppe “qualità” e che noi non saremo in grado di far fronte a tante e tali richieste. I colleghi che mi staranno leggendo – se mai avranno la pazienza di farlo – staranno pensando che ho travisato il senso del loro importante lavoro. Ma la mia intenzione non è quella di screditarne il valore, che riconosco pienamente (un “catalogo di competenze” deve per forza essere completo), ma di sottolineare come anche la formazione si trova ad affrontare un compito che può sembrare immane: aiutare l’aspirante valutatore/trice a fabbricare e organizzare i tantissimi “mattoncini di competenza” necessari a svolgere il proprio lavoro. Una reazione istintiva rischia di essere distruttiva: “non può essere così; è sbagliato il modo con cui si è scelto di procedere”. Capita spesso di sentire frasi di questo genere. La strategia che personalmente ritengo più interessante per arginare questo senso d’inadeguatezza è invece un’altra: pensare che il valutatore e la valutatrice non siano professioni solitarie. Per quanto molti oggi 7 lavorino come singoli professionisti, si trovano comunque coinvolti in contesti professionali che li obbligano ad integrarsi con altre persone, con altre professionalità e con ruoli diversi. L’ideale sarebbe poter costituire dei veri e propri “team di valutazione”, dove vengano assemblate le competenze necessarie a governare i processi, ad impostare una corretta metodologia di lavoro, a maneggiare i contenuti dell’oggetto da valutare e a condurre correttamente tutte le attività di ricerca sociale previste. A questo punto, qualsiasi griglia esaustiva di competenze valutative sarà da riferire ad un intero gruppo di persone; all’interno del quale potremo trovare una nostra collocazione e specificità, fornendo un contributo competente e specifico e avvalendoci della collaborazione degli altri. In questa logica, potremo anche andare a costruire il nostro percorso formativo, scegliendo le competenze che più ci “assomigliano” e che rappresentano il nostro modo di (voler) essere valutatori e valutatrici. Due questioni sulla formazione Non riesco a concludere un contributo sul tema della formazione allo sviluppo di competenze valutative senza porre un paio di condizioni necessarie e non eludibili che derivano dalle scienze for mative e, in particolare, dall’approccio più “esperienziale” e vicino alla formazione alle professioni. Primo: occorre affrontare il problema di come si apprendono le competenze valutative, non di come si insegnano. La differenza potrebbe sembrare minima, salvo leggere il secondo postulato ed essere disponibili a portare fino in fondo queste premesse. Secondo: le occasioni di apprendimento sono prevalentemente legate a contesti non formali (non a scuola, per intenderci); e sono spesso anche non intenzionali, occasionali. Pensando a dove abbiamo appreso a fare il nostro lavoro, solo in parte ci verranno in mente lezioni ascoltate in Università o libri specifici letti; più spesso ricorderemo una discussione con un collega esperto, un lavoro che abbiamo fatto e che ha funzionato bene (o male), un modo di fare che abbiamo potuto notare. D’altronde, viviamo 24 ore al giorno per 7 giorni alla settimana, mentre riusciamo a frequentare corsi per poche ore al mese; se non utilizzassimo l’esperienza quotidiana come fonte di apprendimento e ci limitassimo alla sola formazione canonica, perderemmo un enorme potenziale di apprendimento. E, giustamente, non ci comportiamo così. Ma, se vogliamo dirla con Oscar Wilde: “l’esperienza è il tipo di insegnante più difficile: prima ti fa l’esame, poi ti spiega la lezione”. Non sempre i fatti che accadono diventano esperienza e apprendimento. Perché ciò accada, occorre essere presenti, novembre-dicembre 2013, n. 3 essere consapevoli del nostro esistere in quel momento, in quella situazione. Occorre esercitare attivamente delle funzioni metacognitive; produrre dei cambiamenti, attività, pensiero. Piergiorgio Reggio, nel suo libro “Il Quarto Sapere”, indica quattro principali movimenti quali condizioni per produrre processi di apprendimento, a partire dalle esperienze del quotidiano: dirigere l’attenzione verso un oggetto, o un obiettivo di sviluppo personale; osservare il fenomeno che ci interessa, il fatto che accade e il nostro reagire ad esso; trasformare l’esperienza e integrarla nei nostri schemi di comprensione del mondo; generare forme di cambiamento del nostro pensare e del nostro comportamento. A questo punto sarà più evidente come la formazione debba ripensarsi, per porsi efficacemente a servizio dell’apprendimento di competenze professionali da parte del valutatore e della valutatrice. Dovrà abbandonare sempre più spesso schemi tradizionali e rassicuranti - la lezione - e sviluppare invece forme di accompagnamento alla crescita professionale: comunità di pratiche, peer education, supervisione metodologica, affiancamenti, stage e tirocini, tutoring e mentoring. Che possono sembrare oggetti astrusi e non è certo questa la sede per definirli; ma spero possano dare conto d e l l a d i ve r s a “ p ro s p e t t i v a ” d e l l a for mazione rispetto ai processi di apprendimento delle persone: porsi a servizio della persona stessa e della sua capacità di farsi influenzare positivamente dalle esperienze Proviamo una sintesi Riassumendo: nell’ottica del pensare ad un sistema formativo per la professione di valutatore e valutatrice - azione inevitabile per dare a tale professione il suo corretto valore - occorre operare uno sforzo di definizione delle competenze di ruolo. Sapere cosa fa la valutazione, come si fa e perché, significa poter definire anche chi sia il valutatore e la valutatrice. Descrivendone le competenze necessarie. Le competenze saranno necessariamente troppe; ma non andranno intese come traguardo individuale obbligato, ma come mappa per costruire gruppi di lavoro e percorsi di crescita personali. Percorsi che – pur intenzionali e progettati – devono vedere il soggetto che apprende alla guida del proprio percorso di sviluppo professionale. Lasciando a formatori e formatrici il compito di accompagnare da fuori, di facilitare percorsi di apprendimento. Idee per una cultura della valutazione 8 XVII Congresso nazionale Associazione Italiana di Valutazione - AIV Dipartimento di Scienze Politiche, Università di Napoli “Federico II” 10 - 11 aprile 2014 Per una cultura della valutazione: competenze professionali, pratiche democratiche e trasformazioni federaliste in Italia e in Europa CALL FOR PAPERS Le recenti pressioni europee per il rigore nei conti pubblici rendono ancora più cogente la valutazione delle politiche e dei programmi di spesa per assicurare un più efficiente utilizzo delle risorse collettive e un migliore benessere sociale. Eppure, nonostante i reiterati sforzi tesi ad istituzionalizzare la verifica dell’impatto degli investimenti pubblici e del rendimento amministrativo, la valutazione incontra tuttora barriere burocratiche, culturali e politiche. Sia in Italia che nell’ambito dell’Unione Europea, è tuttora flebile il legame tra le pratiche valutative e i processi di spending review e più in generale le modalità di apprendimento organizzativo e di esercizio della responsabilità politico-amministrativa nella sfera pubblica democratica. Il XVII Congresso dell’Associazione Italiana di Valutazione intende sviluppare il tema della cultura della valutazione come (i) contenuto di competenze professionali da formare e coltivare nel tempo, (ii) pratiche organizzative che garantiscono efficienza e democraticità delle istituzioni, (iii) esercizio della responsabilità pubblica in un sistema istituzionale decentrato sensibile alle autonomie locali nell’ambito dell’Unione Europea. I contributi potranno sviluppare i seguenti temi: - Spending review, programmi anticorruzione e misurazione delle performance - Politica e governance della valutazione dei Programmi di Coesione europea - La professione del valutatore in Italia e in Europa: formazione, credenziali e dinamiche di mercato a confronto - Complessità e integrazione dei metodi e degli approcci valutativi - Metodi e approcci per la valutazione dell’eguaglianza di genere - Welfare di comunità - Cooperazione internazionale - Smart city, rigenerazione urbana e sviluppo locale nella valutazione - Valutazione e scuola - La valutazione delle carriere, della didattica universitaria e della produzione scientifica - Politica e valutazione Gli abstract sono soggetti a valutazione anonima da parte del Comitato scientifico nominato dal direttivo dell’AIV e dal Dipartimento di Scienze Politiche dell’Università di Napoli “Federico II” che comunicherà l’accettazione entro il 10 marzo 2014. I criteri di valutazione dei contributi sono i seguenti: 1. Rilevanza dei contenuti rispetto ai temi congressuali; 2. Chiarezza dell’obiettivo e dei sub-obiettivi; 3. Chiarezza della metodologia; 4. Originalità rispetto ai paradigmi ed alle metodologie disciplinari consolidate e innovatività delle tesi discusse e/o delle soluzioni operative proposte sulla base di adeguata argomentazione. Eventuali contributi eccellenti potranno essere menzionati nel corso del Congresso e, successivamente, proposti per la pubblicazione nella RIV, qualora rispondano agli standard di qualità scientifica della rivista. Tutti i contributi accettati al congresso saranno postati sul sito valutazioneitaliana.it CONDIZIONI DI PARTECIPAZIONE Tutti possono proporre dei contributi in forma di abstract, relazioni e proposte di sessioni. Gli abstract vanno inviati entro e non oltre il 10 febbraio 2014 all’indirizzo di email: [email protected], titolando l’oggetto come segue: “Contributo al XXVII Congresso AIV”. Oltre ad indicare il nome e il cognome dell’autore/autori e la relativa affiliazione, l’abstract di non più di 1000 parole, specificherà se trattasi di: - contributo teorico/metodologico - rapporto di valutazione - lavoro di ricerca CALENDARIO DELLE SCADENZE Apertura call for paper ! 2 dicembre 2013 Deadline per la presentazione degli abstract 10 febbraio 2014 Comunicazione degli abstract accettati Invio dei paper ai coordinatori di sessione ! ! ! COMITATO SCIENTIFICO/ORGANIZZATORE Maria Carmela Agodi (Università di Napoli) Claudio Bezzi (Valutatore indipendente) Stefano Cima (Fondazione Cariplo, Milano) Vito Conzimu (Regione Sardegna) Luca De Luca Picione (Università di Napoli) Daniele Bondonio (Università di Torino) Vincenzo Lorenzini (Valutatore indipendente) Mita Marra (Università di Salerno) Francesco Mazzeo Rinaldi (Università di Catania) Erica Melloni (IRS - Istituto di Ricerche Sociali, Milano) Marco Musella (Università di Napoli) Domenico Piccolo (Università di Napoli) Mauro Palumbo (Università di Genova) Carlo Pennisi (Università di Catania) Giancarlo Ragozini (Università di Napoli) Serafina Pastore (Università di Bari) Nicoletta Stame (Università Sapienza di Roma) Gabriele Tomei (Università di Pisa) Alberto Vergani (Valutatore indipendente) Armando Vittoria (Università di Napoli) SEGRETERIA ORGANIZZATIVA Segreteria AIV Tel. 081.2452273 - Fax 081.7648924 [email protected] http://www.valutazioneitaliana.it !! 10 marzo 2014 ! 30 marzo 2014 NEWS Il 10 dicembre si terrà a Genova il seminario, organizzato dal GT AIV Valutazione PA e Performance e Regione Liguria, dal titolo: “La valutazione della performance ed il ruolo degli organismi indipendenti di valutazione. Opportunità e prospettive.” In un contesto di profonda crisi di sistema, la valutazione della perfomance assume un rilievo determinante nel disegno di rinnovamento della funzione pubblica. Quali sono le criticità da affrontare e le opportunità da cogliere per le Pubbliche Amministrazioni anche in relazione al crescente ruolo degli Organismi Indipendenti di Valutazione? Ne discuteranno Vincenzo Lorenzini, Luca Nervi, Daniela Congiu e Mita Marra. Il 12 dicembre si terrà a Firenze il seminario di studio e confronto, organizzato dal GT AIV Valutazione delle Pari Opportunità e ANCI Regione Toscana, dal titolo: "Accountability e valutazione delle Pari Opportunità negli enti pubblici italiani: bilanci di genere e ricerche valutative" con Catina Balotta, Monica Andriolo e Mita Marra. E’ stato appena pubblicato da Franco Angeli il primo e-book della Collana Valutazione diretta da Mauro Palumbo. Il volume “Prove di valutazione. Il Libro Bianco della valutazione in Italia” è a cura di Alberto Vergani, con i contributi di: Carlo Pennisi e Emanuela Reale sul tema della valutazione dell’università e della ricerca; Andrea Naldini, politiche di coesione; Mauro Palumbo, Michela Freddano, Emanuela Bonini, Sara Mori, Anna Siri, istruzione; Ugo De Ambrogio, politiche sociali; Marilia Maci, Alessio Saponaro, Paolo Ugolini, sanità; Simona Cristiano, Vincenzo Fucilli, Alessandro Monteleone, sviluppo rurale; Mita Marra e Flavia Pesce, pari opportunità di genere; Daniela Baldini, competenze; Catina Balotta, Elena Righetti, Renato Turbati, Iacopo Caropreso, la professione di valutatore. Infine, il volume presenta una prima ricognizione della percezione del mercato della valutazione in Italia da parte di un campione di socie e soci AIV. Per associarsi ad AIV, le quote d’iscrizione sono: -100,00 euro, soci ordinari -50,00 euro, soci giovani, a norma di Statuto e Regolamento sotto i 30 anni di età e i dottorandi (senza limiti di età), iscritti ai Master patrocinati AIV. -150,00 euro,"soci amici dell’AIV Effettuare il pagamento della quota"associativa tramite bonifico bancario versando la quota associativa sul c/c di Banca Prossima" IBAN"IT 41 L033 5901 6001 0000 0062 397 Importante!!! Nella causale del bonifico specificare"il proprio"nome e cognome " 11