![]()
|
LEONARDO CESOS (Roma) - FGB (Roma) - Università Cattolica (Milano) - HBS (Düsseldorf) - SFS (Dortmund) Nene College (Northampton) - CIREM (Barcelona) - Pantheon Sorbonne (Paris) - Tempo (Paris) Commissione Europea DG XXII - Direzione B.1 Firenze - Novembre 1997 Un Modello di valutazione della La valutazione della qualità e l'analisi
Costi-Benefici in progetti |
|
La qualità della formazione professionale riveste un rilievo particolare nelle strategie di intervento dellUnione Europea (UE). Nel Libro Bianco della Commissione Europea "Crescita, Competitività e Occupazione", la formazione professionale è definita come "catalizzatore del cambiamento tecnologico", e i requisiti di qualità dei progetti di formazione sono implicitamente ricondotti al loro successo in termini di (i) riduzione della disoccupazione, (ii) miglioramento della capacità competitiva e (iii) rinnovamento dei mercati "tradizionali" e creazione di nuovi. Per tali ragioni la qualità della formazione dipende dai cambiamenti nelle aspettative relative alla formazione stessa, e, in particolare, dal suo contributo ad aspetti quali 1) la qualità del lavoro, 2) la performance delle imprese e 3) laumento delle opportunità di impiego.
In questa cornice, negli ultimi anni ha assunto sempre più importanza il dibattito relativo al controllo e alla valutazione della formazione professionale vista come "... strumento base di riscontro della qualità nella formazione...". In questa prospettiva, appare esistere un legame significativo tra la raccolta dei dati e la loro misura, il controllo, la valutazione e la certificazione, lanalisi dei fabbisogni formativi e la loro valutazione, tutti argomenti che costituiscono stadi strettamente collegati tra loro nella gestione della qualità globale della formazione.
Ponendo in particolare laccento sulla "formazione continua", il partenariato tra diversi eminenti Istituti di Ricerca Europei, ha sviluppato una strategia comune per dotarsi di concetti comuni, strumenti e procedure atti a migliorare la qualità dei processi e delle pratiche legate alla formazione professionale. Questa strategia è centrata su tre progetti di ricerca nelle aree della (i) valutazione della qualità nella formazione, (ii) certificazione della formazione professionale, e (iii) analisi dei fabbisogni formativi. Il partenariato ha già presentato alla Commissione Europea i tre i progetti, nellambito del Programma Leonardo da Vinci .
Il Modello presentato di seguito è il più importante prodotto del primo dei tre progetti succitati. Dopo un periodo di validazione realizzato a livello nazionale da ognuno dei partner, il Modello è stato definito nella sua versione finale. Il Modello è accompagnato da un Glossario multilingue riferito allambito della formazione continua.
1.1. Requisiti generali
Lobiettivo di creare un modello per la valutazione della formazione professionale continua che potesse essere applicato a tutti i contesti europei era certamente ambizioso. Nella riflessione del gruppo di lavoro, per essere veramente applicabile e operativo ed essere dunque considerato come uno strumento veramente europeo, il modello doveva presentare le seguenti caratteristiche:
essere semplice da utilizzare nonché di facile apprendimento da parte del personale di formazione e dalle agenzie in tutta lUE;
presentare significati univoci dei concetti di base, e strumenti e procedure semplici, universali e ben definite;
essere flessibile ed applicabile ad un vasto numero di situazioni, settori e contesti organizzativi, nonché a diverse aree geografiche e culturali;
una volta applicato, il modello doveva poter essere facilmente trasponibile e riproducibile in altre situazioni;
per le ragioni summenzionate, il modello doveva essere minimale, ovvero essere costituito da un nucleo di base facile da espandere e approfondire a seconda delle necessità a livello specifico e locale;
il modello doveva essere concepito in modo da poter "catturare" la qualità dei progetti di formazione, con riferimento ai diversi agenti e attori coinvolti, nonché alle varie dimensioni, momenti, funzioni, ecc. connesse al ciclo di vita dei progetti stessi;
infine, il modello doveva concentrarsi al tempo stesso sul processo e sui risultati dellazione formativa.
1.2. Opzioni metodologiche
I criteri elencati hanno influito in modo considerevole sulle soluzioni metodologiche adottate nella costruzione del Modello. In effetti, dato che i criteri sono molto severi, larco delle possibili soluzioni per la formulazione del Modello era piuttosto limitato.
Lopzione adottata è stata quella di sviluppare un set completo di elenchi di questioni fondamentali (checklists), legate ai diversi aspetti di un progetto formativo rispetto ai quali è declinabile la ricerca della qualità, che ponesse alla persona incaricata della valutazione le domande sulla qualità alle quali dare risposta. Tale opzione basa loperatività del Modello universale sulla capacità del valutatore di elaborare autonomamente una serie limitata di strumenti, mirati a rispondere in termini quantitativi ai quesiti richiesti, sulla base dellinformazione minima strettamente necessaria.
Questa scelta non è originale, in quanto viene largamente utilizzata nei modelli attualmente in uso di valutazione della formazione; ma presenta, tuttavia, taluni problemi per quanto riguarda laggregazione dei differenti punteggi attribuiti ai diversi aspetti della qualità considerati in ununica valutazione complessiva della qualità del progetto in esame.
I problemi di aggregazione dei punteggi parziali possono essere risolti in due modi opposti.
2. Creare una cultura della valutazione
Nel Modello proposto, il processo di valutazione tende a coincidere con lo stesso processo di formazione, diventando così una parte fondamentale di tutte le attività e competenze coinvolte nella preparazione, sviluppo e svolgimento dellazione formativa. Inoltre, il responsabile della valutazione non è più necessariamente un esperto che vive e lavora al di fuori delle attività di formazione.
Al contrario, il modello è finalizzato a fare in modo che le abilità di valutazione divengano una pratica diffusa, un "patrimonio invisibile" del fornitore di formazione (che diventa, a sua volta, una "learning organisation"); e la persona responsabile in ultima istanza della valutazione è lo stesso responsabile del progetto di formazione, che deve poter contare sulla cooperazione di tutta la squadra.
Assumendo questa seconda opzione, la procedura di valutazione diventa un processo, basato sulle caratteristiche e le esigenze dellagenzia di formazione e legato ad ogni fase del ciclo del progetto formativo, piuttosto che uno strumento formale per misurare la qualità di un aspetto specifico dellazione formativa. In questo senso, il sistema di valutazione messo in opera da ciascuna agenzia formativa grazie al Modello, potrà servirsi dei numerosi strumenti di valutazione parziale esistenti, relativi alla valutazione della qualità da un punto di vista particolare (dimensione della qualità, fase nel ciclo del progetto, funzione aziendale che valuta, ecc.). I risultati derivanti dallapplicazione di ogni strumento possono però essere collegati agli altri, ed alla qualità globale di tutta lazione formativa, attraverso una "cultura della valutazione" comune, condivisa da tutti gli operatori della formazione e continuamente alimentata attraverso la collaborazione reciproca.
3. Criteri per la selezione delle questioni fondamentali nelle checklists
In accordo con la filosofia di valutazione prescelta, la composizione delle checklists necessarie per raccogliere ed organizzare le informazioni necessarie alla valutazione, risponde ai criteri seguenti:
1. poter essere utilizzate da tutti gli stakeholders (con qualche aggiustamento), attraverso ladozione del punto di vista del fornitore di formazione, dellutente, del beneficiario finale (la società cliente) e di altri eventuali stakeholders (organismi di finanziamento nazionali ed Europei, altri);
2. coprire tutti gli aspetti fondamentali del ciclo di vita del progetto formativo, ossia: (i) le sue fasi (preparazione, progettazione, esecuzione, follow-up), (ii) le funzioni operative (marketing, sviluppo della formazione, gestione del progetto), (iii) le dimensioni fondamentali (finanziaria, organizzativa, didattica, economica), ecc.;
3. cogliere i principali elementi della qualità nella formazione, quali i rapporti tra fornitore e beneficiario, la qualità della sua offerta formativa, lefficacia del singolo progetto formativo e la sua efficienza sia interna (per il fornitore) che esterna (per il beneficiario ed il cliente).
Il Modello si presenta come una serie articolata di checklists "leggere e flessibili", mirate alla valutazione della qualità totale delle azioni formative con particolare riferimento alla formazione continua. In questottica, il Modello è concepito per essere utilizzato in ogni fase della valutazione di un progetto formativo: (i) nella fase ex-ante, (ii) nelle attività di monitoraggio, (iii) nella valutazione finale.
Il principio basilare che ispira il Modello è che lazione formativa è un processo e la valutazione costituisce una componente intrinseca del progetto formativo. Il responsabile del progetto deve saperlo valutare ed è dunque necessario che vengano definiti a priori dei parametri e degli standards di riferimento, in modo da stimare la qualità della formazione offerta e il suo miglioramento.
Lutilizzatore di riferimento del Modello è il fornitore dei servizi di formazione. Tuttavia, il Modello può essere utilizzatato anche dagli altri attori coinvolti nel progetto formativo, quali limpresa committente, le amministrazioni pubbliche o gli enti bilaterali, potenziali "clienti finali" delle attività realizzate, ovvero dai beneficiari stessi, o ancora dagli organismi che finanziano il progetto.
Loggetto dellattività di valutazione è il progetto formativo. Tuttavia, il Modello consente di analizzare anche i processi produttivi dellAgenzia di Formazione incaricata del progetto, in modo da contestualizzare lazione formativa con specifiche indicazioni riferite al soggetto fornitore dei servizi formativi.
Larticolazione del Modello può essere rappresentata mediante una tavola che integra in una connessione a cascata, lattività di progetto, le fasi logiche e gli eventuali attori interessati in un modo o nellaltro alla valutazione del progetto:
Tempi |
Fase di progetto |
Attori coinvolti |
Prima |
1. Strategia | Fornitore - cliente/utente finale |
Prima |
2. Pianificazione e Progettazione | Fornitore - cliente/utente finale |
Durante |
3. Esecuzione/monitoraggio | Fornitore - cliente /utente finale Formato |
Dopo |
4. Chiusura e produzione di Impatto | Fornitore - cliente /utente finale Formato |
Nelle pagine successive, per ognuna delle fasi summenzionate, viene presentato un elenco di argomenti chiave (checklist). Le persone impegnate nella valutazione di qualità delle azioni formative dovranno rispondere alle domande indicate dalla checklist attraverso appropriate procedure e specifici strumenti di valutazione
La creazione, luso e lo sviluppo di queste procedure e strumenti da parte dellutilizzatore rappresenta il maggior risultato derivante dallutilizzo del Modello, e costituisce un fondamentale avanzamento nella direzione dello sviluppo di una solida e diffusa cultura della valutazione, che è lo scopo ultimo del Modello stesso.
Per ciascun gruppo di argomenti di ogni checklist, la valutazione della qualità può essere sintetizzata attraverso lattribuzione di un punteggio numerico (da 1 a 5). Tale punteggio devessere inteso come un segnale necessario ad individuare i punti di forza e di debolezza in ciascuna fase del ciclo di vita del progetto, come pure a consentire il monitoraggio dei miglioramenti della qualità dei progetti comparabili che si realizzano nel corso del tempo.
I punteggi di ciascuna fase del ciclo del progetto possono anche fornire un sostegno alla misurazione della qualità di ciascuna fase del progetto come pure del progetto nel suo insieme. In questo caso suggeriamo di "normalizzare" i punteggi aggregati assegnando loro sempre valori da 1 a 5 (rinunciando, cioè, a sommare i punteggi parziali), per evitare di sopravvalutare le fasi che comprendono un maggior numero di checklist. Completano il Modello alcuni indicatori quantitativi necessari alla sua piena utilizzazione.
Guida dellutilizzatore
Questo Modello, nella presente configurazione, è concepito per essere utilizzato dai formatori, a partire dal momento in cui stanno predisponendo una nuova iniziativa formativa.
Il suo scopo è quello di fungere da strumento di auto-diagnosi, mirato a sostenere la riflessione e lanalisi della qualità delle quattro fasi del ciclo del progetto: (i) strategia; (ii) progettazione e pianificazione; (iii) realizzazione e monitoraggio; (iv) chiusura e produzione di impatto. Per queste ragioni il Modello include una colonna "Note/Action Plan" in bianco, che può essere riempita dallutilizzatore.
Nellattività di autovalutazione può essere utile misurare:
* la qualità delle procedure implementate per rispondere alle domande poste nelle check-list;
* la qualità complessiva delle quattro fasi;
* la qualità dellintera azione formativa e dei metodi di identificazione delle aree di miglioramento.
Il Modello è concepito, in particolare, per i fornitori di formazione continua, sebbene i formatori operanti in organizzazioni con funzioni interne di formazione ed altri stakeholder (formati, imprese-clienti, amministrazioni finanzianti, ecc.) possono utilmente utilizzarlo. In questo caso, alcune delle questioni sollevate divengono più rilevanti di altre, e possono essere necessari adattamenti.
Il Modello può essere utilizzato anche come strumento di addestramento degli stessi formatori alle tecniche di valutazione.
LElenco delle Informazioni di Base è lelemento essenziale per la valutazione di ogni azione formativa. Per utilizzare appieno il Modello, il formatore dovrebbe assicurarsi che i dati più rilevati siano disponibili e raccolti in maniera appropriata.
Elenco delle Informazioni di Base
(Da raccogliere attraverso unanalisi delle informazioni di base del file di progetto)
Titolo del Progetto
......................................................................................................................................
......................................................................................................................................
Breve Descrizione del Progetto e dei Risultati Finali
......................................................................................................................................
......................................................................................................................................
......................................................................................................................................
......................................................................................................................................
......................................................................................................................................
......................................................................................................................................
1. Nome del cliente:
......................................................................................................................................
2. Status del cliente:
......................................................................................................................................
......................................................................................................................................
......................................................................................................................................
Note:
......................................................................................................................................
......................................................................................................................................
......................................................................................................................................
3. Costo Totale: ..............................................................................................................
4. Finanziamento: ...........................................................................................................
......................................................................................................................................
......................................................................................................................................
Note:
......................................................................................................................................
......................................................................................................................................
......................................................................................................................................
5. N. di partecipanti: ........................................................................................................
6. N. di Docenti: ..............................................................................................................
7. Durata del progetto:
......................................................................................................................................
8. Ore di formazione
......................................................................................................................................
Note:
......................................................................................................................................
......................................................................................................................................
......................................................................................................................................