La Theory Based Evaluation (TBE)

G. Merlo, La programmazione sociale: principi, metodi e strumenti, Carocci 2014

Capitolo: 11.1. Strumenti partecipati orientati alla coerenza interna

BOX DI APPROFONDIMENTO  n. 52

INDICE ANALITICO GENERALE

tutte le voci del sito

Vedasi anche le schede:

LA VALUTAZIONE 

THEORY OF CHANGE

LA PROGRAMMAZIONE LOGICO FORMALE 

LOGICA e RAZIONALITA' nella programmazione

LA COSTRUZIONE DI UN PROGETTO

EFFETTI INATTESI DI UN PROGRAMMA

In campo valutativo “L’apprendimento (learning) sposta l’attenzione su quello che si può apprendere nel programmare, cioè se, quando e in quali condizioni le assunzioni che stanno alla base reggono alla prova dei fatti. Le domande sono del tipo: che cos’è che funziona? E perché? E in quale contesto?”

“Senza entrare nel merito di differenze teoriche e di metodo, nonché di alcuni disallineamenti, si può sostenere che in generale ci si trova di fronte a un approccio orientato alla ricostruzione, e quindi alla possibile valutazione, della coerenza interna (logical framework) sul versante sia della catena causale di come si è originato il problema che si intende affrontare (problem tree: catena ascendente) sia di quella della costruzione degli obiettivi (objective tree: catena discendente), comprensiva delle condizioni o ipotesi perché questi siano raggiungibili.” (vedi: Logica e razionalità nella programmazione)

--------------

La Theory Based Evaluation (TBE) nasce negli Stati Uniti intorno agli anni Settanta del Novecento e fa parte di quegli approcci valutativi, orientati alla teoria, tesi ad individuare gli assunti sottostanti i programmi e le politiche pubbliche.

Già a partire dagli anni '60, infatti, si sono sviluppati nei paesi anglosassoni diversi filoni e approcci di valutazione che mirano ad entrare nel “cuore”, nella “scatola nera” (processi interni) del programma, attraverso lo studio e la comprensione dei meccanismi responsabili dei cambiamenti osservati. Tra questi possiamo individuare la valutazione realista di Pawson e Tilley e la Theory Based Evaluation: entrambi sostengono che quando si disegna un programma e si realizza un intervento si fanno sempre, volontariamente o meno, delle ipotesi (del tipo: se faccio questo in questo tipo di situazione, allora dovrebbe accadere quest’altro).

L'approccio della valutazione realista si caratterizza per un'impostazione di tipo “sistematico”, il cui scopo è quello di articolare le teorie sottostanti al programma e successivamente interrogare le evidenze esistenti per scoprire se e dove tali teorie siano state pertinenti e produttive.

Il metodo si sviluppa verso la fine degli anni '90 con l'obiettivo di spiegare gli effetti di un programma, cosa funziona, per chi e in quali circostanze, adottando una concezione di causalità non lineare-sequenziale[1]. Leone[2] ha evidenziato le caratteristiche e i vantaggi di questo tipo di valutazione, la quale:

• obbliga a disegnare bene i progetti, a monitorarli e a valutarli in modo analitico e ragionato. In mancanza di un ragionamento nel disegno del progetto/intervento/programma, non si può infatti ex post valutarne l’impatto. Nei progetti di ricerca invece spesso non si riflette sulle relative ipotesi né sui risultati attesi, e si enunciano solo genericamente gli obiettivi; 

• utilizza le evidenze (prove di efficacia) e facilita le conoscenze nella fase di progettazione politica e disegno del programma; 

• pone l’attenzione sull’analisi degli impatti attesi e inattesi di programmi complessi (dovuti a maggiore intersettorialità, interdipendenza tra sistemi e servizi e a gradi elevati di incertezza ambientali) e ai meccanismi responsabili dei cambiamenti nell’implementazione in diversi contesti; 

• è possibile coinvolgere da subito gli stakeholders nell’esplicitare le loro domande e teorie (si veda la scheda La valutazione), gli effetti che si aspettano dagli interventi, impegnandoli nel corso dell’intero progetto, via via che si producono evidenze e conoscenze. 

L'approccio realista definisce la valutazione come il “capire cosa funziona meglio e dove, per chi, in quali circostanze e perchè”[3]. La valutazione realistica prende le mosse dalla critica alla “causalità sequenziale” dell’approccio positivista che, basandosi unicamente sulla dimostrazione di un cambiamento avvenuto nello stato di una variabile in un intervento successivo all'intervento, non consente una spiegazione del perchè ciò sia avvenuto. Ad essa contrappone la “causalità genetica”, che osserva in che modo (per quale meccanismo) un soggetto (una situazione), situato in un contesto, si sia modificato a contatto con il programma. Ciò viene sintetizzato nella formula della configurazione realista “contesto + meccanismo = risultato (outcome)” (CMO)[4].

La sintesi realista è definita come “revisione sistematica”, il cui scopo è articolare le teorie sottostanti al programma e successivamente interrogare le evidenze esistenti per scoprire se e dove tali teorie sono pertinenti e produttive[5].

Secondo approccio metodologico della TBE, compito della valutazione è quello di svelare o esplicitare gli assunti sottostanti al programma, mostrando la serie di piccoli passi che dagli input del programma portano agli esiti, al fine di ricostruire i nessi causali che si ipotizza intervengano tra le diverse fasi di realizzazione necessarie per il cambiamento sotteso al programma stesso. Questo approccio basa l'attività valutativa sull'ipotesi che ogni programma poggi su una qualche teoria, esplicita o implicita, su come e perchè l'intervento funzionerà. Tale teoria è frutto delle percezioni che i singoli attori del programma hanno del problema da affrontare, delle sue origini, e sul come e perchè affrontarlo: per questo uno dei punti focali della TBE riguarda il coinvolgimento degli stakeholders implicati in un programma ed il confronto tra di essi.

Carol Weiss, massima esponente della Theory Based Evaluation, sostiene che tale approccio offra diversi vantaggi: il primo di questi è quello di aiutare il valutatore a individuare non solo il “cosa” (what) accade come esito del programma, ma anche il “come” e il “perché” (how and why). Essa si propone di testare i nessi tra cosa si assume che le attività del programma dovrebbero innescare, in termini di cambiamento, cosa attualmente sta avvenendo lungo il percorso e gli outcome (esiti, prodotti) complessivi. Vengono studiati in modo sistematico e cumulativo i collegamenti tra attività, outcome, e contesti delle stesse iniziative.

Secondo l'Autrice, per ricostruire le teorie alla base del funzionamento di un programma è opportuno distinguere due aspetti essenziali:

• la teoria dell'implementazione che si focalizza su cosa succede nell’attuazione del programma, concepito come un susseguirsi di fasi e azioni, per capire se, allo stato dei fatti, sono state fedeli a quanto previsto; 

• la teoria del programma che cerca di spiegare quale meccanismo colleghi input ad effetti: il cambiamento è quindi prodotto dalla risposta che queste attività generano nei beneficiari e nell’ambiente. 

Queste teorie hanno contenuti e scopi diversi, ma si intrecciano continuamente ed insieme costituiscono la “teoria del cambiamento” del programma, ovvero un modello plausibile e coerente di come il programma funziona o dovrebbe funzionare. 

Manuali

The World Bank, Monitoring and Evaluation: Some Tools, Methods & Approaches, 2002

Treasury Board of Canada Secretariat, Theory-Based Approaches to Evaluation: Concepts and Practices

Approfondimenti: 

Chen H.T., Rossi P.H., “Aspetti della valutazione guidata dalla teoria”, in N. Stame, “I classici della valutazione”, Franco Angeli, Milano, 2007

Connell J. P., Kubisch A. C., 1998, Applying a Theory of Change Approach to the Evaluation of Comprehensive Community Initiatives: Progress, Prospects, and Problems. The Aspen Institute USA.

De Ambrogio U., “Valutare gli interventi e le politiche sociali”, Carocci Editore, Roma, 2005

Gambardella D., Lumino R., 2012 Il progetto di valutazione, in Gambardella D., La valutazione del Reddito di Cittadinanza a Napoli, Angeli

Leone L., Prezza L., “Costruire e valutare i progetti nel sociale”, Franco Angeli, Milano, 1999

Lumino R., “Valutazione e teorie del cambiamento”, Franco Angeli, Milano, 2013

Palumbo M., Il processo di valutazione, F. Angeli 2001

Pawson R., “Evidence-based Policy: In Search of a Method”, in “Evaluation”, vol. 8, n. 2/2002

Pawson R., Tilley N., “Realistic Evaluation”, Sage, London, 1997

Pawson R., “Un’introduzione alla valutazione scientifica realistica”, in N. Stame (a cura di), “Classici della valutazione”, Franco Angeli, Milano, 2007

Sharpe G., 2011, A Review of Program Theory and Theory-Based Evaluations, American International Journal of Contemporary Research Vol. 1 No. 3; November 2011 72

Stame N., “Theory-based Evaluation and Types of Complexity”, in “Evaluation”, n. 10/2004

Stame N. (a cura di), “Valutazione 2001. Lo sviluppo della valutazione in Italia”, Franco Angeli, Milano 2001

Studio Cevas, Gli approcci di valutazione guidati dalla teoria: la valutazione ‘Theory-based’ e la ‘Valutazione Realista’, 2011

WeissC., “Theory-based evaluation: past, present and future”, in “New Directions for Evaluation”, n. 76/1977

Weiss C., “Evaluation. Methods for studying programs and policies”, Prentice Hall, Upper Saddle River, 1979

Weiss C., “Evaluation”, Prentice Hall, Upper Saddle River, N.J., 2nd ed, 1998

Weiss C., "La valutazione basata sulla teoria: passato, presente e futuro", in N. Stame, “I classici della valutazione”, Franco Angeli, Milano, 2007

Tutti gli aggiornamenti del sito sulla

PAGINA FACEBOOK