La valutazione

INDICE ANALITICO GENERALE

tutte le voci del sito

“Una valutazione si basa essenzialmente sul confrontare ed esprimere un giudizio. Due passaggi che mettono in luce ambiti problematici di carattere sostanziale e intrinseco, tra loro strettamente connessi”: l’osservazione non è oggettiva, ma “un procedimento selettivo in cui lo sguardo dell’osservatore è guidato dalle ipotesi che i possibili diversi attori hanno formulato”, così come i «valori» per esprimere un giudizio “rimandano alle possibili differenze di tutti coloro che concorrono alla programmazione”. Non solo: l'osservazione può essere sia quantitativa che qualitativa.

“Al di là dei disposti di legge o delle indicazioni comunitarie in cui la valutazione diventa atto dovuto, in generale in letteratura si distinguono tre differenti utilizzi:

• uno “strumentale”, poiché suggerisce cosa devono fare i decisori;

• uno “illuminativo”, in quanto tende a comprendere come funzionano i programmi;

• uno “persuasivo”, perché serve a difenderli o ad attaccarli (Stame, 2001a, p. 94).

All’interno di questi utilizzi, tra tutte quelle possibili, possiamo individuare come preminenti e ricorrenti in letteratura due macrofunzioni:

• rendere conto (accountability) dell’attività e dei risultati ai diversi possibili stakeholders, ma anche nel fare un bilancio complessivo dell’esperienza conclusa (summative evaluation).

• di apprendimento (learning), nel senso di miglioramento progressivo della conoscenza, competenza e capacità e di aggiornamento delle strategie sul tema in oggetto (formative).”

La coerenza esterna ex post

“Valutare è una attività costante, primordiale e istintiva, di ogni attività umana in ogni campo. Nel nostro settore il primo ambito che viene in mente è quello di valutare la coerenza esterna, cioè i risultati di un programma: in che misura il programma ha raggiunto gli obiettivi? Ma spesso è più stimolante e utile rispondere a domande come: che cosa è successo a seguito della realizzazione del programma? Che cosa di diverso sarebbe potuto accadere? Chi ha avuto benefici e quali (Palumbo, 2001, p. 181)? È stato fatto bene? È servito? Come ottimizzare l’utilizzo di risorse pubbliche (Palumbo, 2001, p. 77)? Possiamo migliorare la qualità (De Ambrogio, 2003a, pp. 36)? Qual è la risposta migliore ai bisogni sociali (ivi, p. 33; Palumbo, 2001, p. 89)? O ancora: sono soldi spesi bene (Martini, Trivellato, 2011)? E così via, a seconda degli interessi, dei punti di osservazione, degli scopi.

Domande molto diverse, ma accomunate da un principio, un “modello di razionalità” (Palumbo, 2001, p. 58; Altieri, 1987, p. 659), in quanto sottopongono a critica tutto il processo di programmazione (impostazione, realizzazione, effetti) a supporto dei processi decisionali. Razionalità che, pertanto, torna a ripresentarsi prepotentemente come tendenza generale anche nel superamento del modello sinottico.

La grande articolazione e diversificazione di queste prime domande porta a chiederci: che cosa vogliamo conoscere?” e, quindi, con quali strumenti? (Merlo G., 2014, p. 149)

A mo' di esempio, non esaustivo, delle possibil articolazioni si riporta lo schema  in cui sono riportati i diversi significati attribuiti al concetto di valutazione nel corso di un'esperienza partecipata.

Ovverosia ci troviamo di fronte a un campo di estrema vastità e complessità e, pertanto, di specificità, tanto da essere materia a sé stante. Nella distinzione tra tecnica e politica occorre, inoltre, affiancare lo specifico campo della valutazione delle politiche pubbliche.

In primis occorre sottolineare come vi sia molta esperienza e letteratura a cui attingere in campo di valutazione di singoli progetti, mentre la questione appare meno consolidata sul piano della programmazione in quanto “un programma tende ad avere una sua dimensione olistica che forse può non essere rappresentata dai singoli risultati” per cui facilmente si può incorrere in quello che può essere chiamato il paradosso del Titanic: "Ottimizzare la posizione delle sedie a sdraio sul ponte mentre la nave affonda. Paradosso utilizzato quando è possibile che ciascuna azione, ciascun progetto di un programma si realizzi così come lo si era immaginato e previsto, ma la situazione generale si evolve in un disastro complessivo. (Merlo G., 2014, p. 151).

“Appare infatti intuitivo che se compio un singolo atto in un dato momento posso verificarne l’effetto immediatamente dopo, ma se compio più azioni contemporaneamente, tanto più se l’azione richiede un arco di tempo lungo, la verifica degli effetti combinati risulta molto aleatoria. È il caso del rapporto tra politiche, programmi, progetti ed azioni in cui si scompongono parti complesse, anche con diramazioni «ad albero», in frazioni sempre più semplici e dettagliate, in cui ogni fase configura una tappa del cambiamento atteso e identifica in quale modo il mutamento che dovrebbe prodursi." (ivi p.150).

In ogni caso, il “piano di valutazione deve essere costruito «su misura» in quanto prioritariamente “occorre individuare le finalità della valutazione, distinguendole tra

• descrittive (che cosa è successo?),

• causali (come e in che misura ciò che è successo è imputabile al programma?),

• normative o di valore (soddisfazione rispetto agli obiettivi),

• predittive (cosa avverrà con l’esplicarsi del programma?)

• critiche (quali sono le strategie più efficaci per…?)” (Rossi, Freeman, Lipsey, 1999, ivi, p. 160).

La coerenza interna ex ante

A fianco della valutazione della coerenza esterna si colloca il campo della coerenza interna, cioè della struttura logica, delle assunzioni che stanno alla base nella costruzione di un programma. Le domande sono del tipo: perché un programma dovrebbe funzionare? dove, per chi, in quali circostanze?

Per questo si può fare riferimento all'approccio della programmazione logico-formale ed in particolare alle

• Theory of Change (ToC) che si propone di testare i nessi tra cosa si assume che le attività del programma dovrebbero innescare, in termini di cambiamento, cosa attualmente sta avvenendo lungo il percorso e gli outcome, esiti, prodotti complessivi;

• Theory Based Evaluation (TBE) il cui obiettivo è quello di spiegare gli effetti di un programma (cosa funziona, per chi, in quali circostanze, con quali logiche).

In questa scheda ci si limita a proporre alcuni strumenti operativi che hanno trovato nel tempo dei buoni livelli di formalizzazione e codificazione.

1. Una prima, essenziale, traccia è quella offerta da un documento della World Bank (2002): “Monitoring and Evaluation: Some Tools, Methods & Approaches” che presenta in schede sintetiche:

◗ Performance indicators

◗ The logical framework approach

◗ Theory-based evaluation

◗ Formal surveys

◗ Rapid appraisal methods

◗ Participatory methods

◗ Public expenditure tracking surveys

◗ Impact evaluation

◗ Cost-benefit and cost-effectiveness analysis

2. Molto più sviluppato e complesso è il sistema messo a punto nel tempo dall’Unione Europea, a partire da MEANS (Méthodes d’Evaluation des Actions de Nature Structurelle), di cui si presentano alcune tracce di approfondimento. 

MEANS Collection: “Evaluation of socio-economic programmes”:

◗ Evaluation design and management

◗ Selection and use of indicators for monitoring and evaluation 

◗ Principal evaluation techniques and tools 

◗ Technical solutions for evaluation within partnership 

◗ Transversal evaluation of impacts on the environment, employment and other intervention priorities 

◗ Glossary of 300 concepts and technical terms 

EUROPEAID, Evaluation Methods:

◗ EVALUATION GUIDES: for geographical and thematic evaluations, for evaluation managers or evaluators; and for project and programme evaluations, including checklists

◗ METHODOLOGICAL BASES: subject, timing, utilisation, roles, method

◗ TOOLS: to structure an evaluation, to collect and analyse data, to assist the formulation of judgements

◗ CONTEXT INDICATORS: why and when, how, quality control, example

◗ EXAMPLES

◗ OVERALL ASSESSMENT 

◗ DOCUMENTS

◗ GLOSSARY : comparing definitions between OECD and EC

Nei successivi periodi di programmazione strutturale sono poi stati pubblicati numerosi handbooks:

◗ Guidelines for system of monitoring and evaluation of ESF assistance in the period 2000-2006

◗ Indicative guidelines on evaluation methods: monitoring and evaluation, The New Programming Period 2007-2013

◗ Programming Period 2014-2020 Monitoring and Evaluation of European Cohesion Policy European Social Fund

Riferimenti:

Associazione Italiana di valutazione

European Evaluation Society

American Evaluation Association

Free resources for Program Evaluation and Social Research Methods

Research Methods Knowledge Base

Glossari della valutazione:

a cura dell'OCSE: English, French (p.14)

traduzione in italiano

 MEANS Collection

Per approfondimenti:

Altieri I. (1987), La ricerca valutativa negli interventi sociali, in P. Guidicini (a cura di), Nuovo manuale della ricerca sociologica, FrancoAngeli 

Altieri L., Valutazione e partecipazione, metodologia per una ricerca attiva e negoziale, F. Angeli, 2011

Arduini S., PersonaLab, il misuratore d’impatto delle politiche sociali

AA.VV, Valutare la valutazione, Impresa sociale 4/2020

Ballotta C., Valutazione ex ante. Spunti di riflessione tratti dall’esperienza concreta. Valut-azione, genn 2017

Bezzi C., Cannavò L.,Palumbo M., Costruire e usare indicatori nella ricerca sociale e nella valutazione, Angeli, 2012

Bezzi C., Cos’è la valutazione. Un’introduzione ai concetti, le parole chiave e i problemi metodologici, Franco Angeli, 2013

Cascio M., Parenti I., Longo R., Una griglia per progettare in ambito socio-sanitario, Dors, 2015-08-29

Cecchi D., Gianesin C., Poy S., Una proposta di metodo per misurare la performance di progetti sociali complessi, Percorsi di secondo welfare, 2015

Ciucci F., Valutazione delle politiche e dei servizi sociali. Partecipazione, metodo, qualità, Angeli, 2012

Coffano E., Migliardi A., Piano Regionale della Prevenzione: un percorso di valutazione partecipato della Regione Piemonte, Dors

 De Ambrogio U. (2003a), Valutare gli interventi e le politiche sociali, Carocci, Roma 

    Id. (2003b), Il processo di costruzione dei Piani di zona sperimentali in Emilia Romagna, in “Prospettive Sociali e Sanitarie”, 6-2003 

Delbert C. Miller, Neil J. Salkind, Handbook of Research Design and Social Measurement, SAGE Publications, Jan 16, 2002

Dessi C., Ghetti V., Guidetti G., La valutazione “in pratica”. Vincoli, potenzialità e strategie in un’ottica di apprendimento, Prospettive Sociali e Sanitarie anno     XLIV – n. 4, autunno 2014

Epstein M.J., Yuthas K. (a cura di) (2014), Measuring and Improving Social Imacts. A Guide for Nonprofits, Companies, and Impact Investors, Berrett-Koehler     PublishersEvalsed Soucebook, Method and Techniques

Governo, Linee guida per il Sistema di Misurazione e Valutazione della performance

Malfer L., Politiche sociali: la valutazione multistakeholder, Prospettive sociali e sanitarie, 2005

Martini A., Trivellato U. (2011), Sono soldi ben spesi? Perché e come valutare l’efficacia delle politiche pubbliche, Marsilio, Venezia

Ministero per la coesione territoriale (2012), Metodi e obiettivi per un uso efficace dei fondi comunitari 2014-2020

Palumbo M.(a cura di), Valutazione 2000. Esperienze e riflessioni, FrancoAngeli

      id. Il processo di valutazione, FrancoAngeli, 2001

Rissotto A., Alvaro F., Martino Rebonato, Valutare in ambito sociale. Approcci, metodi e strumenti, Armando, 2006

Rossi P. H., Freeman H. E., Lipsey m. w. (1999), Evaluation: A Systematic Approach, Sage, Thousand Oaks (ca). Siza R. (2002), Progettare nel sociale, FrancoAngeli, Milano

Stame n. (1998), L’esperienza della valutazione, Seam, Roma

    id. (2001a), Tre approcci alla valutazione, in Palumbo (2001), pp. 21 ss.

    id. (a cura di) (2001b), Valutazione 2001. Lo sviluppo della valutazione in Italia, FrancoAngeli, Milano

    id. (2007), Classici della valutazione, FrancoAngeli, Milano.

UE, (2003), La valutazione dello sviluppo socio-economico. La guida,

Unicef (1999), Guide for Monitoring and Evaluation

Valut-azione, La nozione di valutazione (di piani, programmi, progetti, politiche)

Vurro C., Perrini F., in 'La valutazione degli impatti sociali', Egea, 2013

In allegato una rassegna bibliografica più esaustiva

Tutti gli aggiornamenti del sito sulla

PAGINA FACEBOOK