La valutazione

INDICE ANALITICO GENERALE

tutte le voci del sito

“Valutare è una attività costante, primordiale e istintiva, di ogni attività umana in ogni campo. Nel nostro settore il primo ambito che viene in mente è quello di valutare i risultati di un programma: in che misura il programma ha raggiunto gli obiettivi? Ma spesso è più stimolante e utile rispondere a domande come: che cosa è successo a seguito della realizzazione del programma? Che cosa di diverso sarebbe potuto accadere? Chi ha avuto benefici e quali (Palumbo, 2001, p. 181)? È stato fatto bene? È servito? Possiamo migliorare la qualità (De Ambrogio, 2003a, pp. 36)? Qual è la risposta migliore ai bisogni sociali (ivi, p. 33; Palumbo, 2001, p. 89)? O ancora: sono soldi spesi bene (Martini, Trivellato, 2011)? Come ottimizzare l’utilizzo di risorse pubbliche (Palumbo, 2001, p. 77)? E così via, a seconda degli interessi, dei punti di osservazione, degli scopi. Domande molto diverse, ma accomunate da un principio, un “modello di razionalità” (Palumbo, 2001, p. 58; Altieri, 1987, p. 659), in quanto sottopongono a critica tutto il processo di programmazione (impostazione, realizzazione, effetti) a supporto dei processi decisionali. Razionalità che, pertanto, torna a ripresentarsi prepotentemente come tendenza generale anche nel superamento del modello sinottico. La grande articolazione e diversificazione di queste prime domande porta a chiederci: che cosa vogliamo conoscere?” (Merlo G., 2014, p. 149) e, quindi, con quali strumenti?

A mo' di esempio, non esaustivo, si riporta lo schema in cui sono riportati i diversi significati attribuiti al concetto di valutazione nel corso di un'esperienza partecipata.

Da: Bucci D., Piersanti V., Valutare nel sociale: un obiettivo comune per una qualità diffusa, Nuovo welfare, Aprile - Giugno 2006, p.8http://www.fishonlus.it/files/2012/05/Report-_EmpowernetII.pdf

“Una valutazione si basa essenzialmente sul confrontare ed esprimere un giudizio. Due passaggi che mettono in luce ambiti problematici di carattere sostanziale e intrinseco, tra loro strettamente connessi”: l’osservazione non è oggettiva[1], ma “un procedimento selettivo in cui lo sguardo dell’osservatore è guidato dalle ipotesi che i possibili diversi attori hanno formulato”, così come i «valori» per esprimere un giudizio “rimandano alle possibili differenze di tutti coloro che concorrono alla programmazione”.(Merlo G., 2014,, p.150)

[1] Il tema dell’osservazione è l’argomento del cap. 5 del di Merlo G., 2014

Ovverosia “ci troviamo di fronte a un campo di estrema vastità e complessità e, pertanto, di specificità, tanto da essere materia a sé stante.” (Ibidem).

Il tema della valutazione della programmazione è sviluppato su diversi versanti al capitolo 6 del testo di G. Merlo 2014, a cui si rimanda per l’impostazione generale ed approfondimenti teorico concettuali.

In questa sede ci si limita a ricordare come vi sia molta esperienza e letteratura a cui attingere in campo di valutazione di singoli progetti, mentre la questione appare meno consolidata sul piano della programmazione in quanto “un programma tende ad avere una sua dimensione olistica che forse può non essere rappresentata dai singoli risultati.” (ivi, p. 151) per cui facilmente si può incorrere in quello che viene chiamato il paradosso del Titanic: "Ottimizzare la posizione delle sedie a sdraio sul ponte mentre la nave affonda. Utilizzato quando è possibile che ciascuna azione, ciascun progetto di un programma si realizzi così come lo si era immaginato e previsto, ma la situazione generale si evolve in un disastro complessivo." (Merlo G., 2014, p. 151).

“Appare infatti intuitivo che se compio un singolo atto in un dato momento posso verificarne l’effetto immediatamente dopo, ma se compio più azioni contemporaneamente, tanto più se l’azione richiede un arco di tempo lungo, la verifica degli effetti combinati risulta molto aleatoria. È il caso del rapporto tra politiche, programmi, progetti ed azioni in cui si scompongono parti complesse, anche con diramazioni «ad albero», in frazioni sempre più semplici e dettagliate, in cui ogni fase configura una tappa del cambiamento atteso e identifica in quale modo il mutamento dovrebbe prodursi." (ivi p.150).

In ogni caso, nella considerazione che in un programma il “piano di valutazione deve essere costruito «su misura» (Rossi, Freeman, Lipsey, 1999)” e che prioritariamente “occorre individuare le finalità della valutazione, distinguendole tra descrittive (che cosa è successo?), causali (come e in che misura ciò che è successo è imputabile al programma?), normative o di valore (soddisfazione rispetto agli obiettivi), predittive (cosa avverrà con l’esplicarsi del programma?) e critiche (quali sono le strategie più efficaci per…?)” (ivi, p. 160), nonchè tra valutazione di coerenza interna ed esterna.

Vedasi anche le schede:

MANUALI DI PROGETTAZIONE EUROPEA

TBE (Theory Based Evaluation)

IMPATTO SOCIALE, LA VALUTAZIONE

VALUTAZIONE DI IMPATTO AMBIENTALE

VALUTAZIONE DI IMPATTO SULLA SALUTE

VALUTAZIONE DI IMPATTO SOCIALE

LA PROGRAMMAZIONE LOGICO FORMALE

EFFETTI INATTESI DI UN PROGRAMMA



In questa scheda ci si limita a proporre alcuni strumenti operativi che hanno trovato nel tempo dei buoni livelli di formalizzazione e codificazione.


1. Una prima, essenziale, traccia è quella offerta da un documento della World Bank (2002): “Monitoring and Evaluation: Some Tools, Methods & Approaches” che presenta in schede sintetiche:

◗ Performance indicators

◗ The logical framework approach

◗ Theory-based evaluation

◗ Formal surveys

◗ Rapid appraisal methods

◗ Participatory methods

◗ Public expenditure tracking surveys

◗ Impact evaluation

◗ Cost-benefit and cost-effectiveness analysis

http://gametlibrary.worldbank.org/FILES/215_M&E%20Guidelines%20on%20Indicators%20and%20Data%20Sources.pdf

2. Molto più sviluppato e complesso è il sistema messo a punto nel tempo dall’Unione Europea, a partire da MEANS (Méthodes d’Evaluation des Actions de Nature Structurelle), di cui si presentano alcune tracce di approfondimento.

MEANS Collection: “Evaluation of socio-economic programmes”:

◗ Evaluation design and management

◗ Selection and use of indicators for monitoring and evaluation

◗ Principal evaluation techniques and tools

◗ Technical solutions for evaluation within partnership

◗ Transversal evaluation of impacts on the environment, employment and other intervention priorities

◗ Glossary of 300 concepts and technical terms

http://ec.europa.eu/regional_policy/sources/docgener/evaluation/means_en.htmfile:///C:/Users/giorgio/Desktop/140214_SFOPHE_Eglossary_e_BAG-Logo+neu_VRS.pdfCollection MEANS, Évaluer les programmes socio-économiques, Commission Européenne, 1999

EUROPEAID, Evaluation Methods:

◗ EVALUATION GUIDES: for geographical and thematic evaluations, for evaluation managers or evaluators; and for project and programme evaluations, including checklists

http://ec.europa.eu/europeaid/evaluation/methodology/guidelines/gui_en.htm

◗ METHODOLOGICAL BASES: subject, timing, utilisation, roles, method

http://ec.europa.eu/europeaid/evaluation/methodology/methods/mth_en.htm

◗ TOOLS: to structure an evaluation, to collect and analyse data, to assist the formulation of judgements

http://ec.europa.eu/europeaid/evaluation/methodology/tools/too_en.htm

◗ CONTEXT INDICATORS: why and when, how, quality control, example

http://ec.europa.eu/europeaid/evaluation/methodology/tools/too_ind_som_en.htm

◗ EXAMPLES

http://ec.europa.eu/europeaid/evaluation/methodology/examples/exp_en.htm

◗ OVERALL ASSESSMENT

http://ec.europa.eu/europeaid/evaluation/methodology/assessment_en.htm

◗ DOCUMENTS

http://ec.europa.eu/europeaid/evaluation/methodology/methods/mth_docs_en.htm

◗ GLOSSARY : comparing definitions between OECD and EC

http://ec.europa.eu/europeaid/evaluation/methodology/glossary/glo_en.htm

Nei successivi periodi di programmazione strutturale sono poi stati pubblicati numerosi handbooks:

http://ec.europa.eu/regional_policy/information/evaluations/guidance_en.cfm

◗ Guidelines for system of monitoring and evaluation of ESF assistance in the period 2000-2006

http://www.igfse.pt/upload/docs/aval_LP_orientacoes_processo_aval_inter_DGEmprego.pdf

◗ Indicative guidelines on evaluation methods: monitoring and evaluation, The New Programming Period 2007-2013

http://ec.europa.eu/regional_policy/sources/docoffic/2007/working/wd2indic_082006_en.pdf

◗ Programming Period 2014-2020 Monitoring and Evaluation of European Cohesion Policy European Social Fund

http://www.qren.pt/np4/np4/?newsId=1334&fileName=Draft_ESF_guidance_monitoring_evaluation.pdf




Riferimenti:

Associazione Italiana di valutazione

http://www.valutazioneitaliana.it/

European Evaluation Society

http://www.europeanevaluation.org/

American Evaluation Association

http://www.eval.org/

Free resources for Program Evaluation and Social Research Methods

http://gsociology.icaap.org/methods/

Research Methods Knowledge Base

http://www.socialresearchmethods.net/kb/index.php#about

Glossari della valutazione:

a cura dell'OCSE: English, French (p.14)

http://www.oecd.org/development/peer-reviews/2754804.pdf

traduzione in italiano

http://www.oecd.org/development/peer-reviews/17484948.pdf

MEANS Collection

file:///C:/Users/giorgio/Desktop/140214_SFOPHE_Eglossary_e_BAG-Logo+neu_VRS.pdf


Per approfondimenti:

Altieri I. (1987), La ricerca valutativa negli interventi sociali, in P. Guidicini (a cura di), Nuovo manuale della ricerca sociologica, FrancoAngeli

Altieri L., Valutazione e partecipazione, metodologia per una ricerca attiva e negoziale, F. Angeli, 2011

Arduini S., PersonaLab, il misuratore d’impatto delle politiche sociali

http://www.vita.it/it/article/2015/04/21/personalab-il-misuratore-dimpatto-delle-politiche-sociali/132867/

Ballotta C., Valutazione ex ante. Spunti di riflessione tratti dall’esperienza concreta. Valut-azione, genn 2017

http://www.valut-azione.net/blog/valutazione-ex-ante-spunti-di-riflessione-tratti-dallesperienza-concreta/

Bezzi C., Cannavò L.,Palumbo M., Costruire e usare indicatori nella ricerca sociale e nella valutazione, Angeli, 2012

Bezzi C., Cos’è la valutazione. Un’introduzione ai concetti, le parole chiave e i problemi metodologici, Franco Angeli, 2013

Cascio M., Parenti I., Longo R., Una griglia per progettare in ambito socio-sanitario, Dors, 2015-08-29

http://www.dors.it/page.php?idarticolo=57

Cecchi D., Gianesin C., Poy S., Una proposta di metodo per misurare la performance di progetti sociali complessi, Percorsi di secondo welfare, 2015

http://www.secondowelfare.it/working-paper/una-proposta-di-metodo-per-misurare-le-performance-di-progetti-sociali-complessi.html

Ciucci F., Valutazione delle politiche e dei servizi sociali. Partecipazione, metodo, qualità, Angeli, 2012

Coffano E., Migliardi A., Piano Regionale della Prevenzione: un percorso di valutazione partecipato della Regione Piemonte, Dors

http://www.dors.it/pag.php?idcm=5473

De Ambrogio U. (2003a), Valutare gli interventi e le politiche sociali, Carocci, Roma

Id. (2003b), Il processo di costruzione dei Piani di zona sperimentali in Emilia Romagna, in “Prospettive Sociali e Sanitarie”, 6-2003

Delbert C. Miller, Neil J. Salkind, Handbook of Research Design and Social Measurement, SAGE Publications, Jan 16, 2002

Dessi C., Ghetti V., Guidetti G., La valutazione “in pratica”. Vincoli, potenzialità e strategie in un’ottica di apprendimento, Prospettive Sociali e Sanitarie anno XLIV – n. 4, autunno 2014

Epstein M.J., Yuthas K. (a cura di) (2014), Measuring and Improving Social Imacts. A Guide for Nonprofits, Companies, and Impact Investors, Berrett-Koehler PublishersEvalsed Soucebook, Method and Techniques

http://ec.europa.eu/regional_policy/sources/docgener/evaluation/guide/evaluation_sourcebook.pdf

Malfer L., Politiche sociali: la valutazione multistakeholder, Prospettive sociali e sanitarie, 2005

Martini A., Trivellato U. (2011), Sono soldi ben spesi? Perché e come valutare l’efficacia delle politiche pubbliche, Marsilio, Venezia

Ministero per la coesione territoriale (2012), Metodi e obiettivi per un uso efficace dei fondi comunitari 2014-2020

http://valutazioneinvestimenti.formez.it/

Palumbo M.(a cura di), Valutazione 2000. Esperienze e riflessioni, FrancoAngeli

Pasi G., Il rapporto OECD 'Social Impact Investment. Building the evidence base', Percorsi di secondo welfare, 2015http://www.secondowelfare.it/privati/finanza-sociale/il-rapporto-oecd-sulla-finanza-sociale.html

id. Il processo di valutazione, FrancoAngeli, 2001

Rissotto A., Alvaro F., Martino Rebonato, Valutare in ambito sociale. Approcci, metodi e strumenti, Armando, 2006

Rossi P. H., Freeman H. E., Lipsey m. w. (1999), Evaluation: A Systematic Approach, Sage, Thousand Oaks (ca). Siza R. (2002), Progettare nel sociale, FrancoAngeli, Milano

Stame n. (1998), L’esperienza della valutazione, Seam, Roma

id. (2001a), Tre approcci alla valutazione, in Palumbo (2001), pp. 21 ss.

id. (a cura di) (2001b), Valutazione 2001. Lo sviluppo della valutazione in Italia, FrancoAngeli, Milano

id. (2007), Classici della valutazione, FrancoAngeli, Milano.

UE, (2003), La valutazione dello sviluppo socio-economico. La guida,

http://db.formez.it/fontinor.nsf/8804ae899ac04f07c12569f40030aaca/EE3C41B223549D25C12571EA00399C43/$file/guida_evalsed.pdf

Unicef (1999), Guide for Monitoring and Evaluation

http://preval.org/documentos/00473.pdf

Valut-azione, La nozione di valutazione (di piani, programmi, progetti, politiche)

http://www.valut-azione.net/saperi/valutazione/accompagnamento-valutativo/?utm_campaign=shareaholic&utm_medium=linkedin&utm_source=socialnetwork

Vurro C., Perrini F., in 'La valutazione degli impatti sociali', Egea, 2013


In allegato una rassegna bibliografica più esaustiva

Tutti gli aggiornamenti del sito sulla

PAGINA FACEBOOK

“Mi piace” per avere le notifiche. Suggeriscilo ai tuoi amici



Giorgio Merlo nov 2014