La lezione della Annie E. Casey Foundation: per sviluppare una cultura della valutazione occorre investire sulla capacity delle non profit
Con Ayo Atterberry, senior associate dell'Evidence-Based Practice Group della AECF e Leap Ambassador, esaminiamo come la Fondazione opera per rafforzare le organizzazioni non profit e aiutarle a diventare “evidence-based”
23 Maggio 2018
La Annie E. Casey Foundation è una fondazione di famiglia costituita nel 1946 da Jim Casey, fondatore di UPS, e dai suoi fratelli in onore della madre. Nel 2017, la Fondazione ha fornito un totale di $135 milioni tra donazioni, assistenza diretta tecnica e supporto consulenziale, lavorando con partner e organizzazioni non profit in tutti gli Stati USA.
Nell’intervista a Ayo Atterberry, senior associate dell’Evidence-Based Practice Group di AECF e Leap Ambassador, community di esperti nell’ambito della high-performance delle non profit, esaminiamo come una fondazione possa utilizzare la valutazione per far progredire le organizzazioni che lavorano a supporto di bambini e famiglie svantaggiate. Spesso programmi promettenti rivolti ai giovani hanno difficoltà a recuperare dati, finanziamenti e tempo per misurare i propri progressi e scalare le soluzioni di successo. Il portafoglio Expanding Evidence della Fondazione, guidata da Atterberry, mira a sostenere programmi emergenti che lavorano in particolare per le famiglie di colore per costruire una base dati solida a riprova della loro efficacia.
La Casey Foundation è attiva come soggetto filantropico per potenziare gli outcome di bambini e famiglie, in particolare sostenendo pratiche innovative di progettazione e implementazione. Qual è la ragione del vostro focus sulla costruzione di “evidenze” e il collegamento con la sua area di lavoro?
Il nostro obiettivo principale è contribuire a costruire un futuro migliore per le nostre comunità: nella nostra prospettiva, con un bacino limitato di risorse disponibili per un proposito così ambizioso, è imprescindibile concentrarci su iniziative che possano provare la propria efficacia anche in diversi contesti. In altre parole, ci interessa supportare ciò che funziona (what works).
Questo comporta un duplice sentiero: da un lato, sostenere quei progetti che hanno già dimostrato di essere efficaci per farli crescere, diventare più resilienti e scalabili. Dall’altro, lavorare sull’innovazione, costruendo la prima base di evidenze di nuove soluzioni che si stanno dimostrando promettenti per i beneficiari a cui ci rivolgiamo.
La mia area supporta anche il portafoglio Racial and Ethnic Equity and Inclusion della Fondazione che mira ad assicurare a tutti i bambini il raggiungimento del loro potenziale – a prescindere da razza, etnia e comunità di residenza. Se si guarda agli ultimi dati nel nostro Race for Results: 2017 Kids Count Policy Report, a oggi sono 74 milioni i minori negli Stati Uniti, di cui il 49% di colore. Gli ostacoli che devono superare questi ultimi, soprattutto nelle famiglie immigrate, sono complessi: i bambini African-American, American Indian e Latino si trovano davanti le maggiori difficoltà nel proprio “cammino verso l’opportunità” come ci piace chiamarlo.
E questo orientamento “evidence-based” come determina le vostre strategie erogative?
Dal nostro punto di vista ragionare sulla base di dati costituisce un continuum – o una serie di gradini se vuoi – che spazia dall’innovazione al programma strutturato; noi collaboriamo con organizzazioni a tutti i livelli. Per i programmi nuovi, ci interessa verificare la robustezza della progettazione e aiutare le organizzazioni a dimostrare tale progettazione, così come ragionare sulla capacity necessaria per progredire al livello successivo: ciò significa che investiamo frequentemente nello sviluppo early-stage. Le domande chiave per noi includono: “l’organizzazione ha una leadership forte? Ha bisogno di sviluppo tecnico? Dobbiamo fornire supporto per definire un modello logico o una theory of change per programmare meglio come verranno prodotti gli outcome? O esiste già un modello chiaro e serve implementare un sistema di performance management?” Sosteniamo anche organizzazioni che si trovano in una fase del ciclo di sviluppo più avanzata, in cui è già stata effettuata una valutazione di un programma in corso che suggerisce la possibilità che ci sia un impatto positivo: in questo caso, siamo interessati a finanziare uno studio randomizzato controllato (RCT) per valutare rigorosamente l’effettiva efficacia del programma.
Sostanzialmente, la nostra è una strategia erogativa flessibile che vuole comprendere il reale bisogno di un’organizzazione in uno specifico momento per aiutarla ad avviare un percorso “basato sulle evidenze” – che questo significhi sviluppare una Theory of Change, adottare un sistema di performance management e un protocollo interno di raccolta dati, o valutare l’impatto in modo rigoroso attraverso un’analisi RCT. Vogliamo porre le organizzazioni che sosteniamo su un continuum di evidenza in modo che possano avviare un percorso ragionato di crescita orientata ai risultati.
Vogliamo porre le organizzazioni che sosteniamo su un “evidence-continuum” in modo che possano avviare un percorso ragionato di crescita orientata ai risultati
Avete una linea di budget dedicata al supporto della pratica valutativa? Fino a che punto siete attivamente coinvolti con le organizzazioni sostenute a seguito dell’erogazione del finanziamento?
All’interno del mio attuale portafoglio, che conta 17 non profit sostenute, stiamo finanziando tre studi RCT e, in media, abbiamo la stessa percentuale di organizzazioni in fase early-stage e avanzata. La Casey Foundation ha inoltre una Research and Evaluation Unit dedicata alla valutazione e a fornire supporto ai dipartimenti della Fondazione sull’analisi degli outcome prodotti da specifici finanziamenti.
A seconda dello stadio in cui si trova la non profit operiamo in modalità differenti. Con organizzazioni early-stage, di solito affianchiamo per la costruzione della theory of change perché vogliamo assicurarci che la non profit stia adottando un approccio focalizzato sugli outcome a cui siamo interessati. Inoltre, fino a che non sono pronti a valutare la differenza generata in termini di impatto, a volte li aiutiamo a guardare i modelli di altre organizzazioni di successo che stanno lavorando a favore di beneficiari simili; integrando queste valutazioni con le informazioni di ricerche e analisi, possono definire una direzione informata per generare cambiamento sociale.
Se la non profit invece è in una fase di sviluppo più avanzata nel continuum e, ad esempio, nel corso di una valutazione RCT, il nostro ruolo è meno presente e ci affidiamo a valutatori indipendenti per effettuale l’analisi. Il mio ruolo consiste principalmente nell’identificare i bisogni e monitorare il lavoro fornendo supporto diretto o identificando esperti, consulenti, ricercatori che dobbiamo coinvolgere e mettere a fianco delle non profit.
In cosa consiste l’Expanding Evidence Portfolio?
Programmi promettenti in fase early-stage che cercano di potenziare gli outcome di bambini e famiglie si trovano spesso davanti a una sfida critica: come sviluppare processi e dati sistematici per aiutarli a misurare i propri risultati? L’Expanding Evidence Portfolio della Casey Foundation mira a rafforzare la capacity di nuove iniziative rivolte a famiglie di colore affinché l’organizzazione possa affinare i propri servizi, identità e i processi che sono alla base del successo in modo da sistematizzare e misurare l’efficacia del programma.
L’obiettivo è di fornire supporto alle organizzazioni che sostengono le persone di colore affinché aumentino la propensione a lavorare sulla base delle evidenze fornendo assistenza tecnica per costruire una capacity interna della valutazione, sviluppare modelli logici e, infine, raggiungere i requisiti della University of Colorado’s Blueprints for Healthy Youth Development, lo standard di settore per interventi evidence-based di prevenzione. Anche se i programmi possono essere diversi nei servizi che erogano, sono tutti a un punto nel loro sviluppo in cui possono essere portati al livello successivo di professionalizzazione.
Programmi promettenti in fase early-stage che cercano di potenziare gli outcome di bambini e famiglie si trovano spesso davanti a una sfida critica: come sviluppare processi e dati sistematici per aiutarli a misurare i propri risultati?
Quali sono i suggerimenti principali che ti senti di dare per sviluppare un modello efficace di valutazione?
In precedenza ho rivestito il ruolo di Director of outcomes, assessment and learning presso Venture Philanthropy Partners (VPP), organizzazione filantropica guidata da Carol Thompson Cole e fondata da Mario Morino, che mira a sostenere i leader non profit affinché possano costruire organizzazioni resilienti e high-performing. Hanno un grande modello che prevede un sostegno alle non profit di 3-5 anni; quell’esperienza mi ha insegnato che per costruire una pratica di valutazione bisogna investire a lungo termine.
Oltre a fornire risorse e finanziamenti su singoli studi di valutazione, la filantropia dovrebbe sostenere processi incrementali su base continuativa (ad esempio lo sviluppo di un sistema di performance management nella non profit) per assicurarsi che ci sia un cambiamento nell’organizzazione reale che persista dopo la fine del finanziamento. Il nostro obiettivo dovrebbe essere di integrare una cultura dell’evidenza e della valutazione all’interno della non profit più che supportare studi di valutazione una-tantum – cosa che può essere utile sul momento, ma che non aiuta a formare la cultura, lo spirito e la visione della non profit a lungo termine.
Se i finanziatori vogliono vedere il cambiamento, devono mirare a instillare una cultura dei dati e della valutazione nelle non profit che sostengono piuttosto che supportare iniziative di valutazione una-tantum