V létě 2023 skončily poslední projekty výzvy 82. Rádi bychom se nyní za touto specifickou výzvou ohlédli v sérii třech blogových příspěvků. První blog se věnuje stručnému popisu výzvy a přehledu evaluačních metod, které se v projektech objevily. V druhém blogu se věnujeme naším zkušenostem z proběhlých evaluací a ve třetím se blíže představujeme dva úspěšné projekty.
Výzva 82 byla v oblasti evaluace „výzvou“ pro nás i pro ty, co se do ní přihlásili. Provést dobře kontrafaktuální evaluaci je totiž skutečně oříšek. Věříme, že se nám pomocí třech článků podaří přiblížit, co bylo účelem výzvy a jak se s ní realizátoři projektů vypořádali. Věříme také, že se nenecháte odradit spoustou odborných výrazů a že se i díky přiloženým odkazům dozvíte o evaluačních metodách něco nového, stejně jako tehdy my.
Výzva 82 byla vyhlášena 24. 12. 2017 a její oficiální název byl Ověřování nových řešení využitelných ve veřejné sféře. Kromě data svého vyhlášení byla specifická i svým zaměřením. Byla totiž určena pro takové projekty, které ověřují kauzální mechanismy svých aktivit, tedy zda ke změně dochází právě díky působení intervence a ne díky jiným vlivům. V projektech byla rovněž zásadní navázaná spolupráce s aktérem z veřejné správy (např. město, kraj apod.), který měl být od začátku do projektu vtažen a stát se pak i tím, kdo bude řešení v praxi využívat a prosazovat na systémové úrovni. Inspirací pro výzvu nám byl úspěšný brněnský projekt Rapid Re-Housing, který byl v minulosti podpořen také naší výzvou na sociální inovace. Tento projekt pomocí robustního randomizovaného experimentu ověřil efekty přístupu Housing first (bydlení především) a díky zapojení Magistrátu města Brna započal systémovou změnu v oblasti ukončování bezdomovectví.
Evaluace ve výzvě
Požadavek na kauzální ověření kladl vysoké nároky na dopadovou evaluaci. Základní informace k ní jsme sepsali v příloze výzvy a hlavní cíl evaluace v projektech jsme definovali takto: Ověřit dopad intervence na cílovou skupinu projektu. Výsledkem evaluace by mělo být prokázání, zda došlo ke změně v chování, postojích nebo životní situaci cílové skupiny a jakým mechanismem a proč k ní došlo.
Nakonec bylo podpořeno 11 projektů s různým zaměřením a různými evaluačními designy. V 10 projektech se využívala kontrafaktuální evaluace s kontrolní skupinou, 1 projekt kombinoval techniky komparativní případové studie a teorií vedenou dopadovou evaluací (theory based impact evaluation). Většina projektů použila k ověřování kauzality kvantitativní kontrafaktuální přístup, mezi projekty byl však rozdíl v metodách. Setkali jsme se tak s pre – post srovnáním, metodou difference in differences, propensity score matching i časovou řadou, bohužel v žádném projektu nebyly vhodné podmínky pro randomizovaný experiment. Všechny projekty s kontrafaktuálním přístupem kombinovaly metody kvantitativního a kvalitativního výzkumu.
Spolu s evaluací jsme ve výzvě kladli velký důraz na advokační práci, pro kterou bylo v projektech vyčleněno dostatek prostoru. Dva roky měl projekt na samotnou realizaci řešení (např. přímá práce s dětmi s autismem) a v dalším jednom roce mohly projekty dělat už jen činnosti spojené s evaluací a advokační činností (tyto dvě aktivity byly samozřejmě součástí i prvních dvou let). Právě tímto třetím rokem jsme chtěli projektům poskytnout čas na vyhodnocení sebraných dat, které pak mohli využít pro advokační část projektu. Tento časový odstup umožnil sbírat data po určité době po ukončení intervence a tím pádem sledovat detailněji její efekt a zvyšovat validitu výsledků a výzkumu. O našich zkušenostech z proběhlých evaluací se dozvíte v druhém díle blogové série.
Zdroje:
https://hf.socialnibydleni.org/
https://www.esfcr.cz/vyzva-082-opz
Obrázek: Teorie změny projektu z výzvy 82
