EvalCafé

Milí příznivci evaluací,

rádi bychom Vás opět pozvali na EvalCafé České evaluační společnosti, tentokrát na téma: Evaluace projektů sociálních inovací – aneb – Brainstorming nad kávou a evaluačními designy konkrétních připravovaných projektů.

Setkání se uskuteční v pondělí 24. 4. 2017 od 17.00 v sídle ČES (Heřmanova 22, Praha 7), případně v jiných prostorách (bude upřesněno registrovaným účastníkům cca týden před setkáním).

Úvaha za přípravou tohoto poněkud experimentálního EvalCafé je následující: 

  • Prioritní osa 3 Operačního programu Zaměstnanost podporuje projekty sociálních inovací. Povinnou součástí projektu je jeho (sebe)evaluace. Evaluátor těchto projektů je nejčastěji součástí realizačního týmu projektu. Evaluace takovýchto projektů je ve světě ESI fondů relativně novou oblastí a jednotlivé projekty se potýkají s nedostatkem zkušeností v oblasti evaluací.  
  • V rámci EvalCafé chceme provést společnou diskuzi realizátorů projektů, donora a evaluátorů a nejvhodnější podobě evaluace konkrétních připravovaných projektů.
  • Realizátor tak může dostat cenné rady ohledně nastavení evaluace (a třeba i najít evaluátora do týmu).
  • Evaluátoři si mohou vyzkoušet, jaké to je připravovat evaluační design v nezvyklém, ale ideálním okamžiku – při tvorbě samotného projektu (a třeba navázat spolupráci s konkrétním projektem).
  • Donor bude mít dobrý pocit z toho, že evaluace jím financovaných projektů jsou na dobré cestě (a třeba promyslí ještě lepší nastavení evaluačních aktivit v další výzvě).

 

Svou účast prosím potvrďte na email bucinova@czecheval.cz nejpozději do úterý 18. 4. 2017.

 

Stručné informace o projektech, jejichž evaluační design chceme diskutovat naleznete ZDE.

TÉMA: Ochota a míra zapojení zadavatelů do řešení evaluačního projektu

Čtvrtého setkání EvalCafé konaného dne 14. 9. 2016 se zúčastnily čtyři osoby, a to zástupci evaluátorů, zadavatelů (se zkušenostmi z oblasti ESIF) a akademického sektoru.

Ústředními otázkami, na které účastníci hledali odpovědi, byly:

  • Jaká je role zadavatelů při zadávání evaluací?
  • Měli by specifikovat zadání evaluace a pracovat s jejími výstupy nebo by se měli aktivně zapojovat do realizace evaluace?
  • Jaká je optimální míra participace zadavatelů?

Účastníci se shodli na tom, že neexistuje obecně platné doporučení týkající se míry zapojení zadavatelů do prováděné evaluace. Stupeň a podoba zapojení závisí mimo jiné na typu prováděné evaluace. U formativních evaluací je účelná velmi intenzivní spolupráce, neboť evaluátor spolu se zadavatelem hledají způsoby zvýšení efektivity běžícího programu/projektu. Naopak u sumativních evaluací by si měl evaluátor ponechat větší prostor pro uplatňování vlastních přístupů a mělo by se více dbát na samostatnost evaluátora a nezávislost takovéto evaluace. Míra zapojení zadavatelů souvisí také s preferencemi obou stran. Účastníci se také shodli na tom, že spíše než intenzita komunikace musí být nastaven vhodný způsob komunikace a vyjasnění si vzájemných očekávání hned na začátku projektu. Kromě jasného vymezení, co zadavatel od evaluace očekává, by mělo být projednáno, jak a zda vůbec lze stanovených cílů dosáhnout. Důležitou součástí této dohody je také forma výstupů a doporučení.

Účastníci diskutovali také to, zda je evaluátor tou správnou osobou, která by měla stanovovat doporučení týkající se dalšího rozvoje hodnocené intervence. Nabízí se alternativní přístup, kdy evaluátor pouze shrne výsledky evaluace a představí závěry vyplývající z dosaženého hodnocení. Konkrétní plán či strategii jejich implementace pak specifikuje sám zadavatel. Zadavatel totiž zná vnitřní prostředí a mechanismy, v rámci kterých program/projekt funguje, mnohem lépe než externí evaluátor. Tento přístup by mohl eliminovat návrh doporučení, která posléze zadavatel vyhodnotí jako nereálná a neproveditelná.

Doporučení:

  • Míru zapojení zadavatele do evaluace dohodnout již v úvodu projektu.
  • Bez ohledu na intenzitu komunikace mezi evaluátorem a zadavatelem, vždy usilovat o to, aby komunikace nebyla pouze formální, ale aby přispěla ke zdárnému výsledku.
  • Umožnit, aby každá ze stran mohla vnést do evaluace své specifické znalosti: zadavatel znalost prostředí realizace programu/projektu a evaluátor znalost evaluačních metod a technik.

TÉMA: Sofistikované evaluační metody, ano či ne?

V pořadí třetího setkání EvalCafé konaného dne 17. 3. 2016 se zúčastnilo 8 osob – evaluátorů i zadavatelů se zkušeností jak v oblasti ESIF tak rozvojové pomoci.

Ústředními otázkami, na které jsme hledali odpovědi, byly: „Jaké evaluační metody lze považovat za sofistikované?“, „Jsou využívány v praxi?“, „Jsou poptávány ze strany zadavatelů?“.

Účastníci se shodli na tom, že neexistuje obecně platná definice, která by jasně vymezila, které metody a přístupy lze považovat za „sofistikované“ a které nikoliv. Vždy záleží na pohledu a vnímání konkrétního evaluátora. To, co jeden evaluátor může považovat za sofistikovanou metodu, může druhý vnímat jako zcela triviální přístup k řešení.

Obecně jsou jako sofistikované metody vnímány spíše metody kvantitativní. Mnohé organizace mají vybudovaný systém složitých metod a nástrojů, které využívají již dlouhou dobu, avšak v jiných oblastech nežli evaluacích (např. v oblasti finančního a ekonomického modelování). Rozšíření využívání těchto metod a nástrojů i do oblasti evaluací proto může být považováno za inovativní přístup, který zvýší kvalitu evaluací. Síla těchto modelů a nástrojů je v tom, že využívají historická data (časové řady), což v případě evaluací naráží na nedostupnost dat. Ačkoliv se sbírají data z různých segmentů socioekonomického prostředí, tak evaluátorům nejsou dostupná nebo jen v omezené míře (jako příklad byly uváděny data vztahující se k zaměstnanosti sbírané Úřadem práce, Správou sociálního zabezpečení apod.).

Účastníci dále považují za sofistikované takové metody, které představují komplexní přístup k řešení evaluačního projektu. Správné nastavení evaluačního designu a optimální volba vhodných metod totiž může svědčit o sofistikovanosti přístupu k evaluaci. V evaluacích je nanejvýš vhodné uplatňovat triangulaci dat, ať už kombinací kvalitativních a kvantitativních metod nebo nastavením spolupráce se všemi zainteresovanými stranami. Sofistikovanost lze tedy vidět v návrhu designu.

Evaluace spadají svým charakterem spíše do aplikovaného výzkumu, který je na rozdíl od základního výzkumu zaměřený na praktickou realizaci poznatků (evaluační zjištění, resp. doporučení slouží jako podklad pro rozhodování zadavatelů). Metody využívané v evaluacích nejsou proto tak rigorózní jako v jiných disciplínách a v praxi se toleruje uzpůsobení konkrétní situaci. Charakteristickým rysem evaluací je, že využívají výzkumné metody typické pro jiné obory a stávají se tak „platformou pro střet“ těchto metod.

Jedním z úskalí sofistikovaných metod je, že dodavatelé mnohdy neumí výsledky těchto metod převést do srozumitelného jazyka tak, aby výstupům evaluace zadavatel a odborná veřejnost rozuměla. Nicméně v ČR se mnohé metody teprve rozvíjejí, proto nelze požadovat jejich perfektní zvládání – musí existovat prostor pro jejich osvojení.

Účastníci diskuse se shodli také na tom, že i v oblasti evaluačních metod funguje určitá „módnost“. Za módní a populární evaluační metodu je možné v posledních letech považovat např. contrafactual impact evaluation (CIE). Požadavky na použití této metody při realizaci evaluací se objevovaly a objevují v zadávacích dokumentacích velmi často, mnohdy bez ohledu na relevanci ve vztahu ke konkrétní situaci. Velmi častým úskalím této metody je stanovení a výběr kontrolní skupiny. Jako příklad byly uváděny evaluace programů Evropského sociálního fondu, neboť v ČR je problém najít kontrolní skupinu znevýhodněných osob, které by nebyly podpořené.

Účastníci dále diskutovali význam Vstupních zpráv, kterým zadavatelé mnohdy nevěnují dostatek pozornosti a jsou mnohými považovány za formální akt splnění požadavků zadávací dokumentace. Evaluátoři by uvítali, pokud by úvodní fáze evaluace (resp. příprava Vstupní zprávy) byla zadavateli chápána jako platforma odborné partnerské diskuse mezi zadavatelem a dodavatelem s cílem připravit takový design, který povede ke spolehlivým a validním výsledkům.

V souvislosti s tím byla také zmiňována potřeba vzájemné výměny informací a zkušeností mezi zadavateli (evaluačními jednotkami). V současné době nedochází v dostatečné míře ke vzájemnému využívání dobré praxe a sdílení funkčních systémů využitelných při evaluačním procesu.

Doporučení:

  • Při tvorbě evaluačního designu využívat kombinaci kvalitativních a kvantitativních metod a pečlivě zvažovat smysluplnost/reálnost konkrétních metod pro danou evaluaci/situaci.
  • Úvodní fázi evaluace (zpracování Vstupní zprávy) využívat pro partnerskou diskusi mezi zadavatelem a dodavatelem vedoucí k optimálnímu nastavení evaluačního designu.
  • Posilovat aktivity vedoucí k výměně informací jak mezi evaluátory navzájem, tak mezi zadavateli a jejich evaluačními jednotkami. Umožnit sdílení dobrých praxí a funkčních systémů.

TÉMA: Jak poznat kvalitní evaluaci a jak posilovat kvalitu evaluací

Druhé evaluační kavárny konané dne 4. 11. 2015 se zúčastnilo 9 osob se zkušenostmi z oblasti sociální, vzdělávací i rozvojové. K dispozici byly výtisky Kodexu evaluátora a Formálních standardů provádění evaluací České evaluační společnosti (ČES).

Kvalita evaluací se odvíjí již od jejich zadání.  Pokud si zadání částečně odporuje, např. otázky nejsou v souladu s cíli evaluace, nedávají smysl, nejsou k nim dostupná data nebo je otázek mnoho, nelze následně očekávat kvalitní evaluaci. Otázkou je, zda podat nabídku na evaluaci, která má diskutabilní zadání. Zazněl názor, že i přesto může mít evaluace přínos. Např. pokud zadání požaduje kontrafaktuální evaluaci, ale nemá k dispozici vstupní data a kontrolní skupinu, může výsledná evaluace upozornit na to, kdy a jak kontrolní skupinu vytvořit, jak sbírat data, jak vytvořit systém monitorování a evaluací apod. Na druhou stranu zaznělo, že nemá smysl připravovat evaluaci, která je pouze formální či jejímž cílem je obrana osobních politických cílů.  

Několik evaluátorů považuje za problematické, pokud kontaktní osoby zadavatele nemají dostatečné povědomí o evaluacích. Též mezi realizátory je malé povědomí o tom, co evaluace jsou a jaký mohou mít přínos. Proto se řada z nich bojí či je vnímá jako formalitu. Je tedy vhodné vysvětlovat evaluace formou příběhů, na kterých lze dokázat konkrétní dopady evaluací. Evaluace mohou být přínosné, i pokud na hodnocený projekt nenavazuje dotační řízení, které umožní pokračování projektu. Výstupy z evaluace lze použít např. pro fundraising. Lze také zobecnit některá poučení a řídit se jimi i v jiných projektech realizátora. Zájem realizátorů o evaluace se též posiluje, pokud mají konkrétní zkušenost s přínosnou evaluací.

Evaluátoři by proto uvítali informace od zadavatelů, jak jsou evaluační zprávy dále využívány. Toto se již děje v oblasti zahraniční rozvojové spolupráce (ZRS), kdy Ministerstvo zahraničních věcí (MZV) ČR každý rok vypořádá doporučení ze všech evaluací a shrne, jak byla zohledněna či proč zohledněna nebyla. V lednu 2015 na popud ČES proběhlo první setkání zadavatele, realizátorů a evaluátorů, kdy byl společně vyhodnocen proces evaluací v uplynulém roce i realizace doporučení a dále byl prodiskutován plán evaluací na rok 2015. Setkání bylo vyhodnoceno jako velmi užitečné, jelikož mimo jiné pomohlo evaluátorům osvětlit právní a jiné důvody, proč jsou některá doporučení nerealizovatelná. Průběžné angažmá ČES v referenční skupině MZV ČR k evaluacím (zástupce ČES je Daniel Svoboda) a každoroční společné vyhodnocení může být příkladem i pro další ministerstva.

Kvalitu evaluačních zpráv dle Formálních standardů provádění evaluací ČES hodnotily již 2 kola peer reviews. Někteří evaluátoři by ocenili dokončení peer review evaluačních zpráv týkajících se strukturálních fondů. Přestože byly již v roce 2014 prezentovány souhrnné výsledky, ocenili by evaluátoři též osobní zpětnou vazbu, jako tomu bylo u peer reviews evaluací ZRS na přelomu let 2013 až 2014.

Kvalita evaluací ovšem není jen o výstupu (evaluační zprávě), ale i o dostupných zdrojích, načasování, přípravě apod. V rámci přípravy je vhodné identifikovat osoby zainteresované na evaluaci a zjistit jejich potřeby. Přitom je vhodné posilovat povědomí o evaluacích a zájem o ně jak vůči zadavatelům a realizátorům, tak vůči cílovým skupinám projektů / programů / politik. Evaluační zprávy ministerstev ČR jsou veřejné, jsou tedy většině cílových skupin přístupné (pokud mají internet).

Evaluátoři často bojují s „politickou průchodností“ evaluačních zpráv. Otázkou je, zda je etické, aby evaluátor vytvářel různé verze zpráv pro různé uživatele (tedy např. interní, včetně kritiky ohledně procesů v organizaci, a externí). 

Doporučení pro zadavatele:

  • Vypisovat kvalitní zadání evaluací, která nebudou vnitřně v rozporu a která umožní proveditelné evaluace
  • Zapojovat se do aktivit ČES, které podporují spolupráci s ministerstvy

Doporučení pro evaluátory:

  • Posílit přípravu evaluací, např. rešerši dostupných evaluací, analýz a studií, dále též provést úvodní diskusi nejen se zadavatelem, ale i s dalšími klíčovými aktéry a ověřit proveditelnost evaluace
  • Znát odbornou problematiku, kterou evaluují, a/či  spojit se se sektorovým odborníkem
  • Znát různé evaluační přístupy a neustále posilovat své evaluační zkušenosti
  • Správně formulovat evaluační otázky (tzv. powerful questions, které energizují aktéry)
  • Vhodně zobrazovat výstupy z evaluací a přizpůsobit hlavní sdělení, závěry a doporučení konkrétním aktérům (např. formou pohledu, tiskové zprávy, článku do odborného periodika apod.)
  • Připravit ve spolupráci se zadavateli již během přípravy evaluace komunikační strategii evaluačních výstupů

Doporučení pro ČES:

  • Pracovat se zadavateli, aby dokázali vypisovat kvalitní zadání evaluací, která nebudou vnitřně v rozporu a která umožní proveditelné evaluace
  • Nabídnout zadavatelům / řídícím orgánům podporu při implementaci doporučení a komunikaci výstupů z evaluací napříč hierarchií ministerstev
  • Sdílet se zadavateli kvalitní evaluace, které přispěly ke změnám, aktivně zapojily aktéry, byly provedeny vhodně metodologicky apod.
  • Posílit tzv. evidence-based  policy, tedy pomoci úředníkům s argumenty, proč zachovat či podpořit environmentální vzdělávání (již probíhá díky jednomu členovi ČES v rámci jeho aktivit na MŠMT),  globální rozvojové vzdělávání apod.
  • Poskytnout všem hodnoceným v rámci peer review evaluačních zpráv týkajících se strukturálních fondů zpětnou vazbu na jejich práci (písemně či ústně, dle preferencí evaluátora).
  • Na www.czecheval.cz vysvětlit pojem evaluace a zmínit příklady, kdy měly evaluace konkrétní pozitivní přínosy.
  • Na následujícím EvalCafe projít evaluační otázky podle jednotlivých evaluačních kritérií OECD/DAC, případně na základě dialogu vytvořit přehled typických evaluačních otázek ke každému kritériu
  • Pomoci s průběžným vzděláváním jak evaluátorů, tak zadavatelů a realizátorů

Rozvinout interní diskusi nad hodnocením evaluátorů.

Děkujeme všem účastníkům za sdílení zkušeností!

O dalším setkání Vás budeme informovat na stránkách www.czecheval.cz.

 

TÉMA:  Evaluace, které měly opravdu dopad

První evaluační kavárny konané dne 21. 5. 2015 se zůčastnilo 9 osob - zadavatelů i evaluátorů, se zkušeností z oblasti sociální, vzdělávací i rozvojové. 

Na úrovni projektové zmínili několik příkladů evaluací, které měly opravdu dopad - vedly například ke změně strategie realizátora, přesunu do více potřebných regionů apod. V jednom případě bylo zjištěno, že dopady projektu byly negativní, i když projekt vedl k nadprůměrným výstupům i výsledkům - ovšem dopady byly ovlivněny externími faktory, které při plánování nebyly dostatečně zohledněny. Teorie změny tedy bylo třeba následně změnit.

Účastníci identifikovali následující faktory, které přispěly k vlivným evaluacím: jasné zadání a jasný cíl evaluace; kvalitní evaluátor a expert na danou problematiku; dále dostatečně konkrétní projekt (výstupy, výsledky, dopady); dostatečný čas na evaluaci (pro evaluátory, ale i zadavatele a ostatní); úzká spolupráce s hlavními aktéry, kteří jsou zodpovědní za výsledek, jsou motivováni k pozitivním změnám, ochotni přiznat si případnou chybu a poučit se, dostupná data včetně dat vstupních a též fakt, že evaluace je součástí rozhodovacích struktur zadavatele.

Bylo navrženo, aby evaluace programů byly vybudovány "odspoda", tedy z evaluací jednotlivých projektů. Ty pak mohou být kombinovány s analýzou dat, pokud budou dostupná a dostatečně kvalitní. V každém případě byla podtržena odpovědnost všech zúčastněných za výsledky, tedy změny v životech lidí, nejen za dostatečné čerpání prostředků v souladu se zákonem a příslušnými pravidly. Dále by evaluátoři uvítali další komunikaci se zadavatelem po ukončení evaluace - tedy zpětnou vazbu, zda-li evaluace měla dopad. Tato komunikace již probíhá například v rámci zahraniční rozvojové spolupráce na Ministerstvu zahraničních věcí ČR.

Z diskuse vyplynulo, že je třeba více posílit tvorbu politik a programů založenou na evaluacích (tedy tzv. evidence-based policy). Je třeba více kvalitních evaluátorů (co nejvíce "nezávislých"), kvalitních zadání evaluací, ale i vodítko, jak poznat kvalitní evaluaci. ČES může pomoci s průběžným vzděláváním jak evaluátorů, tak zadavatelů. Může též rozvinout interní diskusi nad hodnocením evaluátorů. Tedy jak dále stavět na již existujícím Kodexu evaluátora a Standardech provádění evaluací. Tato témata budou dále diskutovány na konferenci ČES dne 9. 6. 2015 a na dalších setkáních ČES.

Děkujeme všem účastníkům za jejich aktivní příspěvky i naslouchání! O dalším setkání Vás budeme informovat opět na stránkách www.czecheval.cz.

 

   

TOPlist

aktualizováno: 16.11.2017 17:32:54