ÚVOD

 

Úvod

 

 

Cílem tohoto souboru nástrojů je poskytnout vám praktické nástroje, které vám pomohou při hodnocení projektů zaměřených na zvýšení zaměstnanosti mladých lidí (ve věku 15–24 let), včetně osob, které se potýkají s problémy v době přechodu mezi školou a zaměstnáním (skupina NEET).

Hlavními příjemci tohoto souboru nástrojů jsou nevládní organizace a další subjekty, které mají zájem provádět analýzu vlastních projektů realizovaných ve výše uvedené oblasti. Hodnocení se může zaměřit na následující aspekty:

  • Měření účinnosti projektu z hlediska dosažení cílů a výsledků projektu (výstupů, výsledků),
  • Hodnocení užitečnosti projektu pro beneficienty/účastníky a udržitelnosti dosažených výsledků,
  • Lepší přizpůsobení projektu potřebám beneficientů a trhu práce,
  • Zkoumání dopadu projektu na širší skupinu osob, které se ho přímo neúčastnily (např. rodina nebo přátelé beneficientů projektu),
  • Hodnocení efektivity projektu z hlediska využitých zdrojů a účinků projektu.

Tento soubor nástrojů je doplňujícím materiálem ke kurzu Cesta k lepším projektům zaměstnanosti mládeže – vzdělávací kurz zaměřený na hodnocení, který je k dispozici na e-learningové platformě projektu YOUTH IMPACT. Kurz vám umožní získat znalosti a osvojit si dovednosti v oblasti hodnocení přizpůsobené vašim potřebám (na základní nebo pokročilé úrovni); tyto nástroje vám pak přinášejí obecné informace spolu s praktickými pokyny, nástroji a příklady, které slouží k rozvoji hodnoticích dovedností a pomohou vám prakticky využívat znalosti získané během dálkového kurzu. K tomu slouží mimo jiné soubory otázek, tabulky a šablony, které vám usnadní navrhnout a naplánovat hodnocení, shromáždit potřebné informace a následně formulovat závěry a doporučení zaměřená na zlepšení projektů realizovaných vaší organizací.

Tento soubor nástrojů sestavila polská Nadace na podporu místní demokracie (FRDL) Jerzyho Regulského ve spolupráci s Výzkumným ústavem pro inovativní a preventivní koncepci pracovních míst (FIAP e.V., Německo), agenturou Channel Crossings (Česká republika) a společností PEDAL Consulting (Slovensko) v rámci projektu zvyšování uplatnění mladých lidí na trhu práce Youth Impact financovaného EHP a Norskými fondy. Cílem projektu je poskytnout nástroje a služby, které by pomohly realizátorům akcí na podporu zaměstnanosti a podnikatelských aktivit mladých lidí efektivně zhodnotit dopad jejich aktivit. Projekt bude probíhat v letech 2019-2022.

Aktivity v rámci tohoto projektu jsou zaměřeny na rozvoj hodnoticích dovedností subjektů, které podporují zaměstnanost a podnikání mladých lidí.

SLOVNÍK POJMŮ

Slovník pojmů

 

Aktivita (v rámci hodnoceného projektu)– kroky zaměřené na specifickou cílovou skupinu, které přispívají k dosažení plánovaných výstupů a výsledků a následně k dosažení cílů projektu.

Příklad: Školení 20 mladých matek (které byly na začátku projektu nezaměstnané a musely pobírat dávky sociální podpory) v barvení látek ve městě X.

 

Generalizace – aplikace zjištění vyplývajících ze zkoumání vybraného vzorku na celou populaci (tzn. i na jednotky, které se neúčastnily výzkumu). Na základě výsledků daného vzorku dospějeme k závěru – s přiměřenou mírou pravděpodobnosti – že pro celou populaci platí podobná zjištění (charakteristiky/názory).

 

Dopad – důsledky a účinky aktivit, výstupů a výsledků projektu dlouhodobě přispívající (vedle případných jiných projektů / intervencí a faktorů) ke změnám, které mají vliv na širší komunitu než pouhé přímé příjemce projektu.

Příklad: Zlepšení životních podmínek dětí vychovávaných ženou, která si našla práci díky odborným dovednostem získaným v rámci projektu.

 

Ukazatel dopadu – informuje nás o pozdějších účincích projektu nad rámec přímých příjemců projektu. Tyto účinky se obvykle týkají sociálního prostředí / komunity beneficientů projektu a mohou vyplývat z kumulace různých faktorů (včetně mimoprojektových aktivit).

Příklad: Procento beneficientů projektu, jejichž domácnost nemusela pobírat dávky sociální podpory 18 měsíců po ukončení projektu.

 

Logická matice projektu – tabulka sloužící k určení metody hodnocení vybraných prvků projektu, jako je výstup, výsledek nebo dopad projektu. Matice definuje ukazatele, pomocí kterých bude daný prvek měřen, metodu měření a předpoklady/podmínky dosažení účinků projektu (viz kapitola 2.1).

 

Logický model změny – komplexní nástroj plánování a následného řízení realizace projektu. Nástroj vyjadřuje logiku příslušné intervence a spojuje jednotlivé prvky projektu s vazbami příčina-následek (viz kapitola 2.1).

 

Monitorování – nepřetržité shromažďování, analýza a dokumentace informací týkajících se průběhu realizace v porovnání s plánovaným harmonogramem aktivit a rozpočtem prováděné během realizace projektu.

 

NEET („not in employment, education or training“) – název skupiny zejména mladých lidí, kteří zůstávají mimo sféru zaměstnání a vzdělávání, tj. osob, které z různých důvodů (ztráta odvahy či znechucení, životní krize, zdravotní postižení, rodičovské nebo rodinné povinnosti) nestudují, nepracují, ani se nepřipravují na povolání.

 

Cíl (obecný) – předpokládaný stav nebo účinky aktivit realizovaných v rámci projektu, kterých by mělo být podle plánu dosaženo během určité doby.

Příklad: Zvýšení zaměstnanosti mladých matek (které byly nezaměstnané v roce 2020 a musely pobírat dávky sociální podpory) ve městě X do roku 2022.

 

Na cestě k dosažení obecného cíle můžete stanovit specifické cíle. Specifický cíl je plánovaný stav, kterého bude dosaženo v důsledku realizace určitých aktivit. Měl by být konzistentní s obecným cílem a přispívat k jeho dosažení.

Příklad: Zvýšení odborných dovedností mladých matek (které byly nezaměstnané v roce 2020 a musely pobírat dávky sociální podpory) ve městě X do konce roku 2021 tak, aby dosáhly úrovně očekávané zaměstnavateli z daného města.

 

Výsledek – přímé a okamžité účinky/změny týkající se beneficientů, které jsou důsledkem realizace konkrétních projektových aktivit.

Příklad: Zlepšení dovedností beneficientů projektu v oblasti barvení látek.

 

Ukazatel výsledku – informuje o úrovni změn týkajících se beneficientů projektu dosažených v důsledku jejich účasti v aktivitách projektu a využití výstupů vytvořených v konkrétní fázi realizace projektu.

Příklad: Počet beneficientů, kteří získali odborné dovednosti v oblasti barvení látek.

 

Výstup – krátkodobý důsledek určité činnosti v hmotné podobě (počitatelné povahy), např. věc, předmět, událost (dodání služby). Může se jednat o zboží nebo služby poskytnuté příjemcům projektu, které mají přispět k dosažení plánovaných výsledků.

Příklad: Školicí materiály, osvědčení o získání odborné kvalifikace v oboru barvení látek beneficienty projektu.

 

Ukazatel výstupu – informuje o realizaci aktivit, jejichž výsledkem jsou měřitelné produkty.

Příklady: Počet vydaných osvědčení o získání konkrétních odborných dovedností, počet osob, které dosáhly určité úrovně těchto dovedností, zvýšení úrovně sociálních dovedností podle vybraného testu, počet motivačních dopisů a životopisů připravených účastníky školení, počet připravených učebnic.

 

Populace – skupina jednotlivců (např. konkrétní osoby, organizace, společnosti, školy, instituce), kteří jsou subjektem výzkumu / předmětem zájmu výzkumného pracovníka.

 

Projekt (intervence) – soubor aktivit realizovaných s cílem produkovat plánované výstupy a výsledky, jejichž použití cílovou skupinou projektu by mělo vést k dosažení plánovaných cílů a dopadu.

 

Reprezentativní vzorek je vzorek, který dobře odráží/reprezentuje zkoumanou populaci a umožňuje přesný odhad jejích rysů na základě generalizace.

 

Výběr vzorku – výběr případů, které budou tvořit vzorek, z populace (menší část populace). Provádí se konkrétním způsobem (náhodně či nikoli náhodně) na základě rámce pro výběr vzorku, tj. kompilace (seznamu) všech jednotek tvořících populaci, ze které je vzorek vybírán.

I. VÝHODY HODNOCENÍ

 

I. VÝHODY HODNOCENÍ

 

Existuje mnoho způsobů, jak chápat hodnocení. Podle přístupu aplikovaného v projektu Youth Impact je hlavním cílem hodnocení ocenit účinky projektu za účelem jejich zlepšení. Takové hodnocení je založeno na důkazech, které jsou shromažďovány pomocí metod využívaných v rámci sociálních věd, se zaměřením na změnu způsobenou projektem.

Náš přístup se do značné míry opírá o hodnocení dopadu v širším slova smyslu (později budeme používat termín hodnocení zaměřené na dopad, abychom zdůraznili, že se snaží obsáhnout nejen experimentální a kvaziexperimentální způsob). Jedná se o posouzení projektu založené na důkazech o skutečných (čistých) účincích projektu. Umožňuje vám porozumět faktorům ovlivňujícím průběžné i pozdější změny a zaměřit se na udržitelnost dosažených výsledků, stejně jako na dopad projektu přesahující rámec jeho přímých účastníků. Tento přístup k hodnocení umožňuje formulovat doporučení podporující projektové řízení, která přispívají k efektivní a účinné realizaci cílů projektu i poslání organizace.

Náš přístup je zároveň participativní, neboť věnujeme zvláštní pozornost potřebám různých zainteresovaných stran a zapojujeme je do plánování a dalších fází hodnocení.

Takový přístup k hodnocení umožňuje stanovit hodnotu konkrétního projektu a pochopit důvody jeho úspěchu či neúspěchu. Zároveň je vhodným nástrojem řízení pro organizace zaměřené na sociální sféru a jiné „vzdělávací“ instituce.

 

VÝHODY SPRÁVNÉHO HODNOCENÍ:

  • Umožní vám předvídat problémy před zahájením projektu (hodnocení ex ante) nebo upozornit na problémy v různých fázích jeho realizace (průběžné hodnocení nebo hodnocení prováděné v polovině realizace projektu); zároveň vám umožní naplánovat opatření k minimalizaci identifikovaných rizik.
  • Poradí vám, jak zlepšit probíhající nebo dokončený projekt tak, aby lépe vyhovoval potřebám jeho příjemců, dosahoval užitečnějších a trvalejších výsledků, měl širší dopad a plnil plánované cíle při využití menších zdrojů.
  • Umožní vám posoudit, do jaké míry byly očekávané účinky projektu skutečně způsobeny aktivitami projektu. Navíc vám usnadní rozhodování o tom, zda si daný projekt zaslouží zopakovat, rozšířit nebo adaptovat pro jinou cílovou skupinu.
  • Zvyšuje motivaci zaměstnanců – zapojení projektového týmu do hodnocení (zejména ve fázi návrhu a projednávání zjištění vyplývajících z hodnocení), zvyšuje pocit kontroly nad vlastním jednáním, posiluje vztah mezi prováděnou prací a plánovanými cíli, posláním organizace a vlastními hodnotami zaměstnanců.
  • Zvyšuje odbornost zaměstnanců – od záležitostí týkajících se řízení projektu až po znalost mechanismů změn způsobených tímto projektem.
  • Zvyšuje úroveň důvěry a spolupráce s partnery projektu (také v rámci budoucích projektů) díky zohlednění pohledu externích zainteresovaných stran.
  • Umožňuje prokázat dosažené výsledky, zlepšuje spolupráci s grantovými institucemi a sponzory a povzbudí je k financování dalších projektů.
Příklad: V žádosti o grant nebo při zdůvodnění potřeby projektu můžete uvést závěry hodnocení týkající se předchozího podobného projektu. Předložení spolehlivých údajů vám může pomoct přesvědčit sponzory, že váš projekt stojí za financování.
  • Slouží k propagaci vaší organizace.
Příklad: Zjištění vyplývající z hodnocení, včetně případových studií, lze použít k propagaci aktivit organizace na sociálních sítích. Mohou to být příběhy mladých lidí, kteří díky vaší podpoře získali nové dovednosti a poté našli uspokojivou práci nebo začali úspěšně podnikat.

Celkově přináší hodnocení mnohé výhody. Jeho zavedení do každodenní praxe může účinně pomoci při řízení organizace – může přispět k posílení její důvěryhodnosti a zlepšení její image, k rozvoji a motivaci zaměstnanců, k získání finančních prostředků na základě předložených důkazů o dopadu projektu, a především k efektivnímu plnění přijatého poslání.

 

II. PŘÍPRAVA NA HODNOCENÍ

 

II. PŘÍPRAVA NA HODNOCENÍ

 

„Nemůžete realizovat „dobré“ hodnocení, pokud máte špatně naplánovaný program”.

Beverly Anderson Parsons (1999)

 

2.1. Co musíte vědět o projektu, aby bylo možné naplánovat jeho hodnocení?

V tomto souboru nástrojů se soustředíme na hodnocení zaměřené na dopad. Představujeme zde praktické způsoby provádění hodnocení především s ohledem na účinky projektových aktivit z hlediska zamýšlené změny. Předmětem našeho zájmu jsou účinky a důsledky projektových aktivit (výstupy, výsledky, dopad) a jejich soulad s teorií změny v rámci projektu (neboli teorií projektu). Teorie projektu definuje koncept zamýšlené změny a plán projektu, včetně jeho cílů, aktivit, očekávaných výstupů, výsledků a dopadu, jakož i způsobu, jakým budou měřeny, a určení zdrojů potřebných k dosažení těchto účinků.

Základním prvkem teorie projektu je logický model změny, který shrnuje informace o tom, co musí organizace realizující projekt získat (vstupy/zdroje), jakou práci musí uskutečnit (aktivity projektu) a jakých účinků hodlá dosáhnout. Logický model změny pro konkrétní projekt můžete vytvořit podle následujícího schématu.

Metody měření výsledků projektu a související předpoklady jsou někdy uváděny v samostatné tabulce zvané matice logiky projektu. Logický model a logická matice by měly být součástí projektové dokumentace.

V praxi se stává, že logická matice nebo dokonce logický model změny nebyly vytvořeny nebo jsou velmi selektivní. Nedostatek předpokladů, na základě kterých definujete úspěch projektu, znemožňuje vyhodnocení projektu a ověření, zda došlo k plánované změně a zda k ní došlo v důsledku aktivit projektu.

Co když projektová dokumentace neobsahuje logický model změny?

V takové situaci je nutné zpětně vytvořit logiku změny, ze které projekt vychází, např. na základě rozhovorů s managementem a pracovníky projektu a stávajících dokumentů, jako je strategický plán / plán implementace projektu, zdůvodnění realizace projektu, žádost o spolufinancování, partnerská dohoda atd. Následující tabulka vám může pomoci při rekonstrukci logiky projektu.

Nástroj 1: (Re)konstrukce logiky projektu

Výše uvedená tabulka logiky projektu vám umožní zvážit, jakým způsobem chcete prokázat úroveň dosažených účinků (výstupy, výsledky a dopad). Za tímto účelem je potřeba definovat ukazatele, pomocí kterých budete měřit průběh projektu. Ukazatel je pozorovatelný atribut (vlastnost), který umožňuje měřit konkrétní jev. Pro každý ukazatel existuje měřítko (kvantitativní nebo kvalitativní), které nás informuje o míře/intenzitě výskytu daného jevu. Aby bylo možné zhodnotit změnu, k níž došlo v důsledku realizace projektu, je potřeba určit hodnoty (úroveň) daného ukazatele na začátku a na konci projektu, tj. výchozí hodnotu a konečnou hodnotu. Je také dobré znát minimální požadovanou hodnotu ukazatele konečného výstupu, pokud byla tato hodnota definována na začátku projektu. Více informací o ukazatelích získáte v online kurzu (Modul 3).

Nástroj 2. Tabulka ukazatelů účinků projektu

Další příklady cílených ukazatelů v projektech zaměstnanosti mladých lidí lze najít na s. 6-9 materiálu „Guide on Measuring Decent Jobs for Youth. Monitoring, evaluation and learning in labour market programmes, NOTE 3. ESTABLISHING A MONITORING SYSTEM

 

2.2. Kdy začít vytvářet koncepci hodnocení a plán hodnocení?

Koncepci hodnocení je vhodné vytvořit před zahájením projektu nebo dokonce v průběhu jeho plánování, neboť vám umožní:

  • Podrobně zvážit logiku a soudržnost projektových aktivit a jejich vyjádření ve formě cílů projektu, a faktory usnadňující, popř. brzdící dosažení těchto cílů;
  • Předem plánovat shromažďování informací (údajů), které umožní získat odpovědi na hodnoticí otázky (např. bez výchozího měření úrovně znalostí a dovedností příjemců školení (před touto aktivitou) nebude možné spolehlivě prokázat dosažené změny, tj. zvýšení kvalifikace, k němuž má dojít v důsledku tohoto školení);
  • Najít vhodné finanční prostředky k provedení hodnocení a zařadit hodnocení do harmonogramu projektových aktivit, což umožní shromáždit relevantní data, provést jejich analýzu a sestavit odpovídající zprávu;
  • Naplánovat shromažďování informací co nejefektivnějším způsobem (nejlevněji, nejrychleji, nejjednodušeji) během realizace projektových aktivit nebo následně.

Je dobré si zapamatovat, že hodnocení projektu je několikafázový proces, který je potřeba dobře navrhnout a naplánovat a následně realizovat krok za krokem.

Fáze procesu hodnocení

  1. Diagnóza potřeb hodnocení
  2. Konceptualizace a plánování
  3. Shromažďování informací – realizace výzkumu
  4. Analýza a odvození dat
  5. Sestavení zpráv
  6. 6. Využití výsledků hodnocení – implementace doporučení

2.3. Jakým způsobem diagnostikovat evaluační potřeby zainteresovaných stran projektu?

Konceptualizace a plánování hodnocení by neměly být zahájeny, dokud neurčíme, kdo a za jakým účelem bude potřebovat informace, závěry a doporučení z hodnocení. Vhodné je začít diagnózu evaluačních potřeb u zainteresovaných stran projektu, který má být předmětem hodnocení.

Zainteresované strany (tzv. „stakeholders“) projektu jsou osoby/subjekty (instituce, organizace), které se různým způsobem podílejí na realizaci konkrétního projektu, např. jeho beneficienti, projektový tým, pracovníci uskutečňující projektové aktivity (např. školitelé, psychologové, kariérní poradci), partneři projektu (spolupracující organizace nebo instituce), sponzoři / poskytovatelé financování atd.

Účast zainteresovaných stran projektu na hodnocení je velice důležitá, neboť jsou potenciálními „spojenci“ hodnotitele. Mohou podpořit celý proces hodnocení, včetně implementace doporučení vedoucích ke zlepšení projektu. Díky zapojení různých zainteresovaných stran do hodnoticích aktivit je možné nejen zlepšit komunikaci a spolupráci s partnery, beneficienty a pracovníky projektu, ale také přesvědčit investory, aby poskytli finance na aktuálně realizovaný projekt nebo jeho pokračování. Pokud mají zúčastněné strany zájem o hodnocení projektu, mělo by být mnohem jednodušší provádět hodnocení participativním způsobem – zapojením zúčastněných stran do celého procesu hodnocení, počínaje diagnostikou evaluačních potřeb.

Nejlepší způsob, jak diagnostikovat evaluační potřeby a současně zajistit vysokou úroveň účasti zainteresovaných stran, je uspořádat workshop / skupinový rozhovor se zástupci všech subjektů (organizací, institucí) a skupin osob zapojených do určitého projektu.

Pokud jsou příjemci projektu mladí lidé (např. skupina NEET) nebo jiná skupina, která může mít obavy z veřejného vyjadřování svých názorů, měli byste nejprve uspořádat samostatné setkání s těmito beneficienty a poté pozvat jejich zástupce k účasti na workshopu s dalšími zainteresovanými stranami. Tento typ workshopu s mladými lidmi nebo jinými příjemci projektu s relativně slabým sociálním postavením by měl být založen na hodnotách, které posilují subjektivitu příjemců projektu (viz příklad z materiálu Participatory Evaluation With Young People, str.7-8).


PŘÍKLAD WORKSHOPU SE ZAINTERESOVANÝMI STRANAMI

Setkání se zúčastněnými stranami by mělo začít projednáním jeho účelu a představením všech účastníků. Poté je vhodné představit výhody hodnocení projektu (viz str. 8-9) a pohovořit o jeho užitečnosti pro jednotlivé zainteresované strany.

Po tomto úvodu můžete účastníkům workshopu rozdat malé samolepící lístečky post-it a požádat je o zodpovězení následujících otázek:

  1. Co se chci dozvědět na základě hodnocení?
  2. Proč je důležité toto vědět? K čemu chci tyto znalosti využít? (tímto způsobem určíte CÍLE HODNOCENÍ).

Shromážděné lístečky je potřeba roztřídit a uspořádat (nejlépe s použitím flipchartu) tak, aby byly u sebe podobné záležitosti a související prvky projektu. Získané informace můžete seskupit do následujících oblastí:

  • Aktivity, např. nábor příjemců projektu, diagnóza jejich potřeb, psychologické poradenství, vedení školení, kariérní ​​poradenství, organizace stáží, propagační a informační aktivity,
  • Výstupy, např. individuální akční plány, životopisy a motivační dopisy připravené v rámci projektu, osvědčení o absolvování školení a stáží, prezenční listiny, vzdělávací programy, zprávy školitelů, školicí materiály, propagační materiály,
  • Výsledky, např. zvýšení měkkých dovedností (sociálních dovedností) a tvrdých dovedností (odborných dovedností), změna postojů účastníků projektu, zvýšení motivace najít si práci, nalezení vhodného pracovního místa, udržení zaměstnání, sociální aktivace,
  • Cíle, např. dlouhodobé účinky projektu / cílový stav,
  • Ostatní záležitosti, např. komunikace s příjemci projektu, řízení projektu

Diskutujte o vybraných záležitostech / prvcích projektu se zainteresovanými stranami, společně zvažte, které z nich jsou nejdůležitější. Nakonec by to mělo být pouze několik záležitostí [tímto způsobem hned na počátku určíte rozsah hodnocení].

Poté by měla být každá z prioritních záležitostí vybraných za účelem hodnocení posouzena z následujících hledisek (a facilitátor zapíše závěry na flipchart):

1) Z jakého hlediska by mělo být toto posuzováno? (zde vybíráte hodnoticí kritéria) např:

  • přiměřenost potřebám příjemců / místní komunity / trhu práce (zaměstnavatelů),
  • účinnost – dosažení plánovaných účinků (cílů, výstupů a výsledků),
  • užitečnost výsledků rozvoje pro různé cílové skupiny projektu (např. skupinu NEET, zaměstnavatele),
  • efektivita – poměr vynaložených vstupů (zdrojů) k dosaženým účinkům projektu,
  • udržitelnost dosažených výsledků po skončení projektu,
  • dopad – jak projekt ovlivnil beneficienty a jejich sociální prostředí / komunity.

2) Na jaké otázky (s přihlédnutím k výše uvedeným kritériím) by mělo dát hodnocení odpověď? U každé z prioritních záležitostí hodnocení by měla být formulována alespoň jedna taková otázka (tímto způsobem definujete hned na počátku hodnoticí otázky)

3) Jaký druh informací/údajů je potřeba získat k zodpovězení každé z těchto otázek? [tímto způsobem určíte hned na počátku rozsah potřebných informací]

4) Jak a odkud lze tyto informace / údaje získat? [tímto způsobem definujete hned na počátku zdroje informací a metody výzkumu]

5) Jak mohou zainteresované strany pomoci v procesu hodnocení? (např. pomoc při získávání informací/údajů, přímá účast na výzkumu, konzultace ohledně výsledků hodnocení a jejich distribuce) [tímto způsobem zmobilizujete jejich podporu hodnocení]

A konečně, je vhodné zjistit, v jaké formě by zainteresované strany chtěly obdržet výsledky hodnocení.

  • Chtěly by zainteresované strany získat výsledky ve formě zprávy (tj. obsáhlého textového dokumentu), multimediální prezentace, infografiky; jak podrobná zjištění by chtěly jednotlivé skupiny zainteresovaných stran obdržet?

Informace shromážděné během workshopu za účasti zainteresovaných stran by měly být použity k přípravě koncepce a plánu hodnocení (viz Kapitola 2.4). Proto je vhodné shrnout klíčová zjištění diagnózy potřeb zainteresovaných stran do dvou níže uvedených tabulek.

Nástroj 3. Tabulka obsahující shrnutí diagnózy evaluačních potřeb zainteresovaných stran projektu

Informace týkající se očekáváních jednotlivých zúčastněných stran, pokud jde o formu prezentace a způsoby využití výsledků hodnocení, budou užitečné ve fázi plánování distribuce výsledků (viz Kapitola 6.3.)

2.4. Jakým způsobem navrhnout a naplánovat hodnocení?

Informace shromážděné během workshopu se zainteresovanými stranami budou použity k přípravě koncepce a plánu hodnocení. Koncepci hodnocení, tj. představu o tom, jak jej provést, lze připravit ve 3 krocích.

První a druhý krok zahrnují následující aspekty:

  • Předmět hodnocení – co chcete hodnotit (např. který projekt nebo program),
  • Rozsah hodnocení – jaká část projektu bude do hodnocení zahrnuta, např. celý projekt nebo vybrané prvky – konkrétní aktivity, účinky,
  • Účel(y) hodnocení – proč provádíte hodnocení, k čemu použijete výsledky hodnocení,
  • Typ hodnocení – v jaké fázi realizace projektu budete hodnocení provádět; před zahájením projektových aktivit (hodnocení ex ante), během jejich realizace (průběžné hodnocení), po dokončení projektu (hodnocení ex post),
  • Kritéria hodnocení – rysy a vlastnosti, které indikující, z jakého hlediska je projekt hodnocen (např. relevance, účelnost, účinnost, užitečnost, dopad, udržitelnost),
  • Hodnoticí otázky – obecně formulované otázky týkající se záležitostí, které jsou důležité z hlediska hodnocení hodnoty a kvality hodnoceného projektu,
  • Hodnotitel – kdo provede hodnocení, např. tým provádějící projekt (sebehodnocení), odborník zaměstnaný organizací provádějící projekt (interní hodnocení) nebo externí subjekt najatý danou organizací (externí hodnocení).

Tyto informace můžete uvést v tabulce koncepce hodnocení. Příklad této tabulky a její aplikace v rámci konkrétního projektu uvádíme níže.

Nástroj 4. Tabulka koncepce hodnocení

Třetí fáze vývoje koncepce hodnocení vyžaduje znalost různých výzkumných metod a nástrojů uvedených v kapitole III. Z tohoto důvodu je část plánování hodnocení týkající se metody shromažďování údajů pro účely hodnocení uvedena v části 3.3 (příklad této fáze návrhu hodnocení je uveden v nástroji 6).

Informace o dostupnosti nezbytných údajů a možnosti získání podpory odpovídajících zainteresovaných stran budou použity při plánování procesu hodnocení a odhadu zdrojů nezbytných k jeho provedení. Plán hodnocení by měl zahrnovat takové prvky, jako jsou: časový harmonogram (s příslušnými fázemi), zdroje nezbytné k realizaci hodnocení (lidské, časové, finanční, informační) a plánovaná forma výsledné hodnotící zprávy.

Tyto informace můžete uvést v tabulce plánování hodnocení. Níže je uveden příklad takové tabulky a její aplikace v rámci konkrétního projektu.

Nástroj 5. Tabulka plánování hodnocení

Jak je zřejmé z výše uvedené tabulky, informace představují jedno z klíčových aktiv, které je potřeba zajistit za účelem realizace hodnocení; existuje celá řada zdrojů údajů, které lze pro tento účel použít. V kontextu projektů zaměstnanosti mladých osob je jednou z nejdůležitějších oblastí předpokládané změny k lepšímu získání všeobecných a odborných znalostí a dovedností. Základním zdrojem informací o tom, jaké úrovně těchto dovedností dosahují beneficienti projektu na začátku a na konci projektu, by měli být školitelé těchto dovedností. Proto je vhodné spolupracovat se školiteli při shromažďování a využívání údajů týkajících se úrovně schopností před školením a po jeho absolvování. Hodnocení by mělo posuzovat dovednosti účastníků z mnoha různých úhlů pohledu (z perspektivy školitele, sebehodnocení účastníka a psychometrických testů), mělo by být koherentní a mělo by odpovídat obsahu školení. Příklad odpovídajících souborů nástrojů najdete v Přílohách. Týká se 8 klíčových schopností „nezbytných k osobnímu naplnění a rozvoji, aktivnímu občanství, sociálnímu začlenění a zaměstnanosti“ uvedených v doporučení Evropského parlamentu a Rady 2006/962/ES o klíčových schopnostech pro celoživotní učení*.


* Doporučení Evropského parlamentu a Rady 2006/962/ES ze dne 18. prosince 2006 o klíčových schopnostech pro celoživotní učení se týká následujících dovedností:
1) komunikace v mateřském jazyce,
2) komunikace v cizích jazycích,
3) matematická schopnost a základní schopnost v oblasti vědy a technologie,
4) schopnost práce s digitálními technologiemi;
5) schopnost učit se,
6) sociální a občanské schopnosti,
7) smysl pro iniciativu a podnikavost,
8) kulturní povědomí a vyjádření.

2.5. Jakým způsobem navrhnout hodnocení dopadu?

Klíčovým rozlišovacím znakem hodnocení dopadu je skutečnost, že hodnocení účinků projektu bere v úvahu nejen dopad aktivit realizovaných v rámci projektu a vytvořené výstupy, ale také vliv vnějších faktorů (netýkajících se projektu). Pro vyhodnocení skutečného (čistého) dopadu projektu je nutné hodnocení naplánovat a provést takovým způsobem, aby bylo možné určit, zda realizace projektu vedla k plánované změně a do jaké míry byla tato změna ovlivněna faktory mimo projekt.

Hodnocení dopadu vám umožní shromáždit různé druhy informací, které budou velmi užitečné pro další vývoj projektu:

1) údaje o skutečném dopadu projektu na dosažení očekávané změny jsou klíčovou informací při rozhodování o tom, za je vhodné projekt zopakovat, duplikovat, zlepšit nebo přerušit, neboť:

a) ke změně plánované v rámci projektu mohly přispět faktory mimo projekt, takže (čistý) dopad hodnoceného projektu může být menší, než ukazuje rozdíl mezi konečnou hodnotou ukazatele výsledku a jeho výchozí hodnotou (měřenou na začátku projektu).

b) vnější faktory mohou bránit předpokládané změně v rámci projektu, takže (čistý) dopad hodnoceného projektu může být větší než rozdíl mezi konečnou a výchozí hodnotou ukazatele výsledku,

2) informace o rozmanitosti a mechanismech dopadu jednotlivých prvků projektu na dosažení očekávané změny jsou velmi užitečné pro účely zlepšování projektu,

3) určení hlavních vnějších faktorů a mechanismů jejich dopadu na zamýšlenou změnu lze využít k úpravě projektových aktivit tak, aby lépe sloužily procesům podporujícím změnu a lépe překonávaly faktory bránící změně.

Podle toho, které z těchto otázek jsou prioritní v rámci hodnocení daného projektu, ale také v závislosti na možnosti získat relevantní údaje, můžete použít různé modely (návrhy neboli design) hodnocení dopadu a odpovídající metody sběru údajů.

Emily Woodhouse, Emiel de Lange, Eleanor J Milner-Gulland, Evaluating the impacts of conservation interventions on human wellbeing: Guidance for practitioners

K určení toho, jakou část zamýšlené změny v rámci projektu lze připsat aktivitám uskutečňovaným v rámci projektu (čistý dopad), se používá experimentální a kvaziexperimentální model (návrh) hodnocení. Měřítkem dopadu projektových aktivit je rozdíl mezi hodnotou ukazatele před a po skončení projektu ve skupině jeho příjemců (změna v testovací skupině účastnící se projektových aktivit) po úpravě o dopad neprojektových faktorů. Odhad dopadu neprojektových faktorů probíhá na základě měření změny ukazatele výsledku u skupiny osob, které se nezúčastnily projektu a podobají se co nejvíce příjemcům projektu.

  • V rámci experimentálního modelu projektu (nazývaného také RCT – randomizovaně kontrolovaná studie) jsou lidé náhodně zařazeni do skupiny příjemců projektu (testovací skupina), nebo do skupiny, na kterou se projekt nevztahuje (kontrolní skupina). Náhodný výběr do obou skupin pomáhá zajistit, aby se obě skupiny navzájem nelišily*. Změny v měřených ukazatelích v kontrolní skupině lze tedy připsat pouze vnějším faktorům a změny v testovací skupině kombinovanému vlivu vnějších faktorů a aktivit v rámci projektu.

Pokud je testovací skupina nebo kontrolní skupina malá, měl by být použit strukturovaný náhodný výběr (místo jednoduchého náhodného výběru), aby měly obě skupiny podobnou strukturu z hlediska vlastností, které mohou ovlivnit zamýšlený výsledek projektu (např. struktura dosažené úrovně vzdělání by měla být podobná v obou skupinách, jinak může vzdělanější skupina dosáhnout většího pokroku v oblasti získání dovedností, které mají být rozvíjeny v rámci hodnoceného projektu).

  • V rámci kvaziexperimentálního modelu projektu nedochází k náhodnému výběru skupin. Pro danou testovací skupinu, která se podílela na hodnoceném projektu, je vybrána kontrolní skupina pomocí metod, které nejsou náhodné; nadále však platí podmínka, že kontrolní skupina je co nejpodobnější testovací skupině a plní podobné funkce jako kontrolní skupina v experimentálních modelech.

Za účelem použití experimentálního nebo kvaziexperimentálního modelu je nutné koordinovat hodnoticí aktivity s aktivitami hodnoceného projektu; proto je potřeba je naplánovat před jejich realizací. Pokud například očekáváte větší počet kandidátů na příjemce projektu nebo pokud bude projekt realizován v několika verzích, přičemž může probíhat společný nábor, můžete provést zařazení do skupin pomocí náhodného výběru. Tímto způsobem získáte náhodně vybranou testovací skupinu (která bude okamžitě zapojena do aktivit projektu) a kontrolní skupinu (osoby, které nebyly vybrány pro aktuální vydání projektu). Ihned po výběru skupin je nutno provést měření výchozího stavu (a po dokončení projektu měření konečného stavu v obou skupinách).

Pokud jsou příjemci vašeho projektu vybráni externí institucí (např. úřadem práce), je vhodné ověřit, jaký způsob výběru byl použit. Pokud tento postup umožňuje vybrat kontrolní skupinu nebo srovnávací skupinu, ve které lze měřit ukazatel výsledku projektu – ověřte jej a naplánujte měření v této skupině víceméně ve stejnou dobu, kdy bude provedeno měření v hodnoceném projektu.

Důležitým aspektem hodnocení dopadu je kontrola takzvaného efektu přelévání (dominového efektu), což je šíření dopadu projektových aktivit mimo testovací skupinu, zejména na osoby v kontrolní nebo srovnávací skupině. Riziko efektu přelévání je tím větší, čím více jsou příjemci hodnoceného projektu v kontaktu s osobami z kontrolní nebo srovnávací skupiny. Dalším aspektem ovlivňujícím rozsah efektu přelévání je úroveň poptávky po řešeních poskytovaných hodnoceným projektem.

 

Při plánování a interpretaci hodnocení zaměřeného na dopad je potřeba použít teorii projektu k ověření souladu zjištění vyplývajících z hodnocení s logikou projektu (logikou změny) a k ověření dopadu alternativních faktorů. Zkoumání souladu skutečnosti s logikou projektu je zaměřeno na nalezení důkazů potvrzujících příčinnou souvislost (vztah příčina-následek) a údajů, které tyto vztahy potvrzují. Při použití této metody je zásadní naplánovat co nejdříve, jaký druh údajů bude potřeba během projektu shromáždit za účelem ověření:

– příčinné souvislosti mezi aktivitami, výstupy, průběžnými a konečnými účinky (výsledky, dopady), které tvoří logiku změny v rámci projektu,

– dosažení postupných po sobě jdoucích fází v řetězci průběžných účinků v rámci příčinné souvislosti vedoucích k výsledkům měřeným konečným ukazatelem (tzv. milníků).

Hodnocení dopadu alternativních faktorů vychází z podobného plánování a ověření jiných faktorů změny očekávané v důsledku projektu, než jsou projektové aktivity.

Pokud je hodnocený projekt součástí nějakého většího programu prováděného na různých místech nebo různými organizacemi, může to být příležitost k získání srovnatelných údajů, které budou použity při hodnocení dopadu na základě analýz případových studií. Chcete-li použít model hodnocení na základě případových studií, měli byste shromažďovat informace nejen o ukazateli výsledku, který měříte v rámci hodnoceného projektu, ale také o všech důležitých faktorech, které mohou ovlivnit hodnotu tohoto ukazatele. Soubor těchto faktorů by měl být určen na základě teorie projektu, s přihlédnutím k různým prvkům, které mohou ovlivnit zamýšlenou změnu. Nezapomeňte, že v tomto modelu je možné použít též informace o projektech realizovaných v minulosti. Bez ohledu na to, odkud analyzované případy pocházejí, je důležité získat předem určený soubor informací o těchto případech. Konečná analýza vychází z tabulky, která shrnuje data ze všech analyzovaných případů týkající se výskytu faktorů, které mohou ovlivnit zamýšlenou změnu ukazatele výsledku a samozřejmě i ukazatel výsledku samotný.

Nástroj 6. Tabulka shrnutí zjištění plynoucích z analýzy případových studií

Ve výše uvedené tabulce vidíte souhrnné informace týkající se 4 případů, kde byl sledován výsledek (zaměstnání nebo studium/školení 1 rok po dokončení projektu) z hlediska 3 faktorů. Dva z těchto faktorů představovaly různé stimuly v rámci projektu (rozsáhlé školení v oblasti sociálních dovedností a odborné profesní školení), zatímco třetí byl externí (podporované zaměstnání po dobu 6 měsíců hned po ukončení projektu). Analýza ukázala, že k plánovanému výsledku vedlo rozsáhlé školení v oblasti sociálních dovedností.

Participativní model je oblíbeným, i když často podceňovaným, modelem hodnocení zaměřeného na dopad. Nezaručuje takovou spolehlivost a přesnost jako experimentální nebo kvaziexperimentální design, ani není tak přesvědčivý jako striktní analýza na základě případových studií, ale může být užitečný, zejména u malých projektů. V rámci participativního způsobu hodnocení sledujete to, jak hodnocený projekt vnímají jeho účastníci, a hodnotíte dopad projektu na základě údajů získaných od nich. Metodika sběru údajů má tedy velký význam, protože příjemci projektu mají tendenci přizpůsobovat své názory tomu, co chce podle jejich názoru slyšet výzkumný pracovník, zejména pokud sběr dat provádí někdo z projektového týmu.

  • Jeden z participativních modelů hodnocení se nazývá reflexivní hypotetické faktory („Reflexive counterfactuals“). Jeho výhodou je, že může být použit po skončení projektu. Na druhou stranu podléhá dříve popsaným rizikům, např. vlivu výzkumného pracovníka. V rámci tohoto modelu jsou příjemci požádáni, aby porovnali svou současnou situaci se situací před účastí v projektu a popsali, co se změnilo k lepšímu, a co k horšímu. Poté hodnotí relevantní význam jednotlivých výhod a nákladů za účelem výběru těch, které považují za nejdůležitější. Pomocí různých výzkumných technik je také možné dotázat se na příčiny konkrétních změn a zjistit, které z nich byly spojeny s projektem.
  • Další technikou participativní analýzy dopadů je metoda nejvýznamnější změny MSC („Most Significant Changes“). Je založena na generování popisů nejvýznamnějších změn v životě beneficientů projektu a jejich hloubkové analýze. Tyto popisy změny jsou pozorovány a zaznamenávány různými zainteresovanými stranami projektu (včetně samotných beneficientů). Vlastnosti této výzkumné techniky umožňují její použití i po skončení projektu.

V neposlední řadě je rovněž třeba zmínit možnost provést posouzení dopadu na základě statistických metod. Základem je analýza korelace (koexistence) výsledného ukazatele a aktivit uskutečněných v rámci hodnoceného projektu*. Tyto analýzy se provádějí na velkých souborech dat, proto je nemohou využít organizace, které realizují projekty pro relativně malou skupinu příjemců**.

Více informací o hodnocení zaměřeném na dopad získáte v online kurzu (Modul 3).


 

*V těchto analýzách je základní metodou regrese, v rámci které se zkoumá pevnost vztahu mezi ukazatelem výsledku a ukazateli kroků podniknutých v rámci hodnoceného projektu, spolu se statistickou kontrolou (vyloučením) dopadu zavádějících faktorů.

**Problémem, který brání malým a středně velkým organizacím využívat statistické metody hodnocení dopadu, je kromě rozsahu projektů také nutnost použít vyspělý statistický software a práci kvalifikovaných analytiků.

III. SBĚR DAT

 

III. SBĚR DAT

 

3.1. Jaké jsou hlavní typy výzkumných metod hodnocení?

Za účelem určení hodnoty a kvality projektu ve vztahu k vybraným kritériím a zodpovězení hodnoticích otázek musíte správně shromáždit potřebné informace. K tomuto účelu slouží výzkumné metody a nástroje. Výzkumné metody představují konkrétní způsob shromažďování informací – kvalitativní nebo kvantitativní – s využitím speciálně vyvinutých nástrojů, jako jsou scénáře rozhovorů, archy pro záznamy z pozorování nebo dotazníky. Pojďme se podívat na rozdíly mezi těmito metodami a výzkumnými nástroji.

Kvalitativní metody umožňují důkladný a flexibilní způsob shromažďování údajů, ale neumožňují posoudit rozsah studovaných jevů, protože zahrnují pouze malý počet osob ze skupin zapojených do projektu (např. vybrané příjemce). Naopak kvantitativní metody se používají v případě velkých skupin tvořených několika desítkami osob. V případě větších skupin (tvořených např. více než 400–500 osob) umožňují tyto metody zobecnit závěry vyvozené z průzkumu reprezentativního, náhodně vybraného vzorku osob na celou populaci, tj. komunitu, která je předmětem zájmu výzkumného pracovníka, včetně osob, které se dané studie přímo neúčastnily. Tato generalizace musí být provedena konkrétním způsobem, který zajistí reprezentativnost vzorku osob účastnících se studie, tj. jejich maximální podobnost s populací, ze které byly vybrány, z hlediska různých sociálně-demografických charakteristik.

 

Oba tyto typy metod mají určité silné a slabé stránky, proto byste v hodnotící studii měli vždy použít kvalitativní i kvantitativní metody. Tento přístup je v souladu s principem triangulace, jehož cílem je zajistit vysokou kvalitu shromážděných informací. Triangulace znamená využití různých zdrojů informací, typů shromážděných údajů a analytických technik, teorií vysvětlujících identifikované vztahy/mechanismy, i osob provádějících hodnocení (jejichž dovednosti by se měly navzájem doplňovat). V případě rozmanitosti těchto prvků umožňuje triangulace:

– komplexní poznání a pochopení studovaného objektu,

– zohlednění různých hledisek a aspektů studovaného jevu,

– doplnění a prohloubení shromážděných údajů,

– ověření shromážděných informací,

– větší objektivitu formulovaných závěrů.

 

3.2. Jaké výzkumné metody a nástroje jsou obvykle používány v rámci hodnocení?

Abychom vám usnadnili výběr nejvhodnější metody a nástrojů pro konkrétní hodnocení, uvádíme níže charakteristiku nejoblíbenějších metod a nástrojů:

  1. Kvalitativní metody,
  • sekundární analýza údajů
  • individuální hloubkové rozhovory (IDI)
  • skupinové rozhovory „focus group“ (FGI)
  • pozorování
  • případové studie.
  1. Kvantitativní metody (průzkumy)
  • průzkum provedený bez přítomnosti tazatele – průzkum v podobě vytištěného dotazníku samostatně vyplněného dotazovaným, počítačový online rozhovor/online průzkum (CAWI), centrální průzkum (simultánní průzkum všech respondentů)
  • dotazníkové rozhovory prováděné s podporou tazatele – osobní rozhovory PAPI (odpovědi zaznamenávány do vytištěného dotazníku) a CAPI (odpovědi zaznamenávány do počítače) a telefonické rozhovory za pomoci počítače CATI.
  1. Aktivní metody / workshopy (smíšené, tj. kvalitativní a kvantitativní).

 

3.2.1. SEKUNDÁRNÍ ANALÝZA ÚDAJŮ

Sekundární analýza údajů a podkladů využívá existující údaje, tzn. údaje generované bez ohledu na kroky podniknuté hodnotitelem.

Existující údaje tvoří interní údaje (generované pro potřeby hodnoceného projektu) a externí údaje:

  • Interní údaje jsou informace vytvořené během přípravy a realizace aktivit v rámci projektu (např. projektová žádost, scénáře školení, prezenční listiny, smlouvy, fotografie, videa a materiály o projektu zveřejněné na webových stránkách, příspěvky a odpovědi v sociálních médiích). V případě vzdělávacích projektů pro mladé lidi hledající zaměstnání to mohou být také výsledky měření kompetencí příjemců na začátku a na konci účasti na školení (testy znalostí, testy dovedností, testy postojů atd.).
  • Externí údaje jsou informace, které se mohou vztahovat ke studovanému jevu, procesům nebo cílové skupině, ale byly shromážděny nezávisle na hodnoceném projektu (např. statistické údaje, úložiště dat, zprávy, články, knihy, videa a další materiály dostupné na internetu). V případě hodnocení projektů zaměstnanosti je vhodné využít informace o podobných projektech a také údaje o zaměstnanosti mladých lidí žijících v určitém městě, které mají k dispozici úřady práce, instituce sociálního pojištění, státní statistické úřady.

Analýza dokumentace je základní metodou shromažďování informací o daném projektu a poskytuje také určité znalosti o potřebách jeho příjemců a o kontextu hodnoceného projektu.

PODMÍNKY POUŽITÍ:

Veřejné instituce poskytují administrativní údaje v souladu se zásadou transparentnosti fungování veřejných institucí a účasti občanů (koncept otevřené vlády). Je však důležité posoudit spolehlivost a přesnost údajů na základě metodických informací uvedených ve zdrojové dokumentaci.

VÝHODY:

  • přístupnost (zejména pokud jde o informace dostupné na internetu),
  • velká rozmanitost (můžete použít jakákoli data/materiály související s prováděným hodnocením),
  • nulové náklady – většina dokumentů a dat je k dispozici zdarma,
  • v případě externích dat – nulový vliv hodnotitele na data.

NEVÝHODY:

  • různé úrovně důvěryhodnosti údajů – musíte vzít v úvahu důvěryhodnost zdroje a kontext získání údajů (za jakých podmínek, kdo a proč je shromažďoval a analyzoval),
  • omezení přístupu a používání interních informací z důvodu ochrany osobních údajů, autorských práv a vlastnických práv.

3.2.2. INDIVIDUÁLNÍ HLOUBKOVÝ ROZHOVOR (IDI)

Individuální rozhovor má formu přímého rozhovoru mezi tazatelem a respondentem, který se obvykle odehrává podle konkrétního scénáře. Rozhovor vám umožňuje získat rozsáhlé, zasvěcené a podrobné informace, poznat názory, zkušenosti, interpretace a motivy chování dotazovaného, zkoumat fakta z pohledu dotazovaného a lépe porozumět jeho názorům.

DŮLEŽITÝ TIP

Jazyk rozhovoru by měl být přizpůsoben respondentovi. V rozhovorech (zejména s mladými lidmi) používejte jednoduchý jazyk a vyhýbejte se použití odborných výrazů (např. specifické terminologie projektu), které by mohly vést k nedorozumění, nepochopení kladených otázek, popř. ke zvýšení nejistoty respondentů.

 

PODMÍNKY POUŽITÍ: Individuální rozhovory by měly být vedeny v tiché místnosti, která zaručuje diskrétnost. Běžnou praxí je nahrávání rozhovorů, ale respondent nemusí vždy souhlasit – v takovém případě by si měl výzkumný pracovník během rozhovoru dělat poznámky a zkompletovat je ihned po schůzce. Doporučuje se, aby pohovor vedl externí odborník, aby se předešlo situacím, kdy se dotazovaný cítí nepříjemně, má-li vyjádřit svůj upřímný názor.

VÝHODY:

  • možnost diskutovat o složitých a detailních otázkách,
  • lepší porozumění úhlu pohledu dotazovaného (dostat se „do jeho kůže“),
  • poznávání faktů v situačním kontextu,
  • flexibilita – možnost přizpůsobit se dotazovanému a položit doplňující otázky, které nejsou součástí scénáře.

NEVÝHODY:

  • neochota některých respondentů vyjádřit upřímný názor, neboť není zajištěna anonymita,
  • dopad osobnostních rysů účastníků na získaná zjištění; např. je těžké získat informace od mlčenlivých, plachých nebo introvertních osob.

VÝZKUMNÝ NÁSTROJ: rozhovor se může opírat o scénář rozhovoru, který obsahuje seznam otázek nebo záležitostí, o kterých se bude hovořit. Tazatel může během rozhovoru změnit pořadí otázek nebo přidat další otázky, pokud je to nutné k lepšímu pochopení problému.


PŘÍKLAD SCÉNÁŘE INDIVIDUÁLNÍHO HLOUBKOVÉHO ROZHOVORU S PROJEKTOVÝM TÝMEM / PRACOVNÍKY PROJEKTU

I. Realizace projektu

1. Účastnil/-a jste se dříve podobných projektů? Pokud ano, jakých? V jaké roli jste se jich zúčastnil/-a?

2. Jaké jsou vaše současné povinnosti související s tímto projektem?

II. Proces realizace projektu

1. Jak probíhal náborový proces? Získal/-a jste plánovaný počet osob? setkal/-a jste se během náborového procesu s nějakými problémy? Čeho se týkaly? Přitáhl projekt zájem osob, kterým byl určen?

2. Vyjádřili lidé účastnící se projektu nějaké připomínky k jeho realizaci? Čeho se týkaly? Byly v důsledku těchto názorů provedeny nějaké změny?

3. Byl dosud návrh projektu změněn z nějakého jiného důvodu? Čeho se tyto změny týkaly? Čím byly způsobeny?

4. Potřebuje projekt další změny? Co by se mohlo zlepšit při jeho realizaci? Je třeba projekt doplnit o další prvky? Pokud ano, jaké?

5. Jsou v projektu dosaženy plánované výstupy a výsledky? Probíhá vše podle plánovaného harmonogramu a rozpočtu?

6. Vidíte nějaká rizika pro realizaci projektu / dosažení plánované úrovně výstupů a výsledků? Pokud ano, jaké? Jak jim můžete čelit?

III. Hodnocení dosavadních výsledků

1. Jaké prvky usnadnily realizaci projektu?

2. Jaké prvky bránily realizaci projektu? Co bylo důvodem těchto problémů? Jak jste se je pokusil/-a vyřešit?

3. Existují nějaké zdroje (např. lidské, časové, organizační, technické, finanční), které by usnadnily realizaci projektu? Jaké další změny by mohly napomoci realizaci projektu?

4. Jaké změny by pomohly lépe přizpůsobit projekt potřebám příjemců?

5. Uveďte silné a slabé stránky tohoto projektu.


Scénář individuálního hloubkového rozhovoru

 

3.2.3. SKUPINOVÝ ROZHOVOR – FOCUS GROUP (FGI)

Focus group (FGI) je skupinový rozhovor cca 6-8 lidí vedený moderátorem, který zadává skupině témata k diskusi a usměrňuje její průběh. Účastníci FGI jsou vybíráni podle konkrétních předpokladů zadaných výzkumný pracovníkem a znalosti zkoumané problematiky.

DŮLEŽITÉ

V případě mladých lidí by měla být diskuse rozdělena do kratších forem se zapojením všech účastníků, aby se nezačali příliš rychle nudit. Je vhodné použít multimediální nástroje, prvky gamifikace nebo nestandardní řešení, např. papírovou kostku s otázkami, kterou házejí samotní účastníci setkání. Je užitečné zapisovat názory skupiny na flipchart a skupinovou diskusi zaznamenat.

 

PODMÍNKY POUŽITÍ: Základním předpokladem úspěchu skupinového rozhovoru je správný výběr osob s konkrétními informacemi, které jsou ochotny sdílet. Je důležité zaručit účastníkům pohodlí tak, že rozhovor se bude konat v klidné místnosti odpovídající velikosti s pohodlným sezením, vybavené velkým oválným/čtvercovým stolem a flipchartem.

VÝHODY:

  • možnost dozvědět se různé úhly pohledu, s přihlédnutím k různým názorům,
  • vzájemné potvrzení a doplnění informací o skutečnostech diskutovaných různými osobami,
  • možnost sledovat interakci mezi účastníky,
  • získání relevantních informací od několika osob v relativně krátkém čase.

NEVÝHODY:

  • dynamika skupinových procesů, včetně tlaku na konsenzus/soudržnost skupiny, může vést k neochotě uvést menšinový názor, např. v případě, že skupině dominuje vůdčí typ s přirozenou autoritou,
  • riziko, že se na skupinu přenesou konflikty nebo špatné mezilidské vztahy, což sníží účinnost výzkumu a spolehlivost získaných zjištění,
  • organizační problém (potřeba shromáždit skupinu osob na určitém místě v určitém čase, zajistit náležitě vybavenou místnost).

NÁSTROJ VÝZKUMU: nástrojem, který moderátor používá pro tuto metodu, je scénář FGI, který zahrnuje zásady skupinové diskuse, konkrétní témata /otázky a pokyny týkající se různých forem činnosti, do nichž má moderátor zapojit účastníky.


PŘÍKLAD SCÉNÁŘE SKUPINOVÉHO ROZHOVORU NA TÉMA VZDĚLÁVACÍ POTŘEBY

I. CÍLE SKUPINOVÉHO ROZHOVORU

  • Získání předběžných informací o vzdělávacích potřebách mladých lidí
  • Shromáždění údajů pro účely sestavení dotazníku CATI, který bude použit ve druhé fázi výzkumu

II. CÍLOVÁ SKUPINA

Osoby odpovědné za personální management and/nebo školení v rámci organizací

III. PROGRAM SETKÁNÍ

1. ÚVOD (délka – cca 20 minut)

a) Přivítání a vysvětlení účelu setkání

(text: Dámy a pánové, jmenuji se … a rád bych vás přivítal/-a na setkání organizovaném…, jehož cílem je získat informace o vzdělávacích potřebách mladých lidí. Naše setkání je součástí projektu „XYZ“, který je financován… a realizován ve spolupráci s … Cílem projektu je…)

b) Úvod účastníků skupiny FGI

c) Informace o zaznamenávání rozhovoru, ujištění o anonymitě

(text: Naše setkání bude nahráváno formou audionahrávky, což je nutné, neboť nejsem schopen/schopna přesně zaznamenat vaše výroky. Ujišťuji vás, že nikde nebude uvedeno vaše jméno, a záznam našeho rozhovoru a jakékoli osobní údaje týkající se účastníků budou použity pouze pro výzkumné účely a nebudou poskytnuty neoprávněným osobám.)

d) diskuse o zásadách setkání

(text: v zájmu usnadnění průběhu našeho rozhovoru navrhuji dodržovat některé zásady:

  • každý má právo vyjádřit svůj názor – nejsme povinni se ve svých názorech shodnout. Každý názor je pro nás důležitý a cenný – neexistují žádné správné a špatné výroky; chceme, aby vaše vyjádření byla upřímná,
  • nebudeme se navzájem přerušovat – hovoří vždy jen jedna osoba. Oslovujeme především ostatní účastníky setkání, nikoli moderátora, jehož úkolem je pouze řídit a usměrňovat diskusi,
  • v případě nedorozumění, prosím, věc blíže vysvětlete. Moderátor se také ujistí, že vašim výrokům správně porozuměl,
  • vypneme nebo ztlumíme mobilní telefony,
  • žádáme účastníky, aby se drželi tématu našeho setkání – rolí moderátora bude mimo jiné usměrnit diskusi správným směrem a omezit zbytečné odbočky tak, aby se účastníci stále drželi hlavního tématu diskuse.

2. ÚVODNÍ DISKUSE (délka – cca 60 minut)

2.1. Rozsah vzdělávacích potřeb mladých lidí (cca 30 minut)

a) Účastní se mladí lidé nějakých školení? Jaké je jejich téma / délka / forma?

b) Jaké faktory ztěžují mladým lidem účast na školení?

c) Jaké podmínky by měly být splněny, aby se mladí lidé účastnili školení? Jaké překážky mohou bránit jejich účasti na školení?

2.2. Motivace mladých lidí k účasti na školení (cca 30 minut)

a) Do jaké míry mají mladí lidé zájem o účast na školení? Existují nějaké rozdíly ve vzdělávacích potřebách související s pohlavím? Jaký je důvod těchto rozdílů? Jak můžete tyto dvě skupiny mladých lidí motivovat ke zvyšování kvalifikace?

b) Jak velký je jejich zájem o školení formou e-learningu? Účastní se mladí lidé tohoto typu školení? Pokud ano, jakého?

c) O jaký druh školení mají mladí lidé největší zájem – stacionární, smíšené, dálkové?

3. SPECIFICKÉ ZÁLEŽITOSTI (délka – cca 60 minut)

3.1. Tematické oblasti školení – prioritizace (cca 30 minut)

a) Uveďte prosím témata školení, která by mohla organizace X implementovat v rámci prezenčního / distančního / smíšeného vzdělávání: rozsah / tematické oblasti a konkrétní záležitosti (brainstorming).

b) Které z těchto školení by mělo být realizováno jako první?

3.2. Podmínky účasti na školení (cca 30 minut)

a) Kdy by se školení konalo? Budou se moci mladí lidé zúčastnit? Mělo by se stacionární školení konat ve večerních hodinách nebo o víkendu? Kde by se mohlo konat?

b) Mají mladí lidé vybavení a schopnosti nutné pro e-learning?

c) Jak dlouho může trénink na dálku trvat?

d) Co může bránit mladým lidem v účasti na distančním vzdělávání?

4. SHRNUTÍ (délka – cca 15 minut)

a) Shrnutí získaných informací – závěry.

b) Informace o tom, jak budou získaná zjištění použita.

c) Poděkování za účast.


 

3.2.4. POZOROVÁNÍ

Tato metoda je založena na pečlivém pozorování a poslechu zkoumaných objektů a situací (jevů, událostí). Pozorování může být participační (zúčastněné), částečně participační nebo neparticipační, v závislosti na míře zapojení výzkumného pracovníka, který může fungovat jako aktivní účastník událostí, které pozoruje, nebo jako externí, nezúčastněný pozorovatel. Pozorování lze provádět zjevným, částečně zjevným nebo skrytým způsobem, tzn. že účastníci události vědí o tom, že jsou pozorování, nebo o tom vědí pouze vybrané osoby (např. školitel a/nebo organizátor školení), nebo o tom ví pouze pozorovatel.

PODMÍNKY POUŽITÍ: pokud pozorování probíhá bez účasti pozorovatele, neměl by být v kontaktu/vztahu se pozorovanými osobami, protože to s sebou nese riziko ovlivnění průběhu pozorovaných událostí a chování.

VÝHODY:

  • získání informací o dané události/procesu v jejich průběhu,
  • zaznamenání skutečností, aniž by byly interpretovány účastníky (zkoumání skutečného chování, nikoli tvrzení účastníků),
  • usnadnění interpretace zkoumaných událostí,
  • možnost dozvědět se o jevech, které jsou obvykle skryté, nepozorovatelné, nebo o kterých se účastníci zdráhají diskutovat.

NEVÝHODY:

  • možný vliv výzkumného pracovníka na průběh událostí (povědomí respondentů o tom, že jsou pozorováni, může změnit jejich chování),
  • omezený dosah pozorování, je obtížné získat přístup ke všem událostem,
  • riziko subjektivity (výzkumný pracovník může převzít určité stereotypy, vnímat a interpretovat události ve prospěch pozorované skupiny).

VÝZKUMNÝ NÁSTROJ: Pozorování lze provádět pomocí výzkumného nástroje, kterým je pozorovací záznamový arch. S využitím tohoto nástroje může pozorovatel zaměřit svou pozornost na vybrané záležitosti a zaznamenávat důležité informace (např. chování osob účastnících se pozorovaných událostí), které mohou být nejen kvalitativní, ale i kvantitativní (tzv. kontrolní seznam).

Záznam pozorování

 

3.2.5. PŘÍPADOVÁ STUDIE

Jedná se o hloubkovou analýzu zkoumané problematiky s využitím informací z různých zdrojů shromážděných různými metodami. Zjištění mohou být prezentována v narativní formě. Analyzovaným „případem“ může být osoba, skupina osob, konkrétní aktivity, projekt nebo skupina projektů.

Účelem použití případových studií je:

● důkladně poznat a pochopit daný jev spolu s jeho kontextem, příčinami a důsledky,

● ilustrovat konkrétní problém pomocí realistického příkladu s podrobným popisem,

● vytvářet hypotézy pro další výzkum,

● představit a analyzovat nejlepší/nejhorší postupy a ukázat, co stojí za to dělat a co by se dělat nemělo.

PODMÍNKY POUŽITÍ: Tato metoda vyžaduje čas na shromáždění a analýzu různých dat týkajících se zkoumaného jevu/objektu, jeho kontextu, procesů a mechanismů. Případové studie je nejvhodnější použít jako doplňkovou metodu k jiným výzkumným metodám.

VÝHODY:

  • zdroj komplexních informací o daném tématu,
  • používá různé úhly pohledu, což dodává popisu a analýze širší perspektivu,
  • bere v úvahu kontext zkoumaných jevů.

NEVÝHODY:

  • obvykle vyžaduje použití různých zdrojů informací, někdy obtížně přístupných,
  • je pracná a časově náročná,
  • poskytnutí neúplných údajů vede k nízké důvěryhodnosti popsaného případu.

3.2.6. PRŮZKUMY PROVÁDĚNÉ TAZATELI

Kvantitativní metody představují standardizovanou metodou měření. Standardizace umožňuje sběr a kalkulaci kvantitativních údajů jednotným způsobem a rovněž jejich statistickou analýzu. Standardizace zahrnuje:

  • Výzkumný nástroj (dotazník) – pořadí, obsah a forma otázek kladených respondentům,
  • Způsob zaznamenání odpovědí respondentů výběrem jedné možnosti (na stupnici) nebo několika možností ze souboru předem formulovaných odpovědí,
  • Chování tazatelů, kteří jsou povinni řídit se během rozhovoru pokyny obsaženými v dotazníku.

Názory respondentů jsou transformovány do podoby čísel a uloženy do databáze. Poté jsou tyto informace analyzovány pomocí statistických metod.

Dotazníkové rozhovory provádějí školení tazatelé, kteří čtou respondentům otázky z dotazníku a zapisují získané odpovědi. Pro tento typ výzkumu existují následující techniky:

  • Osobní rozhovor se zaznamenáváním odpovědí do vytištěného dotazníku (PAPI),
  • Osobní rozhovor se zaznamenáváním odpovědí pomocí počítače (CAPI),
  • Telefonický rozhovor za pomoci počítače (CATI).
3.2.6.1. Osobní rozhovory s pomocí tištěných dotazníků (PAPI) a počítačových dotazníků (CAPI)

Obě tyto techniky jsou terénní a jsou realizovány na základě přímého kontaktu respondenta s tazatelem pomocí tištěné verze dotazníku (PAPI) nebo elektronické verze zobrazené na notebooku nebo tabletu (CAPI). Tazatelé přečtou otázky obsažené v dotazníku a poté označí odpovědi poskytnuté respondentem.

PODMÍNKY POUŽITÍ: metoda vyžaduje širokou škálu témat a přímé (tváří v tvář) setkání tazatele s respondentem. Nejlepším místem pro rozhovor je místo izolované od hluku a přítomnosti třetích stran (v domácích/pracovních podmínkách zajistěte, aby přihlížející, například členové rodiny nebo kolegové, neovlivňovali odpovědi respondentů).

VÝHODY:

  • blízký osobní kontakt s respondenty (možnost pozorovat neverbální signály, reagovat na nepochopení otázky nebo únavu respondenta),
  • větší připravenost respondentů na delší rozhovor a těžší otázky než během CATI,
  • automatické ukládání údajů během rozhovoru v případě CAPI.

NEVÝHODY:

  • vyšší náklady, včetně nákladů na čas a cestu a sjednání osobního setkání s respondentem,
  • chybí pocit anonymity respondenta,
  • nekontrolovaný vliv tazatelů na odpovědi respondenta (tzv. „efekt tazatele“);
  • v případě PAPI musí tazatel po skončení rozhovoru ručně zadat údaje z dotazníku do databáze, což je časově náročné a zvyšuje náklady a riziko chyb.
3.2.6.2. Telefonický rozhovor za pomoci počítače (CATI)

Tento typ rozhovoru se provádí telefonicky. Tazatel čte otázky zobrazené na obrazovce počítače a obdržené odpovědi označí v elektronickém dotazníku na počítači.

PODMÍNKY POUŽITÍ: zkoumání zažitých názorů a postojů s využitím otázek, které nevyžadují delší čas na rozmyšlenou vzhledem ke krátkému trvání rozhovoru (max. 10-15 minut) a specifickému způsobu předávání a přijímání informací (který neumožňuje přečíst si otázky několikrát vlastním tempem).

VÝHODY:

  • kratší čas a nižší náklady na oslovení respondenta ve srovnání s osobními rozhovory (PAPI, CAPI),
  • časová flexibilita (možnost přizpůsobit čas rozhovoru preferencím respondenta, zastavit rozhovor a pokračovat v něm v dobu vhodnou pro respondenta),
  • snadné řízení a kontrola práce tazatelů,
  • automatické ukládání (kódování) údajů během rozhovoru.

NEVÝHODY:

  • možné obtíže se získáváním telefonních čísel respondentů (z důvodu chybějícího přístupu nebo ochrany osobních údajů) a v případě zaměstnavatelů žádné osobní kontakty (pouze telefonní číslo na recepci/ústředí),
  • čas rozhovoru omezen na 10–15 minut (z důvodu nejisté koncentrace a krátkého trvání zájmu respondentů),
  • tendence respondentů volit extrémní odpovědi nebo počáteční a koncové body na stupnici (což vyplývá ze specifického kanálu přenosu informací, který zvyšuje tzv. „prioritní efekt“ a „efekt svěžesti“).

3.2.7. SAMOSTATNĚ VYPLŇOVANÉ PRŮZKUMY

V samostatně vyplňovaných průzkumech si respondenti sami přečtou a označí odpovědi v dotazníku (bez účasti tazatele).

PODMÍNKY POUŽITÍ: tyto průzkumy lze provádět formou tištěného nebo online dotazníku (tj. jako CAWI). V případě posledně jmenovaného obdrží respondenti odkaz na webovou stránku s dotazníkem, který mohou vyplnit na počítači, tabletu nebo smartphonu. Po zodpovězení jsou data odeslána na server, kde jsou automaticky uložena v databázi.

Velmi účinnou metodou sběru kvantitativních údajů je centrální průzkum založený na tom, že dotazník vyplní osoby, které jsou současně v jedné místnosti, např. po absolvování školení, workshopu nebo konference. Je nutné zajistit, aby respondenti vyplňovali dotazníky sami (bez podpory jiných osob).

 

VÝHODY:

  • získání informací v krátkém čase (zejména v případě centrálního průzkumu),
  • nižší náklady ve srovnání s dotazníkovými rozhovory s účastí tazatelů,
  • pocit anonymity osob, které vyplňují průzkum,
  • není zde efekt tazatele.

NEVÝHODY:

  • motivace respondentů k vyplnění dotazníku může být menší bez přítomnosti tazatele,
  • nedostatečná kontrola nad procesem vyplňování dotazníku,
  • riziko konzultací odpovědí s jinými lidmi.
PRAKTICKÝ TIP

Dotazník průzkumu musí:

  • být krátký, snadný a vizuálně atraktivní, aby povzbudil respondenta k vyplnění,
  • obsahovat nezbytná vysvětlení, která v případě jiných metod podává tazatel,
  • obsahovat jasné pokyny (papírová verze) nebo algoritmy (elektronická verze) vedoucí respondenta k relevantním otázkám (na základě předchozích odpovědí jsou neadekvátní otázky filtrovány a vynechány).

 

Dotazník ke školení

3.2.8. AKTIVNÍ METODY SKUPINOVÉ PRÁCE / WORKSHOPY S MLADÝMI LIDMI

Níže uvádíme další aktivní metody sběru údajů (především kvalitativní), které lze využít zejména při skupinové práci s mladými lidmi; tyto metody podporují aktivní zapojení účastníků a integraci týmu, usnadňují spolupráci a umožňují rozvoj měkkých dovedností.

Aktivní metody jsou metody shromažďování informací prostřednictvím workshopů, které mohou doplnit „klasické“ výzkumné metody hodnocení. Umožní vám získat rychlou zpětnou vazbu týkající se konkrétních kroků, zjistit pocity a dojmy účastníků a jejich hodnocení a vypracovat odpovídající doporučení. Tyto metody je vhodné použít během workshopů, školení nebo konferencí, neboť mohou přispět k atraktivitě setkání, usnadnit seznamování účastníků a pomoci přizpůsobit aktivity projektu potřebám účastníků.

VÝHODY:

  • rychlost – během kurzů/setkání obdržíte okamžitou zpětnou vazbu,
  • neformální atmosféra,
  • projektivní povaha úkolů/otázek usnadňuje formulování kritických názorů a navrhování nových řešení,
  • možnost společného sběru kvalitativních a kvantitativních údajů,
  • stimulující sebereflexe,
  • pozitivní dopad na celkový pocit pohody účastníků (uspokojení potřeby vyjádření, přijetí, integrace).

NEVÝHODY:

  • získané názory nelze generalizovat na širší komunitu (která se nezúčastnila setkání),
  • nutné moderování/facilitace zkušeným školitelem/moderátorem,
  • není zajištěna anonymita účastníků v případě skupinových diskusí a hlášení (ohrožení duševní pohody a vztahů ve skupině v případě osob, které jsou mimořádně citlivé a zranitelné nebo mají slabé postavení ve skupině).

Níže naleznete příklady aktivních metod implementovaných formou workshopu.

 

PRÁDELNÍ ŠŇŮRA

Účelem tohoto nástroje je zjistit, jaká očekávání mají beneficienti projektu. Jedná se o vizuální metodu sběru kvalitativních údajů.

Každý účastník obdrží obrázky s oblečením (např. košile, spodní prádlo, kalhoty, ponožky), které symbolizují typ jejich očekávání v souvislosti s projektem – mohou to být např. naděje, obavy, potřeby, návrhy atd. Účastníci mají dostatek času na to, aby se zamysleli a doplnili jednotlivé obrázky/oděvy. Každý z nich zapíše své nápady a „pověsí své šaty“ na provázek, který je natažený nebo pověšený ve třídě. Účastníci mohou nahlas přečíst svá očekávání a prohlédnout si „prádlo“ ostatních.

 

TELEGRAM

Tento nástroj umožňuje rychle shrnout část setkání (workshopu, školení) a zjistit náladu ve skupině.

Požádáte účastníky, aby se zamysleli nad určitým úsekem školení a popsali své dojmy třemi slovy s použitím pozitivního, negativního a sumativního (souhrnného) výrazu (např. intenzivní – únava – spokojenost). Každá osoba přečte svá slova, což umožní společně shrnout uskutečněné aktivity (můžete je také zapsat na lepicí papírky post-it a nalepit je na flipchart apod.).

 

RUCE

Účelem tohoto nástroje je zjistit názor na vybrané aspekty projektu nebo jeho části (např. školení, stáž) a shrnout průběh a účinky výuky. Osoby účastnící se workshopu dostanou list papíru, na který nakreslí svou ruku. Ke každému prstu se přiřadí jedna kategorie hodnocení, např.:

  • palec – jaká byla nejsilnější/nejlepší stránka školení/projektu,
  • ukazováček – o čem řeknu svým přátelům,
  • prostředníček – jaký byl nejslabší/nejhorší bod školení/projektu,
  • prsteníček – co bych chtěl/-a změnit (prvek, který je potřeba zlepšit),
  • malíček – co jsem se naučil/-a nebo co jsem se dozvěděl/-a.

Účastníci zapíší svůj názor ke každému z prstů podle výše uvedených kategorií. Cvičení lze použít ke zjištění názorů jednotlivců a/nebo ke skupinové diskusi.

 

HODNOTICÍ RŮŽICE

Tato metoda se používá k získání zpětné vazby týkající se současně několika aspektů projektu/aktivity. Jedná se o vizuální metodu, která umožňuje shromažďovat kvantitativní data, tj. hodnocení různých aspektů posuzovaného objektu za pomoci společné stupnice.

Účastníci dostanou karty s nakreslenou „hodnoticí růžicí“. Kresba je inspirována větrnou růžicí, ale namísto světových stran ukazuje různé aspekty hodnoceného objektu (např. užitečnost školení, atraktivita způsobu sdělování obsahu, přiměřenost času stráveného školením). Rozdělte osy na jednotlivé úseky a přiřaďte jim zvolené hodnoty (např. stupnici 1-5, kde 1 je nejhorší hodnocení a 5 nejlepší). Požádejte účastníky, aby uvedli své hodnocení na každé ose „hodnoticí růžice“. Poté můžete hodnocení spojit a získat vizuálně atraktivní obraz všech stanovisek (konečný efekt připomíná pavoukový graf).

 

MLUVÍCÍ ZEĎ

Účelem této metody je shromáždit názory na hodnotu konkrétní projektové aktivity nebo celého projektu. Použití tohoto nástroje vám umožní získat kvalitativní data (určitý názor) i kvantitativní data (kolik lidí sdílí tento názor).

Pověste na zeď pět velkých archů papíru. Na každý z nich napište otázku týkající se uskutečněných aktivit, např.:

  • Arch 1: Jaké nové věci jste se během školení naučili?
  • Arch 2: Jak využijete znalosti získané během školení?
  • Arch 3: Co se vám na školení líbilo nejvíc?
  • Arch 4: Co se vám na školení líbilo nejméně?
  • Arch 5: Co byste na tomto školení změnili?

Účastníci zapíší na každý arch své odpovědi; pokud je daný názor již zapsán – připíší k němu plus nebo puntík. Na konci facilitátor shrne zápisy a vybídne skupinu, aby o nich diskutovala a formulovala doporučení. Tato forma shromažďování názorů podporuje větší otevřenost, účastníci získají pocit sounáležitosti a překonají neochotu mluvit na veřejnosti.

 

KUFR A ODPADKOVÝ KOŠ

Pomocí této metody můžete získat souhrnný přehled školení nebo jiné aktivity uskutečněné v rámci projektu. Metoda vám umožní shromáždit informace o tom, které prvky byly pro účastníky užitečné nebo zbytečné a které jim chyběly.

Nakreslete na tabuli nebo flipchart kufr, koš na odpadky a pytel. Každý obrázek symbolizuje jednu kategorii názorů na hodnocenou aktivitu:

  • Kufr: „Co si ze školení odnesu?“ (co bude pro mě užitečné, co v budoucnu využiji)
  • Odpadkový koš: „Co bylo během školení zbytečné?“ (co pro mě není užitečné, co bylo navíc),
  • Pytel: „Co chybělo?“ (co by mělo být při dalším školení přidáno).

Poté můžete účastníky požádat, aby své názory vyslovili nebo zapsali na lepící papírky nebo přímo do obrázků na tabuli.

 

PRAKTICKÉ TIPY PRO REALIZACI SKUPINOVÝCH AKTIVIT

Je vhodné, aby při těchto aktivitách seděli účastníci v kruhu, aby se všichni navzájem viděli. Chcete-li zvýšit angažovanost účastníků, můžete navrhnout, aby vždy sami určili další osobu, která bude hovořit, např. házením míče (toto řešení je možné použít, pokud ve skupině nejsou žádné diskriminované osoby). Ústní výroky je potřeba zaznamenat – to může provádět během sdílení osoba, která řídí setkání (např. na tabuli, flipchart), nebo její asistent.

 

3.3. Jakým způsobem vybrat vhodné výzkumné metody?

Výzkumné metody musejí vhodně zapadat do koncepce a plánu hodnocení. Pro správnou volbu zvažte, zda jsou metody relevantní s ohledem na:

  • Účel, předmět, rozsah a typ hodnocení, jakož i kritéria a hodnoticí otázky – poskytnou vám tyto metody informace nezbytné k zodpovězení hodnoticích otázek?
  • Zdroje dat, na základě kterých plánujete získávat informace – bude vhodné poskytnout informace o skupinách, které se zúčastní hodnoticího výzkumu?
  • Charakteristiku dotazovaných/respondentů – zohledňují metody velikost skupiny, její schopnosti percepce, komunikační schopnosti, zdravotní stav atd.?
  • Okolnosti shromažďování údajů – budou v danou chvíli k dispozici všechny potřebné údaje a respondenti? Bude zvolená metoda vhodná pro dané místo sběru dat?
  • Prostředky, ke kterým máte přístup? – vyžaduje metoda dostupnost kvalifikovaných nebo nezávislých výzkumných pracovníků a dalších zdrojů (organizačních, technických, finančních a časových)? Budete schopni používat tyto metody samostatně? Umožňují vaše zdroje jejich použití?

Znalost výzkumných metod (kvantitativních a kvalitativních) a souvisejících nástrojů vám pomůže při přípravě druhé části koncepce hodnocení (viz kapitola 2.4, nástroj 4), která bude doplněna o metodické otázky. Tento prvek vám umožní shromáždit informace za účelem zodpovězení hodnoticích otázek.

Nástroj 6. Tabulka shrnutí zjištění plynoucích z analýzy případových studií

 

3.4. Jakým způsobem navrhnout výzkumné nástroje?

Častou chybou bývá zahájit hodnocení tím, že vytvoříte výzkumné nástroje, např. dotazník pro příjemce projektu. Je třeba si uvědomit, že není možné zvolit správné výzkumné metody ani vytvořit správné hodnoticí nástroje (např. scénáře, dotazníky, pozorovací záznamové archy) izolovaně, tj. odděleně od celkové koncepce hodnocení. Začněte tedy vytvářet výzkumné nástroje teprve poté, co určíte:

    • Předmět, rozsah a účel hodnocení,
    • Hodnoticí kritéria a otázky,
    • Zkoumané skupiny osob a výzkumné metody.

Bez vazby na výše uvedené prvky nebudete schopni vytvořit správné výzkumné nástroje, protože se může stát, že zařadíte otázky, které nebudou souviset s účelem výzkumu, což znemožní zodpovědět hodnoticí otázky a reagovat na hodnoticí kritéria. „Nevhodné“ nástroje obsahují zbytečné otázky, obsahují příliš mnoho nebo naopak nedostatek informací, neposkytují relevantní informace a neumožňují formulovat smysluplná doporučení.

Otázky obsažené ve výzkumných nástrojích jsou konkretizací hodnoticích otázek. Pamatujte, že tyto otázky kladou hodnotitelé sami sobě, nikoli respondentům! Tyto dva druhy otázek by neměly být zaměňovány, protože jsou formulovány tak, aby se přizpůsobily potřebám:

● Hodnotitelů / zainteresovaných stran hodnocení → hodnoticí otázky,

● Zkoumaných skupin osob (respondenti, dotazované osoby) → otázky obsažené ve výzkumných nástrojích.

Pokud si nejste jisti, zda má být konkrétní otázka položena dotazovaným/respondentům, zvažte, zda na ni budou schopni odpovědět a zda vám získané informace umožní odpovědět na hodnoticí otázky a formulovat užitečná doporučení.

 

JAKÝM ZPŮSOBEM KLÁST OTÁZKY

  • Počet otázek zahrnutých do nástrojů by měl být přiměřený účelu a době trvání výzkumu.
  • Výzkumné nástroje by měly mít transparentní strukturu s identifikovanými hlavními tématy (např. „důvody zapojení do projektu“, „posouzení různých typů podpory“, „účinky účasti v projektu“). Jednotlivá témata by měla být uspořádána do tematických skupin (např. organizační záležitosti).
  • Otázky by měly být kladeny v konkrétním pořadí. Na začátek nástroje zařaďte předběžné otázky (relativně snadné). Po nich by měly následovat úvodní otázky týkající se předmětu (nikoli příliš náročné), poté hlavní otázky (klíčové pro účely výzkumu). Nejtěžší otázky by měly být zařazeny uprostřed nástroje. Na závěr položte souhrnné a závěrečné otázky.
  • Otázky by měly být kladeny v logickém pořadí, které by nemělo účastníky výzkumu překvapit nebo zmást. Každá otázka by měla navazovat na předchozí otázku, nebo v případě osobního rozhovoru na předchozí prohlášení respondenta.
  • Jazyk rozhovoru by měl být snadno srozumitelný: používejte co nejkratší věty a způsob vyjadřování, který je blízký účastníkům výzkumu – nepoužívejte cizí slova, odborné termíny, žargon či zkratky.
  • Otázky by měly být formulovány přesně – tzn. že by neměly vyvolávat pochybnosti například o tom, k jakému časovému období se vztahují (neptejte se: „zda nedávno …“, ale: „zda v posledním týdnu/měsíci/roce …“).
  • Neptejte se na několik věcí v jedné otázce (např. „Jaké jsou silné a slabé stránky projektu?“) a nepoužívejte záporně formulované otázky („Neměl/-a byste…?“, „Nedáváte raději přednost…?“). Všechny tyto chyby ztěžují porozumění otázkám a interpretaci odpovědí.
  • Dotazy a navrhované odpovědi nesmějí být citlivé pro účastníky výzkumu – nesmějí vést např. ke sdílení traumatických zážitků, přiznání chování nebo přesvědčení, která jsou v rozporu se zákonem nebo morálkou. Pokud není zaručena anonymita, neptejte se na majetkové poměry, rodinné záležitosti nebo zdravotní problémy.
  • Nepokládejte sugestivní otázky naznačující odpověď – žádná z možností nesmí být prezentována tak, že je v souladu se zákonem nebo morálkou, neodvolávejte se na autority, úřady či názor většiny.

PŘÍKLAD „PŘEVODU“ KRITÉRIA A HODNOTICÍ OTÁZKY NA NÁSTROJ VÝZKUMU

I. Kritérium: UŽITEČNOST

(perspektiva: hledisko příjemce; účel hodnocení: zlepšení projektových aktivit)

II. Výzkumná otázka: Do jaké míry bylo školení užitečné pro účastníky?

III. Příklady otázek ze scénáře individuálního hloubkového rozhovoru (IDI) se školitelem:

1) Které prvky školení byly nejvíce a které nejméně užitečné pro účastníky a proč?
2) Mohlo by být toto školení užitečnější pro účastníky? Co by se mělo změnit? Proč si myslíte, že díky této změně bude školení užitečnější?

IV. Příklady výzkumných otázek pro příjemce školení:

1) Uveďte prosím prvky školení, které byly pro vás nejužitečnější (možnosti: X, Y, Z)
2) Uveďte prosím prvky školení, které byly pro vás nejméně užitečné (možnosti: X, Y, Z)
3) Mohlo by být toto školení pro vás užitečnější? (možnosti: ano; ne; nevím)

  • Otevřené otázky pro osoby, které odpověděly ‚ano‘ – Co by se mělo změnit na tomto školení, aby bylo užitečnější? (nechat prostor na odpověď ………..)

 

Rozdíly mezi kvantitativními a kvalitativními výzkumnými nástroji, struktura/stavba scénářů a dotazníků a nejčastější chyby v jejich návrhu jsou obsahem online kurzu.

IV. CO JE POTŘEBA ZVÁŽIT PŘI HODNOCENÍ PROJEKTŮ ZAMĚŘENÝCH NA MLADÉ LIDI VE VĚKU 15-24 LET

 

IV. CO JE POTŘEBA ZVÁŽIT PŘI HODNOCENÍ PROJEKTŮ ZAMĚŘENÝCH NA MLADÉ LIDI VE VĚKU 15-24 LET

 

Při hodnocení projektů určených mladým lidem ve věku 15–24 let byste měli vzít v úvahu, že lidé v tomto věku se liší od dospělých, zejména z hlediska jejich právní situace, životních a technologických podmínek a psychologických a sociálních potřeb souvisejících s intenzivním procesem vývoje v období mezi dětstvím a dospělostí.

 

4.1. Jaké jsou standardy výzkumu prováděného mezi mladými lidmi?

Úmluva OSN o právech dítěte a mnoho dalších právních předpisů v jednotlivých zemích zaručuje zvláštní právní ochranu osobám mladším 18 let. Podle zákona je osoba mladší 18 let dítětem. Ačkoli ve většině zemí získává člověk určitá práva ve věku 15 let (například právo vybrat si školu, právo pracovat), účast nezletilé osoby v projektech YEEA a v různých typech výzkumu vyžaduje souhlas jejího rodiče nebo zákonného zástupce.

 

4.1.1. Souhlas s účastí nezletilého v evaluačním výzkumu

  1. Souhlas s účastí nezletilé osoby v hodnoticích studiích poskytnutý nezletilou osobou a jejím rodičem nebo zákonným zástupcem musí obsahovat odkaz na konkrétní výzkum (název výzkumu nebo hodnoceného projektu a subjekt nebo subjekty provádějící výzkum).
  2. Osoba udělující souhlas s účastí nezletilé osoby ve výzkumu by měla obdržet veškeré potřebné informace, jako například:
  1. Účel výzkumu a způsob využití poznatků;
  2. Rozsah a způsob shromažďování informací, které mají být získány od účastníka výzkumu, včetně informace o tom, zda výzkum vyžaduje vícečetný kontakt s účastníkem, zejména po delší době od ukončení prvního kola výzkumu;
  3. Zajištění anonymity a ochrany získaných údajů o účastníkovi výzkumu;
  4. Informace o právu odmítnout účast ve výzkumu nebo ukončit účast v kterékoli fázi výzkumu.
  1. Měli byste rovněž pamatovat na to, že v zemích EU je nutné získat souhlas se zpracováním a uchováváním osobních údajů.
  2. Pokud plánujete použít zařízení pro pořizování zvukových a video nahrávek – musí být rovněž udělen výslovný souhlas s jeho použitím.
  3. Příklady dokumentů používaných k získání souhlasu s účastí nezletilé osoby ve výzkumu jsou obsaženy v přílohách (přílohy 1 a 2).

Je vhodné získat tento souhlas na začátku hodnoceného projektu, protože jej lze získat spolu s obecnějším souhlasem s účastí nezletilé osoby v projektu (např. v rámci stejného dokumentu).

 

4.1.2. Ochrana nezletilých v etických kodexech profesionálních výzkumných pracovníků

Základní pokyny k provádění průzkumu mezi osobami mladšími 18 let:

  • Získání informovaného souhlasu (popsaného výše) od nezletilé osoby a jejího zákonného zástupce,
  • Zajištění pocitu bezpečí osob dotazovaných výzkumným pracovníkem (výzkumný pracovník se např. nepokouší navázat první kontakt s nezletilými bez přítomnosti dospělé osoby odpovědné za dítě (učitel, opatrovník, rodič); osoby shromažďující informace se prokážou dokumentem potvrzujícím jejich postavení výzkumného pracovníka; proškolení a zkušenosti osob provádějících výzkum zaručují bezpečnost a provádění výzkumu způsobem odpovídajícím specifičnosti mladých lidí),
  • Zajištění srozumitelnosti veškerých poskytovaných informací, včetně otázek kladených dotazovaným/respondentům (v tomto ohledu je vhodné vyzkoušet kvantitativní nástroje v menším měřítku před jejich skutečným použitím a konzultovat je s odborníky),
  • Zajistit, aby rozsah nebo metoda získávání informací od mladých lidí nezpůsobily přímo žádnou materiální či nemateriální újmu, včetně újmy související s duševní pohodou a společenskými vztahy; to se týká zejména takových záležitostí, jako jsou:
    • Citlivá témata, která omezují pocit samostatnosti nebo sebeúcty,
    • Vztahy s vrstevníky a dalšími důležitými osobami.

V případě jakýchkoli pochybností se poraďte s odborníky.

  • Dodržování obecných zásad sociálního výzkumu, zejména:
    • Zaručení důvěrnosti informací získaných od účastníků výzkumu jak ve fázi sběru údajů (bez účasti dalších osob kromě výzkumníků a respondentů při zpracování údajů, anonymizace/pseudonymizace), tak při zveřejnění zjištění (kolektivní prezentace kvantitativních údajů, pseudonymizace kvalitativních údajů);
    • Zajištění anonymity účastníků výzkumu;
    • Zajištění bezpečnosti a nerušené práce výzkumných pracovníků.
  • Normy pro provádění výzkumu mezi nezletilými osobami jsou obsaženy v etických kodexech platných mezi odborníky provádějícími sociální průzkum a průzkum trhu.

 

4.2. Jak přizpůsobit metodu evaluačního výzkumu způsobu života mladých lidí?

4.2.1. Hlavní aktivita – formální vzdělávání

Studium je převažující aktivitou v životě mladých lidí ve věku 15-24 let. Například v Polsku je účast na formálním vzdělávání do 18 let povinná, i když je povoleno i učňovské vzdělávání ve formě „odborné přípravy“ v kombinaci s placenou prací. Zjištění vyplývající z průzkumu pracovních sil však ukazují, že drtivá většina osob ve věku 18–24 let se stále účastní organizovaných forem vzdělávání. Mladí lidé studují formou plného denního studia na středních, vyšších odborných či vysokých školách, ale často i formou studia při práci, kdy navštěvují různé kurzy nebo školení. Mnoho činností YEEA také probíhá formou skupinových vzdělávacích aktivit. Sdružování příjemců hodnoceného projektu na stejném místě a ve stejném čase vám umožní provádět různé druhy aktivit souvisejících s hodnocením, především sběr údajů prostřednictvím pozorování, centrální průzkum, skupinové rozhovory focus groups, apod.

Měli byste však mít na paměti, že při provádění výzkumu ve vzdělávacích institucích je potřeba zajistit vhodné podmínky shromažďování údajů jako například: samostatná místnost, vyhrazený čas (respondenti by neměli být pod časovým tlakem).

4.2.2. Slabá pozice na trhu práce

Jedním ze základních aspektů životní situace mladých lidí, který je také hlavní oblastí vlivu projektů YEEA, je jejich situace na trhu práce. Ve studiích věnovaných tomuto tématu, pokud jde o mladé lidi, je třeba vzít v úvahu, že:

  • Ve věkové skupině 15–24 let vykonává placenou práci jen asi každý třetí (včetně neplacené pomoci s placenou prací člena rodiny) – nikdy byste proto neměli klást otázky s tím, že předpokládáte, že konkrétní osoba pracuje nebo má příjem ze zaměstnání,
  • Práce mladých lidí, zejména mladších 18 let, probíhá různou, často atypickou formou, např. jako bezplatná pomoc v rámci placené práce blízkého člena rodiny, jednorázová práce, příležitostná práce, prázdninová brigáda, práce na částečný úvazek, zástup, práce „na zkoušku“, různé typy stáží, učňovská příprava a odborná příprava, kde se poměr studia a práce a výdělky značným způsobem liší, přičemž tyto aktivity mohou, ale nemusí být považovány za práci, dále výkon práce výměnou za ubytování, stravu a „kapesné“, propagace produktů nebo služeb na sociálních sítích výměnou za získané zboží nebo služby, dobrovolná práce s různou mírou pokrytí vlastních nákladů, práce prováděná na základě různých typů smluv, od běžných pracovních smluv ke specifickým smlouvám, nepřiznaná práce, jako je doučování, nebo příjem z nelegální činnosti.

Když se mladých lidí zeptáte na práci, musíte přesně definovat, jaký druh činnosti považujete za práci a/nebo jaké rysy jsou pro vás rozhodující (zákonnost, druh a výše odměny, časový rozsah, stabilita, vazba na povinnosti v rámci vzdělávání, právní forma).

4.2.3. Zvýšená mobilita

Lidé ve věku 15–24 let mění své bydliště mnohem častěji než starší lidé. Vykazují také nadprůměrnou denní mobilitu. Výsledkem je, že tradiční metody sběru kvantitativních údajů na základě adresy trvalého bydliště v případě mladých lidí nefungují – dotazník zaslaný poštou často směřuje na zastaralou adresu, která již neplatí, nebo se tazatel dostaví do místa, kde nikdo není.

Proto je v případě mladých lidí obzvláště důležité získat jejich mobilní kontaktní údaje, jako je číslo telefonu nebo název individuálního profilu v konkrétní aplikaci pro zasílání zpráv, a poté použít strategii sběru údajů pomocí elektronických nástrojů na základě těchto kontaktních údajů. Zjištění plynoucí ze studií využívajících jak dotazník zaslaný poštou, tak online metodu (CAWI), ukazují, že míra odezvy v případě posledně jmenované metody je mnohem vyšší a s klesajícím věkem respondenta ještě roste.

4.2.4. Převažující využití chytrých telefonů v každodenní komunikaci

Mladí lidé jsou na rozdíl od starších osob ochotnější používat elektronické technologie spíše než tištěné dokumenty. Jsou také mnohem efektivnější při používání těchto technologií a mají sklon řešit běžné každodenní záležitosti pomocí smartphonu spíše než počítače. Při provádění výzkumu mezi mladými lidmi je proto vhodné využívat elektronické výzkumné nástroje; nejlepší možností je přizpůsobit tyto nástroje použití s chytrými telefony (jedna jednoduchá otázka na jednu obrazovku, jednoduchá a čitelná forma, ne moc dlouhý seznam odpovědí). Jednou z aplikací, které lze použít pro práci s mladými lidmi, je například Kahoot.

4.2.5. Aktivní život s nadměrným množstvím stimulace

Charakteristickým rysem moderní mládeže je její otevřenost vůči četným podnětům přicházejícím prostřednictvím smartphonů, s nimiž se mladí lidé ani na okamžik nerozloučí. Učení, volnočasové aktivity a zájmy, a především společenský život často ovlivňují fungování mladí lidí natolik, že tito lidé mohou zapomenout na neobvyklé nebo méně důležité povinnosti, jako je např. vyplnění dotazníku. Tomu lze předcházet tím, že budeme pravidelně zasílat účastníkům zprávy s připomenutím data plánovaného rozhovoru, slibu vyplnit průzkumný dotazník apod.

4.2.6. Široce rozšířené používání sociálních sítí

Pro výzkumné účely se stále častěji využívá masivní používání sociálních sítí mladými lidmi, včetně přítomnosti těchto lidí v mnoha skupinách na sociálních sítích. Je možné najít skupiny mladých lidí z konkrétní lokality nebo školy, stejně jako skupiny zaměřené na specifické hudební nebo ideologické zájmy apod. Vstup do skupiny otevírá možnost náboru účastníků výzkumu (např. do srovnávací skupiny). Můžete položit otázku jednotlivým členům skupiny jako výzkumný pracovník, nebo zveřejnit odkaz na online průzkum nebo žádost o kontakt (pokud s tím bude moderátor skupiny souhlasit). Není vhodné zahajovat veřejnou diskusi na úrovni internetové skupiny; takový postup brání zachování důvěrnosti výzkumu a vystavuje účastníky hodnocení ze strany ostatních členů skupiny. Prohlášení učiněná veřejně navíc bývají méně důvěryhodná.

Dle příkladu agentur pro výzkum trhu můžete též uvažovat o založení speciální komunitní skupiny (metoda MROC – online komunity zaměřené na průzkum trhu), které by se účastnili mladí beneficienti projektu na základě souhlasu s účastí. Tyto aktivity však vyžadují přesnou definici cíle skupiny. Pokud je účelem výzkum – pak by to měla být krátkodobá skupina (MROC) a během tohoto krátkého období by měla být profesionálním způsobem moderována, podobně jako skupinové rozhovory focus groups (FGI).

4.2.7. Problémy při oslovení skupiny NEET

Problémy charakteristické pro výzkum prováděný mezi mladými lidmi se ještě více prohloubí, pokud se hodnocený projekt zaměřuje na mladé lidi, kteří nestudují ani nepracují, ani se neúčastní žádné formy vzdělávání, podpory nebo institucionálního dohledu, které by je sdružovaly (skupina NEET). Oslovit mladé lidi, kteří jsou v podobné situaci, je velká výzva, zvláště když potřebujete srovnávací údaje pro účely srovnání se zástupci skupiny NEET, kteří se projektu účastní.

Jediným řešením tohoto problému často bývá srovnání skupin účastnících se různých projektů v rámci stejného programu nebo srovnání výsledků skupiny účastnící se projektu se skupinou kandidátů, kteří se nestali beneficienty projektu (po zohlednění důvodů, kvůli kterým nebyli zařazeni do projektu).

4.3. Jak se vyrovnat s psychologickými a sociálními potřebami mladých lidí

4.3.1. Zvýšená potřeba zachování důvěrnosti poskytnutých informací

Klíčovými psychosociálními faktory, které je potřeba vzít v úvahu při plánování a realizaci výzkumu mezi mladými lidmi, je jejich mimořádná náchylnost nechat se ovlivnit. To vyplývá jak z procesu formování osobnosti, tak ze strachu z posuzování, a dokonce i z trestu, který může mladého člověka postihnout jak ze strany vrstevníků, tak ze strany dospělých, na nichž je mladý člověk psychicky a finančně závislý. K posledně jmenovaným patří i pracovníci projektu. S ohledem na výše uvedené je potřeba:

  • Informovat účastníka výzkumu o důvěrnosti poskytovaných informací a opatřeních přijatých za účelem zachování důvěrnosti jak při shromažďování údajů, tak formou anonymizace ve fázi analýzy údajů a využití zjištění,
  • Poskytnout komplexní záruky, vč. provádění rozhovorů (IDI, FGI) bez účasti třetích stran, vytvoření podmínek pro vyplňování dotazníků zaručujících anonymitu a důvěrnost, např. vhazováním dotazníků vyplněných ve třídě do sběrné schránky.

4.3.2. Větší potřeba autonomie a emancipace

Podle vývojové psychologie jsou lidé ve věku 15-24 let z důvodu utváření vlastní identity mimořádně citliví na záležitosti týkající se respektování jejich svobody. Proto by měli být jasně informováni o svém právu zúčastnit nebo nezúčastnit se výzkumu a o důvodech a důsledcích obou možností. Toto je nezbytnou podmínkou výzkumu.

Na druhou stranu lze mladé lidi pozitivně motivovat k účasti na hodnoticím výzkumu tím, že budeme reagovat na jejich potřebu posunout se z podřízeného a výkonného postavení do role spolurozhodovatelů a spolutvůrců. Podmínkou skutečného zapojení mladých lidí do hodnoticího výzkumu je zacházet s nimi jako s partnery, kteří mají vedle klasické role zkoumaného objektu různé další úlohy, včetně rozhodovací a konzultační role. Toho lze dosáhnout zapojením mladých lidí do různých fází procesu hodnocení, od stanovení informačních potřeb, přes spolurozhodování o stanovení priorit, plánování, účast na realizaci, až po konečnou diskusi a projednání zjištění (viz část 2.2).

V. ANALÝZA DAT

 

V. ANALÝZA DAT

 

Jakmile je dokončen sběr údajů, měla by být zahájena jejich analýza. Znamená to využít veškerý výzkumný materiál (informace získané různými metodami) k zodpovězení hodnoticích otázek a zhodnocení hodnoceného projektu podle zvolených kritérií. V této fázi je proto vhodné vrátit se ke koncepci hodnocení, která funguje jako kompas a provede hodnotitele celým výzkumným procesem (tj. nejen sběrem informací, ale také analýzou údajů, vyvozováním závěrů a formulací doporučení).

Cílem analýzy údajů je:

  • Kompilace a ověření shromážděných informací,
  • Popis, hodnocení a srovnání získaných kvantitativních a kvalitativních údajů (kontrola jejich spolehlivosti a konzistence),
  • Identifikace a vysvětlení různých vztahů příčiny a následku, které vám umožní pochopit mechanismy studovaných jevů,
  • Interpretace získaných zjištění vyplývajících z hodnocení ve vztahu k širším znalostem o předmětu hodnocení (evaluandu),
  • Získání podrobných odpovědí na hodnoticí otázky a důvěryhodné zhodnocení předmětu hodnocení podle zvolených kritérií,
  • Vyvození závěrů ze shromážděných informací a formulování užitečných doporučení na základě těchto závěrů.

Při analýze údajů byste měli mít na paměti princip triangulace, tj. kompilace údajů získaných z různých zdrojů různými výzkumnými metodami různými výzkumnými pracovníky. Díky tomu máte možnost doplnit, prohloubit a ověřit příslušné informace, a získat tak úplný obraz o hodnoceném projektu.

Přestože kroky prováděné během analýzy údajů, např. redukce, prezentace a závěry, jsou společné pro oba typy údajů (kvantitativní i kvalitativní), získaná zjištění mají u každého typu jinou formu. Porovnání těchto údajů je uvedeno v následující tabulce.

Před zahájením analýzy údajů je nutné zkontrolovat, zda byly všechny výzkumné materiály anonymizovány, tj. neexistují žádné osobní údaje (jména, příjmení, adresy, včetně e-mailových adres, telefonní čísla atd., stejně jako kontextové informace umožňující identifikace účastníků výzkumu). Dotazovaným, kteří se účastní kvalitativní části výzkumu (IDI, FGI), jsou přiřazeny pseudonymy, např. s přihlédnutím k vlastnostem důležitým pro výzkumného pracovníka. Osobní údaje týkající se účastníků výzkumu by měly být odděleny od jimi poskytnutého obsahu.

Čtyři hlavní fáze analýzy údajů:

1. Výběr a uspořádání shromážděného výzkumného materiálu – v této fázi probíhá kontrola správnosti a úplnosti údajů a ověření spolehlivosti jednotlivých informací (pomocí triangulace) a odstranění údajů, které nejsou užitečné pro účely hodnocení. Měli byste shromáždit veškeré informace a usnadnit jejich další analýzu – přepis zvukových záznamů rozhovorů nebo jejich zápis lze pořídit podle předem připraveného schématu (obsahujícího souhrn prohlášení respondentů). V případě průzkumu byste měli z analýzy vyloučit nevyplněné dotazníky atd.

2. Tvorba analytických kategorií (výběr typu kódování údajů – jejich kategorizace a klasifikace), to znamená přiřazení kódů/„štítků“ jednotlivým získaným informacím, které budou představovat specifické kategorie informací, což umožní uspořádat výzkumný materiál.

  • V případě uzavřených otázek mají kódy odpovědí numerickou podobu (např. „žena“ = 1, „muž“ = 2), která umožňuje provádět analýzu získaných údajů pomocí statistických programů (nebo tabulek). Nejprve je potřeba vypracovat kódovací příkaz, který bude obsahovat názvy kódů a čísla použitá v dotazníku k identifikaci odpovědí respondentů na konkrétní otázky. Průzkumy prováděné formou tištěných dotazníků vyžadují manuální kódování – k tomu je třeba očíslovat odpovědi v dotazníku, zakódovat odpovědi a zadat tyto informace do databáze. Elektronické dotazníky jsou kódovány automaticky.
  • V případě otevřených otázek a dalších kvalitativních údajů mají kódy konkrétních odpovědí verbální podobu (např. „vzdělávací organizace“, „realizace školení“). Kódy pro kvalitativní údaje lze naplánovat před prostudováním shromážděného materiálu, nebo po něm. První metoda se nazývá kódování „shora dolů“ a vychází z dobré znalosti zkoumaného problému a/nebo jeho zakotvení v určité teorii. Druhou metodou je otevřené kódování („zdola nahoru“), které používá kategorie identifikované ve shromážděném materiálu (např. vztahující se k výzkumným otázkám). V obou případech je potřeba vytvořit kódovací schéma, které kódy uspořádá (vytvoří hierarchii kódů, nadřazené/kolektivní a podrobné kódy) tak, aby bylo možné shromážděné informace prezentovat konzistentním způsobem.

 

Informace odpovídající příslušným kódům lze shrnout do jedné tabulky, která usnadní vyhledávání podobných nebo společných rysů účastníků výzkumu a informací, které je naopak odlišují. Umožní také vidět vztah mezi charakteristikou nebo situací dotazovaných a jejich výroky.

 

Nástroj 7: Tabulka pro shrnutí informací získaných na základě rozhovorů

 

3. Analýza a interpretace získaných zjištění (vysvětlení a zhodnocení konkrétní záležitosti/problému výzkumným pracovníkem)

Analýza údajů je důležitou součástí hodnocení, protože umožňuje shrnout zjištění a najít společné a odlišné prvky ve shromážděných materiálech. Ve fázi plánování hodnocení je vhodné zvolit a popsat metodu analýzy údajů. Údaje získané během hodnocení lze analyzovat mnoha způsoby. Nejjednodušší rozlišení je:

  • Kvantitativní analýza údajů (čísla, odpovědi na uzavřené otázky) – pro účely jednoduché analýzy můžete použít například MS Excel, pro složitější analýzy pak statistické programy, jako je SPSS nebo Statistica, provozované odborníky, jejichž služby mohou být využity v případě potřeby.
PRAKTICKÝ TIP

V případě malých skupin by kvantitativní údaje neměly být prezentovány ve formě procent, tj. uvést např., že 20 % respondentů ze skupiny deseti osob má určitý názor. Lepší je v tomto případě použít absolutní čísla, tj. 2 osoby.

  • Kvalitativní analýza údajů (např. text, prohlášení během rozhovoru) – pro účely jednoduché analýzy stačí data zkompilovat formou tabulky/matice; v případě rozsáhlejšího výzkumného materiálu je vhodné použít analytické programy, např. QDA Miner, OpenCode, Weft QDA.

Některé z nich stručně uvádíme v níže uvedené tabulce:

Rozpracováno na základě následujícího zdroje: Peersman, G. (2014). Overview: Data Collection and Analysis Methods in Impact Evaluation, Methodological Briefs: Impact Evaluation 10, UNICEF Office of Research, Florence.

 

DŮLEŽITÉ

Při analýze údajů je velmi důležité určit, k jakým změnám došlo v důsledku projektu a jakou roli v nich hrály jednotlivé aktivity. Je proto nutné odpovědět na otázku, do jaké míry ovlivnily projektové aktivity dosažení předpokládaných ukazatelů výsledku a jakou roli hrály projektové aktivity mezi jinými faktory ovlivňujícími očekávané změny (viz kapitola 2.5).

 

Analýzu údajů je vhodné vztáhnout k dříve popsané teorii změny přijaté v rámci popisu logiky projektu. Při plánování změny na začátku projektu jste přijali určité předpoklady o podmínkách, které musí být splněny (poskytnuté zdroje, realizované aktivity), aby bylo možné dosáhnout daných tzn. že jste naplánovali řetězec příčiny a následku. Hodnocení ověřuje naši teorii změny – může ji potvrdit nebo odhalit její mezery (např. chybějící / nadbytečné složky) a doporučit zlepšení do budoucna.

Existují tři obecné strategie kauzální inference (vyvození závěrů o příčinné souvislosti). Kombinace těchto strategií může +zvýšit důvěryhodnost vyvozených závěrů:

VI. REPORTOVÁNÍ

 

VI. REPORTOVÁNÍ

 

6.1. Jakým způsobem využít výsledky analýzy údajů?

Po dokončení fáze kvalitativní a kvantitativní analýzy údajů máte k dispozici množství informací, které je potřeba správným a vhodným způsobem použít. Tyto informace vám pomohou získat znalosti, na základě kterých budete přijímat správná rozhodnutí týkající se zlepšení projektu (např. jak jej lépe přizpůsobit potřebám příjemců, jak dosáhnout podobných účinků s využitím menších zdrojů, jak zajistit větší dopad a udržitelnost výsledků projektu).

Na základě zjištění provedených analýz můžete vyvodit závěry týkající se jevů nebo problémů identifikovaných během hodnocení. Tyto závěry se týkají především záležitostí popsaných v hodnoticích otázkách, ale mohou zahrnovat i problémy, které byly diagnostikovány dodatečně během výzkumu.

V hodnotící zprávě byste měli prezentovat nejen zjištění vyplývající z hodnoticího výzkumu, ale také jejich interpretaci (tj. ve vztahu k širší znalosti zkoumané problematiky), závěry vyvozené ze získaných údajů a odpovídající doporučení. Výše uvedený diagram představuje vztahy mezi těmito prvky. Chcete-li projít tímto procesem, můžete použít otázky, které doprovázejí následující fáze (ve výše uvedeném diagramu jsou označeny kurzívou).

Níže naleznete příklad procesu formulování závěrů a doporučení týkajících se vzdělávacího projektu zaměřeného na skupinu NEET (zjištění se týkají kvantitativní části výzkumu).

 

Nástroj 8: Vztah mezi zjištěními vyplývajícími z hodnocení, jejich interpretací, závěry a doporučeními

 

Nezapomeňte vzít v úvahu různé aspekty související s hodnoticím výzkumem, např. použité metody (kvalitativní, kvantitativní), metody výběru vzorků a míru reakce (úroveň návratnosti dotazníků), které mohou vést k určitým omezením při formulování závěrů.

 

PRAVIDLA FORMULOVÁNÍ ZÁVĚRŮ:

  • Přistupujte ke svým závěrům kriticky, dívejte se na ně s odstupem a neustále hledejte alternativní vysvětlení zjištěných jevů. Vždy stojí za to konzultovat své závěry s jinou, pokud možno zkušenější osobou („kritickým přítelem“), která bude schopna podívat se na ně „nezatíženým, objektivním pohledem“ díky tomu, že není zapojena do hodnocení.
  • Ujistěte se, že správně interpretujete výroky účastníků výzkumu, např. s nimi své závěry ověřte. Pokud si nejste zcela jisti daným závěrem, zjemněte jej pomocí výrazů „pravděpodobně“, „patrně“, „nejspíš“.
  • Nezobecňujte závěry na celou populaci (tj. osoby, které se výzkumu nezúčastnily), pokud jste použili kvalitativní metody nebo pokud nebyl studovaný vzorek vybrán náhodně.

V online kurzu se dozvíte, jak se vyhnout chybám při formulování závěrů.

 

JAKÝM ZPŮSOBEM FORMULOVAT DOPORUČENÍ?

  • Uspořádejte je tematicky (např. projektový management, spolupráce s partnery, realizované aktivity, účinky projektu).
  • Uveďte silné i slabé stránky předmětu hodnocení. Nesoustřeďte se pouze na negativa – ukažte také ty oblasti, které fungují dobře a nepotřebují žádné změny. Pokud se soustředíte pouze na pozitiva, naruší to důvěryhodnost hodnocení.
  • Dbejte na to, aby doporučení byla podrobná, přesná a realistická (schopná implementace), aby byla také praktická, správná a užitečná.
  • Přiřaďte ke každému doporučení: příjemce (s nímž toto bude předem dohodnuto), termín realizace a stupeň důležitosti; zvýšíte tak šanci na jeho implementaci.

Závěry a doporučení lze prezentovat ve stručné a výstižné tabulce představující shrnutí předkládané zprávy, nebo samostatný „konečný produkt“ hodnocení. Níže uvádíme příklad tabulky s doporučeními týkajícími se hodnocení vzdělávacího projektu:

Nástroj 9A: Nástroj 9A: Tabulka doporučení

Nástroj 9B: Zjednodušená tabulka doporučení

 

6.2. Čím se vyznačuje kvalitní zpráva?

Zpráva představuje završení procesu hodnocení, protože prezentuje jeho koncepci, průběh výzkumu a výsledná zjištění, stejně jako závěry a doporučení, která z nich vyplývají.

V průběhu procesu hodnocení bývají sestavovány různé druhy zpráv, např.:

Závěrečná zpráva může mít různou formu, která by měla odpovídat potřebám jednotlivých skupin příjemců (zainteresovaných stran), stejně jako obsah zprávy. Výsledky hodnocení mohou být prezentovány a propagovány např. následujícím způsobem:

    • Závěrečná zpráva v elektronické podobě (méně často v tištěné podobě) distribuovaná zainteresovaným stranám a/nebo zveřejněná na internetu (např. na webových stránkách projektu nebo zadavatele hodnocení),
    • Souhrnný přehled zpráv ve formě informačních složek / brožur obsahujících klíčové závěry a doporučení,
    • Multimediální prezentace během konferencí a jednání, např. se zainteresovanými stranami, partnery,
    • Infografika zveřejněná na webových stránkách projektu a v sociálních médiích a zaslaná do místních médií,
    • Tištěné plakáty prezentované na různých akcích, jako jsou např. konference, pikniky,
    • Filmy (videoprezentace) určené širokému publiku (včetně rozptýleného publika) a zveřejněné na internetu,
    • Následná opatření – prezentace týkající se účinků realizace doporučení.

 

Zpráva ve formě rozšířeného textového dokumentu může mít následující strukturu:

    • Titulní strana – název smluvní instituce, název instituce provádějící hodnocení (pokud bylo hodnocení externí), datum sestavení, autoři, název (např. Ex post hodnocení projektu X),
    • Shrnutí – hlavní prvky koncepce hodnocení, klíčová zjištění, závěry a doporučení (nutno uvést u obsáhlejších zpráv),
    • Obsah – umožňující automaticky přejít na konkrétní stránku zprávy,
    • Seznam zkratek (případně definice specifických termínů),
    • Úvod – informace o zadavateli, typ a termín dokončení hodnocení, název hodnoceného projektu, zdroje financování a název organizace, která projekt realizovala,
    • Předmět a rozsah hodnocení – stručný popis hodnoceného projektu a částí projektu, které byly předmětem hodnocení,
    • Cíle hodnocení – vysvětlení, proč bylo hodnocení prováděno, co se od něj očekává,
    • Hodnoticí kritéria a hodnoticí otázky – způsob, jakým byla stanovena hodnota předmětu hodnocení / co jsme se měli dozvědět prostřednictvím hodnocení,
    • Záležitosti týkající se použité metodologie – popis zdrojů informací a použitých výzkumných metod, metod výběru vzorků, průběhu výzkumu, míry responzivity (jaké procento respondentů se průzkumu zúčastnilo). Dále je vhodné popsat problémy, které se vyskytly při realizaci výzkumu, a způsoby a výsledky jejich řešení,
    • Popis zjištění vyplývajících z hodnocení – popis kvalitativních a kvantitativních zjištění shromážděných během výzkumu a jejich interpretace s použitím přijaté metody prezentace (např. podle hodnoticích kritérií / otázek). Zjištění z různých zdrojů a zjištění získaná různými metodami by měla být vzájemně konfrontována (na základě triangulace). Každá kapitola může obsahovat dílčí shrnutí,
    • Závěry a doporučení – stručná, ale výstižná odpověď na hodnotící otázky. Závěry musejí vycházet ze zjištění studie a doporučení by s nimi měla úzce souviset,
    • Přílohy/dodatky (volitelné) – např. použité výzkumné nástroje, shrnutí ve formě tabulek, případové studie, atd.

Je třeba si uvědomit, že bez ohledu na zvolenou formu zprávy budou jakékoli změny obsahu tohoto dokumentu v případě jak externího, tak interního hodnocení vyžadovat souhlas hodnotitele.

Chcete-li se dozvědět více o tabulce poznámek k hodnoticí zprávě, přejděte do našeho online kurzu.

Kvalitní hodnoticí zpráva by měla splňovat následující požadavky:

  • přiměřeně odpovídat podmínkám smlouvy a potřebám příjemců a být formulována jazykem srozumitelným těmto příjemcům,
  • obsahovat seznam použitých zkratek (případně definice klíčových pojmů, pokud má být zpráva předložena širšímu publiku, které je nemusí znát),
  • mít jasnou a srozumitelnou strukturu,
  • být stručná a zároveň vyčerpávajícím způsobem odpovědět na hodnotící otázky (bez zdlouhavého a zbytečného „tlachání“),
  • vycházet z důvěryhodných a spolehlivých zjištění, která byla předmětem řádné analýzy,
  • prezentovat nejen získaná zjištění, ale také jejich interpretaci, a současně uvést vztah mezi údaji a závěry,
  • obsahovat odůvodněné závěry a s nimi související užitečná doporučení,
  • obsahovat grafické prvky (tabulky, grafy, diagramy) a citace z výpovědí respondentů, které činí obsah zprávy přitažlivějším.

Následující tabulka vám pomůže ověřit kvalitu hodnoticí zprávy, neboť osahuje podrobná kritéria pro posouzení kvality. Můžete si vybrat hodnoticí stupnici (numerickou nebo verbální) a posoudit vlastní nebo externí zprávu.

Nástroj 10: Tabulka hodnocení kvality zprávy

 

6.3. Jakým způsobem předložit to, co je potřeba, příjemcům vašeho hodnocení

Možnost využít zjištění vyplývající z hodnocení závisí na typu hodnocení, tj. na okamžiku/fázi projektu, v nichž se hodnocení provádí.

Největší šanci na zavedení změn přináší hodnocení ex ante prováděné v době, kdy hodnocený projekt ještě nebyl zahájen.

V případě hodnocení uprostřed projektového období je možnost využít doporučení k zavedení konkrétních změn omezená, protože projekt již probíhá a jednotlivé kroky jsou postupně realizovány. Nicméně některé prvky projektu je ještě možné změnit, např. za účelem lepšího přizpůsobení probíhajících aktivit potřebám jejich beneficientů, zajištění dosažení předpokládané úrovně plánovaných ukazatelů nebo jejich přizpůsobení změněným podmínkám realizace projektu.

Zjištění vyplývající z následného hodnocení ex post vám pomohou pouze při plánování dalších (stejných nebo podobných) projektů, protože hodnocený projekt byl již dokončen.

Pokud se zjištění plynoucí z hodnocení týkají problémů v oblasti organizace nebo řízení projektu, můžete je využít v aktuální práci.

Distribuce zjištění plynoucích z hodnocení (nejčastěji ve formě závěrů a doporučení) mezi zainteresovanými stranami je velmi důležitou etapou, neboť přispívá k lepšímu pochopení potřeby změny, k posílení spolupráce, odhodlání a motivace k jednání a k získání podpory v tomto procesu.

Sdílení zjištění plynoucích z hodnocení s dalšími lidmi/subjekty může prokázat vaši schopnost sebereflexe, pokud jde o hodnotu a kvalitu vašich aktivit. Je známkou vaší připravenosti zapojit se do diskuse o různých aspektech předmětu hodnocení, schopnosti posoudit jeho silné a slabé stránky a touhy dále se rozvíjet a zlepšovat ve spolupráci s dalšími zainteresovanými stranami.

Nástroj 11: Tabulka distribuce zjištění plynoucích z hodnocení

ZÁVĚREM

 

Pokud čtete tyto řádky, pravděpodobně jste prostudovali celý dokument a dozvěděli jste se, jak hodnotit projekty a k čemu je hodnocení dobré, zejména pokud jde o projekty zaměstnávání mladých lidí a pokud chcete zhodnotit skutečný (čistý) dopad těchto projektů.

Pomocí participativní metody hodnocení získáte informace, které budou zásadní pro přijetí klíčových rozhodnutí ve vztahu k projektu a zároveň velice důležité pro zainteresované strany, zejména dárce. Navíc posílíte postavení beneficientů a zajistíte lepší informovanost, koordinaci a motivaci projektového týmu. V konečném důsledku je to cesta ke zvýšení relevance, účinnosti, udržitelnosti a účelnosti projektů – prostě a jednoduše k lepším projektům!

V zájmu zjednodušení vašeho procesu hodnocení můžete použít vzorové šablony hodnoticích nástrojů – viz Přílohy. Pokud chcete proniknout do problematiky hodnocení ještě hlouběji – využijte online kurz a aktivity v oblasti vytváření kontaktů a sítí v rámci projektu Youth Impact – vše je k dispozici na webových stránkách www.youth-impact.eu

 

Další zdroje informací

Zajímavé online zdroje informací týkajících se hodnocení:

 

REFERENCE

  • Babbie E. (1st edition in 1975) The Practice of Social Research
  • Babbie E. (1st edition in 1999) The Basics of Social Research.
  • Bartosiewicz-Niziołek M., Marcinkowska-Bachlińska M., et al (2014) Zaproszenie do ewaluacji, zaproszenie do rozwoju KOWEZiU, Warszawa (s.69-85)
  • Bartosiewicz-Niziołek M. (2012) Ewaluacja programów i przedsięwzięć społecznych – katalog dobrych praktyk , ROPS, Kraków
  • Bienias S., Gapski T., Jąkalski J. (2012) Ewaluacja. Poradnik dla pracowników administracji publicznej. Ministerstwo Rozwoju Regionalnego, Warszawa
  • Blalock H. (1st edition in 1960) Social Statistics.
  • Checkoway, B., Richards-Schuster, K. Participatory evaluation with young people, W.G. Kellogg Foundation
  • Ferguson G. A., Takane Y. (1st edition in 1971) Statistical analysis in psychology and education.
  • Flick, U. (1st edition in 2007). Designing Qualitative Research.
  • Flick, U. (1st edition in 2007). Managing the Quality of Qualitative Research.
  • Gibbs, Graham R. (2009) Analyzing Qualitative Data.
  • Kloosterman, P., Giebel, K., Senyuva, O., (2007) T-Kit 10: Educational Evaluation in Youth Work, Council of Europe Publishing
  • Kvale S. (2007) Doing Interviews.
  • Lisowski G., Haman J., Jasiński, M (2008) Podstawy statystyki dla socjologów, Warszawa
  • Maziarz M., Piekot T., Poprawa M., i inni (2012) Jak napisać raport ewaluacyjny. Ministerstwo rozwoju Regionalnego, Warszawa
  • Maziarz M., Piekot T., Poprawa M., i inni (2012) Język raportów ewaluacyjnych. Ministerstwo rozwoju Regionalnego, Warszawa
  • Miles, M. B., Huberman, A. M. (1st edition in 1983) Qualitative Data Analysis.
  • Nikodemska-Wołowik A., M. (1999). Jakościowe badania marketingowe, Polskie Wydawnictwo Ekonomiczne, Warszawa
  • Peersman, G. (2014). Overview: Data Collection and Analysis Methods in Impact Evaluation, Methodological Briefs: Impact Evaluation 10, UNICEF Office of Research, Florence.
  • Rapley T. (2007) Doing Conversation, Discourse and Document Analysis.
  • Rogers, P. (2014). Overview: Strategies for Causal Attribution, Methodological Briefs: Impact Evaluation 6, UNICEF Office of Research, Florence.
  • Silverman, D. (1st edition 1993) Interpreting Qualitative Data.
  • Wieczorkowska G., Kochański, P., Eljaszuk, M. (2005) Statystyka. Wprowadzenie do analizy danych sondażowych i eksperymentalnych, Wyd. Naukowe Scholar, Warszawa
  • W.K. Kellogg Foundation (2004) Logic Model
Prázdná záložka
Prázdná záložka