PRÍRUČKA HODNOTENIE ZAMESTNÁVANIE MLADÝCH

Váš prostriedok k lepším projektom zamestnanosti mladých ľudí

 

PRÍRUČKA

ÚVOD

 

Cieľom tejto príručky je poskytnúť vám praktické nástroje, ktoré vám pomôžu pri hodnotení projektov zameraných na zvýšenie zamestnanosti mladých ľudí (vo veku 15-24 rokov), vrátane osôb, ktoré sa stretávajú s problémami v čase prechodu medzi školou a zamestnaním (skupina NEET).

Hlavnými príjemcami tohto súboru nástrojov sú mimovládne organizácie a ďalšie subjekty, ktoré majú záujem vykonávať analýzu vlastných projektov realizovaných vo vyššie uvedenej oblasti. Hodnotenie sa môže zamerať na nasledujúce aspekty:

  • Meranie účinnosti projektu z hľadiska dosiahnutia cieľov a výsledkov projektu (výstupov, výsledkov),
  • Hodnotenie užitočnosti projektu pre beneficientov / účastníkov a trvalej udržateľnosti dosiahnutých výsledkov,
  • Lepšie prispôsobenie projektu potrebám beneficientov a trhu práce,
  • Skúmanie dopadu projektu na širšiu skupinu osôb, ktoré sa ho priamo nezúčastnili (napr. Rodina alebo priatelia beneficientov projektu),
  • Hodnotenie efektivity projektu z hľadiska využitých zdrojov a účinkov projektu.

Tento súbor nástrojov je doplnkovým materiálom kurzu „Smerom k lepšej zamestnanosti mladých“ – učebný kurz o hodnotení, ktorý je dostupný na platforme elektronického vzdelávania. Vďaka absolvovaniu kurzu získate vedomosti a znalosti v oblasti hodnotenia prispôsobeného Vašim potrebám (základná alebo pokročilá úroveň). Táto publikácia, ako jeho súčasť, poskytuje všeobecné znalosti spolu s praktickými pokynmi, nástrojmi a príkladmi hodnotenia v praxi. Sú vytvorené tak, aby rozvíjali Vaše zručnosti hodnotenia a zároveň slúžili ako podpora pri využívaní znalostí a vedomostí nadobudnutých počas dištančného kurzu. To je, okrem iného, možné dosiahnuť prostredníctvom súborov otázok, tabuliek a šablón nástrojov, ktoré uľahčujú navrhovanie a plánovanie hodnotenia, zber potrebných dát a formulovanie záverov a odporúčaní zameraných na zlepšenie projektov, ktoré realizuje Vaša organizácia.

Túto publikáciu vytvorila nadácia Jerzy Regulski Foundation in Support of Local Democracy v Poľsku v spolupráci s výskumným ústavom Research Institute for Innovative and Preventiv Job Design (FIAP e.V., Nemecko), Channel Crossings (Česká republika) a PEDAL Consulting (Slovensko) v rámci projektu Youth Impact, ktorý je financovaný z finančného mechanizmu EEA Financial Mechanism a nórskeho finančného mechanizmu Norwegian Financial Mechanism. Cieľom projektu je poskytnúť nástroje a služby na zlepšenie schopností a kapacít realizátorov projektov zameraných na podporu zamestnanosti a podnikania mladých ľudí (Youth Employment and Entrepreneurship Support Actions) tak, aby dokázali účinne zhodnotiť dopady svojich činností. Projekt bude realizovaný v období rokov 2019-2022.

Projektové aktivity sú zamerané na rozvoj kompetencií hodnotenia subjektov, ktoré podporujú zamestnanosť a podnikanie mladých ľudí.

SLOVNÍK POJMOV

 

 

Aktivity (hodnoteného projektu)- aktivity zamerané na konkrétnu cieľovú skupinu, ktoré prispievajú k dosahovaniu plánovaných výstupov a výsledkov, a následne k dosahovaniu cieľov projektu.

Príklad: Školenie pre 20 mladých matiek zamerané na farbenie textílií (účastníčky boli na začiatku projektu nezamestnané a poberali sociálne dávky) v meste X.

 

Zovšeobecnenie – vzťahuje sa na zistenia získané zo štúdie vzorky na celej populácii (t.j. tiež na skupiny, ktoré sa na tomto výskume nezúčastnili). Na základe výsledkov vzorky sme dospeli k záveru, že zistenia (charakteristiky/ vyjadrenia) – s danou úrovňou pravdepodobnosti – sú rovnako platné pre celú populáciu.

 

Dopad – výsledky činností, výstupov a výsledkov projektu, ktoré z dlhodobého hľadiska (okrem iných projektov / intervencií a faktorov) prispievajú k zmenám ovplyvňujúcim širšiu komunitu, ako len priamych príjemcov tohto projektu.

Príklad: Zlepšenie životných podmienok detí vychovávaných matkami, ktoré získali prácu vďaka odbornej kvalifikácii získanej v rámci projektu.

 

Ukazovateľ dopadu – uvádza údaje o oneskorených vplyvoch projektu, ktoré presahujú bezprostredných prijímateľov. Tieto vplyvy zvyčajne zahŕňajú sociálne prostredie / komunitu príjemcov projektu, a môžu byť výsledkom pôsobenia viacerých faktorov ( vrátane mimoprojektových činností).

Príklad: Percento príjemcov, ktorých chod domácnosti nemusel byť podporovaný dávkami sociálneho zabezpečenia 18 mesiacov po ukončení projektu.

 

Matica logického rámca projektu – tabuľka používaná na stanovenie metódy merania zvolených prvkov projektu, ako sú výstup, výsledok alebo dopad. Matica stanovuje ukazovatele, na základe ktorých sa daný prvok bude merať, ako aj metódu merania a predpoklady / podmienky dosiahnutia výsledkov / dopadov projektu (pozri: kapitolu 2.1).

 

Logický model zmeny – komplexný nástroj plánovania projektu a následného manažmentu jeho implementácie. Zobrazuje logiku intervencie spájajúcu jednotlivé prvky projektu s väzbami príčin a dôsledkov (pozri kapitolu 2.1).

 

Monitorovanie – neustály zber, analýza a dokumentácia dát počas implementácie projektu, ktorá sa týka postupu implementácie v zmysle plánovaného časového harmonogramu činností a rozpočtu.

 

NEET (z anglického originálu „not in employment, education or training“) / osoby, nie sú zamestnané, nepokračujú v procese vzdelávania, ani sa nezúčastňujú na odbornej príprave – pojem označuje skupinu hlavne mladých ľudí, ktorí zostávajú mimo sféry zamestnania a vzdelania, t.j. ľudia, ktorí neštudujú, nepracujú, ani sa nepripravujú na prax z rôznych dôvodov (odradenie / nechuť, životná kríza, zodpovednosti rodičov alebo rodiny).

 

Cieľ (všeobecne) – očakávaný stav alebo dopady činností realizovaných v rámci projektu, ktoré sú naplánované na dosiahnutie v rámci stanoveného času.

Príklad: Nárast zamestnanosti medzi mladými matkami do roku 2022 (účastníčky, ktoré boli bez práce v roku 2020 a poberali dávky sociálneho zabezpečenia) v meste X.

 

Na ceste k dosiahnutiu všeobecného cieľa môžete mať stanovené konkrétne ciele (zámery). Špecifický cieľ je plánovaný stav, ktorý sa dosiahne v dôsledku implementácie určitých činností. Musí byť v súlade so všeobecným cieľom, a zároveň musí prispievať k jeho dosiahnutiu.

Príklad: Nárast odborných kvalifikácií mladých matiek do konca roka 2021 (účastníčky, ktoré boli v roku 2020 bez práce, a boli nútené poberať dávky sociálneho zabezpečenia) v meste X na úroveň, ktorú očakávajú zamestnávatelia v tomto meste.

 

Výsledok – priame a nepriame dopady / zmeny, ktoré sa vzťahujú na príjemcov ako dôsledok implementácie konkrétnych projektových činností.

Príklad: Nárast kvalifikácie u príjemcov projektu týkajúcej sa farbenia textílií.

 

Ukazovateľ výsledku – informuje o stupni dosiahnutých zmien príjemcov projektu na základe ich účasti na aktivitách projektu a použití výstupov v danom štádiu implementácie projektu.

Príklad: Počet príjemcov, ktorí nadobudli odbornú kvalifikáciu vo farbení textílií.

 

Výstup – krátkodobý efekt danej činnosti v materiálnej forme (kvantifikovateľné), napríklad vec, predmet, udalosť (dodanie služby). Môžu to byť tovary alebo služby prenesené na príjemcov projektu, ktoré prispejú k dosiahnutiu plánovaných výstupov.

Príklad: Školiace materiály, certifikáty potvrdzujúce dosiahnutie odbornej kvalifikácie v oblasti farbenia textílií zo strany príjemcov projektu.

 

Ukazovateľ výstupu – Informuje o implementácii činností, ktorých výsledkom boli merateľné výstupy.

Príklady: Počet vystavených certifikátov potvrdzujúcich dosiahnutie konkrétnych odborných kvalifikácií, počet ľudí, ktorí dosiahli určitú úroveň týchto kvalifikácií, nárast úrovne spoločenských zručností / spôsobilostí na základe zvoleného testu, počet motivačných listov a životopisov, ktoré vyhotovili účastníci školenia, počet vyhotovených učebníc.

 

Populácia – skupina jednotlivcov (napr. konkrétni ľudia, organizácie, spoločnosti, školy, inštitúcie), ktoré sú predmetom zberu dát / predmetom záujmu hodnotiteľa.

 

Projekt (intervencia) – súhrn činností zameraných na dosiahnutie plánovaných výstupov a výsledkov, ktoré pri použití cieľovou skupinou projektu majú priniesť plánované výstupy a dopady.

 

Reprezentatívna vzorka predstavuje vzorku, ktorá je náležitým odrazom / zastúpením skúmanej populácie, a vďaka ktorej je možné presne určiť jej vlastnosti / charakteristiky na základe zovšeobecnenia.

 

Výber vzorky – predstavuje jednu z najpodstatnejších častí prieskumu. Cieľom výberu je zabezpečiť, aby otázky prieskumu, týkajúce sa určitých oblastí, boli položené relevantným osobám. Robí sa konkrétnym spôsobom (náhodným alebo nie náhodným – skupinovým alebo kvótnym výberom) na základe vopred stanovených kritérií, t.j. vytvorenia (zoznamu) všetkých jednotiek tvoriacich populáciu, z ktorých je vzorka odobratá.

I. VÝHODY HODNOTENIA

 

VÝHODY HODNOTENIA

 

Existuje veľa spôsobov, ako možno chápať hodnotenie. Na základe prístupu aplikovaného v projekte Youth Impact je hlavným cieľom hodnotenia posúdenie dopadov projektu za účelom ich ďalšieho zlepšenia.bolo možné ich zlepšiť. Toto posúdenie je založené na dátach získaných prostredníctvom metódy sociálnych vied zameranej na zhodnotenie zmeny spôsobenej daným projektom.

Náš prístup sa vo veľkej miere vzťahuje na hodnotenie dopadu v širšom zmysle (neskôr v texte používame výraz hodnotenie dopadu, aby sme zdôraznili, že nejde len oolen experimentálne a kvázi experimentálne metódy). Jedná sa o odraz vychádzajúci z dôkazu o skutočných (čistých) vplyvoch projektu. Tento prístup Vám umožní vnímať faktory, ktoré môžu určiť zmeny prebiehajúcich alebo budúcich projektoch (programoch), a zároveň sa zamerať na udržateľnosť dosiahnutých výsledkov, ako aj dopad projektu, ktorý sa netýka len jeho priamych účastníkov.Uvedený prístup hodnotenia umožní formulovať odporúčania podporujúce projektový manažment, ktoré prispievajú k účinnej a efektívnej implementácii, ako aj poslaniu organizácie.

Náš prístup zároveň zdôrazňuje aspekt participatívnost, ktorý umožňuje starostlivo zohľadňovať požiadavky rôznych zainteresovaných strán, a to vďaka ich zapájaniu do plánovania a ostatných fáz hodnotenia.

Tento prístup hodnotenia umožňuje určiť hodnotu daného projektu a zároveň pochopiť dôvody jeho úspechu a neúspechu. Je tiež dobrým nástrojom riadenia pre organizácie pôsobiace v sociálnej oblasti, ale aj iné“vzdelávajúce sa ” inštitúcie.

 

VÝHODY DOBRÉHO HODNOTENIA:

  • umožní odhadnúť ťažkosti pred zahájením projektu (hodnotenie ex-ante), alebo identifikovať problémy v každom štádiu jeho implementácie (neustále alebo priebežné hodnotenie – z anglického originálu „ongoing alebo mid-term“). Zároveň Vám umožní naplánovať kroky na minimalizovanie zistených rizík.
  • poskytne informácie, ako zlepšiť prebiehajúci alebo získať ponaučenia z ukončenýchprojektov tak, aby súčasné alebo budúce projekty dokázali lepšie splniť požiadavky príjemcov, dosiahnuť užitočnejšie a trvalejšie výstupy, mať širší dopad, splniť plánované ciele s využitím menšieho objemu zdrojov.
  • umožní zvážiť, do akej miery boli očakávané zmeny skutočne spôsobené projektovými aktivitami. Tiež umožňuej ľahšie určiť, či má zmysel daný projekt zopakovať, šíriť, alebo či by sa mal upraviť pre inú cieľovú skupinu.
  • zvyšuje motiváciu zamestnancov – zapája členov projektu do hodnotenia, (predovšetkým vo fáze navrhovania a diskusie o zisteniach hodnotenia), podporuje aktivitu, , zdôrazňuje vzťah medzi realizovanou prácou a plánovanými cieľmi, poslanie organizácie a vlastné hodnoty zamestnancov.
  • zvyšuje kompetencie zamestnancov – od riadenia projektu až po vedomosti o mechanizmoch zmien, ku ktorým tento projekt viedol.
  • zvyšuje úroveň dôvery a spolupráce medzi partnermi projektu (aj pre budúce projekty) vďaka tomu, že zohľadňuje potreby rôznych záujmových skupín / zainteresovaných strán v rámci organizácie aj mimo nej.
  • umožňujepreukázať dosiahnuté výsledky, zlepšuje spoluprácu s inštitúciami poskytujúcimi granty a sponzormi, a povzbudzuje ich pri financovaní následných projektov.
Príklad: V žiadosti o grant, pri zdôvodnení potreby projektu, môžete citovať závery hodnotenia týkajúce sa podobných predchádzajúcich projektov. Poskytnutie spoľahlivých dát Vám môže pomôcť presvedčiť financujúce organizácie o tom, že financovanie Vášho projektu stojí za to.
  • slúži na podporu / propagáciu Vašej organizácie.
Príklad: Zistenia z hodnotení, vrátane prípadových štúdií, sa môžu použiť na sociálnych sieťach na propagáciu a podporu činností organizácie. Môžu to byť príbehy mladých ľudí, ktorí vďaka podpore nadobudli nové kompetencie a následne si našli uspokojivú prácu, alebo úspešne vedú svoj vlastný biznis.

 

Hodnotenie môže mať veľa výhod. Jeho zavedenie do každodenného pracovného života môže byť veľmi užitočné pri zlepšovaní riadenia organizácie. Posilňuje jej dôveryhodnosť a zlepšuje imidž, vzdeláva a motivuje pracovníkov, pomáha získavať finančné prostriedky na základe preukázania dopadov projektu, a predovšetkým účinne plniť zadané úlohy.

II. PRÍPRAVA NA HODNOTENIE

 

Nemôžete urobiť “dobré” hodnotenie, ak máte nedostatočný plán programu”.

Beverly Anderson Parsons (1999)

 

PPRÍPRAVA NA HODNOTENIE

 

Táto publikácia sa venuje problematike hodnotenia dopadu. Jej cieľom jepredstaviť v nej praktické spôsoby realizácie hodnotenia, ktoré sa týkajú hlavne dopadov projektových činností z pohľadu ich potenciálu dosiahnuť zamýšľané zmeny. Predmetom nášho záujmu sú vplyvy projektových činností (výstupy, výsledky, dopad) a ich súlad s projektovou teóriou zmeny (alebo projektovou teóriou). Projektová teória definuje koncept zamýšľanej zmeny a plán projektu, vrátane jeho cieľov, činností, očakávaných výstupov, výsledkov a dopadu, ako aj spôsob ich merania a zdroje potrebné na dosiahnutie týchto dosahov.

2.1. Čo je potrebné vedieť o projekte na plánovanie jeho hodnotenia?

Základným prvkom teórie projektu je logický model zmeny. Zahŕňa údaje, ktoré musí organizácia realizujúca projekt zozbierať (vstupy / zdroje), prácu, ktorú musí uskutočniť (projektové aktivity) a vplyvy / dopady, ktoré zamýšľa dosiahnuť. Logický model zmeny projektu je vytvorený na základe nasledovnej schémy.

 

Schéma 1. Základný logický model zmeny

 

Metódy merania výsledkov projektu a súvisiace predpoklady sa niekedy uvádzajú v samostatnej tabuľke pod názvom matica logického rámca projektu. Logický model zmeny a matica logického rámca tvoria projektovú dokumentáciu.

V praxi sa stáva, že matica logického rámca, alebo dokonca logický model zmeny nie sú vytvorené, alebo sú veľmi selektívne. Pri nedostatočnom odhade úspešnosti projektu nie je možné ho zhodnotiť a následne zistiť, či došlo k plánovanej zmene, a či bola táto zmena spôsobená realizáciou projektových činností.

 

Ako postupovať, ak sa v projektovej dokumentácii nenachádza logický model zmeny?

V danej situácii je potrebné znovu vytvoriť logický model zmeny, napr. na základe rozhovorov s manažmentom alebo projektovým tímom. Zároveň je potrebné mať k dispozícii existujúce dokumenty ako strategický plán / plán implementácie projektu, odôvodnenie jeho implementácie, žiadosť o spolufinancovanie, dohodu o partnerstve, atď. Nasledovná tabuľka Vám môže napomôcť pri opakovanom vytvorení projektovej logiky.

Nastroj 1: (RE)Konštrukcia projektovej logiky

 

Vyššie uvedené tabuľkové spracovanie projektovej logiky uvádza spôsoby, akými môžeme zobraziť úroveň dosiahnutých účinkov (výstupy, výsledky, dopad). Tento cieľ dosiahneme stanovením ukazovateľov, pomocou ktorých môžeme merať progres projektu. Ukazovateľ je pozorovateľný atribút (vlastnosť), ktorým dokážeme merať vybraný jav. Každý ukazovateľ má mierku (kvalitatívnu alebo kvantitatívnu), ktorá uvádza stupeň / intenzitu výskytu tohto javu. Aby sme mohli zmerať zmenu, ktorá nastane v dôsledku implementácie projektu, musíme si stanoviť hodnoty (úroveň) daného ukazovateľa na začiatku, ako aj na konci projektu, t.j. východiskovú a koncovú hodnotu. Tiež je dobré poznať minimálnu požadovanú hodnotu ukazovateľa koncového výstupu, ak sa táto hodnota určila na začiatku projektu. Viac informácií o ukazovateľoch nájdete v online kurze (Modul 3).

 

Nástroj 2: Tabuľka ukazovateľov projektových účinkov

 

Viac príkladov cieľových ukazovateľov v projektoch zamestnanosti mladých ľudí je možné nájsť v príručke Guide on Measuring Decent Jobs for Youth. Monitoring, evaluation and learning in labour market programmes, NOTE 3. ESTABLISHING A MONITORING SYSTEM, s.6-9

 

2.2. Kedy je vhodné začať s vytváraním evaluačného konceptu a plánu?

Koncept hodnotenia je vhodné vytvoriť pred spustením projektu, alebo ešte počas jeho plánovania z nasledovných dôvodov:

  • z dôvodu hlbšieho zváženia logiky a súvislostí projektových činností, ich prevedenia do projektových cieľov, ako aj faktorov uľahčujúcich a sťažujúcich ich dosiahnutie;
  • plánovania zberu dát, ktoré vám umožnia odpovedať na evaluačné otázky, vopred. Bez toho nebude možné spoľahlivo preukázať dosiahnutú zmenu, t.j. nárast kompetencií, ktorý by mal nastať ako dôsledok školenia);
  • zistenia potrebných zdrojov na realizáciu hodnotenia a určenie harmonogramu projektových činností. Tieto umožnia zozbierať príslušných dáta, analyzovať ich a zostaviť správu;
  • plánovania čo najefektívnejšieho zberu dát (najlacnejšieho, najrýchlejšieho, najjednoduchšieho) počas alebo po implementácii projektových činností.

Nezabudnite, že hodnotenie je viacstupňovým procesom. Je potrebné ho dobre navrhnúť a naplánovať a následne krok po kroku implementovať.

Fázy hodnotiaceho procesu

  1. Zistenie požiadaviek na hodnotenie
  2. Koncepcia a plánovanie
  3. Zber dát – implementácia zberu dát
  4. Analýza dát a úsudok
  5. Vyhotovenie správ
  6. Použitie výsledkov hodnotenia – implementácia odporúčaní

2.3. Ako určiť požiadavky zainteresovaných strán projektu na hodnotenie dopadu projektu?

Koncepciu a plánovanie hodnotenia nerealizujte bez toho, aby ste neidentifikovali subjekt, ktorý požaduje údaje, závery a odporúčania hodnotenia, ako aj účel na ktorý výsledky hodnotenia budú použité.Pred začatím prípravy hodnotenia je vhodné zistiť požiadavky zainteresovaných skupín na hodnotenie projektu.

Zainteresované strany projektu sú osoby / subjekty (inštitúcie, organizácie), ktoré sú zapojené do implementácie daného projektu rôznymi spôsobmi, napr. jeho príjemcovia, projektový tím, personál implementujúci projektové činnosti (napr. školitelia, psychológovia, kariérni poradcovia), projektoví partneri (spolupracujúce organizácie alebo inštitúcie), sponzori / financujúce organizácie atď.

Účasť zainteresovaných strán na hodnotení je veľmi dôležitá, pretože sa jedná o potenciálnych spojencov hodnotiteľa. Môžu podporiť celý hodnotiaci proces, vrátane implementácie odporúčaní, ktoré prispejú k zlepšeniu projektu. Vďaka zapojeniu rôznych záujmových skupín do procesu hodnotenia je možné nielen zlepšiť komunikáciu a spoluprácu s partnermi, príjemcami a projektovými pracovníkmi, ale aj presvedčiť financujúce organizácie, aby investovali do aktuálne implementovaného projektu, alebo jeho ďalšej verzie. Ak majú zainteresované strany záujem na hodnotení projektu, potom bude oveľa ľahšie uskutočniť hodnotenie participatívnym spôsobom – zapojením záujmových skupín do celého procesu hodnotenia, kde sa na začiatku zistia požiadavky na hodnotenie.

Najlepším spôsobom zistenia požiadaviek na hodnotenie a pri zaistení vysokej úrovne účasti zainteresovaných strán je uskutočniť workshop / skupinové interview so zástupcami všetkých subjektov (organizácie, inštitúcie) a skupinami osôb zapojených do projektu.

Ak sú príjemcami projektu mladí ľudia (napr. NEET), alebo iná skupina, ktorá môže mať obavy vyjadriť svoje názory verejne, odporúča sa najprv zorganizovať samostatné stretnutie s týmito príjemcami. Následne budú pozvaní ich zástupcovia na účasť na workshope s ostatnými zainteresovanými stranami. Tento typ workshopu s mladými ľuďmi alebo inými príjemcami projektu s relatívne slabým spoločenským postavením musí byť založený na hodnotách posilňujúcich subjektivitu príjemcov projektu (pozri príklad Participatory evaluation with young people, s. 7-8).

 

PRÍKLAD WORKSHOPU SO ZAINTERESOVANÝMI STRANAMI

Stretnutie so zainteresovanými stranami by malo začať diskusiou o zámere a predstavením všetkých zúčastnených. Následne je vhodné uviesť výhody hodnotenia projektu (pozri s.                                                           8-9) a rozprávať sa o jeho prospešnosti pre jednotlivé zainteresované strany.

Po tomto úvode môžete  rozdať účastníkom workshopu malé lístky a požiadať ich o zodpovedanie nasledovných otázok:

  1. Čo sa chcem z tohto hodnotenia dozvedieť?
  2. Prečo je dôležité o tom vedieť? Na aký účel chcem použiť tieto vedomosti? (týmto spôsobom stanovíte CIELE HODNOTENIA).

Zozbierané lístky usporiadajte do skupín (napríklad na tabuľu) tak, aby boli rovnaké oblasti a súvisiace prvky projektu vedľa seba. Zistené témy môžete usporiadať do skupín podľa nasledovných oblastí:

  • Činnosti, napr. nábor príjemcov projektu, zistenie ich požiadaviek, psychologické poradenstvo, realizovanie školení, kariérne poradenstvo, organizovanie stáže,  podporné a informačné činnosti,
  • Výstupy, napr. individuálne akčné plány, životopisy a motivačné listy vytvorené počas projektových cvičení, osvedčenia o absolvovaní školení a stáží, prezenčné listiny, programy školení, správy školiteľov, školiace materiály, propagačné materiály,
  • Výsledky, napr. nárast kompetencií mäkkých (spoločenských zručností) a tvrdých (odborných zručností), zmena v prístupe / postoji účastníkov projektu, zvýšenie motivácie na hľadanie si práce, nájdenie vhodnej práce, udržanie zamestnania, sociálna aktivácia,
  • Ciele, napr. dlhodobé vplyvy projektu / cieľový stav, 
  • Iné záležitosti, napr. komunikácia s príjemcami projektu, projektovým manažmentom

Diskutujte o zvolených záležitostiach / prvkoch projektu so zainteresovanými skupinami, spoločne zvážte, ktoré z nich sú najdôležitejšie. Na záver by ste nemali mať viac ako päť tém [týmto spôsobom sa prvotne určí predmet hodnotenia].

Následne diskutujte o každej prioritnej záležitosti zvolenej pre hodnotenie podľa nasledovných bodov (pre zjednodušenie napíšte závery na tabuľu):

  1. V akom zmysle je potrebné zaoberať sa danou záležitosťou? (tu zvolíte evaluačné kritériá) napríklad:
  • primeranosť potrebám príjemcov / miestnej komunity / pracovného trhu (zamestnávatelia),
  • efektívnosť – dosiahnutie plánovaných vplyvov (ciele, výstupy a výsledky),
  • využitie dosiahnutých výsledkov pre rôzne cieľové skupiny projektu (napr. NEET, zamestnávatelia),
  • účinnosť -pomer vstupov (zdrojov) k dosiahnutým dopadom / účinkom projektu,
  • udržateľnosť výsledkov dosiahnutých po ukončení projektu,
  • dopad – ako projekt ovplyvnil príjemcov a ich sociálne prostredie  / komunity.
  1. Na aké otázky (pri zvážení vyššie uvedených kritérií) by malo dať hodnotenie odpoveď? Výsledkom by malo byť sformulovanie minimálne jednej otázky (týmto spôsobom stanovíte evaluačné otázky)
  2. Aký druh dát / informácií je potrebných na zodpovedanie každej z daných otázok?[týmto spôsobom stanovíte rozsah požadovaných dát]
  3. Odkiaľ a ako je možné získať dané údaje / informácie? [týmto spôsobom stanovíte zdroje dát a metódy zberu dát]
  4. Ako môžu zainteresované skupiny pomôcť pri hodnotiacom procese? (napr. pomocou pri získavaní dát / informácií, priamou účasťou na zbere dát, konzultáciami záverov z hodnotenia a ich šírením) [týmto spôsobom mobilizujete ich podporu pre hodnotenie]

Na záver je vhodné zistiť, v akej forme majú zainteresované skupiny záujem obdržať závery z hodnotenia.

  • Majú zainteresované skupiny záujem o výsledky vo forme správy (napr. ako rozsiahly textový dokument), multimediálnej prezentácii, infografike, aké podrobné závery chcú mať konkrétne zainteresované skupiny prezentované?

                                                                                                                                                                                                                                                    

Informácie získané počas workshopu za účasti zainteresovaných skupín sa využijú na prípravu konceptu a plánu hodnotenia (pozri kapitolu  2.4). Preto je vhodné zosumarizovať kľúčové zistenia týkajúce sa požiadaviek zainteresovaných skupín do nasledovných dvoch tabuliek nižšie.

Nástroj 3: Zhrnutie zistení požiadaviek zainteresovaných skupín na hodnotenie

Údaje týkajúce sa očakávaní jednotlivých záujmových skupín pre formu prezentácie a spôsoby použitia výsledkov hodnotenia budú užitočné v plánovanej fáze ich šírenia (pozri kapitolu  6.3.)

 

2.4. Ako navrhnúť a naplánovať hodnotenie?

Informácie získané počas workshopov so zainteresovanými skupinami sa použijú na prípravu konceptu a plánu hodnotenia. Koncept hodnotenia, t.j. predstavu o tom, ako hodnotenie uskutočniť, je možné pripraviť v troch krokoch.

Prvý a druhý krok zahŕňajú nasledovné:

  • Predmet hodnotenia – čo chcete hodnotiť (napr. aký projekt alebo program),
  • Rozsah hodnotenia – aká časť projektu bude zahrnutá do hodnotenia, napr. celý projekt, alebo vybrané časti – dané činnosti, účinky,
  • Účel (-y) hodnotenia – na aký účel sa robí hodnotenie, na čo použijete jeho výsledky,
  • Typ hodnotenia – v akej fáze implementácie projektu uskutočníte hodnotenie; pred zahájením projektových činností (hodnotenie ex-ante), počas ich implementácie (priebežné alebo neustále hodnotenie), po ukončení projektu (hodnotenie ex-post),
  • Evaluačné kritériá – prvky uvádzajúce z akého hľadiska sa projekt hodnotí (napr. dôležitosť, účinnosť, efektívnosť, dopad, udržateľnosť),
  • Evaluačné otázky – všeobecne formulované otázky týkajúce sa tém dôležitých z pohľadu stanovenia hodnoty a kvality hodnoteného projektu,
  • Hodnotiteľ – osoba realizujúca hodnotenie, napr. tím implementujúci projekt (sebahodnotenie), odborník na hodnotenie zamestnaný organizáciou implementujúcou projekt (interné hodnotenie), alebo externý subjekt majúci zmluvu s organizáciou (externé hodnotenie).

Tieto informácie môžete prezentovať v tabuľke uvádzajúcej Váš koncept hodnotenia. Príklad tabuľky a jej použitie na konkrétny projekt uvádzame nižšie*.

_______________________________________________

*Silné a slabé stránky rôznych typov hodnotenia zvolené z dôvodu miesta hodnotiteľa, sú predmetom diskusie v online kurze (Modul 2).

_______________________________________________

 

Nástroj 4. Tabuľka – Koncept hodnotenia

 

Tretia fáza vytvorenia konceptu hodnotenia si vyžaduje znalosť rôznych metód zberu dát, ktoré sa uvádzajú v Kapitole III. Z tohto dôvodu je časť plánovania hodnotenia týkajúca sa metodiky zberu dát uvedená v Sekcii 3.3 (príklad tejto fázy návrhu hodnotenia je uvedený ako Nástroj 6).                                                                                                                                                                                                                                

Informácie týkajúce sa dostupnosti potrebných dát, ako aj možnosti získania podpory od príslušných záujmových skupín sa použijú pri plánovaní hodnotiaceho procesu a pri stanovení zdrojov potrebných na jeho realizáciu. Plán hodnotenia musí zahŕňať nasledovné prvky: časový plán (s príslušnými fázami), zdroje potrebné na uskutočnenie hodnotenia (ľudské, časové, finančné, informačné), ako aj plánovanú formu (-y) hodnotiacej správy.

Tieto informácie môžete prezentovať v tabuľke určenej na plánovanie hodnotenia. Príklad tabuľky spolu s použitím na konkrétny projekt uvádzame nižšie.

 

Nástroj 5. Tabuľka – Plánovanie hodnotenia

 

Ako môžete vidieť z tabuľky vyššie, informácie sú jedným z kľúčových faktorov, ktorý je potrebné mať na realizáciu hodnotenia. Existuje mnoho zdrojov dát, ktoré môžu byť využité na tento účel. Všeobecné a odborné kompetencie sú jednou z najdôležitejších oblastí na dosiahnutie cieľov projektov orientovaných na zamestnanosť mladých ľudí. Chýbajúce zdroje údajov o počiatočnej a výslednej úrovni zručností príjemcov projektu musia zabezpečiť školitelia týchto kompetencií. Preto je potrebné s nimi spolupracovať pri zbere a spracovaní dát, ktoré sa týkajú úrovne kompetencií pred a po realizácii školenia. Meranie by sa malo opierať o hodnotenie zručnosti účastníkov z viacerých uhlov pohľadu (perspektíva školiteľa, sebahodnotenie účastníka a psychometrické testovanie). Tieto údaje musia súvisieť s obsahom školenia. Príklady týchto nástrojov môžete nájsť v prílohe **. Týka sa to 8 kľúčových kompetencií “potrebných pre osobný rast / naplnenie a progres, aktívne občianstvo, sociálnu inklúziu a zamestnanie”, ako sa uvádza v Odporúčaní 2006/962/ES Európskeho parlamentu a Rady o kľúčových kompetenciách pre celoživotné vzdelávanie*.

__________________________________

*Odporúčanie 2006/962/ES Európskeho parlamentu a rady zo dňa 18.decembra 2006 o kľúčových kompetenciách pre celoživotné vzdelávania sa vzťahuje na nasledovné zručnosti: 1) komunikácia v materinskom jazyku, 2) komunikácia v cudzom jazyku, 3) matematická kompetencia a základné kompetencie v oblasti vedy a techniky, 4) digitálna kompetencia; 5) naučiť sa učiť, 6) Spoločenské a občianske kompetencie, 7) iniciatívnosť a podnikavosť, 8) kultúrne povedomie a vyjadrovanie.

__________________________________

 

2.5. Ako vytvoriť hodnotenie dopadu? 

Kľúčovým znakom hodnotenia dopadu je fakt, že pri posudzovaní efektívnosti projektu sa berie do úvahy nielen dopad činností realizovaných v projekte a vytvorené výsledky, ale aj vplyv externých (mimoprojektových) faktorov. Pre hodnotenie skutočného (čistého) dopadu projektu je nevyhnutné naplánovať a uskutočniť hodnotenie tak, aby sme mohli určiť, či implementácia projektu priniesla zamýšľanú zmenu a v akom rozsahu ju ovplyvnili externé faktory.                                                                                                                                                                                                                                        

Hodnotenie projektu Vám umožňuje získať rôzne typy dát užitočných pre tvorbu projektu:

1) údaje o aktuálnom dopade projektu na dosiahnutie očakávanej zmeny je kľúčovou informáciou k tomu, aby ste sa rozhodli, či projekt zopakujete, zlepšíte, alebo v ňom nebudete pokračovať, pretože:                                                                                                                                                                                                              

a) externé faktory mohli prispieť k zamýšľaným zmenám projektu. To znamená, že (čistý) dopad hodnoteného projektu môže byť nižší ako naznačuje rozdiel medzi koncovou hodnotou výstupného ukazovateľa a jeho základnou hodnotou (meraním na začiatku projektu).

b) externé faktory mohli zabrániť očakávanej zmene v projekte, čo znamená, že (čistá) hodnota hodnoteného projektu  môže byť vyššia ako rozdiel medzi koncovou a základnou hodnotou výstupného ukazovateľa,

2) informácie o rôznorodosti a mechanizmoch dopadu jednotlivých prvkov projektu na dosiahnutie očakávanej zmeny sú veľmi dôležité pre zlepšenie projektu,

3) určenie hlavných externých faktorov a mechanizmov ich dopadu na žiadanú zmenu sa môže použiť pri úprave projektových aktivít tak, aby boli aktivity viac v súlade s podpornými procesmi zmeny a zároveň dokázali eliminovať protichodné faktory.

Pri hodnotení daného projektu je možné použiť rôzne modely (dizajny) hodnotenia dopadu a metódy zberu dát. Modely a metódy je potrebné zvoliť podľa priorít pre hodnotenie stanovených v predchádzajúcich krokoch, ako aj možnosti získať potrebné dáta pre hodnotenie.  

 

Tabuľka 1. Rôzne prístupy dizajnu hodnotenia dopadu.

Zdroj: Emily Woodhouse, Emiel de Lange, Eleanor J Milner-Gulland. Evaluating the impacts of conservation interventions on human well-being: Guidance for practitioners.

 

Experimentálne a kvázi experimentálne modely hodnotenia sa využívajú na určenie podielu zamýšľanej zmeny, ktorú spôsobili projektové činnosti (čistý dopad). Meranie dopadu projektových aktivít predstavuje rozdiel medzi hodnotou meraného ukazovateľa pred a po realizácii projektu v cieľovej skupine jeho príjemcov (zmena v testovanej skupine, účasť na projektových činnostiach) po zohľadnení vplyvu externých faktorov. Dopad externých faktorov sa určuje na základe zistenia zmeny hodnoty meraného ukazovateľa výstupu na skupine ľudí, ktorí sa nezúčastnili projektu a sú čo najviac podobní príjemcom projektu.

  • Pri experimentálnych modeloch (tiež nazývaných RCT – randomizované kontrolované testy), sú ľudia náhodne pridelení do skupiny príjemcov projektu (skúšobná skupina), alebo do skupiny, ktorá nie je zahrnutá do projektu (kontrolná skupina). Pri náhodnom výbere obidvoch skupín dokážeme zaistiť, že tieto dve skupiny sa navzájom neodlišujú. Na základe toho môžeme zmeny hodnôt meraných ukazovateľov v kontrolnej skupine pripísať len externým faktorom. V skúšobnej skupine zase kombinovanému vplyvu externých faktorov a projektových činností*.

*Ak je skúšobná skupina alebo kontrolná skupina malá, použije sa štruktúrovaný náhodný výber (namiesto jednoduchého náhodného výberu), aby sa zaistila podobná štruktúra dvoch skupín pomocou znakov, ktoré môžu ovplyvniť zamýšľaný výstup projektu (napr. štruktúra úrovne dosiahnutého vzdelania musí byť rovnaká v kontrolnej a skúšobnej skupine. V opačnom prípade viac vzdelaná skupina môže lepšie napredovať v zručnostiach, ktoré sa majú dosiahnuť v hodnotenom projekte).

 

  • Pri kvázi experimentálnych modeloch sa nepoužíva náhodný výber skupín. Pre danú skúšobnú skupinu, ktorá sa zúčastnila hodnoteného projektu, sa pomocou metód nenáhodného výberu zvolí kontrolná skupina, avšak stále za predpokladu, že sa čo najviac podobá skúšobnej skupine a má podobné funkcie ako kontrolná skupina v experimentálnych modeloch. 

Pre použitie experimentálnych a kvázi experimentálnych modelov je nutné koordinovať evaluačné činnosti s činnosťami hodnoteného projektu. Preto sa musia plánovať pred implementáciou. Ak napríklad očakávate väčší počet záujemcov o účasť na aktivitách projektu (príjemcov projektu), alebo ak sa bude projekt implementovať v niekoľkých verziách a vy dokážete zorganizovať spoločný nábor, môžete priradenie do skupín uskutočniť náhodným výberom. Takto získate náhodne zvolenú skúšobnú skupinu (ktorú môžete okamžite zapojiť do projektových činností) a kontrolnú skupinu (ľudí, ktorí neboli vybraní pre aktuálny projekt, resp. aktuálne kolo aktivít). Po výbere skupín sa uskutoční základné meranie (a finálne meranie v obidvoch skupinách po ukončení projektu).

Ak si príjemcov Vášho projektu vyberie externá inštitúcia (napr. Úrad práce), je vhodné zistiť zvolené postupy výberu. Ak tento postup umožňuje zvoliť kontrolnú skupinu, alebo porovnávaciu skupinu, v ktorej sa dá zmerať ukazovateľ výstupu projektu, overte si to a naplánujte meranie v tejto skupine približne v rovnakom čase, v akom sa realizuje v hodnotenom projekte.                                                                                                                                                                                                                                                        

Dôležitým aspektom hodnotenia dopadu je kontrola takzvaného vedľajšieho účinku (z anglického originálu „spillover effect“),  čo znamená dopad projektových činností mimo skúšobnej skupiny. Riziko vedľajšieho účinku je tým väčšie, čím väčší je kontakt príjemcov hodnoteného projektu s ľuďmi z kontrolnej alebo porovnávacej skupiny. Ďalším aspektom ovplyvňujúcim rozsah vedľajšieho účinku je úroveň dopytu po riešeniach, ktoré poskytuje hodnotený projekt.

 

Plánovanie a interpretácia výsledkov hodnotenia dopadu si vyžaduje využitie teórie  projektu. Vďaka tomu je možné posúdiť súlad záverov hodnotenia a projektovej logiky (zmeny) a overiť dopad externých faktorov. Prehodnotenie súladu faktov získaných z hodnotenia projektu a projektovej logiky sa zameriava na zistenie dôkazu, ktorý potvrdí vzťah príčiny a dôsledku, ako aj dát, ktoré existenciu tohto vzťahu podporujú. Pri tomto prístupe je včasné plánovanie typu dát, ktoré budú predmetom zberu, kľúčové, aby sme mohli overiť nasledovné:

– vzťah príčiny a dôsledku medzi aktivitami, výstupmi, okamžitými a finálnymi vplyvmi (výstupy, dopady), ktoré tvoria logický model zmeny,

– uskutočnenie ďalších fáz v reťazci príčiny a dôsledku okamžitých účinkov, ktoré vedú k dosiahnutiu výsledkov meraných pomocou koncového ukazovateľa (takzvané míľniky).

 

Posúdenie vplyvu externých faktorov  je založené na podobnom plánovaní a overení vplyvu faktorov zmeny, ktoré sa líšia od faktorov projektových aktivít. 

 

Ak je hodnotený projekt súčasťou nejakého väčšieho programu realizovaného na rôznych miestach alebo prostredníctvom rôznych organizácií, ponúka sa tu možnosť získania porovnateľných dát. Tieto dáta je možné použiť pri hodnotení dopadu v podobe analyzovania prípadových štúdií. Ak chceme použiť hodnotenie vytvorené na základe využitia prípadovej štúdie, musíme zozbierať údaje týkajúce sa nielen meraného ukazovateľa výstupu, ale aj údaje o všetkých dôležitých faktoroch, ktoré môžu ovplyvniť hodnotu tohto ukazovateľa. Súbor faktorov sa určí na základe projektovej teórie, kde sa zohľadnia rozdielne prvky vplývajúce na plánovanú zmenu. Je dobré vedieť, že pri tomto modeli môžete použiť údaje o projektoch, ktoré sa implementovali v minulosti. Bez ohľadu na to, odkiaľ analyzované prípady pochádzajú,  dôležité je získať vopred definovaný súbor dát. Finálna analýza vychádza z tabuľky, ktorá je zhrnutím dát zo všetkých analyzovaných prípadov. Sú tu uvedené faktory, ktoré môžu ovplyvniť zamýšľanú zmenu ukazovateľa výstupu, ako aj daný ukazovateľ výstupu. 

 

Nástroj 6. Tabuľka súhrnu záverov analýzy prípadových štúdií – praktický príklad 

Jav 1 :
Viac ako 50% NEET, ktorí sa zúčastnili projektu, má prácu, alebo sa zúčastňuje vzdelávania, alebo školenia 1 rok po ukončení projektu
Jav 2 : NEET, ktorí sa zúčastnili projektu, mali rozsiahle školenie zamerané na spoločenské kompetencie Jav 3:
NEET, ktorí sa zúčastnili projektu, mali odborné školenie
Jav 4 :
(neprojektový stimul) NEET, ktorí sa zúčastnili projektu, mali  hneď po ukončení projektu 6-mesačnú podporu v zamestnaní (pracovný pomer)  s pomocou Úradu práce     
Prípad 1: Aktuálne hodnotený projekt,  jeho výstup je uvedený v 1.stĺpci 1 1   1 1
Prípad 2: Rovnaký projekt, ktorý prebiehal pred 2 rokmi a realizoval ho rovnaký subjekt 1 1 1 0
Prípad 3: Ďalší projekt v rámci rovnakého programu (očakáva sa rovnaký výstup), realizovaný iným subjektom 1 1 0 1
Prípad 4: NEET, ktorí mali podporené zamestnanie, organizované Úradom práce 0 0 1 1

0 – jav sa nevyskytol, 1- jav sa vyskytol

Vyššie uvedená tabuľka  uvádza súhrn údajov zo 4 prípadov, kde sa výstup (získanie a udržanie zamestnania, zaradenie v procese vzdelávania alebo školenia 1 rok po ukončení projektu) monitoroval voči 3 faktorom. Dva z nich predstavovali odlišné projektové stimuly  (rozsiahle školenie sociálnych kompetencií a odborné školenie), kým tretí bol externý – podpora zamestnania na 6 mesiacov hneď po ukončení projektu zo strany Úradu práce). Z analýzy vyplýva, že rozsiahle školenie spoločenských kompetencií malo za následok zamýšľaný výstup. 

Participatívny dizajn  je podhodnoteným, avšak veľmi obľúbeným modelom hodnotenia dopadu. Neposkytuje takú spoľahlivosť a presnosť ako experimentálny, alebo kvázi experimentálny model, ani nie je natoľko presvedčivý ako detailná prípadová štúdia, avšak môže byť užitočný, a to hlavne pri projektoch menšieho rozsahu. Pri participatívnom modeli hodnotenia sa zameriavame na vnímanie hodnoteného projektu zo strany účastníkov. Na základe získaných dát sa následne spravuje hodnotenie dopadu projektu. Metóda zberu dát je opäť veľmi dôležitá. Príjemcovia projektu majú totiž tendenciu prispôsobiť svoje názory tomu, o čom sa domnievajú, že by hodnotiteľ rád počul, hlavne ak zber dát realizuje niekto z projektového tímu. 

  • Jedným z príkladov participatívneho modelu hodnotenia sú takzvané „kontrafaktové“ situácie (z anglického orignálu „Reflexive couterfactuals“). Výhodou tohto modelu je možnosť jeho využitia po ukončení projektu. Na druhej strane je však vystavený skôr vyššie popísanému riziku, takzvanému vplyvu hodnotiteľa. V rámci kontrafaktových situácií príjemcovia porovnávajú svoju aktuálnu situáciu so situáciou, v ktorej boli pred účasťou v projekte. Zároveň popisujú, čo sa zmenilo k lepšiemu a čo k horšiemu. Následne hodnotia príslušný význam konkrétnych prínosov a nákladov a vyberajú tie, ktoré považujú za najdôležitejšie. Pomocou rôznych techník zberu dát je možné pýtať sa na príčiny konkrétnych zmien a tiež zistiť, ktoré boli spôsobené projektom.  
  • Ďalšou technikou analýzy participatívneho dopadu je  MSC (z anglického originálu „Most significant changes“) (Najpodstatnejšie zmeny). Táto technika je založená na generovaní a hĺbkovej analýze najvýznamnejších príkladov zmeny v životoch príjemcov projektu. Príklady zmien sú pozorované a zaznamenané rôznymi záujmovými skupinami projektu (vrátane samotných príjemcov). Charakteristiky tejto techniky zberu dát umožňujú jej použitie po ukončení projektu.                                                                                                                                                                                                                                                            

Na záver je tiež dôležité uviesť možnosť realizovať hodnotenie dopadu s využitím štatistických metód. V tomto prípade je základom analýza  korelácie (koexistencie) ukazovateľa výstupu a činností realizovaných v hodnotenom projekte*. Tieto analýzy sú realizované na rozsiahlych dátových súboroch, čím sa tento typ hodnotenia stáva málo použiteľný pre organizácie, ktoré zabezpečujú projekty pre relatívne malú skupinu príjemcov.

Viac informácií o hodnotení dopadu je možné nájsť v online kurze (Modul 3).


* V týchto analýzach je regresná analýza základnou metódou. Táto metóda skúma závislosť medzi výsledným ukazovateľom a ukazovateľmi činností hodnoteného projektu pri štatistickej kontrole (s vylúčením) vplyvu iných súvisiacich faktorov.

III. ZBER DÁT

 

ZBER DÁT

 

3.1. Aké sú základné typy metód zberu dát?

Pre posúdenie hodnoty a kvality projektu na základe zvolených kritérií a získanie odpovedí na evaluačné otázky je nevyhnutné zabezpečiť správny spôsob zberu potrebných údajov. Na to slúžia metódy a nástroje zberu dát. Metódy zberu dát predstavujú konkrétny spôsob zberu informácií – kvalitatívne alebo kvantitatívne – prostredníctvom špeciálne vytvorených nástrojov, ako sú interview scenáre, pracovné listy alebo dotazníky. V tejto časti sa pozrieme na rozdiely medzi metódami a nástrojmi zberu dát.

Kvalitatívne metódy umožňujú hĺbkový zber dát,  a flexibilitu pri zbere, avšak neumožňujú posúdiť rozsah skúmaných javov. Tieto metódy totiž zahŕňajú len malý počet ľudí zo skupín, ktoré sú zapojené do projektu (napr. vybraní príjemcovia). Naopak, kvantitatívne metódy sa používajú v prípade väčších skupín, ktoré tvorí niekoľko desiatok ľudí. V prípade početnejších skupín (napr. viac ako 400-500 ľudí) nám tieto metódy umožnia zovšeobecniť závery získané z prieskumu na stanovenej vzorke , t.j. náhodne vybranej vzorky ľudí za celú populáciu. Jedná sa o predmet záujmu pre hodnotiteľa, vrátane ľudí, ktorí sa priamo nezúčastňujú na danej štúdii. Toto zovšeobecnenie sa realizuje špecifickým spôsobom. Musí sa zaistiť reprezentatívnosť vzorky ľudí, ktorí sú predmetom štúdie, t.j. maximálna podobnosť v rôznych sociálno-demografických charakteristikách k populácii, z ktorej bola táto vzorka vybratá. 

 

Tabuľka 2. Porovnanie kvalitatívnych a kvantitatívnych metód hodnotenia zberu dát.

Kvalitatívne metódy Kvantitatívne metódy
Populárne metódy a príslušné nástroje zberu dát Primárny výskum – postupy pre analýzu dokumentu

Hĺbkové osobné interview (IDI) (z anglického originálu „In-depth Individual Interview“) – IDI scenár,

Interview s cieľovou skupinou (FGI)(z anglického originálu „Focus group interview“) – FGI scenár

Pozorovanie – pracovné listy

Prípadová štúdia – vyhotovená na základe základných dát zozbieraných pomocou vyššie uvedených metód

Prieskum realizovaný:

a) za účasti hodnotiteľa – rozhovor na základe papierového (PAPI ) alebo elektronického (CAPI) dotazníka, telefonické interview za pomoci počítača (CATI) – dotazník pre interview

b) bez účasti hodnotiteľa – online (CAWI) alebo papierový dotazník vyplnený respondentmi (vrátane spoločného miesta  (z anglického originálu „central location“) – dotazník prieskumu

Účel použitia Poznanie, porozumenie, popis, vysvetlenie skúmaných javov a postupov Určenie škály, intenzity, frekvencie skúmaného javu, ich spoločný výskyt a vzťahy medzi nimi
Bežné otázky Čo sa deje? Ako? Ako to ide? Prečo? Koľko? V akom rozsahu? Ako často? V spojitosti s čím?
Perspektíva hodnotiteľa Konkrétne prípady (ľudia, činnosti, procesy), aby bolo možné poznať ich špecifickosť, komplexnosť, odlišnosť, sled udalostí, porozumenie vzťahov príčiny a dôsledkov Javy a charakteristiky skupiny dôležité pre hodnotený projekt (najčastejšie príjemcovia), skúmané za účelom zistenia všeobecných zákonitostí a vzorov
Metóda výberu vzorky Účelové / reprezentatívne vzorky (nenáhodné) – hodnotiteľ sa rozhodne, na koho sa zameria (napr. na základe skutočnosti, že daná osoba má potrebné informácie). Náhodný a nenáhodný výber vzorky (napr. dobrovoľníci). V prípade projektov do  400-500 účastníkov sa použije kompletná vzorka, ktorá zahŕňa všetkých príjemcov projektu).
Veľkosť skúmaných vzoriek Malé vzorky, t.j. niekoľko prípadov. Väčšie skupiny, t.j. niekoľko desiatok ľudí a v prípade náhodného výberu vzorky viac ako 400 ľudí.
Zovšeobecnenie záverov Závery sa nedajú zovšeobecniť z dôvodu nedostatku zastúpenia vzorky (závery zo štúdie sa vzťahujú len na osoby, ktoré sa jej zúčastnili). Je možné zovšeobecniť závery štúdie náhodne zvolenej vzorky na širšiu populáciu (ľudí, ktorí sa na nej nezúčastnili), ak je táto vzorka reprezentatívna.

 

Obidve tieto metódy majú svoje silné aj slabé stránky. Vždy je preto v evaluačnej štúdii vhodné využívať kvalitatívne, ako aj kvantitatívne metódy. Tento prístup je v súlade s triangulačným princípom, ktorý sa zameriava na zabezpečenie vysokej kvality zozbieraných dát. Triangulácia znamená použitie rôznych zdrojov dát, typov zozbieraných dát a analytických techník, teórií popisujúcich zistené vzťahy / mechanizmy, ako aj ľudí realizujúcich hodnotenie (ich kompetencie sa navzájom dopĺňajú). Na základe rôznorodosti týchto prvkov triangulácia umožňuje:                                                                                                                                                                                                                                                                                                   

  • komplexnejšie spoznať a porozumieť predmetu skúmania,
  • zohľadniť viaceré pohľady a aspekty skúmaného javu,
  • doplniť a prehĺbiť zozbierané dáta,
  • overiť získané informácie,
  • zvýšiť objektivitu formulovaných záverov.

3.2. Aké metódy a nástroje sa bežne využívajú na hodnotenie zberu dát?                                                                                                                                                                                                                                                         

Pre uľahčenie výberu najvhodnejších metód a nástrojov hodnotenia uvádzame nižšie charakteristiku tých najpopulárnejších z nich:

  1. Kvalitatívne metódy, 
    • Primárny (teoretický) výskum
    • individuálne hĺbkové rozhovory / interview (IDI), 
    • interview s cieľovými skupinami (FGI), 
    • pozorovanie,                                                                                                                                                                                                                                                                                                                                                                                                                            
    • prípadová štúdia.
  1. Kvantitatívne metódy (prieskumy) 
    • prieskum uskutočnený bez účasti hodnotiteľa – samostatné prieskumy v papierovej forme, interview na internete za pomoci počítača/  online prieskum (CAWI), central location (simultánny prieskum všetkých respondentov),
    • interview formou dotazníkov realizované s podporou hodnotiteľa – interview s použitím papiera a pera (PAPI), osobné interview za pomoci počítača (CAPI) a telefonické interview za pomoci počítača).
  1. Aktívne metódy / metódy workshopu (zmiešané, t.j. kvalitatívne a kvantitatívne).

3.2.1. PRIMÁRNY (TEORETICKÝ) VÝSKUM

V prípade primárneho výskumu sa využívajú existujúce údaje, t.j. údaje dostupné bez ohľadu na činnosti realizované zo strany hodnotiteľa.

Existujúce údaje zahŕňajú interné údaje (získané pre potreby hodnoteného projektu) a externé údaje:           

  • Interné údaje sú informácie vytvorené počas prípravy a implementácie projektových činností (napr. aplikácia projektu, scenáre školenia, dochádzky, zmluvy, fotografie, videá a materiály o projekte zverejnené na internetovej stránke, v postoch alebo reakciách na sociálnych sieťach). V prípade vzdelávacích projektov pre mladých ľudí hľadajúcich si prácu môžu byť tieto údaje tiež výsledkom merania kompetencií príjemcov na začiatku a na konci účasti na vzdelávaní (vedomostné testy, testy zručností, testy prístupu, atď. )
  • Externé údaje sú informácie, ktoré môžu súvisieť so skúmaným javom, procesmi alebo cieľovou skupinou, avšak sú zozbierané nezávisle od hodnoteného projektu (napr. štatistiky, databázy, správy, články, knihy, videá a iné materiály dostupné na internete).V prípade hodnotenia projektu zamestnanosti stojí za to využiť informácie z podobných projektov, ako aj údaje, ktoré majú k dispozícii úrady práce, sociálne poisťovne, národné štatistické úrady týkajúce sa zamestnanosti mladých ľudí v danom meste. 

Analýza dokumentov je základnou metódou zberu dát o danom projekte. Zároveň uvádza niektoré poznatky o požiadavkách príjemcov a obsahu hodnoteného projektu. 

PODMIENKY POUŽITIA:

Verejné inštitúcie poskytujú administratívne údaje v súlade s princípom transparentnosti fungovania verejných inštitúcií a slobodného prístupu k informáciám(). Je však dôležité mať prístup k spoľahlivým a presným dátam na základe metodických údajov, ktoré poskytuje zdrojová dokumentácia.

 

VÝHODY:                                                                                                                                                                                                                                                                                                                                          

  • dostupnosť (hlavne čo sa týka informácií dostupných na internete),
  • veľká rôznorodosť (môžete použiť akékoľvek údaje / materiály týkajúce sa realizovaného hodnotenia),
  • žiadne náklady – väčšina dokumentov a dát je k dispozícii bezplatne,
  • žiadny vplyv hodnotiteľa na údaje v prípade externých dát. 

NEVÝHODY:                                                                                                                                                                                                                      

  • rôzne úrovne dôveryhodnosti dát – musíte brať do úvahy dôveryhodnosť zdroja a obsah získavaných dát (za akých podmienok, kto a prečo ich zozbieral, a analyzovať ich),
  • obmedzenia týkajúce sa prístupu a použitia interných informácií z dôvodu ochrany osobných údajov, autorských práv a majetkových práv.


3.2.2. INDIVIDUÁLNE HĹBKOVÉ INTERVIEW (IDI) (z anglického originálu „INDIVIDUAL IN-DEPTH INTERVIEW“) 

Individuálne interview je formou priameho dialógu medzi pýtajúcim sa a respondentom. Zvyčajne sa realizuje s využitím scenára. Pri interview máte možnosť získať rozsiahle, podstatné a podrobnejšie informácie. Zároveň sa môžete dozvedieť názory, skúsenosti, interpretácie a zdôvodnenia správania sa osoby, posúdiť fakty z pohľadu tejto osoby, ako aj lepšie porozumieť jej / jeho pohľadu. 

DÔLEŽITÁ RADA

Jazyk interview je potrebné prispôsobiť respondentovi. Pri interview (hlavne s mladými ľuďmi) používajte jednoduchý jazyk a vyhýbajte sa odbornej slovnej zásobe (napr. projektovým žargónom). Tieto môžu spôsobiť neporozumenie otázky a zastrašiť respondentov.

 

PODMIENKY POUŽITIA: Individuálne interview realizujte v tichých miestnostiach, kde je zaručená diskrétnosť. Nahrávanie je bežnou praxou, avšak respondent s tým nemusí vždy súhlasiť – v daných prípadoch si hodnotiteľ robí počas interview  poznámky a po skončení ich skompletizuje. Odporúča sa, aby interview viedol externý odborník, čím predídete tomu, že sa respondent môže cítiť nepohodlne pri vyjadrovaní svojich úprimných názorov. 

 

VÝHODY:                                                                                                                                                                                                                                                             

  • možnosť prediskutovať  komplexné a podrobné otázky,
  • lepšie pochopenie uhla pohľadu respondenta (možnosť „zžiť sa s respondentom“),
  • porozumenie faktom v situačnom kontexte,
  • flexibilita – možnosť prispôsobiť sa respondentovi a pýtať sa doplňujúce otázky, ktoré nie sú v scenári.

NEVÝHODY:                                                                                                                                                                                                                                          

  • neochota niektorých respondentov vyjadriť svoje názor úprimne z dôvodu chýbajúcej anonymity,
  • dopad charakterových čŕt respondenta na získané závery, t.j. ťažkosti pri získavaní informácií od mlčanlivých, hanblivých alebo introvertných osôb.

NÁSTROJ VÝSKUMU: pri interview môžete využiť scenár, ktorý obsahuje zoznam otázok alebo tém, ktoré budú predmetom interview. Pýtajúci sa môže meniť poradie otázok, alebo počas interview nejaké otázky pridať, ak je to potrebné pre lepšie porozumenie danej témy. 

 

PRÍKLAD SCENÁRA IDI PRE PROJEKTOVÝ TÍM / PRACOVNÍKOV 

 

I. Implementácia projektu

1. Už ste sa niekedy zúčastnili na podobných projektoch? Ak áno, na akých? Aká bola Vaša úloha?

2. Aké sú Vaše aktuálne povinnosti týkajúce sa projektu?

 

II. Proces implementácie projektu

1.Ako sa uskutočnil proces náboru? Získali ste plánovaný počet ľudí? Stretli ste sa počas náboru s nejakými problémami? Čoho sa týkali? Upútal projekt záujem cieľovej skupiny?

2.Mali účastníci projektu nejaké pripomienky týkajúce sa jeho implementácie? Čoho sa týkali? Zaviedli sa nejaké zmeny v dôsledku týchto názorov?

3.Bol dizajn projektu upravený z nejakého iného dôvodu? Čoho sa tieto zmeny týkali? Čím boli spôsobené?

4.Potrebuje projekt ďalšie zmeny? Čo sa mohlo zlepšiť v jeho implementácii? Je potrebné doplniť projekt nejakými ďalšími prvkami? Ak áno, akými?

5.Dosiahli sa plánované výstupy a výsledky projektu? Napreduje všetko podľa plánovaného harmonogramu a rozpočtu?

6.Vidíte nejaké riziko týkajúce sa implementácie projektu / dosiahnutia plánovanej úrovne výstupov a výsledkov? Ak áno, aké? Ako mu môžete čeliť?

 

III. Zhodnotenie doterajších výsledkov

1. Aké faktory uľahčili implementáciu projektu?

2.Aké faktory sťažili implementáciu projektu? Aké boli dôvody týchto ťažkostí? Ako ste ich dokázali zvládnuť?

3. Existujú nejaké zdroje (napr. ľudské, časové, organizačné, technické, finančné), ktoré by uľahčili implementáciu projektu? Aké iné zmeny by uľahčili implementáciu projektu?

4. Aké zmeny by pomohli prispôsobiť projekt potrebám príjemcov?

5. Uveďte silné / slabé stránky projektu.

 

IDI SCENAR

3.2.3. INTERVIEW S CIEĽOVOU SKUPINOU (FGI) (z anglického originálu „FOCUS GROUP INTERVIEW“)

Interview s cieľovou skupinou ( z anglického originálu „focus group“) predstavuje dialóg medzi  6-8 ľuďmi s účasťou moderátora. Ten zadáva skupine témy na diskusiu a napomáha pri udržiavaní konverzácie. Účastníci rozhovoru FGI sú vyberaní na základe konkrétnych kritérií, ktoré stanoví hodnotiteľ, ako aj vedomostí účastníkov v oblasti skúmaných tém. 

 

DÔLEŽITÉ

V prípade mladých ľudí je vhodné diskusiu rozdeliť na kratšie časti, aby sa mohli zapojiť všetci účastníci a nezačali sa príliš skoro nudiť. Vhodné je využiť multimediálne nástroje, herné prvky alebo neštandardné riešenia, napr. papierovú kocku s otázkami, ktorú si účastníci hádžu medzi sebou. Tiež je vhodné poznačiť si názor skupiny na flipchart a zabezpečiť zvukovú nahrávku z diskusie. 

 

PODMIENKY POUŽITIA: Základnou podmienkou úspechu skupinového interview je správny výber ľudí, ktorí majú konkrétne informácie a sú pripravení ich zdieľať. Dôležité je, aby účastníci mali zaistený komfort vo forme tichej miestnosti vhodnej veľkosti, s pohodlným sedením, veľkým oválnym / štvorcovým stolom a flipchart.

 

VÝHODY:                                                                                                                                                                                                                                                                                                   

  • získanie informácií z rôznych uhlov pohľadu, zohľadňovanie rozdielnych názorov,
  • vzájomné overovanie a dopĺňanie informácií o skutočnostiach, ktoré sú predmetom diskusie rôznych ľudí, 
  • možnosť pozorovať interakcie medzi účastníkmi,
  • získanie podstatných informácií od viacerých ľudí v relatívne krátkom čase.

NEVÝHODY:                                                                                                                                                                                                                                                   

  • dynamika skupinových procesov, vrátane tlaku na zosúladenie / súdržnosť skupiny, čo môže viesť k nevyjadreniu minoritných názorov, napr. z toho dôvodu, že skupinu vedie prirodzený vodca,
  • riziko, že vzniknú skupinové konflikty, alebo zlé medziľudské vzťahy, ktoré znížia efektívnosť zberu dát a spoľahlivosť získaných záverov,
  • organizačné problémy (potreba zoskupiť ľudí v danom čase a mieste, zabezpečenie náležite vybavenej miestnosti).

NÁSTROJE ZBERU DÁT: Nástroj, ktorý moderátor používa pri tejto metóde je FGI scenár (z anglického originálu „Focus Group Interview scenario“). Tento nástroj zahŕňa princípy skupinovej diskusie, konkrétne témy / otázky a postupy týkajúce sa rôznych foriem činnosti, do ktorých moderátor zahŕňa účastníkov.

 

PRÍKLAD FGI SCENÁRA TÝKAJÚCEHO SA POŽIADAVIEK NA VZDELÁVANIEI. CIELE INTERVIEW S CIEĽOVOU SKUPINOU

  • Získanie úvodných informácií o požiadavkách mladých ľudí na školenie / vzdelávanie 
  • Zber dát na prípravu dotazníka CATI, ktorý sa bude realizovať v druhej fáze zberu dát

 

II. CIEĽOVÁ SKUPINA

Osoby zodpovedné za personálny manažment a / alebo školenie v organizáciách 

 

III. PROGRAM STRETNUTIA

 

1.ÚVOD (trvanie – približne 20 minút)

  a)Privítanie a vysvetlenie účelu stretnutia

(text: Dámy a páni, volám sa  … a rád / rada by som Vás privítal/-a na stretnutí, ktoré zorganizoval/-a  … za účelom zozbierania dát týkajúcich sa požiadaviek mladých ľudí na školenie. Naše stretnutie je súčasťou projektu „XYZ“. Tento projekt financuje … a je implementovaný v spolupráci s  … Cieľom projektu je …)

  b) Predstavenie účastníkov interview s cieľovou skupinou (FGI)

  c) Informácie týkajúce sa interview, zaistenie anonymity

(text: Z nášho stretnutia bude vyhotovená zvuková nahrávka. Je to potrebné z toho dôvodu, aby sme dokázali presne zaznamenať vaše vyjadrenia a názory. Chcel/-a by som vás ubezpečiť, že nebudeme uvádzať vaše mená. Záznam z konverzácie a osobné údaje účastníkov sa použijú len na účely zberu dát a nebudú poskytnuté neoprávneným osobám)

  d) Diskusia o zásadách stretnutia

(text: Pre uľahčenie priebehu konverzácie navrhujem postupovať podľa týchto zásad:

  • každý má právo vyjadriť svoj názor – nie sme povinní zachovať jednotnosť. Každý názor je pre nás dôležitý a cenný – neexistujú dobré a zlé vyjadrenia, chceme, aby boli úprimné, 
  • neprerušujeme sa navzájom – hovorí len jedna osoba v danom čase. Oslovujeme predovšetkým iných účastníkov, nie moderátora. On len pomáha pri našej diskusii, 
  • prípadné nedorozumenie prosím vysvetlite. Moderátor sa tiež ubezpečí, že vaše vyjadrenia správne pochopil,
  • stíšime, alebo vypneme mobilné telefóny, 
  • požiadame účastníkov, aby sa držali témy – úlohou moderátora bude, okrem iného, vrátiť účastníkov späť k téme, čím sa zredukujú odbočenia od danej témy a účastníci zároveň nevynechajú hlavnú podstatu diskusie.

 

2. DISKUSIA NA ÚVOD (trvanie – približne 60 minút)

 

2.1.Rozsah požiadaviek mladých ľudí na vzdelávanie (približne 30 minút)

a) Zúčastňujú sa mladí ľudia nejakého vzdelávania? Aké sú ich témy / trvanie / forma?

b) Aké faktory sťažujú účasť mladých ľudí na vzdelávaní?

c) Aké podmienky musia mladí ľudia splniť, aby sa mohli zúčastniť vzdelávania? Aké bariéry im v tom môžu brániť?

 

2.2.Motivácia mladých ľudí  zúčastniť sa na vzdelávaní (približne 30 minút)

a) Do akej miery majú mladí ľudia záujem zúčastniť sa vzdelávania?  Majú rozdielne požiadavky na vzdelávanie na základe ich pohlavia? Čo je dôvodom týchto rozdielov? Ako môžete motivovať tieto dve skupiny mladých ľudí, aby si zlepšili svoje kvalifikácie?  

b) Aký veľký je ich záujem o elektronické vzdelávanie? Zúčastňujú sa mladí ľudia na tomto type vzdelávania? Ak áno, na akom type?

c) O aký typ vzdelávania majú mladí ľudia najväčší záujem – denné, zmiešané, dištančné?

 

3.KONKRÉTNE TÉMY (trvanie – približne 60 minút)

 

3.1.Tematické oblasti vzdelávania – zoradenie podľa dôležitosti (približne 30 minút)

a) Uveďte témy vzdelávania, ktoré môže implementovať organizácia X v rámci denného / dištančného / zmiešaného vzdelávania: rozsah / tematické oblasti a konkrétne problémy (brainstorming).

b)Ktoré z týchto tém by sa malo implementovať ako prvé?

 

3.2.Podmienky účasti na vzdelávaní (približne 30 minút)

a) Kde sa uskutoční vzdelávanie? Môžu sa ho zúčastniť mladí ľudia? Bude denné (prezenčné) vzdelávanie prebiehať večer alebo cez víkend? Kde sa bude konať?

b) Majú mladí ľudia vybavenie a kompetencie na e-vzdelávanie?

c) Ako dlho bude prebiehať dištančné vzdelávanie?

d)Čo môže mladým ľuďom brániť v účasti na dištančnom vzdelávaní?

 

4. ZHRNUTIE (trvanie – približne 15 minút)

a) Zber a zhrnutie získaných informácií – závery.

b)Informácie o použití záverov.

c)Poďakovanie za účasť na stretnutí.

 

3.2.4. POZOROVANIE                                                                                                                                                                                                                                            

Táto metóda vychádza z dôsledného pozorovania a analýzy skúmaných javov a situácií  (javy, udalosti). Môže sa jednať o pozorovanie s účasťou hodnotiteľa, čiastočnou účasťou hodnotiteľa a bez účasti hodnotiteľa na pozorovaní . Môže pôsobiť ako aktívny účastník pri pozorovaných udalostiach, alebo ako externý, nezainteresovaný pozorovateľ. Pozorovanie sa môže uskutočniť otvoreným, čiastočne otvoreným, alebo utajeným spôsobom , t.j. účastníci môžu vedieť, že sú pozorovaní, vedia o tom len vybrané osoby (napr. školiteľ a / alebo organizátor školenia), alebo len pozorovateľ.

PODMIENKY POUŽITIA: Ak sa jedná o pozorovanie bez zapojenia hodnotiteľa, pozorovateľ nesmie prísť do kontaktu / vzťahu s pozorovanými ľuďmi. Je tu totiž riziko ovplyvnenia priebehu pozorovaných udalostí a správania.  

 

VÝHODY:                                                                                                                                                                                                        

  • poskytnutie informácií o danej udalosti / procese počas jeho priebehu,
  • zaznamenanie faktov bez ich interpretovania účastníkmi (posúdenie aktuálneho správania, nie tvrdení,
  • uľahčenie interpretácie skúmaných javov,
  • možnosť dozvedieť sa o javoch, ktoré sú bežne skryté, neznáme alebo o ktorých účastníci neradi hovoria.

NEVÝHODY:                                                                                                                                                                                                                                                                                                                                                                  

  • možný vplyv hodnotiteľa na priebeh udalostí (vedomosť respondentov o tom, že sú pozorovaní, môže zmeniť ich správanie),
  • obmedzený rozsah škály pozorovania, sťažený prístup ku všetkým udalostiam,
  • riziko subjektivity (hodnotiteľ môže prebrať niektoré stereotypy, vnímať a interpretovať udalosti v prospech pozorovanej skupiny).

NÁSTROJ VÝSKUMU: Pri pozorovaní je možné využiť formulár pre pozorovanie. Jeho použitím sa pozornosť pozorovateľa upriamuje na zvolené témy. Zároveň je možné zaznamenávať dôležité informácie (napr. správanie účastníkov pozorovaných udalostí) ako kvalitatívne, tak aj kvantitatívne (takzvaný kontrolný zoznam).

 

FORMULAR POZOROVANIE

3.2.5. PRÍPADOVÁ ŠTÚDIA

Predstavuje podrobnú analýzu skúmanej problematiky použitím dát z rôznych zdrojov zozbieraných rôznymi metódami. Závery je možné prezentovať formou slovného opisu. „Predmetom“ analýzy môže byť osoba, skupina ľudí, konkrétne činnosti a projekt, alebo skupina projektov.

Prípadová štúdia sa používa na účely:

  • dôkladného spoznania a porozumenia daného javu spolu s jeho kontextom, príčinami a dôsledkami,                                                                                                                                                                                                                                                                                 
  • znázornenia konkrétnej problematiky pomocou realistického príkladu s podrobným popisom,
  • generovania hypotéz pre ďalší výskum,
  • predstavenia a analýzy najlepších / najhorších postupov, ktoré má zmysel realizovať, a ktorým je dobré sa vyhnúť.

PODMIENKY POUŽITIA: Táto metóda je časovo náročná na zber a analýzu rôznych dát o skúmanom jave / premete, jeho obsahu, procesoch a mechanizmoch. Prípadové štúdie je najlepšie využiť ako doplnkové metódy iných metód zberu dát. 

 

VÝHODY:                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         

  • je zdrojom komplexných dát o danej problematike,
  • poskytuje rôzne uhly pohľadu, čo dáva popisu a analýze širšiu perspektívu,
  • berie do úvahy kontext skúmaných javov.

NEVÝHODY:                                                                                                                                                                                                        

  • zvyčajne si vyžaduje použitie rôznych zdrojov informácií, ktoré sú niekedy ťažko dostupné,
  • je náročná na čas a spracovanie,
  • poskytuje neúplné výsledky dát s nízkou dôveryhodnosťou opisovanej udalosti.

3.2.6. PRIESKUMY VEDENÉ OPYTOVATEĽMI 

Kvantitatívne metódy sú metódami štandardizovaného merania. Štandardizácia umožňuje zber a spracovanie kvantitatívnych dát, ako aj ich štatistickú analýzu jednotným spôsobom. Štandardizácia zahŕňa:

  • Nástroj zberu dát (dotazník pre interview) – poradie, obsah a forma otázok pre respondentov,
  • Spôsob zaznamenávania odpovedí respondentov výberom jednej možnosti (na stupnici) alebo niekoľkých možností,
  • Správanie opytovateľov, ktorí sú počas interview povinní dodržiavať postupy uvedené v dotazníku.                                                                                                                                                                                 

Názory respondentov sa uvádzajú v číslach a ukladajú do databáz. Následne sú tieto údaje analyzované štatistickými metódami.

Interview formou dotazníkov zabezpečujú vyškolení dopytovatelia, ktorí čítajú otázky respondentov z dotazníka a zapisujú získané odpovede. Pre tento typ zberu dát sa používajú nasledovné techniky:

  • Interview s použitím papiera a pera – (PAPI – z anglického originálu “ Paper and Pencil Interview“),
  • Osobné interview s použitím počítača – (CAPI – z anglického originálu “ Computer-Assisted Personal Interview“),
  • Telefonické interview s použitím počítača (CATI – z anglického originálu “ Computer-Aided Telephone Interview“).

 

3.2.6.1. Osobné interview s použitím papiera a pera (PAPI) a osobné interview s využitím počítača (CAPI)                                                                                                                                                                                                                                                                                 

Obidve tieto techniky sa vykonávajú osobne a implementujú sa na základe  priameho kontaktu respondenta a opytovateľa s použitím papiera (PAPI) alebo elektronickej verzie dotazníka zobrazeného na počítači alebo tablete (CAPI). Opytovatelia čítajú otázky uvedené v dotazníku a označujú odpovede respondenta.

PODMIENKY POUŽITIA: vyžaduje sa široký rozsah tém a priamy (F2F) kontakt opytovateľa s respondentom. Najlepším miestom pre interview je tiché miesto, bez prítomnosti tretích osôb (doma / v práci, pričom sa uistite, že iné osoby, t.j. rodinní príslušníci, alebo kolegovia, neovplyvňujú odpovede respondenta). 

 

VÝHODY:

  • osobný, úzky kontakt s respondentmi (možnosť pozorovať neverbálne signály, reagovať na neporozumenia otázok alebo únavu respondenta),
  • väčšia pripravenosť respondentov na dlhšie interview a ťažšie otázky, ako počas CATI,
  • v prípade CAPI automatické ukladanie dát počas interview.

NEVÝHODY:                                                                                                                                                                                                                                                    

  • vyššie náklady, vrátane nákladov na čas a cestovanie a zabezpečenie osobných  stretnutí s respondentom,
  • nedostatočný pocit anonymity pre respondenta,
  • možný vplyv opytovateľa na odpovede respondenta (takzvaný vplyv hodnotiteľa); 
  • V prípade PAPI musí opytovateľ manuálne zadávať údaje z dotazníka do databázy po skončení interview. Tento postup je časovo náročný, zvyšuje náklady a zahŕňa riziko chybovosti.                                                                                                                                

 

3.2.6.2. Telefonické interview s využitím počítača (CATI)

Tento typ interview sa realizuje telefonicky. Hodnotiteľ číta otázky zobrazené na displeji obrazovky a po získaní odpovedí ich zaznačí do elektronického formulára v počítači.

PODMIENKY POUŽITIA: zisťovanie ustálených názorov a postojov s využitím otázok, ktoré neumožňujú dlhšie úvahy z dôvodu krátkosti času interview (max. 10-15 minút), ako aj špecifického prenosu a príjmu informácií (bez možnosti opakovaného prečítania vo vlastnom tempe).

 

VÝHODY:                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           

  • kratší čas a vyššie náklady na oslovenie respondenta v porovnaní s osobnými interview (PAPI, CAPI),
  • časová flexibilnosť (možnosť upraviť čas interview preferenciám respondenta, prípadne ho zastaviť pokračovať v čase vhodnom pre respondenta),
  • jednoduchý manažment a kontrola práce hodnotiteľa,
  • automatické ukladanie (kódovanie) dát počas interview.

NEVÝHODY:                                                                                                                                                                                                                                                 

  • možné ťažkosti pri získavaní telefonických kontaktov na respondentov (z dôvodu nedostatku prístupu a / alebo ochrany osobných dát), v prípade zamestnávateľov neosobné kontakty (k dispozícii sú len telefónne čísla na recepcie / ústredia),
  • čas na interview obmedzený na 10-15 minút (z dôvodu ťažšieho udržania koncentrácie a časových možností respondenta),
  • tendencia respondentov zvoliť si extrémne odpovede, prípadne krajné body na stupnici (čo vyplýva zo špecifického komunikačného kanálu).

 

3.2.7. INTERNETOVÝ PRIESKUM (z anglického originálu „SELF-ADMINISTERED SURVEYS“)

Pri internetových prieskumoch respondenti vypĺňajú dotazníky sami (bez účasti hodnotiteľa).                                                                                                                                                                                                                                                                                                                                                                                                                                            

PODMIENKY POUŽITIA: Tieto prieskumy sa môžu realizovať formou papierových alebo online dotazníkov (t.j. interview s použitím počítača / internetu – CAWI). V prípade internetového dotazníka má respondent k dispozícii odkaz na internetovú stránku, kde sa nachádza dotazník. Tento vyplnia s použitím počítača, tabletu alebo smartfónu. Následne sú údaje zaslané na server, kde sa automaticky uložia do databázy.

Veľmi účinnou metódou zberu kvantitatívnych dát je tzv.central location“ metóda. Táto metóda je založená na vyplnení dotazníkov respondentmi, ktorí sú v rovnakom čase na rovnakom mieste, napr. po ukončení školenia, workshopu alebo konferencie. V takomto prípade je potrebné zabezpečiť, aby dotazníky vypĺňali respondenti sami (bez podpory iných ľudí).

 

VÝHODY:                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          

  • krátky čas na získanie dát (hlavne v prípade central location),
  • nižšie náklady v porovnaní s interview formou dotazníkov, ktoré realizujú hodnotitelia,
  • pocit anonymity voči osobám realizujúcim prieskum,
  • žiadny vplyv hodnotiteľa.

NEVÝHODY:                                                                                                                                                                                                                                                                             

  • motivácia respondentov vyplniť dotazník sa môže znížiť, ak nie je prítomný hodnotiteľ,
  • nedostatok kontroly postupu vyplnenia dotazníka z prieskumu,
  • riziko konzultovania odpovedí s inými osobami.
PRAKTICKÉ RADY

Dotazník musí byť:

  • krátky, jednoduchý, vizuálne pútavý, aby motivoval k vyplneniu,
  • musí obsahovať všetky potrebné vysvetlenia, ktoré pri iných metódach poskytuje hodnotiteľ, 
  • musí mať jasné pokyny (papierová verzia) alebo algoritmy (elektronická), ktoré navedú respondenta na príslušné otázky (na základe predchádzajúcich odpovedí, nevhodné otázky sa filtrujú a vynechajú).                                                                                                                                                 

 

DOTAZNÍK

 

3.2.8. AKTÍVNE METÓDY / WORKSHOPY SKUPINOVEJ PRÁCE S MLADÝMI ĽUĎMI                                                                                                                                                                                                                                                                                                                                                                     

Nižšie v tomto texte uvádzame doplňujúce aktívne metódy zberu dát  (hlavne kvalitatívne), ktoré môžete využiť hlavne pri skupinovej práci s mladými ľuďmi. Tieto metódy sú participatívne, zapájajú celý tím, podporujú spoluprácu a rozvoj mäkkých zručností. 

Aktívne metódy sú metódy zberu dát formou workshopov, ktoré môžu dopĺňať „klasické“ metódy hodnotenia výskumu. Umožňujú získať rýchlu spätnú väzbu na danú činnosť, spoznať hodnotenia, pocity a dojmy účastníkov. Zároveň tieto metódy napomáhajú formulovať odporúčania. Metódy je vhodné použiť počas rôznych typov podujatí. Umožnia Vám urobiť stretnutie zaujímavejším, spoznať účastníkov, a zároveň lepšie prispôsobiť projektové aktivity ich požiadavkám. 

 

VÝHODY:                                                                                                                                                                                                                                                                                                                                                                                                       

  • rýchlosť – počas stretnutí máte okamžitú spätnú väzbu,
  • neformálna atmosféra,                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           
  • charakter úloh  / otázok umožňuje ľahšie formulovať kritické názory a navrhovať nové riešenia,
  • možnosť spoločného zberu kvalitatívnych a kvantitatívnych dát,
  • stimulácia sebareflexie,
  • pozitívny vplyv na psychickú pohodu účastníkov (uspokojenie požiadaviek na vyjadrenie, súhlas, integráciu).

NEVÝHODY:                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          

  • nedokážete zovšeobecniť získané názory na širšiu komunitu (neúčasťou na stretnutí),
  • potreba moderovania / podpory zo strany skúseného školiteľa / moderátora,
  • chýbajúca anonymita účastníkov v prípade diskusií a reportingu skupiny (negatívny vplyv na duševné zdravie a vzťahy v rámci skupiny pre ľudí, ktorí sú obzvlášť zraniteľní, alebo majú slabé postavenie v skupine.

Formou workshopu je možné implementovať nižšie uvedené príklady aktívnych metód.

 

ŠNÚRA NA BIELIZEŇ

Cieľom tohto nástroja je spoznať očakávania cieľovej skupiny. Jedná sa o vizuálnu metódu zberu kvalitatívnych dát.                                                                                                                                                                                                                                                                                                                                                                                                                                                       

Každý účastník má k dispozícii obrázky s oblečením (napr. košeľa, spodná bielizeň, nohavice, ponožky), ktoré symbolizujú určité očakávanie z projektu – môže to byť napríklad: nádej, strach, potreby, návrhy, atď. Účastníci majú dostatok času na to, aby si premysleli a vyplnili jednotlivé kresby / druhy oblečenia. Po napísaní názoru každý účastník „povešia svoje oblečenie“ na šnúru, ktorá je nakreslená alebo natiahnutá v miestnosti. Účastníci môžu prečítať svoje očakávania nahlas a pozorovať  “rozvešanú bielizeň” ostatných.

 

TELEGRAM                                                                                                                                                                                                                                                                                                                                                                                         

Tento nástroj umožňuje rýchle zhrnutie určitej časti stretnutia (workshop, školenie), vďaka čomu spoznáte atmosféru v skupine.

Účastníci sú požiadaní, aby sa zamysleli nad určitou časťou stretnutia a popisujú svoje pocity troma slovami: pozitívne, negatívne a súhrnne (napr. intenzívne – únava – spokojnosť). Každá osoba číta svoje slová, čím získate spoločné zhrnutie činností (tieto slová môžete napísať na lístočky a nalepiť ich na flipchart, atď.).                                                                                                                                                                 

 

RUKY                                                                                                                                                                                                                                                                                                                                                                                                                                       

Cieľom tohto nástroja je zistiť názor na vybrané aspekty projektu, alebo jeho časti (napr. školenie, stáž), a zároveň zhrnúť priebeh a výsledky stretnutí. Účastníci workshopu majú k dispozícii papier, na ktorý nakreslia svoje ruky. Každý prst predstavuje jednu kategóriu hodnotenia, napr. :                                                                                                                                                                                                             

  • Palec – čo bolo najsilnejšou / najlepšou stránkou projektu / školenia,
  • Ukazovák – o čom porozprávam svojim kamarátom,
  • Prostredník – najslabší bod školenia / projektu,                                                                                                                    
  • Prstenník  – čo by som chcel/-a zmeniť (prvok vyžadujúci zlepšenie),
  • Malíček – čo som sa naučil/-a, zistil/-a.                                                                                                                                                                                                                   

Účastníci zapisujú svoje názory na jednotlivé prsty podľa vyššie uvedených kategórií. Toto cvičenie môžete použiť na zistenie názorov jednotlivcov a / alebo pre skupinové diskusie. 

 

EVALUAČNÁ RUŽICA                                                                                                                                                                                                                                                                                                                                                                                                                                   

Táto metóda sa využíva na získanie spätnej väzby na rôzne aspekty projektu / činnosti v rovnakom čase. Jedná sa o vizuálnu metódu, ktorá umožňuje zozbierať kvantitatívne údaje – názory na rôzne aspekty posudzovaného objektu použitím spoločnej stupnice. 

Účastníci majú k dispozícii kartičky s nakreslenou „evaluačnou ružicou“. Nákres je vyjadrený formou „veternej ružice“ -namiesto smerovania svetových strán, a zobrazuje rôzne aspekty hodnotenej veci (napr. využitie školenia, pútavosť metód vysvetľujúcich obsah, dostatočný čas strávený na školení). Rozdeľte osi na sekcie priraďte im zvolené hodnoty (napr. stupnica od  1-5, kde 1 je najslabšie a 5  najlepšie hodnotenie). Účastníci označia svoje názory na každej osi  „evaluačnej ružice“. Následne môžete body pospájať a získate vizuálne pútavý obrázok názorov (finálny efekt pripomína lúčový diagram).

 

HOVORIACA STENA                                                                                                                                                                                                                 

Cieľom tejto metódy je získať názory na hodnotenie projektových činností alebo celého projektu. Použitím tejto metódy môžete získať kvalitatívne údaje (druhy názorov) a kvantitatívne údaje  (koľkí ľudia zdieľajú daný názor).

Na stenu zaveste päť veľkých hárkov papiera. Na každý z nich dajte otázku o realizovaných činnostiach, napríklad:                                                                                                                                                                                                                                                                                                                                                              

  • Papier č. 1: Čo nové ste sa na školení naučili?                                                                                                                                                                                                                                                                                                                                                           
  • Papier č. 2: Ako využijete nadobudnuté vedomosti?
  • Papier č. 3: Čo sa Vám najviac páčilo na tomto školení?
  • Papier č. 4: Čo sa Vám najmenej páčilo na tomto školení?
  • Papier č. 5: Čo by ste na tomto školení zmenili?

Účastníci napíšu svoje odpovede na každý papier zvlášť, alebo – ak už je tento názor na príslušnom papieri uvedený – pridajú znamienko plus / bodku vedľa daného názoru. Na konci hodnotiteľ zhrnie výsledky a povzbudí skupinu k tomu, aby jednotlivé názory prediskutovali a navrhli odporúčania. Táto forma zberu názorov umožňuje väčšiu otvorenosť účastníkov, ktorí nadobúdajú zmysel pre akčnosť a prekonávajú neochotu hovoriť na verejnosti. 

 

ODPADKOVÝ KÔŠ A KUFOR

Pomocou tejto metódy môžete zhrnúť školenie alebo projektovú činnosť. Metóda umožňuje získať údaje o užitočných, nadbytočných alebo chýbajúcich prvkoch z pohľadu účastníkov.

Na tabuľu nakreslite kufor, košík a vrece. Každá vec symbolizuje kategóriu názoru na hodnotenú činnosť:                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      

  • Kufor: „Čo si odnášam zo školenia?“ (čo bude pre mňa užitočné, čo využijem v budúcnosti)                                                                                                                                                                                                                                                                                                                    
  • Odpadkový kôš: „Čo bolo počas školenia zbytočné?“ (čo pre mňa nie je užitočné, čo bolo nadbytočné),                                                                                                                                                                                                                                                                                                                                               
  • Vrece: „Čo chýbalo?“ (čo by sa malo doplniť pre ďalšie školenie).

Následne môžete účastníkov požiadať, aby svoje názory povedali alebo napísali na lepiace lístky, alebo priamo k obrázkom na flipchart. 

 

PRAKTICKÉ RADY PRE SKUPINOVÉ ČINNOSTI

Pre účastníkov je vhodné, aby sedeli v kruhu, kde sa všetci navzájom vidia. Ich angažovanosť môžete zvýšiť tým, že sami označia ďalšieho hovoriaceho, napr. hádzaním lopty (toto riešenie sa môže použiť, ak sa v skupine nenachádzajú žiadne diskriminované osoby). Ústne vyjadrenia účastníkov si zapisujte – buď to môže urobiť školiteľ počas hodín (napr. na tabuľu, flipchart), alebo jeho asistent.                            

 

3.3. Ako si vybrať vhodné metódy zberu dát?

Metódy zberu dát musia byť vhodne zvolené podľa navrhnutého evaluačného konceptu a plánu. Pri výbere metódy zvážte, či metódy splnia nasledovné požiadavky:                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  

  • Účel,  predmet, rozsah a typ hodnotenia, ako aj kritériá a evaluačné otázky – poskytnú vám tieto metódy údaje potrebné na zodpovedanie evaluačných otázok?
  • Zdroje dát, z ktorých chcete údaje získať – bude možné získať informácie o skupine, ktorá sa zúčastní na hodnotení zberu dát?                                                                                                                                                                                                                                                                                                                          
  • Charakteristiku hodnotiteľov / respondentov – zohľadňujú tieto metódy veľkosť skupiny, schopnosti vnímania, komunikačné schopnosti, zdravotný stav, atď.?
  • Okolnosti zberu dát – budú všetky potrebné údaje a respondenti k dispozícii v danom okamihu? Bude zvolená metóda vyhovovať miestu zberu dát?
  • K akým zdrojom máte prístup? – vyžaduje si metóda dostupnosť kvalifikovaných a nezávislých hodnotiteľov a iné zdroje (organizačné, technické, finančné a časové)?  Dokážete metódy použiť sami? Umožňujú vám to Vaše zdroje?                                                                                                                          

Znalosti o metódach zberu dát (kvalitatívne a kvantitatívne) a súvisiacich nástrojoch dokážete využiť pri príprave druhej časti evaluačného konceptu (pozri kapitolu 2.4, nástroj 4), ktoré doplníte metodikou. Tento nástroj vám umožní získať odpovede na evaluačné otázky.

 

Nástroj 6. Logická matica hodnotenia zberu dát

 

Nástroj 6. Logická matica hodnotenia zberu dát  (evaluačný koncept, časť  2) – príklad

Evaluačné kritériá

V akom ohľade je hodnotený projekt dôležitý?

Presuňte kritériá zadané v hodnotiacej tabuľke, časť 1 (nástroj 4)

Evaluačné otázky

Čo chcete zistiť?

Uveďte otázky uvedené v hodnotiacej tabuľke, časť 1 (nástroj 4)

Zdroj informácií

Kto alebo čo môže byť zdrojom dát poskytujúcmi odpovede na evaluačné otázky?

Zahrňte rôzne zdroje (aspoň 2-3 pre každú otázku)

Metódy zberu dát

Ako sa budú zbierať údaje?

Zahrňte kvalitatívne, ako aj kvantitatívne metódy                                                                                                                                                                                                                                                                                                                           

Nástroje zberu dát

Čo použijete na zber informácií?

Zahrňte kvalitatívne, ako aj kvantitatívne nástroje

 Významnosť / relevantnosť Do akej miery boli projektové činnosti  (nábor, školenie, poradenstvo, stáž) prispôsobené potrebám účastníkov a zamestnávateľov? 1. Projektový tím

2. Osoby realizujúce nábor, školenie, poradenstvo a stáž

3. Príjemcovia projektu  (mladí ľudia)

4. Zamestnávatelia

5. Správa o zistení požiadaviek príjemcov na projekt

1. FGI – skupinové interview

2. IDI – individuálne podrobné interview

3. FGI / IDI s vybranými ľuďmi a CAWI (online prieskum)

4. CATI (telefonický prieskum)

5. Teoretický výskum (analýza dokumentácie) 

1. FGI scenár

2. IDI scenár

3. FGI / IDI scenár + CAWI dotazník

4. CATI dotazník

5. –                                                                                                                                                                                                                                                                                                                                                                                                                                                                          

 Efektívnosť Do akej miery sa podarilo dosiahnuť stanovené ciele a výstupy?

Nepotvrdili sa niektoré predpoklady a ak áno, prečo?

1. Projektové dokumenty (diagnostika, certifikáty, výsledky skúšok o rozvoji kvalifikácie)

2. Projektový tím

3. Tréneri, psychológovia, kariérni poradcovia

4. Príjemcovia projektu

5. Zamestnávatelia

1. Sekundárny výskum

2. FGI

3. IDI

4. FGI / IDI s vybranými príjemcami a CAWI + pozorovanie zvolených činností

5. CATI                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         

1. Pokyny pre teoretický výskum 

2. FGI scenár

3. IDI scenár

4. FGI / IDI scenáre, CAWI dotazník, tlačivo pre pozorovanie

5. CATI dotazník 

Účinnosť Zhodujú sa získané výsledky s využitými zdrojmi (ľudskými, finančnými, organizačnými, technickými, časovými)? Bolo možné dosiahnuť rovnaké výsledky s menšími zdrojmi? 1. Projektový tím

2. Projektová dokumentácia

3. Odborníci na riešenia v iných projektoch

4. Koordinátori podobných projektov

1. FGI

2. Teoretický výskum

3. FGI / IDI

4. Ako vyššie.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     

1. FGI scenár

2. Pokyny pre analýzu dokumentácie

3. FGI / IDI scenár

4. Ako vyššie.                                                                                                                                                                                                                                                                                   

Využitie Do akej miery sú výsledky projektu užitočné pre jeho príjemcov, t.j. mladých ľudí a  zamestnávateľov? Dá sa táto užitočnosť zvýšiť a ak áno, ako? 1. Projektový tím

2. Projektoví pracovníci realizujúci lekcie

3. Príjemcovia projektu (mladí ľudia)

4. Zamestnávatelia

1. FGI 

2. IDI 

3. FGI / IDI s vybranými príjemcami, prípadová štúdia  CAWI 

4. CATI (telefonický prieskum)

1. FGI scenár

2. IDI scenár

3. FGI / IDI scenár + CAWI dotazník

4. CATI dotazník

Udržateľnosť Pretrvávajú dosiahnuté výsledky aj po ukončení financovania projektu? Aké faktory prispievajú k udržateľnosti dosiahnutých výsledkov? 1. Príjemcovia projektu (mladí ľudia)

2. Prostredie príjemcu (rodina, príbuzní)

3. Zamestnávatelia

4. Projektový tím

1. FGI / IDI so zvolenými príjemcami a CAWI

2. FGI / IDI, prípadová štúdia + CATI (telefonický prieskum)

3. CATI

4. FGI

1. FGI / IDI scenár + CAWI dotazník

2. FGI / IDI scenár + CATI dotazník

3. CATI dotazník

4. FGI scenár

Dopad Do akej miery mal projekt vplyv na úroveň odbornej a spoločenskej činnosti mladých ľudí v regióne zapojeného do projektových činností?

Presahujú tieto vplyvy jeho priamych účastníkov a ak áno, čo je týmto javom a aké mechanizmy ho spôsobujú?

1. Miestny úrad práce 2. Pracovníci miestneho úradu práce

3. Odborníci na trh práce

4. Príjemcovia projektu

5. Sociálne prostredie príjemcu projektu  (rodina, príbuzní)

6. Zamestnávatelia                                                                                                                                                                                                                                                                                                                                                                                                                             

1. Teoretický výskum

2. IDI

3. FGI / IDI

4. FGI / IDI, prípadová štúdia + CAWI

5. FGI / IDI + CATI

6. CATI                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              

1.-

2. IDI scenár

3. FGI / IDI scenár

4. FGI / IDI scenár + CAWI dotazník

5. FGI / IDI scenár + CATI dotazník

6. CATI dotazník

Iné Aké prvky uľahčili a aké bránili pri  implementácii projektu z pohľadu hodnotiteľov (projektového tímu a personálu)? Aké prvky uľahčili, a aké bránili v účasti príjemcov na projekte? 1. Projektový tím

2. Projektoví pracovníci realizujúci projektové činnosti (nábor, školenie, poradenstvo, stáž)

3. Príjemcovia projektu (mladí ľudia)

4. Zamestnávatelia

5. Sociálne prostredie príjemcu projektu (rodina, príbuzní)

1. FGI

2. FGI / IDI 

3. FGI / IDI so zvolenými príjemcami + CAWI 

4. CATI 

5. FGI / IDI so zvolenými príjemcami + CATI                                                                                                                                                                                                                                                                                                                                                       

1. FGI scenár

2. FGI / IDI scenár

3. FGI / IDI scenáre + CAWI dotazník

4. CATI dotazník

5. FGI / IDI scenár + CATI dotazník                                                                                                                                                                                                                                                                                                                                             

 

 

3.4. Ako navrhnúť nástroje zberu dát?

Bežnou chybou je začať hodnotenie tým, že si vytvoríte nástroje zberu dát, napr. dotazník pre príjemcov projektu. Nezabudnite, že výber správnych metód zberu dát, alebo príprava správnych nástrojov merania (napr. scenáre, dotazníky, tlačivá na pozorovanie) sa nedá robiť bez / oddelene od vypracovania celkového evaluačného konceptu. Nástroje zberu dát preto začnite navrhovať po stanovení:                                                                                                                                                                                  

    • predmetu, rozsahu a účelu hodnotenia,
    • evaluačných kritérií a otázok,                                                                                                                                                                                                                                                                 
    • skúmanej skupiny ľudí a metód zberu dát.

Pokiaľ sa tieto prvky nezohľadnia, nepodarí sa Vám vybrať správne nástroje zberu dát.  Môžete sem totiž zahrnúť aj otázky, ktoré nesúvisia s účelom zberu, a tým nebude možné odpovedať na evaluačné otázky a reagovať na evaulačné kritériá. „Nevhodné“ nástroje obsahujú neužitočné otázky, sú príliš komplexné, alebo naopak, neúplné, neposkytujú príslušné údaje a neumožňujú formulovať zmysluplné odporúčania. 

Otázky zahrnuté v nástrojoch zberu dát konkretizujú evaluačné otázky. Nezabudnite, že tieto  otázky kladú hodnotitelia, nie respondenti! Nezamieňajte si tieto dva typy otázok, pretože sú formulované v jazykoch prispôsobených požiadavkám:

  • Hodnotiteľov / záujmových skupín hodnotenia → hodnotiace otázky,
  • Skúmanej skupine osôb (respondentom)→ otázky v nástrojoch zberu dát.

Ak ste si nie istý/-á, či sa má daná otázka položiť respondentom, zvážte, či na ňu opýtaná osoba dokáže odpovedať, a zároveň či pomocou získaných dát dokážete zodpovedať na evaluačné otázky a sformulovať užitočné odporúčania.                                                                                                                                                                                                                                                                                                                                                                                                     

 

AKO KLÁSŤ OTÁZKY?

  • Počet otázok zahrnutých v nástrojoch musí zodpovedať účelu a dĺžke trvania zberu dát.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  
  • Nástroje zberu dát majú jasnú štruktúru s označením hlavných tém (napr. „dôvody účasti na projekte„, „posúdenie rôznych typov podpory„, „účinky účasti na projekte„). Dané témy sú zoskupené podľa tém (napr. organizačné záležitosti).
  • Otázky sú kladené v konkrétnom poradí. Úvodné otázky (relatívne jednoduché) dávajte na začiatok svojho nástroja. Po nich nasledujú úvodné otázky na danú tému (nie veľmi zložité), a potom hlavné otázky (kľúč pre účel zberu dát). Najzložitejšie otázky dajte do stredu nástroja. Na záver sa pýtajte zhrňujúce a záverečné otázky.
  • Otázky je potrebné klásť v logickom poradí, aby nespôsobili zmätok, alebo neprekvapili účastníkov zberu dát.  Každá otázka vychádza z predchádzajúcej, alebo – v prípade interview – odkazuje na vyjadrenia respondenta. 
  • Jazyk interview musí byť jednoduchý a zrozumiteľný: používajte čo najkratšie vety, jazyk blízky účastníkom zberu dát – bez cudzích slov, odbornej terminológie, žargónu, skratiek.
  • Otázky musíte presne formulované – napr. nesmie vzniknúť žiadna pochybnosť, akého časového obdobia sa týkajú (nepýtajte sa „či nedávno …“, ale „či minulý týždeň / mesiac / rok …“)
  • Nepýtajte sa v jednej otázke na viacero tém („aké sú silné a slabé stránky projektu?“) a zároveň nepoužívajte záporné otázky („nemali by ste …“, „neuprednostňujete …“). Každá z týchto chýb sťažuje pochopenie otázky a interpretáciu odpovedí. 
  • Otázky a navrhované odpovede sa nesmú týkať citlivých tém  – nemôžu viesť k odhaleniu traumatických zážitkov, vyvolaniu správania alebo presvedčenia, ktoré je v rozpore so zákonom alebo morálkou. Ak nie je zaručená anonymita, nepýtajte sa otázky týkajúce sa majetku, rodiny alebo zdravotných záležitostí.
  • Vyhnite sa formulovaniu otázok, ktoré naznačujú odpoveď – neuvádzajte žiadne názory, ako by boli v súlade so zákonom a morálkou,  neodkazuje na žiadne orgány, alebo väčšinové názory.      

                                                                                                                                                                                                                                                                                                            

PRÍKLAD “PREKLADU” KRITÉRIA A EVALUAČNEJ OTÁZKY NA OTÁZKY V NÁSTROJI ZBERU DÁT

I. Kritérium: VYUŽITIE

(perspektíva: názor príjemcov; účel hodnotenia: zlepšenie projektových činností)

 

II. Otázka zberu dát: Do akej miery bolo školenie užitočné pre jeho účastníkov?

 

III. Príklady otázok zo scenára individuálneho podrobného interview (IDI) so školiteľom:

   1) Aké prvky školenia boli najviac, a aké najmenej užitočné pre účastníkov, a prečo?
2) Mohlo by byť toto školenie viac prospešné pre účastníkov?
Čo by sa malo zmeniť? Prečo si myslíte, že touto zmenou bude školenie užitočnejšie?

 

IV. Príklady otázok prieskumu pre účastníkov školenia:

1) Označte prvky školenia, ktoré boli pre Vás najužitočnejšie (možnosti: ____, ____, ____)
2) Označte prvky školenia, ktoré boli pre Vás najmenej užitočné (možnosti: ____, ____, ____)
3) Mohlo by byť toto školenie pre Vás viac užitočnejšie? (možnosti: áno, nie; neviem)

  • otvorené otázky pre ľudí, ktorí odpovedali ‚áno‘ – Čo by sa malo zmeniť na tomto školení, aby bolo užitočnejšie?  ………………….

 

Viac informácií o rozdieloch medzi kvalitatívnymi a kvantitatívnymi nástrojmi zberu dát, štruktúrou / vytvorením scenárov a dotazníkov a najčastejšie chyby v ich dizajnoch nájdete v online kurze.

IV. ČO JE POTREBNÉ ZOHĽADNIŤ PRI HODNOTENÍ PROJEKTOV ZAMERANÝCH NA MLADÝCH ĽUDÍ VO VEKU 15-24 ROKOV

 

ČO JE POTREBNÉ ZOHĽADNIŤ PRI HODNOTENÍ PROJEKTOV ZAMERANÝCH NA MLADÝCH ĽUDÍ VO VEKU 15-24 ROKOV

 

Pri hodnotení projektov zameraných na mladých ľudí vo veku 15-24 rokov sa zohľadňuje skutočnosť, že ľudia v tomto veku sa od dospelých líšia z dôvodu ich právnych požiadaviek, životných podmienok a dostupných technológií, ako aj psychologických a sociálnych potrieb, ktoré sa vzťahujú na procesy intenzívneho rozvoja na rozhraní ich detstva a dospelosti. 

 

4.1. Aké pravidlá sa vzťahujú na zber dát zameraný na mladých ľudí?

Dohovor Organizácie Spojených národov o právach detí, ako aj mnohé doplňujúce ustanovenia aplikované v jednotlivých štátoch zaručujú osobitnú právnu ochranu osôb mladších ako 18 rokov. V zmysle zákona sa dieťaťom rozumie každá osoba mladšia ako 18 rokov. Hoci v niektorých štátoch môžu osoby nadobúdať určité práva pri dosiahnutí veku 15 rokov (napríklad právo zvoliť si školu, právo pracovať), účasť maloletej osoby v projektoch  zameraných na podporu ich zamestnateľnosti, resp. rozvoj podnikateľských zručností mladých ľudí, ako aj na rôznych druhoch zberu dát si vyžaduje súhlas rodiča, alebo zákonného zástupcu.                                                                                                                                                                                                                                

 

4.1.1. Súhlas s účasťou maloletej osoby na hodnotení zberu dát

  1. Súhlas s účasťou na projekte hodnotenia zberu dát poskytnutý maloletou osobou a jeho / jej rodičom alebo zákonným zástupcom sa musí vzťahovať na konkrétny zber dát (názov zberu dát alebo hodnoteného projektu a realizujúci subjekt, alebo subjekty).
  2. Osobe, poskytujúcej súhlas s účasťou maloletého na zbere dát musia byť poskytnuté všetky potrebné údaje, ako sú:                                                                                                                                                                                                                                                                                                                            
    1. Účel zberu dát a spôsob použitia jeho záverov,
    2. Rozsah a spôsob zberu dát získaných od účastníkov prieskumu, vrátane toho, či sa vyžaduje viacnásobný kontakt s účastníkom, predovšetkým v rámci dlhšej doby po prvom kole zberu dát,
    3. Zaručenie anonymity a ochrany osobných údajov o účastníkovi,
    4. informácie o práve odmietnuť účasť na zbere dát a odstúpenie účastníka v akejkoľvek jeho fáze.
  3. Je potrebné pripomenúť, že v štátoch EÚ je potrebné mať súhlas so spracovaním a uchovávaním osobných údajov.
  4. Ak plánujete vyhotovovať zvukové a obrazové záznamy, je nutné mať výslovný súhlas na tento účel.                                                                                                                                                                                                                                                                                                                                                                                                                                                                             
  5. Príklady dokumentov používaných na poskytnutie súhlasu maloletých s účasťou na zbere dát sú uvedené v Prílohách  (Prílohy 1 a 2).

Odporúčame získať daný súhlas na začiatku hodnoteného projektu, keďže takto môžete získať všeobecnejší súhlas s účasťou maloletej osoby na projekte (napr. na rovnakom dokumente).

 

4.1.2. Ochrana maloletých osôb v etických kódexoch profesionálnych hodnotiteľov

Základné postupy vzťahujúce sa na uskutočnenie zberu dát medzi osobami mladšími ako  18 rokov sú nasledovné:

  • Získať informovaný súhlas (ako sa uvádza vyššie) od maloletej osoby a jej zákonného zástupcu,                                                                                                                                                                                                                                                                                                                                                                                                                                 
  • Poskytnúť pocit istoty a bezpečia osobám zapojeným do zberu dát zo strany pracovníkov (napr. pracovník vykonávajúci zber dát sa nesnaží o prvý kontakt s maloletou osobou bez prítomnosti dospelého, ktorý za maloletú osobu zodpovedá (vyučujúci, opatrovník, rodič); osoby zabezpečujúce zber dát majú doklady potvrdzujúce ich status ako pracovníkov zberu dát; vzdelanie a skúsenosti osôb realizujúcich zber dát sú zárukou bezpečnosti a zhode realizácie zberu dát špecifikám mladých ľudí),
  • Zabezpečiť zrozumiteľnosť všetkých poskytnutých dát, vrátane otázok pre respondentov (v tejto súvislosti môžete testovať kvantitatívne nástroje v malom rozsahu skôr, ako ich aplikujete, zároveň ich môžete konzultovať s odborníkom),
  • Zabezpečiť, aby rozsah alebo metódy získania informácií od mladých ľudí priamo nespôsobili žiadne materiálne alebo nemateriálne škody, vrátane škôd týkajúcich sa duševného zdravia a spoločenských vzťahov medzi mladými ľuďmi; hlavne sa to týka:
    • citlivých otázok, ktoré majú negatívny dopad na mieru samostatnosti a sebadôvery,
    • vzťahov s rovesníkmi a inými dôležitými osobami.

V prípade akýchkoľvek pochybností je vhodné poradiť sa s odborníkmi.

  • Zaručiť dodržiavanie všeobecných princípov sociálneho prieskumu, predovšetkým:
    • Zaručiť dôvernosť dát získaných od účastníkov vo fáze ich zberu (počas spracovania dát nie sú prítomné žiadne osoby okrem pracovníkov prieskumu a účastníkov (anonymizácia / pseudonymizácia), ani pri zverejnení výsledkov (kolektívna prezentácia kvantitatívnych dát, pseudonymizácia kvalitatívnych dát),                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            
    • Zabezpečiť anonymitu účastníkov,
    • Zabezpečiť bezpečnosť a nerušenú prácu pracovníkov realizujúcich zber dát.
  • Štandardy pre uskutočnenie zberu dát zameraného na maloletých sú zahrnuté v etických kódexoch aktuálne platných v komunitách odborníkov realizujúcich sociálne prieskumy a prieskumy trhu.

 

4.2. Ako prispôsobiť metodiku zberu dát spôsobu života mladých ľudí? 

 

4.2.1. Hlavná aktivita – formálne vzdelávanie

Štúdium je dominantnou činnosťou v živote mladých ľudí vo veku od 15 do 24 rokov.  Napríklad v Poľsku je účasť na povinnom vzdelávaní povinná pre mladých do 18 rokov. Tiež je povolené vzdelávanie formou „odbornej prípravy“ v kombinácii s platenou prácou. Na základe prieskumu European Union Labor Force Survey však bolo zistené, že väčšina mladých ľudí vo veku 18-24 rokov sa stále zúčastňuje organizovaných foriem vzdelávania. Mladí ľudia sú študentmi denného, a často aj diaľkového štúdia na stredných, vysokých školách a odborných školách. Mnoho činností zameraných na podporu zamestnávania a podnikania mladých ľudí sa tiež realizuje formou skupinového vzdelávania. Výhodou organizovaných foriem vzdelávania je v prípade zberu dát prítomnosť príjemcov hodnoteného projektu na jednom mieste a v jednom čase, čo umožňuje realizovať rôzny zber dát s využitím rôznych metód. Predovšetkým sa jedná o zber dát formou pozorovaní, spoločného miesta, interview s cieľovými skupinami, atď. 

Vždy však majte na pamäti, že pri realizovaní zberu dát vo vzdelávacích inštitúciách je potrebné zabezpečiť vhodné podmienky, ako sú: samostatná miestnosť, vyhradený čas (respondenti nesmú byť pod časovým tlakom).

 

4.2.2. Postavenie mladých ľudí na trhu práce

Jedným z problematických aspektov postavenia mladých ľudí v spoločnosti je ich postavenie na trhu práce. Práve postavenie na trhu práce je hlavnou oblasťou pôsobenia projektov zameraných na podporu zamestnávania a podnikania mladých ľudí. V štúdiách zameraných na túto oblasť je preto potrebné zohľadniť nasledovné:

  • V skupine mladých ľudí vo veku od 15 do 24 rokov asi len jedna tretina vykonáva platenú prácu (vrátane bezplatnej pomoci za platenú prácu člena rodiny) – preto by ste pri rozhovore nemali klásť otázky predpokladajúc, že daná osoba pracuje alebo má príjem z pracovnej činnosti,
  • Zárobková práca mladých ľudí, hlavne mladších ako 18 rokov, sa vyskytuje vo veľmi odlišných a často netypických formách, napr. vo forme bezplatnej pomoci pri platenej práci blízkeho člena rodiny, ako jednorazová práca, príležitostná práca, práca na polovičný úväzok, náhradná práca, práca na „skúšobnú dobu“, ako rôzna forma stáží, učňovských a odborných príprav, kde sa podiel štúdia a práce, ako aj príjmu veľmi líši a môže, ale nemusí sa považovať za prácu. Ďalej to môže byť práca výmenou za ubytovanie, stravu a  „vreckové“ , práca ako propagácia výrobkov alebo služieb na sociálnych sieťach výmenou za tovar alebo služby, dobrovoľnícka práca s rôznymi úrovňami pokrytia vlastných nákladov, práca na základe rôznych zmlúv, napríklad pracovných alebo iných konkrétnych zmlúv, práca „na čierno“ / bez oprávnenia, príjem z nelegálnych činností.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              

Pri otázkach o pracovnej činnosti mladých ľudí je potrebné presne definovať druh činnosti, ktorý považujete za prácu a / alebo rozhodujúce charakteristiky (zákonnosť, typ a výška odmeny, časový rozmer, stabilnosť, prepojenie na študijné povinnosti, právna forma).

 

4.2.3. Zvýšená mobilita

Ľudia vo veku medzi 15-24 rokom života menia svoje miesto pobytu oveľa častejšie, ako starší ľudia. V dôsledku toho tradičné metódy zberu kvantitatívnych dát na základe adresy bydliska nie sú pri mladých ľuďoch účinné – dotazník sa často zasiela na neaktuálnu adresu, hodnotiteľ sa dostaví, keď sa na adrese nikto nenachádza. 

V prípade mladých ľudí je preto veľmi dôležité získať kontakty, ako je mobilné telefónne číslo alebo meno v danej komunikačnej aplikácii, a následne zamerať stratégiu zberu dát na využitie elektronických zariadení s využitím týchto kontaktných údajov. Na základe záverov zo štúdií realizovaných formou poštových dotazníkov, ako aj metódy CAWI (teda osobných interview s využitím papiera) bolo zistené, že miera odozvy v prípade druhého spôsobu bola oveľa vyššia a zvyšuje sa nižším vekom respondenta.                                                                                                                                                                                                                                                                                                                                                                                                                                                                        

 

4.2.4. Prevládanie smartfónov v každodennej komunikácii 

V porovnaní so staršími sú mladí ľudia ochotnejší používať technológie pred papierovými formami. Sú oveľa schopnejší a ochotnejší riešiť akékoľvek záležitosti každodenného života skôr prostredníctvom smartfónu ako počítača. Pri zberoch dát medzi mladými ľuďmi je preto vhodné používať také elektronické nástroje zberu, ktoré sú čo najlepšie prispôsobené smartfónom (jedna jednoduchá otázka na obrazovku, jednoduchá a čitateľná forma, nie príliš dlhý zoznam odpovedí). Jedným z príkladov, ktorý môžete použiť pre prácu s mladými je platforma Kahoot.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     

 

4.2.5. Rušný život plný mnohých podnetov 

Charakteristickou črtou mladých ľudí je ich otvorenosť pre rôzne podnety prijímané prostredníctvom nových technológií, ktorých sa nevedia vzdať. Učenie, rozvíjanie vlastných záujmov a predovšetkým spoločenský život často stimulujú mladých ľudí k aktivite. Často zabúdajú na nie bežné, alebo na menej dôležité povinnosti, v tomto prípade napríklad na vyplnenie dotazníka. Moderné technológie však zároveň umožňujú predchádzať takýmto situáciám. Pravidelným zasielaním správ a pripomienok o dátumoch plánovaných interview, prísľubov na vyplnenie dotazníka, atď. je možné motivovať mladých ľudí k zapojeniu sa do zberu dát.  

 

4.2.6. Rozsiahle využívanie sociálnych sietí 

Rozsiahle využívanie sociálnych sietí a zastúpenie mladých ľudí v rôznych skupinách na sociálnych sieťach sa vo veľkej miere využíva na účely zberu dát. Na sociálnych sieťach môžete nájsť skupiny mladých ľudí z danej lokality alebo školy, ako skupiny s konkrétnymi záujmami alebo svetonázorom, atď. Po pridaní do skupiny sa Vám otvoria možnosti pre nábor účastníkov (napr. pre kontrolnú skupinu). Môžete zvážiť položiť otázku jednotlivým členom skupiny ako hodnotiteľ, alebo (ak s tým vedúci skupiny súhlasí) zverejniť odkaz na online prieskum alebo žiadosť o kontakt. Neodporúčame však otvárať verejnú diskusiu na úrovni skupiny na sociálnej sieti. Problematické by bolo predovšetkým zachovanie dôvernosti pri zbere dát, zapojení účastníci by mohli čeliť hodnoteniam členov iných skupín a verejný charakter ich vyjadrení by mohol negatívne ovplyvniť vnímanie v komunite. 

Podľa vzoru agentúr zaoberajúcich sa prieskumom trhu môžete vytvoriť špeciálnu komunitnú skupinu (metóda MROC – Market Research Online Communities (online komunity pre prieskum trhu)), kde mladí príjemcovia poskytujú súhlas s účasťou v komunite. Pri týchto činnostiach sa však vyžaduje presné stanovenie zámeru skupiny. Ak je zámerom zber dát, potom by sa malo jednať o krátkodobú skupinu (MROC). Počas tohto obdobia musí mať skupina odborného vedúceho / moderátora, tak ako je to pri rozhovoroch s cieľovými skupinami (FGI).

 

4.2.7. Ťažkosti spojené s NEET

Ťažkosti súvisiace so zberom dát zameraným na mladých ľudí sa znásobujú v prípade, ak je hodnotený projekt zameraný na mladých ľudí, ktorí neštudujú, ani nepracujú, nespadajú pod žiadnu skupinovú formu vzdelávania, podpory alebo inštitucionálneho dohľadu (NEET). Zber dát v takejto skupine mladých ľudí  je skutočnou výzvou, a to hlavne vtedy, ak potrebujete získať dáta na porovnanie výsledkov hodnotenia medzi skupinami NEET, ktoré sa zúčastňujú projektu.

Jediným riešením je často porovnanie skupín zúčastňujúcich sa na iných projektoch toho istého programu. Možné je tiež porovnať výsledky zo skupiny, ktorá je súčasťou projektu so skupinou kandidátov, ktorí sa nestali jej príjemcami (pri zohľadnení vplyvu dôvodov nesplnenia požiadaviek pre účasť na projekte).                                                                                                                                                                                                                                                                                                                                                                                                                                             

 

4.3. Ako riešiť psychologické a sociálne požiadavky mladých

 

4.3.1. Zvýšená potreba na zachovanie dôvernosti poskytovaných údajov

Konkrétny dopad zberu dát predstavuje kľúčový psychosociálny faktor, ktorý je potrebné zohľadniť pri plánovaní a realizácii zberu medzi mladými ľuďmi. Tento faktor vyplýva z osobnosti mladého človeka, jeho obáv z hodnotenia, prípadne negatívnych reakcií či postihov zo strany rovesníkov, ako aj rodičov (na ktorých je mladý človek duševne aj finančne závislý). Projektový tím patrí do druhej skupiny ľudí. Pri zohľadnení týchto skutočností je potrebné:                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             

  • Informovať účastníkov zberu dát o zachovaní dôvernosti poskytnutých údajov a opatreniach prijatých za týmto účelom, t.j. zabezpečenie dôvernosti údajov pri zbere dát, ako aj anonymizáciou vo fáze analýzy dát a použitia výsledkov,
  • Zaistiť úplné záruky, vrátane uskutočnenia interview (IDI, FGI) bez účasti tretích strán, vytvoriť podmienky na vypĺňanie dotazníkov, ktoré zaručujú anonymitu a dôvernosť, vrátane vhodenia dotazníka do zberného boxu,

 

4.3.2. Zvýšená požiadavka na zachovanie autonómie a emancipáciu

Na základe zistení vývojovej psychológie sú mladí ľudia vo veku od 15 do 24 rokov citliví na otázky týkajúce sa rešpektovania ich slobody, čo je spôsobené formovaním ich osobnosti. Z toho vyplýva, že ich právo a možnosť voľby o účasti, alebo neúčasti na zbere dát je potrebné jasne komunikovať. Zároveň je potrebné uviesť dôvody a dôsledky každej z týchto možností. Poskytnutie všetkých informácií je možné vnímať ako nevyhnutnú súčasť komunikácie s mladými.                                                                                                                                                                                                                                                                                                                                                                           

Na druhej strane môžeme mladých ľudí pozitívne motivovať k ich účasti na zbere dát reagovaním na ich potreby. Môžeme ich napríklad obsadiť do funkcií spolurealizátorov a spoluhodnotiteľov. Podmienkou pre skutočné zapojenie mladých ľudí do zberu dát je, že sa k nim budeme správať ako k partnerom. Okrem úlohy klasického objektu hodnotenia môžu mladí ľudia zohrávať aj iné úlohy, vrátane poradenstva a rozhodovania. Dosiahnuť je to možné vďaka zapojeniu mladých do rôznych fáz procesu hodnotenia, od oznamovania požiadaviek na zber dát, cez spolurozhodovanie o prioritách, plánovanie, účasť na implementácii až po konzultáciu záverov (pozri Sekciu 2.2).

V. ANALÝZA DÁT

 

V. ANALÝZA DÁT

 

D’alšou fázou hodnotiaceho procesu po vykonaní zberu dát je ich analýza. Analýzy dát predstavuje využitie kompletného materiálu (informácií získaných prostredníctvom rôznych metód), odpovedanie na evaluačné otázky, ako aj hodnotenie projektu na základe zvolených kritérií. V tejto fáze je preto vhodné vrátiť sa ku konceptu hodnotenia, spracovaného v úvodnej fáze hodnotiaceho procesu, ktorý funguje ako kompas. Vedie hodnotiteľa celým procesom zberu dát (slúži nielen na samotný zber dát, ale aj na ich analýzu, vyvodenie záverov a formuláciu odporúčaní).

 

Účelom analýzy dát je:

  • Zber a overenie získaných dát,     
  • Popis, zhodnotenie a porovnanie získaných kvalitatívnych a kvantitatívnych dát (overenie ich spoľahlivosti a konzistencie),
  • Identifikácia a vysvetlenie rôznych vzťahov príčin a dôsledkov, ktoré umožnia pochopiť mechanizmy skúmaných javov,                                                                                                                                                                                                                                                             
  • Interpretácia získaných záverov hodnotenia v spojení s rozsiahlejšími znalosťami o premete hodnotenia (hodnotenie),
  • Získanie podrobných odpovedí na evaluačné otázky a dôveryhodných hodnotení na základe zvolených kritérií,
  • Vyvodenie záverov zo získaných dát a formulovanie užitočných odporúčaní na ich základe.

Pri analýze dát nezabúdajte na princíp triangulácie, t.j. zostavenie dát získaných z rôznych zdrojov pomocou rôznych metód zberu dát a rôznymi hodnotiteľmi. Vďaka tomu máte možnosť dané údaje doplniť, rozšíriť a tiež sa uistiť, či dokážete získať ucelený obraz o hodnotenom projekte.                                                                                                                                                                                                                                                                  

Postupy analýzy dát sú rovnaké činnosti pre obidva typy dát (kvalitatívne aj kvantitatívne). Ide najmä o postupy ako zredukovanie, prezentácia a spracovanie záverov. Získané výstupy sa však od seba líšia svojou formou. Porovnanie týchto výstupov je uvedené v tabuľke nižšie. 

 

Tabuľka 3. Analýza dát – postup

POSTUP KVANTITATÍVNE ÚDAJE KVALITATÍVNE ÚDAJE
Redukcia dát Výpočet percent, priemerov a iných meraní Výber, zjednodušenie, zovšeobecnenie, zhrnutie
Prezentácia zistení (v ucelenej forme) Tabuľky, grafy, schémy Textové štúdie, zhrnutia, schémy, matice, siete prepojení
Vyvodenie záverov Štatistické skúšky hypotézy týkajúce sa vzťahov medzi skúmanými javmi Zistené vzory, jednotnosti, odchýlky, vypracovanie vysvetlení

 

Pred samotnou analýzou dát je potrebné overiť, či sú všetky materiály získané pri zbere dát anonymizované, t.j. neobsahujú žiadne osobné údaje (mená, priezviská, vrátane e-mailových adries, telefónnych čísiel, atď. ako aj kontextové údaje, na základe ktorých je možné zistiť totožnosť účastníkov). Respondenti, ktorí sa zúčastnili na kvalitatívnej časti zberu dát (IDI, FGI) majú pseudonymy, kde sa zohľadňujú znaky dôležité pre hodnotiteľa. Osobné údaje účastníkov je nevyhnutné oddeliť od poskytnutých obsahových dát.

 

Proces analýzy dát pozostáva zo štyroch hlavných fáz:                                                                                                                                                                                                                              

1. Výber a usporiadanie zozbieraného materiálu – počas tejto fázy sa overuje správnosť a úplnosť, spoľahlivosť každého údaju (vďaka triangulácii) a odstraňujú sa údaje neužitočné pre daný účel hodnotenia. Je potrebné zozbierať všetky údaje a uľahčiť ich ďalšiu analýzu – zvukové záznamy môžete prepísať alebo zapísať podľa vopred pripravenej schémy (ktorá zahŕňa zhrnutie vyjadrení respondentov). V prípade prieskumu vylúčte z analýzy neúplné dotazníky, atď. 

 

2. Vytvorenie analytických kategórií (výber typu kódovania a kódovanie dát – ich kategorizácia a klasifikácia) – to znamená pridelenie kódov / „označení“ každému získanému údaju, ktoré predstavujú určité kategórie dát, a tým umožňujú zorganizovať získaný materiál.

  • V prípade uzavretých otázok  majú kódy odpovedí numerickú formu (napr. „žena“ = 1, „muž“ = 2), čím môžete analyzovať údaje pomocou štatistických programov (alebo tabuľky). Najprv si vypracujete postup kódovania, ktorý obsahuje názvy kódov a čísla použité v dotazníku, aby ste identifikovali odpovede respondentov na dané otázky. Pri papierových formách prieskumov sa vyžaduje manuálne kódovanie – tu potrebujete označiť odpovede v dotazníku číslami, kódovať odpovede a zadať tieto údaje do databázy. Elektronické prieskumy sa kódujú automaticky.

 

  • V prípade otvorených otázok a iných kvalitatívnych dát majú kódy pre konkrétne odpovede verbálnu formu (napr. “školiaca organizácia”, “uskutočnenie školenia”). Kódy pre kvalitatívne údaje môžete navrhnúť pred alebo po oboznámení sa s celým materiálom. Prvá metóda sa nazýva kódovanie „zhora nadol“, založená na  dobrej znalosti skúmanej témy a / alebo jej základov v danej teórii. Druhá metóda predstavuje otvorené kódovanie (“zdola nahor”) a skladá sa z kategórií uvedených v zozbieranom materiáli (napr. vzťahujúcich sa na otázky zberu dát). V obidvoch prípadoch si musíte pripraviť schému kódovania, kde budú zoradené kódy (vytvorenie hierarchie kódov, nadradené / spoločné a podrobné kódy). Týmto spôsobom je možné prezentovať získané údaje konzistentne.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  

 

Tabuľka 4. Príklady kvalitatívneho kódovania

Hodnotenie školiacich modulov (kód):                                                                                                                                                                                                                                                                                                                                                          
Užitočnosť každého školenia (podkód) Prispôsobenie školenia požiadavkám jeho účastníkov,  prispôsobenie poskytnutých vedomostí úrovni ich kompetencií
Organizácia školenia (podkód) Trvanie (príliš dlho / príliš krátko), množstvo poskytnutých poznatkov (príliš málo / priveľa), hodnotenie formy vyučovania (lekcie, workshopy), pomer teórie a praxe, množstvo času venovaného diskusii a otázkam účastníkov vzdelávania.
Hodnotenie školiteľov (podkód) Spôsob prenosu vedomostí, použitie príkladov, povzbudenie účastníkov  klásť otázky, výmena skúseností medzi účastníkmi vzdelávania.

 

Údaje prislúchajúce daným kódom je následne možné zhrnúť do jednej tabuľky. Týmto spôsobom sa uľahčí vyhľadávanie podobných alebo rovnakých údajov o účastníkoch a zároveň získate údaje o ich odlišnosti. Tiež môžete pozorovať vzájomné spojitosti medzi vlastnosťami alebo situáciami a vyjadreniami účastníkov. 

 

Nástroj 7. Tabuľka pre zhrnutie dát od účastníkov školenia

Osoba 1 Osoba 2 Osoba 3
Údaje o účastníkovi (miesto výkonu práce, pracovná skúsenosť, účasť na iných školeniach na túto tému)
Primeranosť vzdelávania / školenia potrebám účastníka (téma, spôsob realizácie školenia, hodnotenie školiaceho materiálu, chýbajúce prvky, organizačné metódy)
Dopad a udržateľnosť účinkov vzdelania (užitočnosť získaných vedomostí a zručností, ich dopad na odborné postavenie a osobný rast účastníka)
Zhrnutie (silné a slabé stránky školenia, doplňujúce poznámky, odporúčania – čo a ako je možné zmeniť do budúcnosti)

 

 

3. Analýza a interpretácia získaných záverov (vysvetlenie a zhodnotenie danej témy / problému zo strany hodnotiteľa)                                                                                                                                                                                                                                                                                              

Analýza dát je dôležitým prvkom hodnotenia. Zo získaných materiálov môžete zhrnúť závery a nájsť spoločné alebo rozdielne znaky predmetu hodnotenia. Metódu analýzy dát odporúčame zvoliť a popísať vo fáze plánovania hodnotenia. Údaje získané počas hodnotenia je možné analyzovať viacerými spôsobmi. Metódy analýzy je možné najjednoduchšie rozdeliť na:

  • Analýzu kvantitatívnych dát (čísla, odpovede na uzavreté otázky) – pre jednoduché analýzy môžete použiť napríklad MS Excel, a pre zložitejšie analýzy štatistické programy, ako sú SPSS alebo Statistica. Prevádzkujú ich odborníci, ktorých služby môžete v prípade potreby využiť.
PRAKTICKÁ RADA

V prípade malej skupiny sa kvantitatívne údaje neuvádzajú v percentách, napr. pri informovaní o tom, že  z desaťčlennej skupiny  má daný názor 20% respondentov. Lepšie je použiť absolútne čísla a uviesť, že sa jedná o 2 ľudí. 

  • Analýzy kvalitatívnych dát (napr. textu, vyjadrení z interview) – pri jednoduchých analýzach stačí zahrnúť údaje do diagramu/ matice. V prípade zložitejšieho materiálu je vhodné použiť programy uľahčujúce analýzu, napr. QDA Miner, OpenCode, Weft QDA.                                                                                                                                                                                                                                                                               

 

Niektoré sú stručne uvedené nižšie: 

 

Tabuľka 5. Metódy analýzy kvantitatívnych dát                                                                                                                                                                                                                                                                                                                                                              

Analýza kvantitatívnych dát, ako sú náklady, frekvencia alebo fyzické vlastnosti.  Funkcie MS Excel 
Frekvenčné tabuľky:  usporiadanie hodnôt získaných dát vzostupne, spolu s príslušnými frekvenciami, čím sa dosiahne jasný obraz o danom údaji. POČETNOSŤ                                                                                                                                                                                                                                                                                                                                                                                                                         
Kontingenčné tabuľky: získanie dát o frekvencii dvoch premenných (napr. pohlavie a frekvencia školskej dochádzky) vyskytujúcich sa v rovnakom čase. Funkcie kontingenčných tabuliek                                                                                                                                                                                                                                        
Korelácia: štatistická technika na stanovenie intenzity vzájomnej súvislosti dvoch alebo viacerých premenných.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              CORREL
Merania strednej tendencie: súhrnné meranie, ktoré popisuje celý súbor dát prostredníctvom jednej hodnoty  zastupujúcej stred, alebo centrum (t.j. aritmetický priemer, medián, modus)                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    PRIEMER

MEDIÁNU

Merania rozptylu: súhrnné meranie, ktoré popisuje, ako sú hodnoty rozmiestnené okolo stredu (napr. štandardná odchýlka, rozptyl). STDEV

VAR

Vlastné vypracovanie vychádzalo z nasledovných dokumentov: Peersman, G. (2014). Overview: Data Collection and Analysis Methods in Impact Evaluation, Methodological Briefs: Impact Evaluation 10, UNICEF Office of Research, Florence.

 

Tabuľka 6. Možnosti analýzy kvalitatívnych dát

Analýza slovných vyjadrení (hovorených alebo písaných),vrátane rozhovorov, dokumentov a otvorených otázok v dotazníkoch.                                                                                                                                                                                                                                                                                                                                                                                                                                                 
Analýza obsahu: redukovanie veľkého množstva neštruktúrovaného textového obsahu na údaje, ktoré je možné analyzovať, a ktoré sa vzťahujú na zber dát / evaluačné otázky. 
Rozprávanie: vytvorenie súvislých príbehov týkajúcich sa zmien, ktoré nastali u jednotlivca, v komunite, mieste alebo v programe a politike.              
Časové línie: zoznam kľúčových udalostí zoradených chronologicky.                                                                                                                                                                                                                                                                                                                                                               
Tematické kódovanie: zvukové zaznamenávanie, alebo určovanie pasáží textu alebo obrázkov prepojených spoločnou témou alebo myšlienkou,  čím dosiahneme indexáciu textu do kategórií.            

 

Peersman, G. (2014). Overview: Data Collection and Analysis Methods in Impact Evaluation, Methodological Briefs: Impact Evaluation 10, UNICEF Office of Research, Florence.

 

DÔLEŽITÉ

Pri analyzovaní dát je veľmi dôležité určiť, aké zmeny nastali v dôsledku projektu a akú úlohu pri nich zohrali príslušné aktivity. Preto je potrebné zodpovedať na otázku, do akej miery mali projektové aktivity dopad na dosiahnutie predpokladaných merateľných ukazovateľov, a akú úlohu zohrávali projektové aktivity popri iných faktoroch majúcich vplyv na predpokladané zmeny (pozri kapitolu 2.5).

 

Pri analyzovaní dát odporúčame tiež vrátiť sa k teórii zmeny popísanej v predchádzajúcich častiach, ktorá je súčasťou popisu projektovej logiky. Pri plánovaní zmeny na začiatku projektu ste si robili odhady podmienok, ktoré musíte splniť (požadované zdroje, implementované činnosti), aby sa dosiahli dané výsledky, t.j. navrhovali ste sled príčin a dôsledkov. Výsledky hodnotenia overujú našu teóriu zmeny – buď ju potvrdí, alebo ukáže určité medzery (napr. chýbajúce / zbytočné prvky) a odporučí zlepšenia do budúcnosti. 

Pre vyvodenie príčinnej súvislosti existujú tri základné stratégie. Kombináciou týchto stratégií môžete zvýšiť dôveryhodnosť zistených záverov:

 

Tabuľka 7. Analýza dát – prístupy pre určenie príčinnej súvislosti s rôznymi možnosťami

Porovnávací prístup Vytvorenie predpokladu o tom, čo by sa stalo v prípade, že by daný program alebo politika neboli realizované; v tomto prípade je vhodné použitie experimentálnych a kvázi experimentálnych metód (tiež kontrolnej alebo porovnávacej skupiny), alebo metódy modelovania.                                                                                                                                                                                                                                                                                        
Konzistentnosť  dôkazov s príčinnou súvislosťou Určenie faktorov, ktoré budú v súlade s príčinnou súvislosťou, a následné hľadanie potvrdzujúceho a nepotvrdzujúceho dôkazu. Okrem iného sem patrí:                                                                                                                                                                                                                                                      

  • dosiahnutie okamžitých výsledkov,
  • overenie výsledkov s odhadmi odborníkov,
  • overenie času dopadu,
  • porovnávacie prípadové štúdie,
  • overenie súladu s existujúcou literatúrou,
  • Pozorovanie procesu (vytvorenie alternatívnych hypotéz a ich kontrola),
  • kvalitatívna porovnávacia analýza.
Vylúčenie možností Určenie možných alternatívnych príčinných vysvetlení a následné hľadanie informácií o tom, či je možné ich vylúčiť. Možnosti zahŕňajú:

  • Pozorovanie procesu,
  • Vylúčenie alternatívnych vysvetlení, 
  • Modelovanie,
  • Určenie pravdepodobných vysvetlení, ich overenie a možné vylúčenie.

 

Vlastné vypracovanie vychádzalo z nasledovného: Rogers, P. (2014). Overview: Strategies for Causal Attribution, Methodological Briefs: Impact Evaluation 6, UNICEF Office of Research, Florence.

VI. REPORTING 

 

VI. REPORTING

 

6.1. Ako môžeme použiť výsledky analýzy dát? 

Po ukončení fázy analyzovania  kvalitatívnych a kvantitatívnych dát máte k dispozícii množstvo informácií, ktoré sa musia správne a rozumne využiť. Tieto dáta sa pretransformujú do vedomostí, ktoré vám umožnia robiť presné rozhodnutia týkajúce sa zlepšenia projektu  (napr. ako ho lepšie prispôsobiť požiadavkám jeho príjemcov, ako dosiahnuť podobné účinky s použitím menších zdrojov, ako dosiahnuť väčší dopad a udržateľnosť výsledkov).

Na základe výsledkov analýzy je možné vyvodiť závery,  ktoré sa týkajú javovo alebo problémov zistených počas hodnotenia. Tieto závery súvisia predovšetkým s témami, ktoré sú predmetom evaluačných otázok, ale môžu zahŕňať aj témy, ktoré boli dodatočne zistené počas zberu dát. 

V evaluačnej správe je preto potrebné uviesť nielen zistenia z hodnotenia zberu dát, ale aj ich výklad (t.j. súvislosť a prepojenie na rozsiahlejšie znalosti o skúmanej téme). Zároveň evaluačná správa obsahuje závery vyvodené zo získaných dát a príslušné odporúčania. Vyššie uvedená schéma prezentuje vzťah medzi týmito prvkami. Pri spracovaní zistení, interpretácie, záverov a odporúčaní je možné využiť otázky (v schéme nižšie sú uvádzané kurzívou). 

Nižšie uvádzame príklad procesu formulovania záverov a odporúčaní pre vzdelávací projekt zameraný na NEET (zistenia odkazujú na kvantitatívnu časť zberu dát).

 

Nástroj 8. Príklad vzťahu medzi evaluačnými zisteniami, ich výkladom, závermi a odporúčaniami

ZISTENIA

 

  • Odborné vzdelávanie vhodne reagovalo na potreby 71% účastníkov
  • Vzdelávanie zamerané na rozvoj mäkkých zručností bolo užitočné pre  63% účastníkov.
  • 85% účastníkov bez zamestnania po dobu od 6 do 12 mesiacov má záujem zúčastniť sa odborného vzdelávania týkajúceho sa rozvoja  64 % účastníkov rozvoja mäkkých zručností.
  • 26% účastníkov bez zamestnania po dobu od 6 do 12 mesiacov a 9% dlhodobo nezamestnaných (t.j. 3 – 5 rokov) prejavilo ochotu zúčastniť sa na vyššie uvedenom vzdelávaní.
INTERPRETÁCIA ZISTENÍ
  • Štúdia zameraná na požiadavky cieľovej skupiny umožnila prispôsobiť ponuku vzdelania očakávaniam tejto skupiny.
  • Dlhšie obdobie nezamestnanosti znižuje motiváciu príjemcov projektu na ich účasť na aktivačnom vzdelávaní. Je to v dôsledku nedostatku viery v možnosť nájsť si prácu, ktorá sa časom zvyšuje.
ZÁVERY
  • Obidve formy podpory vzdelania zamerané na odbornú aktiváciu nezamestnaných boli užitočné a primerané potrebám väčšiny príjemcov.
  • Osoby, ktoré boli nezamestnané kratšie, mali väčší záujem o účasť na aktivačnom vzdelávaní ako dlhodobejšie nezamestnaní.
ODPORÚČANIA 
  • Zvýšenie vhodných foriem podpory ponúkaných v projekte k požiadavkám dlhodobo nezamestnaných príjemcov, napríklad formou hĺbkových štúdií zameraných na očakávania tejto skupiny, ponukou odborného poradenstva, stáže a individuálnou podporou školiteľa pre prácu, ako aj okamžitým kontaktovaním s ľuďmi, ktorí si našli prácu po dlhej dobe.
  • Zvýšenie úrovne využiteľnosti realizovaného vzdelávania vďaka zmenám v programoch, v trvaní a metódach realizácie pri zohľadnení konkrétnych… (konkrétne úpravy sa navrhnú v tých oblastiach, ktoré napríklad uvedú príjemcovia).

 

Nezabudnite zohľadniť rôzne aspekty týkajúce sa hodnotenia a analýzy, napr. použité metódy (kvalitatívne, kvantitatívne), metódy výberu vzorky a stupeň odozvy (úroveň návratnosti dotazníkov), čo môže viesť k určitým obmedzeniam pri formulovaní záverov.

 

PRAVIDLÁ PRE FORMULOVANIE ZÁVEROV:

  • Pracujte so závermi kriticky, pozrite sa na ne s odstupom a neustále hľadajte alternatívne vysvetlenia pre zistené javy. Vždy je vhodné poradiť sa s niekým iným, najlepšie so skúsenejšou osobou (“kritický kamarát”) ktorá, vďaka tomu, že nie je zapojená do hodnotenia, sa na závery pozrie “sviežim pohľadom”.
  • Ubezpečte sa, že správne interpretujete vyjadrenia účastníkov, napr. spoločnou konfrontáciou záverov. Ak si nie úplne istí daným záverom, zjemnite ho použitím slov „pravdepodobne„, „možno“ a pod.
  • Závery nezovšeobecňujte na celú populáciu (napr. na ľudí, ktorí sa nezúčastnili zberu dát), ak ste použili kvalitatívne metódy, alebo ak skúmaná vzorka nebola vybraná náhodne.

 

AKO FORMULOVAŤ ODPORÚČANIA?

  • Tematicky ich zoskupte (napr. riadenie projektu, spolupráca s partnermi, implementované činnosti, účinky projektu).
  • Prepojte ich so silnými a slabými stránkami predmetu hodnotenia. Nezameriavajte sa len na negatíva  – poukážte aj na tie oblasti, ktoré dobre fungujú a nevyžadujú si žiadne zmeny. Ak sa naopak sústredíte len na pozitívne stránky, znížite tým dôveryhodnosť hodnotenia.
  • Ubezpečte sa, že odporúčania sú podrobné, precízne a realistické (možné na implementáciu), takže sú aj praktické, presné a užitočné.
  • Ku každému odporúčaniu priraďte: príjemcu (s ktorým sa vopred dohodnete), časový termín a stupeň významnosti, čím zvýšite šance na jeho implementáciu.

Zábery a odporúčania môžete prezentovať v stručnej tabuľke ako zhrnutie správy, alebo ako samostatný „finálny produkt“ hodnotenia. Nižšie uvádzame príklad tabuľky s odporúčaniami, ktorá sa týka hodnotenia vzdelávacieho projektu:

 

Nástroj 9A. Príklad tabuľky s odporúčaniami

Problémová oblasť: Organizácia vzdelávania
Problém / jav Lekcie trvajú do 20.00 hod.                                                                                                                                                                                                                                                                                                                                         
Príčina Organizátori chcú uskutočniť  školenie v  jeden deň, aby ušetrili peniaze za prenájom miestnosti.
 Dôsledok Účastníci sú na konci školenia unavení; tak neskoro nedokážu absorbovať vedomosti.
Dôležitosť Nízka Stredná Kľúčová
Odporúčania Začnite a skončite školenie skôr (najneskôr o 18.00 hod. ) alebo ho rozdeľte na dva dni. 
Výhody Lepšie nadobudnutie znalostí účastníkmi, ako aj väčšia spokojnosť s účasťou na školení.
Príjemca odporúčaní Organizátor školenia (uveďte subjekt)
Termín Okamžite (ak je to možné, uveďte konkrétny dátum)

V zjednodušenej verzii môže tabuľka so závermi a odporúčaniami vyzerať aj takto:

Nástroj 9B. Zjednodušená verzia tabuľky s odporúčaniami

Problém Záver Odporúčanie Očakávaný výstup alebo implementácia Príjemca odporúčaní Termín

 

6.2. Aké sú charakteristické znaky dobrej správy?

Správa je finalizáciou procesu hodnotenia. Prezentuje koncept, priebeh zberu dát a jeho závery, ako aj súvisiace odporúčania.

Počas procesu hodnotenia môžete napísať rôzne typy správ, napr.:

 

Tabuľka 8. Typy správ

Úvodná správa – (metodická) – podrobne popisuje koncept hodnotenia (prijatá pred zahájením zberu dát) Záverečná – prezentuje koncept hodnotenia, jeho zistenia, ako aj závery a odporúčania (prijaté po ukončení zberu dát a analýzy zistení)
Čiastková – zahŕňa niektoré časti prebiehajúceho hodnotenia (napr. ukončené projektové úlohy) Súhrnná – zahŕňa celý rozsah prebiehajúceho hodnotenia
Periodická – vypracovaná ako súčasť prebiehajúceho hodnotenia (napr. každé 3 až 6 mesiacov) Ročná, polročná, štvrťročná – vyhotovuje sa ako súčasť prebiehajúceho hodnotenia (správa z tohto hodnotenia nemusí zahŕňať dané časové obdobie, napr. následné projektové úlohy)
V pracovnej verzii – prvá verzia správy sa zašle záujmovým skupinám na opravy a poznámky Vo finálnej verzii – ďalšia opravená verzia je zvyčajne finálna 

 

Záverečnú správu môžete vyhotoviť v rôznych formách, ktorú – takisto ako v nej uvádzaný obsah – prispôsobíte požiadavkám jednotlivých skupín príjemcov (hodnotených záujmových skupín). Príklady spôsobov prezentovania a podpory záverov hodnotenia zahŕňajú:

    • Záverečnú správu  v elektronickej verzii (papierová verzia je menej častá) zaslanú záujmovým skupinám a / alebo zverejnenú na internete (napr. na internetovej stránke projektu alebo subjektu objednávajúceho si hodnotenie),
    • Zhrnutia správ vo forme informačných letákov / brožúr, ktoré obsahujú kľúčové závery a odporúčania,
    • Multimediálnu prezentáciu  počas konferencií a stretnutí, napr. so záujmovými skupinami, partnermi,
    • Infografiku na internetovej stránke projektu, sociálnych sieťach a zaslanú na sociálne siete,
    • Výtlačky plagátov prezentované pri rôznych udalostiach, napr. na konferenciách, piknikoch,
    • Filmy (video prezentácie) adresované veľkému publiku (vrátane rozptýleného) a zverejnené na internete,
    • Následnú činnosť – prezentáciu o dopadoch implementovania odporúčaní.

Správa vo verzii rozšíreného textového dokumentu môže mať nasledovnú štruktúru:

    • Úvodná strana – názov zmluvnej inštitúcie, názov inštitúcie realizujúcej hodnotenie (ak bolo hodnotenie externé), dátum vyhotovenia, autori, názov (napr. ex post hodnotenie projektu X),
    • Zhrnutie – hlavné prvky evaluačného konceptu, kľúčové zistenia, závery a odporúčania (potrebné pre rozsiahle správy),
    • Obsah – umožní automatický prístup na príslušnú stranu správy,
    • Zoznam skratiek (a prípadné definície odborných pojmov),
    • Úvod – informácie o realizujúcej inštitúcii,  typ a dátum ukončenia hodnotenia, názov hodnoteného projektu, zdroje jeho financovania a organizáciu, ktoré ho implementuje
    • Predmet a rozsah hodnotenia – stručný popis hodnoteného projektu a jeho častí, ktoré boli súčasťou hodnotenia,
    • Ciele hodnotenia – vysvetlenie, prečo sa hodnotenie realizovalo a čo sa od neho očakávalo,
    • Evaluačné kritériá a otázky – údaj o tom, akým spôsobom bola stanovená hodnota predmetu hodnotenia / čo sme sa počas hodnotenia mali naučiť,
    • Metodológia – popis použitých zdrojov údajov a metód zberu dát, metódy výberu vzorky,  priebeh zberu dát, úrovne odozvy (aké percento respondentov sa zúčastnilo zberu dát). Tiež je vhodné uviesť problémy, ktoré vznikli počas implementácie zberu dát, ako aj dopady ich riešení,
    • Popis evaluačných zistení – popis kvalitatívnych a kvantitatívnych záverov zistených počas zberu dát, spolu s ich výkladom na základe prijatej formy  prezentácie (napr. v súlade s evaluačnými kritériami / otázkami). Konfrontujú sa zistenia z rôznych zdrojov získané prostredníctvom rôznych metód (trianguláciou). Každá kapitola môže uvádzať čiastkové zhrnutia,
    • Závery a odporúčania – stručná, ale podstatná odpoveď na evaluačné otázky. Závery musia vychádzať zo zistení štúdie, na ktoré sa musia úzko vzťahovať odporúčania,
    • Prílohy (voliteľné) – napr. použité nástroje na zber dát, tabuľkové zhrnutia, prípadové štúdie, atď.

Je dobré vedieť, že bez ohľadu na formu správy potrebujete súhlas hodnotiteľa v prípade akýchkoľvek zmien v tomto dokumente, ako pri externom, tak aj pri internom hodnotení. 

Dobrá evaluačná správa  spĺňa nasledovné podmienky:

  • je v súlade s podmienkami zmluvy a požiadavkami príjemcov, je napísaná v jazyku, ktorému rozumejú,
  • obsahuje zoznam použitých skratiek (a prípadné definície kľúčových pojmov napr. v prípade, ak správu prezentujete širokej verejnosti, ktorá tieto pojmy neovláda),
  • jasnú a zrozumiteľnú štruktúru,
  • stručnú formu a zároveň komplexne zodpovedané evaluačné otázky (bez takzvaného  „váhania“),
  • je založená na dôveryhodných a spoľahlivých zisteniach, ktoré boli dôkladne analyzované,
  • prezentuje nielen získané zistenia, ale tiež ich interpretáciu; zároveň uvádza vzťah medzi dátami a závermi,
  • obsahuje odôvodnené závery a užitočné súvisiace odporúčania, 
  • obsahuje grafické prvky (tabuľky, grafy, schémy) a citáty vyjadrení respondentov, vďaka ktorým sa príjem obsahu správy stáva pútavejším.

Prostredníctvom nasledujúcej tabuľky si môžete overiť kvalitu evaluačnej správy. Obsahuje podrobné kritériá na posúdenie. Môžete si zvoliť stupnicu (číselnú alebo slovnú) a zhodnotiť svoju, alebo zadanú správu. 

 

Nástroj 10. Tabuľka pre zhodnotenie kvality správy

KRITÉRIÁ HODNOTENIA KVALITY SPRÁVY  Na základe nasledovných kritérií je správa:
xxx xxx xxx xxx xxx
1. Vhodný obsah a splnenie požiadaviek na údaje:

– spĺňa správa požiadavky zmluvy? (ak relevantné)

– poskytuje správa komplexné odpovede na skúmané otázky?

– zaoberala sa správa metodickými otázkami podrobne?

– obsahuje správa závery a odporúčania?

2. Jasnosť, zrozumiteľnosť:

– je jazyk správy prispôsobený požiadavkám príjemcov?

3. Metodická vhodnosť:

– je testovacia metóda vhodná?

– mohli ste vďaka použitým metódam získať údaje a odpovede na evaluačné otázky?

4. Spoľahlivosť dát

– bol zber dát realizovaný vhodným spôsobom?

– bola zaručená spoľahlivosť zberu dát?

5. Správna analýza dát:

– bola analýza kvalitatívnych dát realizovaná správne?

– bola analýza kvalitatívnych dát realizovaná správne?

– boli závery správne interpretované?

– umožňujú zistené závery odpovedať na evaluačné otázky?

6. Spoľahlivé a objektívne závery:

– obsahuje správa logické a opodstatnené závery vyplývajúce z analýzy dát?

– sú použitia nestranné a bez vplyvu zapojených strán /  zainteresovaných strán?

7. Užitočné odporúčania:

– sú odporúčania použiteľné, opodstatnené a podrobné?

– obsahujú odporúčania adresáta a dátum implementácie?

– boli odporúčania odsúhlasené s adresátmi?

                                                                                                                                                   
8. Kvalita a veľkosť príloh:

– sú všetky potrebné doplnkové údaje zahrnuté v prílohách?

-obsahujú prílohy údaje, ktoré by sa mali zahrnúť do hlavnej časti správy?

9. Iné, čo?
Na základe daných nedostatkov hodnotenia (napr.………………..), sa hodnotiaca správa posudzuje ako: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

 

6.3. Ako splniť požiadavky príjemcov hodnotenia

Možnosť použiť závery hodnotenia závisí od typu, t.j. fázy životného cyklu projektu, v ktorom prebieha hodnotenie. 

Najväčšie šance na zavedenie zmeny poskytuje  hodnotenie ex ante, ktoré sa realizuje v čase, kedy hodnotený subjekt / projekt ešte nebol zahájený.  

V prípade priebežného hodnotenia je len málo príležitostí na využitie odporúčaní pre zavedenie konkrétnych zmien. Projekt totiž prebieha a jednotlivé činnosti sa postupne implementujú. Niektoré prvky sa aj napriek tomu stále dajú upraviť. Napríklad lepším prispôsobením prebiehajúcich činností potrebám príjemcov, zabezpečením dosiahnutia plánovaných ukazovateľov na predpokladanej úrovni, alebo ich prispôsobením k zmeneným podmienkam implementácie projektu. 

Závery z hodnotenia ex post  môžu napomôcť pri plánovaní budúcich (rovnakých alebo podobných) projektov, pretože hodnotený projekt bol už ukončený.  

Ak sa závery z hodnotenia týkajú organizačných otázok, alebo otázok riadenia, môžete ich využiť pri aktuálnej práci. 

Šírenie zistení z hodnotenia (najčastejšie formou záverov a odporúčaní) medzi zainteresovanými skupinami predstavuje veľmi dôležitú fázu. Prispieva k lepšiemu porozumeniu požiadaviek na zmenu, posilneniu spolupráce, záväzku a motivácii konať, ako aj k získaniu podpory v tomto procese. 

Zdieľanie záverov z hodnotenia s inými ľuďmi / subjektmi môže preukazovať Vašu schopnosť vyjadriť hodnotu a kvalitu Vašich činností. Je znakom toho, že ste pripravený /-á zapájať sa do diskusií o rôznych aspektoch predmetu hodnotenia, Vašej schopnosti zhodnotiť silné a slabé stránky, ako aj túžby rozvíjať a zlepšovať  spoluprácu s inými záujmovými skupinami.

 

Nástroj 11. Šírenie záverov z hodnotenia – tabuľka

PRÍJEMCOVIA VÝSLEDKOV

Komu adresujete údaje?

FORMA ÚDAJOV

V akej forme sa budú prezentovať?

ÚČEL 

Prečo chcete informovať príjemcov?

VYJADRENIE / OBSAH 

Čo máte záujem komunikovať? O čom chcete informovať príjemcov?

TERMÍN

Kedy budete informovať príjemcov? 

Našej organizácii Textový dokument Zavedenie zmien na zlepšenie projektu Zistené ťažkosti a príležitosti na zlepšenie, zavedenie nevyhnutných zmien v nasledujúcej verzii projektu Na pravidelnej báze a pri zhrnutí projektu
Záujmovej skupine / partnerovi Multimediálna prezentácia Zlepšenie spolupráce pri implementácii projektu Priebeh procesu implementácie projektu, zistené problémy, príležitosti na zlepšenie Opakovane a na konci projektu
Iným príjemcom, napr. miestnej komunite Infografika Zvýšenie podpory verejnosti pri projekte Stupeň dosiahnutia plánovaných výsledkov, prispôsobenie projektu požiadavkám príjemcov, jeho užitočnosť Na konci projektu

ZÁVEROM

 

ZÁVEROM

 

Ak čítate tieto riadky, pravdepodobne ste si prečítali celý obsah a dozvedeli sa, prečo a ako môžete hodnotiť svoje projekty, a to predovšetkým tie, ktoré sú zamerané na zamestnanosť mladých ľudí. Zároveň ste sa mohli dozvedieť, či je pre Vás zaujímavé hodnotenie ich skutočného (čistého) dopadu. 

Vďaka využitiu participatívneho prístupu k hodnoteniu môžete získať informácie, ktoré sú užitočné pre ďalšie kľúčové rozhodovania o vašich projektoch a / alebo programoch. Zároveň poskytuje informácie dôležité pre záujmové skupiny, predovšetkým donorov a financujúce inštitúcie. Taktiež hlavné cieľové skupiny projektov / programov môžu benefitovať vďaka lepšiemu budovaniu kompetencií. Samotný projektový tím získava lepšie informácie, vďaka ktorým môže zlepšiť koordináciu a motiváciu v tíme. Vo výsledku napokon dospejete k relevantnejšiemu, efektívnejšiemu, udržateľnejšiemu, jednoducho k lepšiemu projektu!

Pre zjednodušenie prípravy hodnotenia môžete použiť šablóny hodnotiacich nástrojov – pozri prílohy. Ak máte záujem prehĺbiť svoje znalosti z hodnotenia, môžete absolvovať náš on-line kurz, alebo sa oboznámte s činnosťami na stránke projektu Youth Impact project – všetky sú dostupné na internetovej stránke www.youth-impact.eu.

 

Dozvedieť sa viac

Zaujímavé zdroje, kde sa môžete dozvedieť viac o hodnotení, sú k dispozícii online:

REFERENCIE

 

REFERENCIE

 

  • Babbie E. (1st edition in 1975). The Practice of Social Research.
  • Babbie E. (1st edition in 1999). The Basics of Social Research.
  • Bartosiewicz-Niziołek M., Marcinkowska-Bachlińska M., et al (2014). Zaproszenie do ewaluacji, zaproszenie do rozwoju, KOWEZiU, Warszawa (s.69-85)
  • Bartosiewicz-Niziołek M. (2012). Ewaluacja programów i przedsięwzięć społecznych – katalog dobrych praktyk , ROPS, Kraków
  • Bienias S., Gapski T., Jąkalski J. (2012). Ewaluacja. Poradnik dla pracowników administracji publicznej,Ministerstwo Rozwoju Regionalnego, Warszawa
  • Blalock H. (1st edition in 1960). Social Statistics.
  • Checkoway, B., Richards-Schuster, K. Participatory evaluation with young people, W.G. Kellogg Foundation
  • Ferguson G. A., Takane Y. (1st edition in 1971). Statistical analysis in psychology and education.
  • Flick, U. (1st edition in 2007). Designing Qualitative Research.
  • Flick, U. (1st edition in 2007). Managing the Quality of Qualitative Research.
  • Gibbs, Graham R. (2009). Analyzing Qualitative Data.
  • Kloosterman, P., Giebel, K., Senyuva, O., (2007). T-Kit 10: Educational Evaluation in Youth Work, Council of Europe Publishing
  • Kvale S. (2007). Doing Interviews.
  • Lisowski G., Haman J., Jasiński, M (2008). Podstawy statystyki dla socjologów, Warszawa
  • Maziarz M., Piekot T., Poprawa M., i inni (2012). Jak napisać raport ewaluacyjny, Ministerstwo rozwoju Regionalnego, Warszawa
  • Maziarz M., Piekot T., Poprawa M., i inni (2012). Język raportów ewaluacyjnych. Ministerstwo rozwoju Regionalnego, Warszawa
  • Miles, M. B., Huberman, A. M. (1st edition in 1983). Qualitative Data Analysis.
  • Nikodemska-Wołowik A., M. (1999). Jakościowe badania marketingowe, Polskie Wydawnictwo Ekonomiczne, Warszawa
  • Peersman, G. (2014). Overview: Data Collection and Analysis Methods in Impact Evaluation, Methodological Briefs: Impact Evaluation 10, UNICEF Office of Research, Florence.
  • Rapley T. (2007). Doing Conversation, Discourse and Document Analysis.
  • Rogers, P. (2014). Overview: Strategies for Causal Attribution, Methodological Briefs: Impact Evaluation 6, UNICEF Office of Research, Florence.
  • Silverman, D. (1st edition 1993). Interpreting Qualitative Data.
  • Wieczorkowska G., Kochański, P., Eljaszuk, M. (2005). Statystyka. Wprowadzenie do analizy danych sondażowych i eksperymentalnych, Wyd. Naukowe Scholar, Warszawa
  • W.K. Kellogg Foundation (2004). Logic Model



Empty tab. Edit page to add content here.

Empty tab. Edit page to add content here.