PRÍRUČKA PRE HODNOTENIE PROJEKTOV NA PODPORU

ZAMESTNÁVANIA MLADÝCH

Váš prostriedok pre zlepšenie projektov na podporu zamestnávania mladých

 

PRÍRUČKA – PDF

PRÍRUČKA – LISTOVAČKA

 

ÚVOD

 

 

 

II. PRÍPRAVA NA HODNOTENIE

 

 

 

Vyššie uvedené tabuľkové spracovanie projektovej logiky uvádza spôsoby, akými môžeme zobraziť úroveň dosiahnutých účinkov (výstupy, výsledky, dopad). Tento cieľ dosiahneme stanovením ukazovateľov, pomocou ktorých môžeme merať progres projektu. Ukazovateľ je pozorovateľný atribút (vlastnosť), ktorým dokážeme merať vybraný jav. Každý ukazovateľ má mierku (kvalitatívnu alebo kvantitatívnu), ktorá uvádza stupeň / intenzitu výskytu tohto javu. Aby sme mohli zmerať zmenu, ktorá nastane v dôsledku implementácie projektu, musíme si stanoviť hodnoty (úroveň) daného ukazovateľa na začiatku, ako aj na konci projektu, t.j. východiskovú a koncovú hodnotu. Tiež je dobré poznať minimálnu požadovanú hodnotu ukazovateľa koncového výstupu, ak sa táto hodnota určila na začiatku projektu. Viac informácií o ukazovateľoch nájdete v online kurze (Modul 3).

 

Nástroj 2: Tabuľka ukazovateľov dopadu projektu

 

Viac príkladov cieľových ukazovateľov v projektoch zamestnanosti mladých ľudí je možné nájsť v príručke Guide on Measuring Decent Jobs for Youth. Monitoring, evaluation and learning in labour market programmes, NOTE 3. ESTABLISHING A MONITORING SYSTEM, s.6-9

 

2.2. Kedy je vhodné začať s vytváraním evaluačného konceptu a plánu?

Koncept hodnotenia je vhodné vytvoriť pred spustením projektu, alebo ešte počas jeho plánovania z nasledovných dôvodov:

• z dôvodu hlbšieho zváženia logiky a súvislostí projektových činností, ich prevedenia do projektových cieľov, ako aj faktorov uľahčujúcich a sťažujúcich ich dosiahnutie;
• plánovania zberu dát, ktoré vám umožnia odpovedať na evaluačné otázky, vopred. Bez toho nebude možné spoľahlivo preukázať dosiahnutú zmenu, t.j. nárast kompetencií, ktorý by mal nastať ako dôsledok školenia);
• zistenia potrebných zdrojov na realizáciu hodnotenia a určenie harmonogramu projektových činností. Tieto umožnia zozbierať príslušných dáta, analyzovať ich a zostaviť správu;
• plánovania čo najefektívnejšieho zberu dát (najlacnejšieho, najrýchlejšieho, najjednoduchšieho) počas alebo po implementácii projektových činností.

Nezabudnite, že hodnotenie je viacstupňovým procesom. Je potrebné ho dobre navrhnúť a naplánovať a následne krok po kroku implementovať.

Fázy hodnotiaceho procesu

1. Zistenie požiadaviek na hodnotenie
2. Koncepcia a plánovanie
3. Zber dát – implementácia zberu dát
4. Analýza dát a úsudok
5. Vyhotovenie správ
6. Použitie výsledkov hodnotenia – implementácia odporúčaní

2.3. Ako určiť požiadavky zainteresovaných strán projektu na hodnotenie dopadu projektu?

Koncepciu a plánovanie hodnotenia nerealizujte bez toho, aby ste neidentifikovali subjekt, ktorý požaduje údaje, závery a odporúčania hodnotenia, ako aj účel na ktorý výsledky hodnotenia budú použité.Pred začatím prípravy hodnotenia je vhodné zistiť požiadavky zainteresovaných skupín na hodnotenie projektu.

Zainteresované strany projektu sú osoby / subjekty (inštitúcie, organizácie), ktoré sú zapojené do implementácie daného projektu rôznymi spôsobmi, napr. jeho príjemcovia, projektový tím, personál implementujúci projektové činnosti (napr. školitelia, psychológovia, kariérni poradcovia), projektoví partneri (spolupracujúce organizácie alebo inštitúcie), sponzori / financujúce organizácie atď.

Účasť zainteresovaných strán na hodnotení je veľmi dôležitá, pretože sa jedná o potenciálnych spojencov hodnotiteľa. Môžu podporiť celý hodnotiaci proces, vrátane implementácie odporúčaní, ktoré prispejú k zlepšeniu projektu. Vďaka zapojeniu rôznych záujmových skupín do procesu hodnotenia je možné nielen zlepšiť komunikáciu a spoluprácu s partnermi, príjemcami a projektovými pracovníkmi, ale aj presvedčiť financujúce organizácie, aby investovali do aktuálne implementovaného projektu, alebo jeho ďalšej verzie. Ak majú zainteresované strany záujem na hodnotení projektu, potom bude oveľa ľahšie uskutočniť hodnotenie participatívnym spôsobom – zapojením záujmových skupín do celého procesu hodnotenia, kde sa na začiatku zistia požiadavky na hodnotenie.

Najlepším spôsobom zistenia požiadaviek na hodnotenie a pri zaistení vysokej úrovne účasti zainteresovaných strán je uskutočniť workshop / skupinové interview so zástupcami všetkých subjektov (organizácie, inštitúcie) a skupinami osôb zapojených do projektu.

Ak sú príjemcami projektu mladí ľudia (napr. NEET), alebo iná skupina, ktorá môže mať obavy vyjadriť svoje názory verejne, odporúča sa najprv zorganizovať samostatné stretnutie s týmito príjemcami. Následne budú pozvaní ich zástupcovia na účasť na workshope s ostatnými zainteresovanými stranami. Tento typ workshopu s mladými ľuďmi alebo inými príjemcami projektu s relatívne slabým spoločenským postavením musí byť založený na hodnotách posilňujúcich subjektivitu príjemcov projektu (pozri príklad Participatory evaluation with young people, s. 7-8).

 

PRÍKLAD WORKSHOPU SO ZAPOJENÍM ZAINTERESOVANÝCH STRÁN

Stretnutie so zainteresovanými stranami by malo začať diskusiou o zámere a predstavením všetkých zúčastnených. Následne je vhodné uviesť výhody hodnotenia projektu (pozri s. 8-9) a rozprávať sa o jeho prospešnosti pre jednotlivé zainteresované strany. Po tomto úvode môžete rozdať účastníkom workshopu malé lístky a požiadať ich o zodpovedanie nasledovných otázok: Čo sa chcem z tohto hodnotenia dozvedieť? Prečo je dôležité o tom vedieť? Na aký účel chcem použiť tieto vedomosti? (týmto spôsobom stanovíte CIELE HODNOTENIA). Zozbierané lístky usporiadajte do skupín (napríklad na tabuľu) tak, aby boli rovnaké oblasti a súvisiace prvky projektu vedľa seba. Zistené témy môžete usporiadať do skupín podľa nasledovných oblastí: Činnosti, napr. nábor príjemcov projektu, zistenie ich požiadaviek, psychologické poradenstvo, realizovanie školení, kariérne poradenstvo, organizovanie stáže, podporné a informačné činnosti, Výstupy, napr. individuálne akčné plány, životopisy a motivačné listy vytvorené počas projektových cvičení, osvedčenia o absolvovaní školení a stáží, prezenčné listiny, programy školení, správy školiteľov, školiace materiály, propagačné materiály, Výsledky, napr. nárast kompetencií mäkkých (spoločenských zručností) a tvrdých (odborných zručností), zmena v prístupe / postoji účastníkov projektu, zvýšenie motivácie na hľadanie si práce, nájdenie vhodnej práce, udržanie zamestnania, sociálna aktivácia, Ciele, napr. dlhodobé vplyvy projektu / cieľový stav, Iné záležitosti, napr. komunikácia s príjemcami projektu, projektovým manažmentom Diskutujte o zvolených záležitostiach / prvkoch projektu so zainteresovanými skupinami, spoločne zvážte, ktoré z nich sú najdôležitejšie. Na záver by ste nemali mať viac ako päť tém [týmto spôsobom sa prvotne určí predmet hodnotenia]. Následne diskutujte o každej prioritnej záležitosti zvolenej pre hodnotenie podľa nasledovných bodov (pre zjednodušenie napíšte závery na tabuľu): V akom zmysle je potrebné zaoberať sa danou záležitosťou? (tu zvolíte evaluačné kritériá) napríklad: primeranosť potrebám príjemcov / miestnej komunity / pracovného trhu (zamestnávatelia), efektívnosť – dosiahnutie plánovaných vplyvov (ciele, výstupy a výsledky), využitie dosiahnutých výsledkov pre rôzne cieľové skupiny projektu (napr. NEET, zamestnávatelia), účinnosť -pomer vstupov (zdrojov) k dosiahnutým dopadom / účinkom projektu, udržateľnosť výsledkov dosiahnutých po ukončení projektu, dopad – ako projekt ovplyvnil príjemcov a ich sociálne prostredie / komunity. Na aké otázky (pri zvážení vyššie uvedených kritérií) by malo dať hodnotenie odpoveď? Výsledkom by malo byť sformulovanie minimálne jednej otázky (týmto spôsobom stanovíte evaluačné otázky) Aký druh dát / informácií je potrebných na zodpovedanie každej z daných otázok?[týmto spôsobom stanovíte rozsah požadovaných dát] Odkiaľ a ako je možné získať dané údaje / informácie? [týmto spôsobom stanovíte zdroje dát a metódy zberu dát] Ako môžu zainteresované skupiny pomôcť pri hodnotiacom procese? (napr. pomocou pri získavaní dát / informácií, priamou účasťou na zbere dát, konzultáciami záverov z hodnotenia a ich šírením) [týmto spôsobom mobilizujete ich podporu pre hodnotenie] Na záver je vhodné zistiť, v akej forme majú zainteresované skupiny záujem obdržať závery z hodnotenia. Majú zainteresované skupiny záujem o výsledky vo forme správy (napr. ako rozsiahly textový dokument), multimediálnej prezentácii, infografike, aké podrobné závery chcú mať konkrétne zainteresované skupiny prezentované?

 

Informácie získané počas workshopu za účasti zainteresovaných skupín sa využijú na prípravu konceptu a plánu hodnotenia (pozri kapitolu 2.4). Preto je vhodné zosumarizovať kľúčové zistenia týkajúce sa požiadaviek zainteresovaných skupín do nasledovných dvoch tabuliek nižšie.

Nástroj 3: Zhrnutie požiadaviek zainteresovaných strán na hodnotenie

 

Údaje týkajúce sa očakávaní jednotlivých záujmových skupín pre formu prezentácie a spôsoby použitia výsledkov hodnotenia budú užitočné v plánovanej fáze ich šírenia (pozri kapitolu 6.3.)

 

2.4. Ako navrhnúť a naplánovať hodnotenie?

Informácie získané počas workshopov so zainteresovanými skupinami sa použijú na prípravu konceptu a plánu hodnotenia. Koncept hodnotenia, t.j. predstavu o tom, ako hodnotenie uskutočniť, je možné pripraviť v troch krokoch.

Prvý a druhý krok zahŕňajú nasledovné:

• Predmet hodnotenia – čo chcete hodnotiť (napr. aký projekt alebo program),
• Rozsah hodnotenia – aká časť projektu bude zahrnutá do hodnotenia, napr. celý projekt, alebo vybrané časti – dané činnosti, účinky,
• Účel (-y) hodnotenia – na aký účel sa robí hodnotenie, na čo použijete jeho výsledky,
• Typ hodnotenia – v akej fáze implementácie projektu uskutočníte hodnotenie; pred zahájením projektových činností (hodnotenie ex-ante), počas ich implementácie (priebežné alebo neustále hodnotenie), po ukončení projektu (hodnotenie ex-post),
• Evaluačné kritériá – prvky uvádzajúce z akého hľadiska sa projekt hodnotí (napr. dôležitosť, účinnosť, efektívnosť, dopad, udržateľnosť),
• Evaluačné otázky – všeobecne formulované otázky týkajúce sa tém dôležitých z pohľadu stanovenia hodnoty a kvality hodnoteného projektu,
• Hodnotiteľ – osoba realizujúca hodnotenie, napr. tím implementujúci projekt (sebahodnotenie), odborník na hodnotenie zamestnaný organizáciou implementujúcou projekt (interné hodnotenie), alebo externý subjekt majúci zmluvu s organizáciou (externé hodnotenie).

Tieto informácie môžete prezentovať v tabuľke uvádzajúcej Váš koncept hodnotenia. Príklad tabuľky a jej použitie na konkrétny projekt uvádzame nižšie*.

_______________________________________________

*Silné a slabé stránky rôznych typov hodnotenia zvolené z dôvodu miesta hodnotiteľa, sú predmetom diskusie v online kurze (Modul 2).

_______________________________________________

 

Nástroj 4. Tabuľka – Koncept hodnotenia

 

Tretia fáza vytvorenia konceptu hodnotenia si vyžaduje znalosť rôznych metód zberu dát, ktoré sa uvádzajú v Kapitole III. Z tohto dôvodu je časť plánovania hodnotenia týkajúca sa metodiky zberu dát uvedená v Sekcii 3.3 (príklad tejto fázy návrhu hodnotenia je uvedený ako Nástroj 6).

Informácie týkajúce sa dostupnosti potrebných dát, ako aj možnosti získania podpory od príslušných záujmových skupín sa použijú pri plánovaní hodnotiaceho procesu a pri stanovení zdrojov potrebných na jeho realizáciu. Plán hodnotenia musí zahŕňať nasledovné prvky: časový plán (s príslušnými fázami), zdroje potrebné na uskutočnenie hodnotenia (ľudské, časové, finančné, informačné), ako aj plánovanú formu (-y) hodnotiacej správy.

Tieto informácie môžete prezentovať v tabuľke určenej na plánovanie hodnotenia. Príklad tabuľky spolu s použitím na konkrétny projekt uvádzame nižšie.

 

Nástroj 5. Tabuľka – Plánovanie hodnotenia

 

Ako môžete vidieť z tabuľky vyššie, informácie sú jedným z kľúčových faktorov, ktorý je potrebné mať na realizáciu hodnotenia. Existuje mnoho zdrojov dát, ktoré môžu byť využité na tento účel. Všeobecné a odborné kompetencie sú jednou z najdôležitejších oblastí na dosiahnutie cieľov projektov orientovaných na zamestnanosť mladých ľudí. Chýbajúce zdroje údajov o počiatočnej a výslednej úrovni zručností príjemcov projektu musia zabezpečiť školitelia týchto kompetencií. Preto je potrebné s nimi spolupracovať pri zbere a spracovaní dát, ktoré sa týkajú úrovne kompetencií pred a po realizácii školenia. Meranie by sa malo opierať o hodnotenie zručnosti účastníkov z viacerých uhlov pohľadu (perspektíva školiteľa, sebahodnotenie účastníka a psychometrické testovanie). Tieto údaje musia súvisieť s obsahom školenia. Príklady týchto nástrojov môžete nájsť v prílohe **. Týka sa to 8 kľúčových kompetencií “potrebných pre osobný rast / naplnenie a progres, aktívne občianstvo, sociálnu inklúziu a zamestnanie”, ako sa uvádza v Odporúčaní 2006/962/ES Európskeho parlamentu a Rady o kľúčových kompetenciách pre celoživotné vzdelávanie*.

__________________________________

*Odporúčanie 2006/962/ES Európskeho parlamentu a rady zo dňa 18.decembra 2006 o kľúčových kompetenciách pre celoživotné vzdelávania sa vzťahuje na nasledovné zručnosti: 1) komunikácia v materinskom jazyku, 2) komunikácia v cudzom jazyku, 3) matematická kompetencia a základné kompetencie v oblasti vedy a techniky, 4) digitálna kompetencia; 5) naučiť sa učiť, 6) Spoločenské a občianske kompetencie, 7) iniciatívnosť a podnikavosť, 8) kultúrne povedomie a vyjadrovanie.

__________________________________

 

2.5. Ako pripraviť hodnotenie dopadu

Kľúčovým znakom hodnotenia dopadu je fakt, že pri posudzovaní efektívnosti projektu sa berie do úvahy nielen dopad činností realizovaných v projekte a vytvorené výsledky, ale aj vplyv externých (mimoprojektových) faktorov. Pre hodnotenie skutočného (čistého) dopadu projektu je nevyhnutné naplánovať a uskutočniť hodnotenie tak, aby sme mohli určiť, či implementácia projektu priniesla zamýšľanú zmenu a v akom rozsahu ju ovplyvnili externé faktory.

Hodnotenie projektu Vám umožňuje získať rôzne typy dát užitočných pre tvorbu projektu:

1) údaje o aktuálnom dopade projektu na dosiahnutie očakávanej zmeny je kľúčovou informáciou k tomu, aby ste sa rozhodli, či projekt zopakujete, zlepšíte, alebo v ňom nebudete pokračovať, pretože:

a) externé faktory mohli prispieť k zamýšľaným zmenám projektu. To znamená, že (čistý) dopad hodnoteného projektu môže byť nižší ako naznačuje rozdiel medzi koncovou hodnotou výstupného ukazovateľa a jeho základnou hodnotou (meraním na začiatku projektu).

b) externé faktory mohli zabrániť očakávanej zmene v projekte, čo znamená, že (čistá) hodnota hodnoteného projektu môže byť vyššia ako rozdiel medzi koncovou a základnou hodnotou výstupného ukazovateľa,

2) informácie o rôznorodosti a mechanizmoch dopadu jednotlivých prvkov projektu na dosiahnutie očakávanej zmeny sú veľmi dôležité pre zlepšenie projektu,

3) určenie hlavných externých faktorov a mechanizmov ich dopadu na žiadanú zmenu sa môže použiť pri úprave projektových aktivít tak, aby boli aktivity viac v súlade s podpornými procesmi zmeny a zároveň dokázali eliminovať protichodné faktory.

Pri hodnotení daného projektu je možné použiť rôzne modely (dizajny) hodnotenia dopadu a metódy zberu dát. Modely a metódy je potrebné zvoliť podľa priorít pre hodnotenie stanovených v predchádzajúcich krokoch, ako aj možnosti získať potrebné dáta pre hodnotenie.

 

Tabuľka 1. Rôzne prístupy dizajnu hodnotenia dopadu.

Zdroj: Emily Woodhouse, Emiel de Lange, Eleanor J Milner-Gulland. Evaluating the impacts of conservation interventions on human well-being: Guidance for practitioners.

 

Experimentálne a kvázi experimentálne modely hodnotenia sa využívajú na určenie podielu zamýšľanej zmeny, ktorú spôsobili projektové činnosti (čistý dopad). Meranie dopadu projektových aktivít predstavuje rozdiel medzi hodnotou meraného ukazovateľa pred a po realizácii projektu v cieľovej skupine jeho príjemcov (zmena v testovanej skupine, účasť na projektových činnostiach) po zohľadnení vplyvu externých faktorov. Dopad externých faktorov sa určuje na základe zistenia zmeny hodnoty meraného ukazovateľa výstupu na skupine ľudí, ktorí sa nezúčastnili projektu a sú čo najviac podobní príjemcom projektu.

• Pri experimentálnych modeloch (tiež nazývaných RCT – randomizované kontrolované testy), sú ľudia náhodne pridelení do skupiny príjemcov projektu (skúšobná skupina), alebo do skupiny, ktorá nie je zahrnutá do projektu (kontrolná skupina). Pri náhodnom výbere obidvoch skupín dokážeme zaistiť, že tieto dve skupiny sa navzájom neodlišujú. Na základe toho môžeme zmeny hodnôt meraných ukazovateľov v kontrolnej skupine pripísať len externým faktorom. V skúšobnej skupine zase kombinovanému vplyvu externých faktorov a projektových činností*.

---

*Ak je skúšobná skupina alebo kontrolná skupina malá, použije sa štruktúrovaný náhodný výber (namiesto jednoduchého náhodného výberu), aby sa zaistila podobná štruktúra dvoch skupín pomocou znakov, ktoré môžu ovplyvniť zamýšľaný výstup projektu (napr. štruktúra úrovne dosiahnutého vzdelania musí byť rovnaká v kontrolnej a skúšobnej skupine. V opačnom prípade viac vzdelaná skupina môže lepšie napredovať v zručnostiach, ktoré sa majú dosiahnuť v hodnotenom projekte).

---

 

• Pri kvázi experimentálnych modeloch sa nepoužíva náhodný výber skupín. Pre danú skúšobnú skupinu, ktorá sa zúčastnila hodnoteného projektu, sa pomocou metód nenáhodného výberu zvolí kontrolná skupina, avšak stále za predpokladu, že sa čo najviac podobá skúšobnej skupine a má podobné funkcie ako kontrolná skupina v experimentálnych modeloch.

Pre použitie experimentálnych a kvázi experimentálnych modelov je nutné koordinovať evaluačné činnosti s činnosťami hodnoteného projektu. Preto sa musia plánovať pred implementáciou. Ak napríklad očakávate väčší počet záujemcov o účasť na aktivitách projektu (príjemcov projektu), alebo ak sa bude projekt implementovať v niekoľkých verziách a vy dokážete zorganizovať spoločný nábor, môžete priradenie do skupín uskutočniť náhodným výberom. Takto získate náhodne zvolenú skúšobnú skupinu (ktorú môžete okamžite zapojiť do projektových činností) a kontrolnú skupinu (ľudí, ktorí neboli vybraní pre aktuálny projekt, resp. aktuálne kolo aktivít). Po výbere skupín sa uskutoční základné meranie (a finálne meranie v obidvoch skupinách po ukončení projektu).

Ak si príjemcov Vášho projektu vyberie externá inštitúcia (napr. Úrad práce), je vhodné zistiť zvolené postupy výberu. Ak tento postup umožňuje zvoliť kontrolnú skupinu, alebo porovnávaciu skupinu, v ktorej sa dá zmerať ukazovateľ výstupu projektu, overte si to a naplánujte meranie v tejto skupine približne v rovnakom čase, v akom sa realizuje v hodnotenom projekte.

Dôležitým aspektom hodnotenia dopadu je kontrola takzvaného vedľajšieho účinku (z anglického originálu „spillover effect“), čo znamená dopad projektových činností mimo skúšobnej skupiny. Riziko vedľajšieho účinku je tým väčšie, čím väčší je kontakt príjemcov hodnoteného projektu s ľuďmi z kontrolnej alebo porovnávacej skupiny. Ďalším aspektom ovplyvňujúcim rozsah vedľajšieho účinku je úroveň dopytu po riešeniach, ktoré poskytuje hodnotený projekt.

 

Plánovanie a interpretácia výsledkov hodnotenia dopadu si vyžaduje využitie teórie projektu. Vďaka tomu je možné posúdiť súlad záverov hodnotenia a projektovej logiky (zmeny) a overiť dopad externých faktorov. Prehodnotenie súladu faktov získaných z hodnotenia projektu a projektovej logiky sa zameriava na zistenie dôkazu, ktorý potvrdí vzťah príčiny a dôsledku, ako aj dát, ktoré existenciu tohto vzťahu podporujú. Pri tomto prístupe je včasné plánovanie typu dát, ktoré budú predmetom zberu, kľúčové, aby sme mohli overiť nasledovné:

– vzťah príčiny a dôsledku medzi aktivitami, výstupmi, okamžitými a finálnymi vplyvmi (výstupy, dopady), ktoré tvoria logický model zmeny,

– uskutočnenie ďalších fáz v reťazci príčiny a dôsledku okamžitých účinkov, ktoré vedú k dosiahnutiu výsledkov meraných pomocou koncového ukazovateľa (takzvané míľniky).

 

Posúdenie vplyvu externých faktorovje založené na podobnom plánovaní a overení vplyvu faktorov zmeny, ktoré sa líšia od faktorov projektových aktivít.

 

Ak je hodnotený projekt súčasťou nejakého väčšieho programu realizovaného na rôznych miestach alebo prostredníctvom rôznych organizácií, ponúka sa tu možnosť získania porovnateľných dát. Tieto dáta je možné použiť pri hodnotení dopadu v podobe analyzovania prípadových štúdií. Ak chceme použiť hodnotenie vytvorené na základe využitia prípadovej štúdie, musíme zozbierať údaje týkajúce sa nielen meraného ukazovateľa výstupu, ale aj údaje o všetkých dôležitých faktoroch, ktoré môžu ovplyvniť hodnotu tohto ukazovateľa. Súbor faktorov sa určí na základe projektovej teórie, kde sa zohľadnia rozdielne prvky vplývajúce na plánovanú zmenu. Je dobré vedieť, že pri tomto modeli môžete použiť údaje o projektoch, ktoré sa implementovali v minulosti. Bez ohľadu na to, odkiaľ analyzované prípady pochádzajú,dôležité je získať vopred definovaný súbor dát. Finálna analýza vychádza z tabuľky, ktorá je zhrnutím dát zo všetkých analyzovaných prípadov. Sú tu uvedené faktory, ktoré môžu ovplyvniť zamýšľanú zmenu ukazovateľa výstupu, ako aj daný ukazovateľ výstupu.

 

Tabuľka súhrnu záverov analýzy prípadových štúdií – praktický príklad

	Jav 1 : Viac ako 50% NEET, ktorí sa zúčastnili projektu, má prácu, alebo sa zúčastňuje vzdelávania, alebo školenia 1 rok po ukončení projektu	Jav 2 : NEET, ktorí sa zúčastnili projektu, mali rozsiahle školenie zamerané na spoločenské kompetencie	Jav 3: NEET, ktorí sa zúčastnili projektu, mali odborné školenie	Jav 4 : (neprojektový stimul) NEET, ktorí sa zúčastnili projektu, malihneď po ukončení projektu 6-mesačnú podporu v zamestnaní (pracovný pomer)s pomocou Úradu práce
Prípad 1: Aktuálne hodnotený projekt, jeho výstup je uvedený v 1.stĺpci	1	1	1	1
Prípad 2: Rovnaký projekt, ktorý prebiehal pred 2 rokmi a realizoval ho rovnaký subjekt	1	1	1	0
Prípad 3: Ďalší projekt v rámci rovnakého programu (očakáva sa rovnaký výstup), realizovaný iným subjektom	1	1	0	1
Prípad 4: NEET, ktorí mali podporené zamestnanie, organizované Úradom práce	0	0	1	1

0 – jav sa nevyskytol, 1- jav sa vyskytol

Vyššie uvedená tabuľka uvádza súhrn údajov zo 4 prípadov, kde sa výstup (získanie a udržanie zamestnania, zaradenie v procese vzdelávania alebo školenia 1 rok po ukončení projektu) monitoroval voči 3 faktorom. Dva z nich predstavovali odlišné projektové stimuly (rozsiahle školenie sociálnych kompetencií a odborné školenie), kým tretí bol externý – podpora zamestnania na 6 mesiacov hneď po ukončení projektu zo strany Úradu práce). Z analýzy vyplýva, že rozsiahle školenie spoločenských kompetencií malo za následok zamýšľaný výstup.

Participatívny dizajn je podhodnoteným, avšak veľmi obľúbeným modelom hodnotenia dopadu. Neposkytuje takú spoľahlivosť a presnosť ako experimentálny, alebo kvázi experimentálny model, ani nie je natoľko presvedčivý ako detailná prípadová štúdia, avšak môže byť užitočný, a to hlavne pri projektoch menšieho rozsahu. Pri participatívnom modeli hodnotenia sa zameriavame na vnímanie hodnoteného projektu zo strany účastníkov. Na základe získaných dát sa následne spravuje hodnotenie dopadu projektu. Metóda zberu dát je opäť veľmi dôležitá. Príjemcovia projektu majú totiž tendenciu prispôsobiť svoje názory tomu, o čom sa domnievajú, že by hodnotiteľ rád počul, hlavne ak zber dát realizuje niekto z projektového tímu.

• Jedným z príkladov participatívneho modelu hodnotenia sú takzvané „kontrafaktové“ situácie (z anglického orignálu „Reflexive couterfactuals“). Výhodou tohto modelu je možnosť jeho využitia po ukončení projektu. Na druhej strane je však vystavený skôr vyššie popísanému riziku, takzvanému vplyvu hodnotiteľa. V rámci kontrafaktových situácií príjemcovia porovnávajú svoju aktuálnu situáciu so situáciou, v ktorej boli pred účasťou v projekte. Zároveň popisujú, čo sa zmenilo k lepšiemu a čo k horšiemu. Následne hodnotia príslušný význam konkrétnych prínosov a nákladov a vyberajú tie, ktoré považujú za najdôležitejšie. Pomocou rôznych techník zberu dát je možné pýtať sa na príčiny konkrétnych zmien a tiež zistiť, ktoré boli spôsobené projektom.
• Ďalšou technikou analýzy participatívneho dopadu je MSC (z anglického originálu „Most significant changes“) (Najpodstatnejšie zmeny). Táto technika je založená na generovaní a hĺbkovej analýze najvýznamnejších príkladov zmeny v životoch príjemcov projektu. Príklady zmien sú pozorované a zaznamenané rôznymi záujmovými skupinami projektu (vrátane samotných príjemcov). Charakteristiky tejto techniky zberu dát umožňujú jej použitie po ukončení projektu.

Na záver je tiež dôležité uviesť možnosť realizovať hodnotenie dopadu s využitím štatistických metód. V tomto prípade je základom analýza korelácie (koexistencie) ukazovateľa výstupu a činností realizovaných v hodnotenom projekte*. Tieto analýzy sú realizované na rozsiahlych dátových súboroch, čím sa tento typ hodnotenia stáva málo použiteľný pre organizácie, ktoré zabezpečujú projekty pre relatívne malú skupinu príjemcov.

Viac informácií o hodnotení dopadu je možné nájsť v online kurze (Modul 3).

---

* V týchto analýzach je regresná analýza základnou metódou. Táto metóda skúma závislosť medzi výsledným ukazovateľom a ukazovateľmi činností hodnoteného projektu pri štatistickej kontrole (s vylúčením) vplyvu iných súvisiacich faktorov.

---

III. ZBER DÁT

 

 

3.1. Aké sú základné typy metód zberu dát?

Pre posúdenie hodnoty a kvality projektu na základe zvolených kritérií a získanie odpovedí na evaluačné otázky je nevyhnutné zabezpečiť správny spôsob zberu potrebných údajov. Na to slúžia metódy a nástroje zberu dát. Metódy zberu dát predstavujú konkrétny spôsob zberu informácií – kvalitatívne alebo kvantitatívne – prostredníctvom špeciálne vytvorených nástrojov, ako sú interview scenáre, pracovné listy alebo dotazníky. V tejto časti sa pozrieme na rozdiely medzi metódami a nástrojmi zberu dát.

Kvalitatívne metódy umožňujú hĺbkový zber dát, a flexibilitu pri zbere, avšak neumožňujú posúdiť rozsah skúmaných javov. Tieto metódy totiž zahŕňajú len malý počet ľudí zo skupín, ktoré sú zapojené do projektu (napr. vybraní príjemcovia). Naopak, kvantitatívne metódy sa používajú v prípade väčších skupín, ktoré tvorí niekoľko desiatok ľudí. V prípade početnejších skupín (napr. viac ako 400-500 ľudí) nám tieto metódy umožnia zovšeobecniť závery získané z prieskumu na stanovenej vzorke , t.j. náhodne vybranej vzorky ľudí za celú populáciu. Jedná sa o predmet záujmu pre hodnotiteľa, vrátane ľudí, ktorí sa priamo nezúčastňujú na danej štúdii. Toto zovšeobecnenie sa realizuje špecifickým spôsobom. Musí sa zaistiť reprezentatívnosť vzorky ľudí, ktorí sú predmetom štúdie, t.j. maximálna podobnosť v rôznych sociálno-demografických charakteristikách k populácii, z ktorej bola táto vzorka vybratá.

 

Tabuľka 2. Porovnanie kvalitatívnych a kvantitatívnych metód hodnotenia zberu dát.

	Kvalitatívne metódy	Kvantitatívne metódy
Populárne metódy a príslušné nástroje zberu dát	Primárny výskum – postupy pre analýzu dokumentu Hĺbkové osobné interview (IDI) (z anglického originálu „In-depth Individual Interview“) – IDI scenár, Interview s cieľovou skupinou (FGI)(z anglického originálu „Focus group interview“) – FGI scenár Pozorovanie – pracovné listy Prípadová štúdia – vyhotovená na základe základných dát zozbieraných pomocou vyššie uvedených metód	Prieskum realizovaný: a) za účasti hodnotiteľa – rozhovor na základe papierového (PAPI ) alebo elektronického (CAPI) dotazníka, telefonické interview za pomoci počítača (CATI) – dotazník pre interview b) bez účasti hodnotiteľa – online (CAWI) alebo papierový dotazník vyplnený respondentmi (vrátane spoločného miesta (z anglického originálu „central location“) – dotazník prieskumu
Účel použitia	Poznanie, porozumenie, popis, vysvetlenie skúmaných javov a postupov	Určenie škály, intenzity, frekvencie skúmaného javu, ich spoločný výskyt a vzťahy medzi nimi
Bežné otázky	Čo sa deje? Ako? Ako to ide? Prečo?	Koľko? V akom rozsahu? Ako často? V spojitosti s čím?
Perspektíva hodnotiteľa	Konkrétne prípady (ľudia, činnosti, procesy), aby bolo možné poznať ich špecifickosť, komplexnosť, odlišnosť, sled udalostí, porozumenie vzťahov príčiny a dôsledkov	Javy a charakteristiky skupiny dôležité pre hodnotený projekt (najčastejšie príjemcovia), skúmané za účelom zistenia všeobecných zákonitostí a vzorov
Metóda výberu vzorky	Účelové / reprezentatívne vzorky (nenáhodné) – hodnotiteľ sa rozhodne, na koho sa zameria (napr. na základe skutočnosti, že daná osoba má potrebné informácie).	Náhodný a nenáhodný výber vzorky (napr. dobrovoľníci). V prípade projektov do 400-500 účastníkov sa použije kompletná vzorka, ktorá zahŕňa všetkých príjemcov projektu).
Veľkosť skúmaných vzoriek	Malé vzorky, t.j. niekoľko prípadov.	Väčšie skupiny, t.j. niekoľko desiatok ľudí a v prípade náhodného výberu vzorky viac ako 400 ľudí.
Zovšeobecnenie záverov	Závery sa nedajú zovšeobecniť z dôvodu nedostatku zastúpenia vzorky (závery zo štúdie sa vzťahujú len na osoby, ktoré sa jej zúčastnili).	Je možné zovšeobecniť závery štúdie náhodne zvolenej vzorky na širšiu populáciu (ľudí, ktorí sa na nej nezúčastnili), ak je táto vzorka reprezentatívna.

 

Obidve tieto metódy majú svoje silné aj slabé stránky. Vždy je preto v evaluačnej štúdii vhodné využívať kvalitatívne, ako aj kvantitatívne metódy. Tento prístup je v súlade s triangulačným princípom, ktorý sa zameriava na zabezpečenie vysokej kvality zozbieraných dát. Triangulácia znamená použitie rôznych zdrojov dát, typov zozbieraných dát a analytických techník, teórií popisujúcich zistené vzťahy / mechanizmy, ako aj ľudí realizujúcich hodnotenie (ich kompetencie sa navzájom dopĺňajú). Na základe rôznorodosti týchto prvkov triangulácia umožňuje:

• komplexnejšie spoznať a porozumieť predmetu skúmania,
• zohľadniť viaceré pohľady a aspekty skúmaného javu,
• doplniť a prehĺbiť zozbierané dáta,
• overiť získané informácie,
• zvýšiť objektivitu formulovaných záverov.

3.2. Aké metódy a nástroje sa bežne využívajú na hodnotenie zberu dát?

Pre uľahčenie výberu najvhodnejších metód a nástrojov hodnotenia uvádzame nižšie charakteristiku tých najpopulárnejších z nich:

1. Kvalitatívne metódy,
   • Primárny (teoretický) výskum
   • individuálne hĺbkové rozhovory / interview (IDI),
   • interview s cieľovými skupinami (FGI),
   • pozorovanie,
   • prípadová štúdia.

2. Kvantitatívne metódy (prieskumy)

1. • prieskum uskutočnený bez účasti hodnotiteľa – samostatné prieskumy v papierovej forme, interview na internete za pomoci počítača/ online prieskum (CAWI), central location (simultánny prieskum všetkých respondentov),
   • interview formou dotazníkov realizované s podporou hodnotiteľa – interview s použitím papiera a pera (PAPI), osobné interview za pomoci počítača (CAPI) a telefonické interview za pomoci počítača).

3. Aktívne metódy / metódy workshopu (zmiešané, t.j. kvalitatívne a kvantitatívne).

3.2.1. PRIMÁRNY (TEORETICKÝ) VÝSKUM

V prípade primárneho výskumu sa využívajú existujúce údaje, t.j. údaje dostupné bez ohľadu na činnosti realizované zo strany hodnotiteľa.

Existujúce údaje zahŕňajú interné údaje (získané pre potreby hodnoteného projektu) a externé údaje:

• Interné údaje sú informácie vytvorené počas prípravy a implementácie projektových činností (napr. aplikácia projektu, scenáre školenia, dochádzky, zmluvy, fotografie, videá a materiály o projekte zverejnené na internetovej stránke, v postoch alebo reakciách na sociálnych sieťach). V prípade vzdelávacích projektov pre mladých ľudí hľadajúcich si prácu môžu byť tieto údaje tiež výsledkom merania kompetencií príjemcov na začiatku a na konci účasti na vzdelávaní (vedomostné testy, testy zručností, testy prístupu, atď. )
• Externé údaje sú informácie, ktoré môžu súvisieť so skúmaným javom, procesmi alebo cieľovou skupinou, avšak sú zozbierané nezávisle od hodnoteného projektu (napr. štatistiky, databázy, správy, články, knihy, videá a iné materiály dostupné na internete).V prípade hodnotenia projektu zamestnanosti stojí za to využiť informácie z podobných projektov, ako aj údaje, ktoré majú k dispozícii úrady práce, sociálne poisťovne, národné štatistické úrady týkajúce sa zamestnanosti mladých ľudí v danom meste.

Analýza dokumentov je základnou metódou zberu dát o danom projekte. Zároveň uvádza niektoré poznatky o požiadavkách príjemcov a obsahu hodnoteného projektu.

PODMIENKY POUŽITIA:

Verejné inštitúcie poskytujú administratívne údaje v súlade s princípom transparentnosti fungovania verejných inštitúcií a slobodného prístupu k informáciám(). Je však dôležité mať prístup k spoľahlivým a presným dátam na základe metodických údajov, ktoré poskytuje zdrojová dokumentácia.

 

VÝHODY:

• dostupnosť (hlavne čo sa týka informácií dostupných na internete),
• veľká rôznorodosť (môžete použiť akékoľvek údaje / materiály týkajúce sa realizovaného hodnotenia),
• žiadne náklady – väčšina dokumentov a dát je k dispozícii bezplatne,
• žiadny vplyv hodnotiteľa na údaje v prípade externých dát.

NEVÝHODY:

• rôzne úrovne dôveryhodnosti dát – musíte brať do úvahy dôveryhodnosť zdroja a obsah získavaných dát (za akých podmienok, kto a prečo ich zozbieral, a analyzovať ich),
• obmedzenia týkajúce sa prístupu a použitia interných informácií z dôvodu ochrany osobných údajov, autorských práv a majetkových práv.

3.2.2. INDIVIDUÁLNE HĹBKOVÉ INTERVIEW (IDI) (z anglického originálu „INDIVIDUAL IN-DEPTH INTERVIEW“)

Individuálne interview je formou priameho dialógu medzi pýtajúcim sa a respondentom. Zvyčajne sa realizuje s využitím scenára. Pri interview máte možnosť získať rozsiahle, podstatné a podrobnejšie informácie. Zároveň sa môžete dozvedieť názory, skúsenosti, interpretácie a zdôvodnenia správania sa osoby, posúdiť fakty z pohľadu tejto osoby, ako aj lepšie porozumieť jej / jeho pohľadu.

DÔLEŽITÁ RADA Jazyk interview je potrebné prispôsobiť respondentovi. Pri interview (hlavne s mladými ľuďmi) používajte jednoduchý jazyk a vyhýbajte sa odbornej slovnej zásobe (napr. projektovým žargónom). Tieto môžu spôsobiť neporozumenie otázky a zastrašiť respondentov.

 

PODMIENKY POUŽITIA: Individuálne interview realizujte v tichých miestnostiach, kde je zaručená diskrétnosť. Nahrávanie je bežnou praxou, avšak respondent s tým nemusí vždy súhlasiť – v daných prípadoch si hodnotiteľ robí počas interviewpoznámky a po skončení ich skompletizuje. Odporúča sa, aby interview viedol externý odborník, čím predídete tomu, že sa respondent môže cítiť nepohodlne pri vyjadrovaní svojich úprimných názorov.

 

VÝHODY:

• možnosť prediskutovať komplexné a podrobné otázky,
• lepšie pochopenie uhla pohľadu respondenta (možnosť „zžiť sa s respondentom“),
• porozumenie faktom v situačnom kontexte,
• flexibilita – možnosť prispôsobiť sa respondentovi a pýtať sa doplňujúce otázky, ktoré nie sú v scenári.

NEVÝHODY:

• neochota niektorých respondentov vyjadriť svoje názor úprimne z dôvodu chýbajúcej anonymity,
• dopad charakterových čŕt respondenta na získané závery, t.j. ťažkosti pri získavaní informácií od mlčanlivých, hanblivých alebo introvertných osôb.

NÁSTROJ VÝSKUMU: pri interview môžete využiť scenár, ktorý obsahuje zoznam otázok alebo tém, ktoré budú predmetom interview. Pýtajúci sa môže meniť poradie otázok, alebo počas interview nejaké otázky pridať, ak je to potrebné pre lepšie porozumenie danej témy.

 

PRÍKLAD SCENÁRA IDI PRE PROJEKTOVÝ TÍM / PRACOVNÍKOV   I. Implementácia projektu 1. Už ste sa niekedy zúčastnili na podobných projektoch? Ak áno, na akých? Aká bola Vaša úloha? 2. Aké sú Vaše aktuálne povinnosti týkajúce sa projektu?   II. Proces implementácie projektu 1.Ako sa uskutočnil proces náboru? Získali ste plánovaný počet ľudí? Stretli ste sa počas náboru s nejakými problémami? Čoho sa týkali? Upútal projekt záujem cieľovej skupiny? 2.Mali účastníci projektu nejaké pripomienky týkajúce sa jeho implementácie? Čoho sa týkali? Zaviedli sa nejaké zmeny v dôsledku týchto názorov? 3.Bol dizajn projektu upravený z nejakého iného dôvodu? Čoho sa tieto zmeny týkali? Čím boli spôsobené? 4.Potrebuje projekt ďalšie zmeny? Čo sa mohlo zlepšiť v jeho implementácii? Je potrebné doplniť projekt nejakými ďalšími prvkami? Ak áno, akými? 5.Dosiahli sa plánované výstupy a výsledky projektu? Napreduje všetko podľa plánovaného harmonogramu a rozpočtu? 6.Vidíte nejaké riziko týkajúce sa implementácie projektu / dosiahnutia plánovanej úrovne výstupov a výsledkov? Ak áno, aké? Ako mu môžete čeliť?   III. Zhodnotenie doterajších výsledkov 1. Aké faktory uľahčili implementáciu projektu? 2.Aké faktory sťažili implementáciu projektu? Aké boli dôvody týchto ťažkostí? Ako ste ich dokázali zvládnuť? 3. Existujú nejaké zdroje (napr. ľudské, časové, organizačné, technické, finančné), ktoré by uľahčili implementáciu projektu? Aké iné zmeny by uľahčili implementáciu projektu? 4. Aké zmeny by pomohli prispôsobiť projekt potrebám príjemcov? 5. Uveďte silné / slabé stránky projektu.

 

IDI Scenar

3.2.3. INTERVIEW S CIEĽOVOU SKUPINOU (FGI) (z anglického originálu „FOCUS GROUP INTERVIEW“)

Interview s cieľovou skupinou ( z anglického originálu „focus group“) predstavuje dialóg medzi6-8 ľuďmi s účasťou moderátora. Ten zadáva skupine témy na diskusiu a napomáha pri udržiavaní konverzácie. Účastníci rozhovoru FGI sú vyberaní na základe konkrétnych kritérií, ktoré stanoví hodnotiteľ, ako aj vedomostí účastníkov v oblasti skúmaných tém.

 

DÔLEŽITÉ V prípade mladých ľudí je vhodné diskusiu rozdeliť na kratšie časti, aby sa mohli zapojiť všetci účastníci a nezačali sa príliš skoro nudiť. Vhodné je využiť multimediálne nástroje, herné prvky alebo neštandardné riešenia, napr. papierovú kocku s otázkami, ktorú si účastníci hádžu medzi sebou. Tiež je vhodné poznačiť si názor skupiny na flipchart a zabezpečiť zvukovú nahrávku z diskusie.

 

PODMIENKY POUŽITIA: Základnou podmienkou úspechu skupinového interview je správny výber ľudí, ktorí majú konkrétne informácie a sú pripravení ich zdieľať. Dôležité je, aby účastníci mali zaistený komfort vo forme tichej miestnosti vhodnej veľkosti, s pohodlným sedením, veľkým oválnym / štvorcovým stolom a flipchart.

 

VÝHODY:

• získanie informácií z rôznych uhlov pohľadu, zohľadňovanie rozdielnych názorov,
• vzájomné overovanie a dopĺňanie informácií o skutočnostiach, ktoré sú predmetom diskusie rôznych ľudí,
• možnosť pozorovať interakcie medzi účastníkmi,
• získanie podstatných informácií od viacerých ľudí v relatívne krátkom čase.

NEVÝHODY:

• dynamika skupinových procesov, vrátane tlaku na zosúladenie / súdržnosť skupiny, čo môže viesť k nevyjadreniu minoritných názorov, napr. z toho dôvodu, že skupinu vedie prirodzený vodca,
• riziko, že vzniknú skupinové konflikty, alebo zlé medziľudské vzťahy, ktoré znížia efektívnosť zberu dát a spoľahlivosť získaných záverov,
• organizačné problémy (potreba zoskupiť ľudí v danom čase a mieste, zabezpečenie náležite vybavenej miestnosti).

NÁSTROJE ZBERU DÁT: Nástroj, ktorý moderátor používa pri tejto metóde je FGI scenár (z anglického originálu „Focus Group Interview scenario“). Tento nástroj zahŕňa princípy skupinovej diskusie, konkrétne témy / otázky a postupy týkajúce sa rôznych foriem činnosti, do ktorých moderátor zahŕňa účastníkov.

 

PRÍKLAD FGI SCENÁRA TÝKAJÚCEHO SA POŽIADAVIEK NA VZDELÁVANIEI. CIELE INTERVIEW S CIEĽOVOU SKUPINOU Získanie úvodných informácií o požiadavkách mladých ľudí na školenie / vzdelávanie Zber dát na prípravu dotazníka CATI, ktorý sa bude realizovať v druhej fáze zberu dát   II. CIEĽOVÁ SKUPINA Osoby zodpovedné za personálny manažment a / alebo školenie v organizáciách   III. PROGRAM STRETNUTIA   1.ÚVOD (trvanie – približne 20 minút) a)Privítanie a vysvetlenie účelu stretnutia (text: Dámy a páni, volám sa … a rád / rada by som Vás privítal/-a na stretnutí, ktoré zorganizoval/-a … za účelom zozbierania dát týkajúcich sa požiadaviek mladých ľudí na školenie. Naše stretnutie je súčasťou projektu „XYZ“. Tento projekt financuje … a je implementovaný v spolupráci s … Cieľom projektu je …) b) Predstavenie účastníkov interview s cieľovou skupinou (FGI) c) Informácie týkajúce sa interview, zaistenie anonymity (text: Z nášho stretnutia bude vyhotovená zvuková nahrávka. Je to potrebné z toho dôvodu, aby sme dokázali presne zaznamenať vaše vyjadrenia a názory. Chcel/-a by som vás ubezpečiť, že nebudeme uvádzať vaše mená. Záznam z konverzácie a osobné údaje účastníkov sa použijú len na účely zberu dát a nebudú poskytnuté neoprávneným osobám) d) Diskusia o zásadách stretnutia (text: Pre uľahčenie priebehu konverzácie navrhujem postupovať podľa týchto zásad: každý má právo vyjadriť svoj názor – nie sme povinní zachovať jednotnosť. Každý názor je pre nás dôležitý a cenný – neexistujú dobré a zlé vyjadrenia, chceme, aby boli úprimné, neprerušujeme sa navzájom – hovorí len jedna osoba v danom čase. Oslovujeme predovšetkým iných účastníkov, nie moderátora. On len pomáha pri našej diskusii, prípadné nedorozumenie prosím vysvetlite. Moderátor sa tiež ubezpečí, že vaše vyjadrenia správne pochopil, stíšime, alebo vypneme mobilné telefóny, požiadame účastníkov, aby sa držali témy – úlohou moderátora bude, okrem iného, vrátiť účastníkov späť k téme, čím sa zredukujú odbočenia od danej témy a účastníci zároveň nevynechajú hlavnú podstatu diskusie.   2. DISKUSIA NA ÚVOD (trvanie – približne 60 minút)   2.1.Rozsah požiadaviek mladých ľudí na vzdelávanie (približne 30 minút) a) Zúčastňujú sa mladí ľudia nejakého vzdelávania? Aké sú ich témy / trvanie / forma? b) Aké faktory sťažujú účasť mladých ľudí na vzdelávaní? c) Aké podmienky musia mladí ľudia splniť, aby sa mohli zúčastniť vzdelávania? Aké bariéry im v tom môžu brániť?   2.2.Motivácia mladých ľudí zúčastniť sa na vzdelávaní (približne 30 minút) a) Do akej miery majú mladí ľudia záujem zúčastniť sa vzdelávania?Majú rozdielne požiadavky na vzdelávanie na základe ich pohlavia? Čo je dôvodom týchto rozdielov? Ako môžete motivovať tieto dve skupiny mladých ľudí, aby si zlepšili svoje kvalifikácie? b) Aký veľký je ich záujem o elektronické vzdelávanie? Zúčastňujú sa mladí ľudia na tomto type vzdelávania? Ak áno, na akom type? c) O aký typ vzdelávania majú mladí ľudia najväčší záujem – denné, zmiešané, dištančné?   3.KONKRÉTNE TÉMY (trvanie – približne 60 minút)   3.1.Tematické oblasti vzdelávania – zoradenie podľa dôležitosti (približne 30 minút) a) Uveďte témy vzdelávania, ktoré môže implementovať organizácia X v rámci denného / dištančného / zmiešaného vzdelávania: rozsah / tematické oblasti a konkrétne problémy (brainstorming). b)Ktoré z týchto tém by sa malo implementovať ako prvé?   3.2.Podmienky účasti na vzdelávaní (približne 30 minút) a) Kde sa uskutoční vzdelávanie? Môžu sa ho zúčastniť mladí ľudia? Bude denné (prezenčné) vzdelávanie prebiehať večer alebo cez víkend? Kde sa bude konať? b) Majú mladí ľudia vybavenie a kompetencie na e-vzdelávanie? c) Ako dlho bude prebiehať dištančné vzdelávanie? d)Čo môže mladým ľuďom brániť v účasti na dištančnom vzdelávaní?   4. ZHRNUTIE (trvanie – približne 15 minút) a) Zber a zhrnutie získaných informácií – závery. b)Informácie o použití záverov. c)Poďakovanie za účasť na stretnutí.

 

3.2.4. POZOROVANIE

Táto metóda vychádza z dôsledného pozorovania a analýzy skúmaných javov a situácií (javy, udalosti). Môže sa jednať o pozorovanie s účasťou hodnotiteľa, čiastočnou účasťou hodnotiteľa a bez účasti hodnotiteľa na pozorovaní . Môže pôsobiť ako aktívny účastník pri pozorovaných udalostiach, alebo ako externý, nezainteresovaný pozorovateľ. Pozorovanie sa môže uskutočniť otvoreným, čiastočne otvoreným, alebo utajeným spôsobom , t.j. účastníci môžu vedieť, že sú pozorovaní, vedia o tom len vybrané osoby (napr. školiteľ a / alebo organizátor školenia), alebo len pozorovateľ.

PODMIENKY POUŽITIA: Ak sa jedná o pozorovanie bez zapojenia hodnotiteľa, pozorovateľ nesmie prísť do kontaktu / vzťahu s pozorovanými ľuďmi. Je tu totiž riziko ovplyvnenia priebehu pozorovaných udalostí a správania.

 

VÝHODY:

• poskytnutie informácií o danej udalosti / procese počas jeho priebehu,
• zaznamenanie faktov bez ich interpretovania účastníkmi (posúdenie aktuálneho správania, nie tvrdení,
• uľahčenie interpretácie skúmaných javov,
• možnosť dozvedieť sa o javoch, ktoré sú bežne skryté, neznáme alebo o ktorých účastníci neradi hovoria.

NEVÝHODY:

• možný vplyv hodnotiteľa na priebeh udalostí (vedomosť respondentov o tom, že sú pozorovaní, môže zmeniť ich správanie),
• obmedzený rozsah škály pozorovania, sťažený prístup ku všetkým udalostiam,
• riziko subjektivity (hodnotiteľ môže prebrať niektoré stereotypy, vnímať a interpretovať udalosti v prospech pozorovanej skupiny).

NÁSTROJ VÝSKUMU: Pri pozorovaní je možné využiť formulár pre pozorovanie. Jeho použitím sa pozornosť pozorovateľa upriamuje na zvolené témy. Zároveň je možné zaznamenávať dôležité informácie (napr. správanie účastníkov pozorovaných udalostí) ako kvalitatívne, tak aj kvantitatívne (takzvaný kontrolný zoznam).

 

Formular pozorovanie skolenie

 

3.2.5. PRÍPADOVÁ ŠTÚDIA

Predstavuje podrobnú analýzu skúmanej problematiky použitím dát z rôznych zdrojov zozbieraných rôznymi metódami. Závery je možné prezentovať formou slovného opisu. „Predmetom“ analýzy môže byť osoba, skupina ľudí, konkrétne činnosti a projekt, alebo skupina projektov.

Prípadová štúdia sa používa na účely:

• dôkladného spoznania a porozumenia daného javu spolu s jeho kontextom, príčinami a dôsledkami,
• znázornenia konkrétnej problematiky pomocou realistického príkladu s podrobným popisom,
• generovania hypotéz pre ďalší výskum,
• predstavenia a analýzy najlepších / najhorších postupov, ktoré má zmysel realizovať, a ktorým je dobré sa vyhnúť.

PODMIENKY POUŽITIA: Táto metóda je časovo náročná na zber a analýzu rôznych dát o skúmanom jave / premete, jeho obsahu, procesoch a mechanizmoch. Prípadové štúdie je najlepšie využiť ako doplnkové metódy iných metód zberu dát.

 

VÝHODY:

• je zdrojom komplexných dát o danej problematike,
• poskytuje rôzne uhly pohľadu, čo dáva popisu a analýze širšiu perspektívu,
• berie do úvahy kontext skúmaných javov.

NEVÝHODY:

• zvyčajne si vyžaduje použitie rôznych zdrojov informácií, ktoré sú niekedy ťažko dostupné,
• je náročná na čas a spracovanie,
• poskytuje neúplné výsledky dát s nízkou dôveryhodnosťou opisovanej udalosti.

3.2.6. PRIESKUMY VEDENÉ OPYTOVATEĽMI

Kvantitatívne metódy sú metódami štandardizovaného merania. Štandardizácia umožňuje zber a spracovanie kvantitatívnych dát, ako aj ich štatistickú analýzu jednotným spôsobom. Štandardizácia zahŕňa:

• Nástroj zberu dát (dotazník pre interview) – poradie, obsah a forma otázok pre respondentov,
• Spôsob zaznamenávania odpovedí respondentov výberom jednej možnosti (na stupnici) alebo niekoľkých možností,
• Správanie opytovateľov, ktorí sú počas interview povinní dodržiavať postupy uvedené v dotazníku.

Názory respondentov sa uvádzajú v číslach a ukladajú do databáz. Následne sú tieto údaje analyzované štatistickými metódami.

Interview formou dotazníkov zabezpečujú vyškolení dopytovatelia, ktorí čítajú otázky respondentov z dotazníka a zapisujú získané odpovede. Pre tento typ zberu dát sa používajú nasledovné techniky:

• Interview s použitím papiera a pera – (PAPI – z anglického originálu “ Paper and Pencil Interview“),
• Osobné interview s použitím počítača – (CAPI – z anglického originálu “ Computer-Assisted Personal Interview“),
• Telefonické interview s použitím počítača (CATI – z anglického originálu “ Computer-Aided Telephone Interview“).

 

3.2.6.1. Osobné interview s použitím papiera a pera (PAPI) a osobné interview s využitím počítača (CAPI)

Obidve tieto techniky sa vykonávajú osobne a implementujú sa na základe priameho kontaktu respondenta a opytovateľa s použitím papiera (PAPI) alebo elektronickej verzie dotazníka zobrazeného na počítači alebo tablete (CAPI). Opytovatelia čítajú otázky uvedené v dotazníku a označujú odpovede respondenta.

PODMIENKY POUŽITIA: vyžaduje sa široký rozsah tém a priamy (F2F) kontakt opytovateľa s respondentom. Najlepším miestom pre interview je tiché miesto, bez prítomnosti tretích osôb (doma / v práci, pričom sa uistite, že iné osoby, t.j. rodinní príslušníci, alebo kolegovia, neovplyvňujú odpovede respondenta).

 

VÝHODY:

• osobný, úzky kontakt s respondentmi (možnosť pozorovať neverbálne signály, reagovať na neporozumenia otázok alebo únavu respondenta),
• väčšia pripravenosť respondentov na dlhšie interview a ťažšie otázky, ako počas CATI,
• v prípade CAPI automatické ukladanie dát počas interview.

NEVÝHODY:

• vyššie náklady, vrátane nákladov na čas a cestovanie a zabezpečenie osobných stretnutí s respondentom,
• nedostatočný pocit anonymity pre respondenta,
• možný vplyv opytovateľa na odpovede respondenta (takzvaný vplyv hodnotiteľa);
• V prípade PAPI musí opytovateľ manuálne zadávať údaje z dotazníka do databázy po skončení interview. Tento postup je časovo náročný, zvyšuje náklady a zahŕňa riziko chybovosti.

 

3.2.6.2. Telefonické interview s využitím počítača (CATI)

Tento typ interview sa realizuje telefonicky. Hodnotiteľ číta otázky zobrazené na displeji obrazovky a po získaní odpovedí ich zaznačí do elektronického formulára v počítači.

PODMIENKY POUŽITIA: zisťovanie ustálených názorov a postojov s využitím otázok, ktoré neumožňujú dlhšie úvahy z dôvodu krátkosti času interview (max. 10-15 minút), ako aj špecifického prenosu a príjmu informácií (bez možnosti opakovaného prečítania vo vlastnom tempe).

 

VÝHODY:

• kratší čas a vyššie náklady na oslovenie respondenta v porovnaní s osobnými interview (PAPI, CAPI),
• časová flexibilnosť (možnosť upraviť čas interview preferenciám respondenta, prípadne ho zastaviť pokračovať v čase vhodnom pre respondenta),
• jednoduchý manažment a kontrola práce hodnotiteľa,
• automatické ukladanie (kódovanie) dát počas interview.

NEVÝHODY:

• možné ťažkosti pri získavaní telefonických kontaktov na respondentov (z dôvodu nedostatku prístupu a / alebo ochrany osobných dát), v prípade zamestnávateľov neosobné kontakty (k dispozícii sú len telefónne čísla na recepcie / ústredia),
• čas na interview obmedzený na 10-15 minút (z dôvodu ťažšieho udržania koncentrácie a časových možností respondenta),
• tendencia respondentov zvoliť si extrémne odpovede, prípadne krajné body na stupnici (čo vyplýva zo špecifického komunikačného kanálu).

 

3.2.7. INTERNETOVÝ PRIESKUM (z anglického originálu „SELF-ADMINISTERED SURVEYS“)

Pri internetových prieskumoch respondenti vypĺňajú dotazníky sami (bez účasti hodnotiteľa).

PODMIENKY POUŽITIA: Tieto prieskumy sa môžu realizovať formou papierových alebo online dotazníkov (t.j. interview s použitím počítača / internetu – CAWI). V prípade internetového dotazníka má respondent k dispozícii odkaz na internetovú stránku, kde sa nachádza dotazník. Tento vyplnia s použitím počítača, tabletu alebo smartfónu. Následne sú údaje zaslané na server, kde sa automaticky uložia do databázy.

Veľmi účinnou metódou zberu kvantitatívnych dát je tzv. „central location“ metóda. Táto metóda je založená na vyplnení dotazníkov respondentmi, ktorí sú v rovnakom čase na rovnakom mieste, napr. po ukončení školenia, workshopu alebo konferencie. V takomto prípade je potrebné zabezpečiť, aby dotazníky vypĺňali respondenti sami (bez podpory iných ľudí).

 

VÝHODY:

• krátky čas na získanie dát (hlavne v prípade central location),
• nižšie náklady v porovnaní s interview formou dotazníkov, ktoré realizujú hodnotitelia,
• pocit anonymity voči osobám realizujúcim prieskum,
• žiadny vplyv hodnotiteľa.

NEVÝHODY:

• motivácia respondentov vyplniť dotazník sa môže znížiť, ak nie je prítomný hodnotiteľ,
• nedostatok kontroly postupu vyplnenia dotazníka z prieskumu,
• riziko konzultovania odpovedí s inými osobami.

PRAKTICKÉ RADY Dotazník musí byť: krátky, jednoduchý, vizuálne pútavý, aby motivoval k vyplneniu, musí obsahovať všetky potrebné vysvetlenia, ktoré pri iných metódach poskytuje hodnotiteľ, musí mať jasné pokyny (papierová verzia) alebo algoritmy (elektronická), ktoré navedú respondenta na príslušné otázky (na základe predchádzajúcich odpovedí, nevhodné otázky sa filtrujú a vynechajú).

 

Dotaznik pre skolenie

 

3.2.8. AKTÍVNE METÓDY / WORKSHOPY SKUPINOVEJ PRÁCE S MLADÝMI ĽUĎMI

Nižšie v tomto texte uvádzame doplňujúce aktívne metódy zberu dát (hlavne kvalitatívne), ktoré môžete využiť hlavne pri skupinovej práci s mladými ľuďmi. Tieto metódy sú participatívne, zapájajú celý tím, podporujú spoluprácu a rozvoj mäkkých zručností.

Aktívne metódy sú metódy zberu dát formou workshopov, ktoré môžu dopĺňať „klasické“ metódy hodnotenia výskumu. Umožňujú získať rýchlu spätnú väzbu na danú činnosť, spoznať hodnotenia, pocity a dojmy účastníkov. Zároveň tieto metódy napomáhajú formulovať odporúčania. Metódy je vhodné použiť počas rôznych typov podujatí. Umožnia Vám urobiť stretnutie zaujímavejším, spoznať účastníkov, a zároveň lepšie prispôsobiť projektové aktivity ich požiadavkám.

 

VÝHODY:

• rýchlosť – počas stretnutí máte okamžitú spätnú väzbu,
• neformálna atmosféra,
• charakter úloh / otázok umožňuje ľahšie formulovať kritické názory a navrhovať nové riešenia,
• možnosť spoločného zberu kvalitatívnych a kvantitatívnych dát,
• stimulácia sebareflexie,
• pozitívny vplyv na psychickú pohodu účastníkov (uspokojenie požiadaviek na vyjadrenie, súhlas, integráciu).

NEVÝHODY:

• nedokážete zovšeobecniť získané názory na širšiu komunitu (neúčasťou na stretnutí),
• potreba moderovania / podpory zo strany skúseného školiteľa / moderátora,
• chýbajúca anonymita účastníkov v prípade diskusií a reportingu skupiny (negatívny vplyv na duševné zdravie a vzťahy v rámci skupiny pre ľudí, ktorí sú obzvlášť zraniteľní, alebo majú slabé postavenie v skupine.

Formou workshopu je možné implementovať nižšie uvedené príklady aktívnych metód.

 

ŠNÚRA NA BIELIZEŇ

Cieľom tohto nástroja je spoznať očakávania cieľovej skupiny. Jedná sa o vizuálnu metódu zberu kvalitatívnych dát.

Každý účastník má k dispozícii obrázky s oblečením (napr. košeľa, spodná bielizeň, nohavice, ponožky), ktoré symbolizujú určité očakávanie z projektu – môže to byť napríklad: nádej, strach, potreby, návrhy, atď. Účastníci majú dostatok času na to, aby si premysleli a vyplnili jednotlivé kresby / druhy oblečenia. Po napísaní názoru každý účastník „povešia svoje oblečenie“ na šnúru, ktorá je nakreslená alebo natiahnutá v miestnosti. Účastníci môžu prečítať svoje očakávania nahlas a pozorovať “rozvešanú bielizeň” ostatných.

 

TELEGRAM

Tento nástroj umožňuje rýchle zhrnutie určitej časti stretnutia (workshop, školenie), vďaka čomu spoznáte atmosféru v skupine.

Účastníci sú požiadaní, aby sa zamysleli nad určitou časťou stretnutia a popisujú svoje pocity troma slovami: pozitívne, negatívne a súhrnne (napr. intenzívne – únava – spokojnosť). Každá osoba číta svoje slová, čím získate spoločné zhrnutie činností (tieto slová môžete napísať na lístočky a nalepiť ich na flipchart, atď.).

 

RUKY

Cieľom tohto nástroja je zistiť názor na vybrané aspekty projektu, alebo jeho časti (napr. školenie, stáž), a zároveň zhrnúť priebeh a výsledky stretnutí. Účastníci workshopu majú k dispozícii papier, na ktorý nakreslia svoje ruky. Každý prst predstavuje jednu kategóriu hodnotenia, napr. :

• Palec – čo bolo najsilnejšou / najlepšou stránkou projektu / školenia,
• Ukazovák – o čom porozprávam svojim kamarátom,
• Prostredník – najslabší bod školenia / projektu,
• Prstenník – čo by som chcel/-a zmeniť (prvok vyžadujúci zlepšenie),
• Malíček – čo som sa naučil/-a, zistil/-a.

Účastníci zapisujú svoje názory na jednotlivé prsty podľa vyššie uvedených kategórií. Toto cvičenie môžete použiť na zistenie názorov jednotlivcov a / alebo pre skupinové diskusie.

 

EVALUAČNÁ RUŽICA

Táto metóda sa využíva na získanie spätnej väzby na rôzne aspekty projektu / činnosti v rovnakom čase. Jedná sa o vizuálnu metódu, ktorá umožňuje zozbierať kvantitatívne údaje – názory na rôzne aspekty posudzovaného objektu použitím spoločnej stupnice.

Účastníci majú k dispozícii kartičky s nakreslenou „evaluačnou ružicou“. Nákres je vyjadrený formou „veternej ružice“ -namiesto smerovania svetových strán, a zobrazuje rôzne aspekty hodnotenej veci (napr. využitie školenia, pútavosť metód vysvetľujúcich obsah, dostatočný čas strávený na školení). Rozdeľte osi na sekcie priraďte im zvolené hodnoty (napr. stupnica od 1-5, kde 1 je najslabšie a 5 najlepšie hodnotenie). Účastníci označia svoje názory na každej osi „evaluačnej ružice“. Následne môžete body pospájať a získate vizuálne pútavý obrázok názorov (finálny efekt pripomína lúčový diagram).

 

HOVORIACA STENA

Cieľom tejto metódy je získať názory na hodnotenie projektových činností alebo celého projektu. Použitím tejto metódy môžete získať kvalitatívne údaje (druhy názorov) a kvantitatívne údaje (koľkí ľudia zdieľajú daný názor).

Na stenu zaveste päť veľkých hárkov papiera. Na každý z nich dajte otázku o realizovaných činnostiach, napríklad:

• Papier č. 1: Čo nové ste sa na školení naučili?
• Papier č. 2: Ako využijete nadobudnuté vedomosti?
• Papier č. 3: Čo sa Vám najviac páčilo na tomto školení?
• Papier č. 4: Čo sa Vám najmenej páčilo na tomto školení?
• Papier č. 5: Čo by ste na tomto školení zmenili?

Účastníci napíšu svoje odpovede na každý papier zvlášť, alebo – ak už je tento názor na príslušnom papieri uvedený – pridajú znamienko plus / bodku vedľa daného názoru. Na konci hodnotiteľ zhrnie výsledky a povzbudí skupinu k tomu, aby jednotlivé názory prediskutovali a navrhli odporúčania. Táto forma zberu názorov umožňuje väčšiu otvorenosť účastníkov, ktorí nadobúdajú zmysel pre akčnosť a prekonávajú neochotu hovoriť na verejnosti.

 

ODPADKOVÝ KÔŠ A KUFOR

Pomocou tejto metódy môžete zhrnúť školenie alebo projektovú činnosť. Metóda umožňuje získať údaje o užitočných, nadbytočných alebo chýbajúcich prvkoch z pohľadu účastníkov.

Na tabuľu nakreslite kufor, košík a vrece. Každá vec symbolizuje kategóriu názoru na hodnotenú činnosť:

• Kufor: „Čo si odnášam zo školenia?“ (čo bude pre mňa užitočné, čo využijem v budúcnosti)
• Odpadkový kôš: „Čo bolo počas školenia zbytočné?“ (čo pre mňa nie je užitočné, čo bolo nadbytočné),
• Vrece: „Čo chýbalo?“ (čo by sa malo doplniť pre ďalšie školenie).

Následne môžete účastníkov požiadať, aby svoje názory povedali alebo napísali na lepiace lístky, alebo priamo k obrázkom na flipchart.

 

PRAKTICKÉ RADY PRE SKUPINOVÉ ČINNOSTI Pre účastníkov je vhodné, aby sedeli v kruhu, kde sa všetci navzájom vidia. Ich angažovanosť môžete zvýšiť tým, že sami označia ďalšieho hovoriaceho, napr. hádzaním lopty (toto riešenie sa môže použiť, ak sa v skupine nenachádzajú žiadne diskriminované osoby). Ústne vyjadrenia účastníkov si zapisujte – buď to môže urobiť školiteľ počas hodín (napr. na tabuľu, flipchart), alebo jeho asistent.

 

3.3. Ako si vybrať vhodné metódy zberu dát?

Metódy zberu dát musia byť vhodne zvolené podľa navrhnutého evaluačného konceptu a plánu. Pri výbere metódy zvážte, či metódy splnia nasledovné požiadavky:

• Účel, predmet, rozsah a typ hodnotenia, ako aj kritériá a evaluačné otázky – poskytnú vám tieto metódy údaje potrebné na zodpovedanie evaluačných otázok?
• Zdroje dát, z ktorých chcete údaje získať – bude možné získať informácie o skupine, ktorá sa zúčastní na hodnotení zberu dát?
• Charakteristiku hodnotiteľov / respondentov – zohľadňujú tieto metódy veľkosť skupiny, schopnosti vnímania, komunikačné schopnosti, zdravotný stav, atď.?
• Okolnosti zberu dát – budú všetky potrebné údaje a respondenti k dispozícii v danom okamihu? Bude zvolená metóda vyhovovať miestu zberu dát?
• K akým zdrojom máte prístup? – vyžaduje si metóda dostupnosť kvalifikovaných a nezávislých hodnotiteľov a iné zdroje (organizačné, technické, finančné a časové)?Dokážete metódy použiť sami? Umožňujú vám to Vaše zdroje?

Znalosti o metódach zberu dát (kvalitatívne a kvantitatívne) a súvisiacich nástrojoch dokážete využiť pri príprave druhej časti evaluačného konceptu (pozri kapitolu 2.4, nástroj 4), ktoré doplníte metodikou. Tento nástroj vám umožní získať odpovede na evaluačné otázky.

 

Nástroj 6. Matica hodnotenia

 

 

Nástroj 6. Logická matica hodnotenia zberu dát (evaluačný koncept, časť 2) – príklad

Evaluačné kritériá V akom ohľade je hodnotený projekt dôležitý? Presuňte kritériá zadané v hodnotiacej tabuľke, časť 1 (nástroj 4)	Evaluačné otázky Čo chcete zistiť? Uveďte otázky uvedené v hodnotiacej tabuľke, časť 1 (nástroj 4)	Zdroj informácií Kto alebo čo môže byť zdrojom dát poskytujúcmi odpovede na evaluačné otázky? Zahrňte rôzne zdroje (aspoň 2-3 pre každú otázku)	Metódy zberu dát Ako sa budú zbierať údaje? Zahrňte kvalitatívne, ako aj kvantitatívne metódy	Nástroje zberu dát Čo použijete na zber informácií? Zahrňte kvalitatívne, ako aj kvantitatívne nástroje
Významnosť / relevantnosť	Do akej miery boli projektové činnosti (nábor, školenie, poradenstvo, stáž) prispôsobené potrebám účastníkov a zamestnávateľov?	1. Projektový tím 2. Osoby realizujúce nábor, školenie, poradenstvo a stáž 3. Príjemcovia projektu (mladí ľudia) 4. Zamestnávatelia 5. Správa o zistení požiadaviek príjemcov na projekt	1. FGI – skupinové interview 2. IDI – individuálne podrobné interview 3. FGI / IDI s vybranými ľuďmi a CAWI (online prieskum) 4. CATI (telefonický prieskum) 5. Teoretický výskum (analýza dokumentácie)	1. FGI scenár 2. IDI scenár 3. FGI / IDI scenár + CAWI dotazník 4. CATI dotazník 5. –
Efektívnosť	Do akej miery sa podarilo dosiahnuť stanovené ciele a výstupy? Nepotvrdili sa niektoré predpoklady a ak áno, prečo?	1. Projektové dokumenty (diagnostika, certifikáty, výsledky skúšok o rozvoji kvalifikácie) 2. Projektový tím 3. Tréneri, psychológovia, kariérni poradcovia 4. Príjemcovia projektu 5. Zamestnávatelia	1. Sekundárny výskum 2. FGI 3. IDI 4. FGI / IDI s vybranými príjemcami a CAWI + pozorovanie zvolených činností 5. CATI	1. Pokyny pre teoretický výskum 2. FGI scenár 3. IDI scenár 4. FGI / IDI scenáre, CAWI dotazník, tlačivo pre pozorovanie 5. CATI dotazník
Účinnosť	Zhodujú sa získané výsledky s využitými zdrojmi (ľudskými, finančnými, organizačnými, technickými, časovými)? Bolo možné dosiahnuť rovnaké výsledky s menšími zdrojmi?	1. Projektový tím 2. Projektová dokumentácia 3. Odborníci na riešenia v iných projektoch 4. Koordinátori podobných projektov	1. FGI 2. Teoretický výskum 3. FGI / IDI 4. Ako vyššie.	1. FGI scenár 2. Pokyny pre analýzu dokumentácie 3. FGI / IDI scenár 4. Ako vyššie.
Využitie	Do akej miery sú výsledky projektu užitočné pre jeho príjemcov, t.j. mladých ľudí a zamestnávateľov? Dá sa táto užitočnosť zvýšiť a ak áno, ako?	1. Projektový tím 2. Projektoví pracovníci realizujúci lekcie 3. Príjemcovia projektu (mladí ľudia) 4. Zamestnávatelia	1. FGI 2. IDI 3. FGI / IDI s vybranými príjemcami, prípadová štúdiaCAWI 4. CATI (telefonický prieskum)	1. FGI scenár 2. IDI scenár 3. FGI / IDI scenár + CAWI dotazník 4. CATI dotazník
Udržateľnosť	Pretrvávajú dosiahnuté výsledky aj po ukončení financovania projektu? Aké faktory prispievajú k udržateľnosti dosiahnutých výsledkov?	1. Príjemcovia projektu (mladí ľudia) 2. Prostredie príjemcu (rodina, príbuzní) 3. Zamestnávatelia 4. Projektový tím	1. FGI / IDI so zvolenými príjemcami a CAWI 2. FGI / IDI, prípadová štúdia + CATI (telefonický prieskum) 3. CATI 4. FGI	1. FGI / IDI scenár + CAWI dotazník 2. FGI / IDI scenár + CATI dotazník 3. CATI dotazník 4. FGI scenár
Dopad	Do akej miery mal projekt vplyv na úroveň odbornej a spoločenskej činnosti mladých ľudí v regióne zapojeného do projektových činností? Presahujú tieto vplyvy jeho priamych účastníkov a ak áno, čo je týmto javom a aké mechanizmy ho spôsobujú?	1. Miestny úrad práce 2. Pracovníci miestneho úradu práce 3. Odborníci na trh práce 4. Príjemcovia projektu 5. Sociálne prostredie príjemcu projektu (rodina, príbuzní) 6. Zamestnávatelia	1. Teoretický výskum 2. IDI 3. FGI / IDI 4. FGI / IDI, prípadová štúdia + CAWI 5. FGI / IDI + CATI 6. CATI	1.- 2. IDI scenár 3. FGI / IDI scenár 4. FGI / IDI scenár + CAWI dotazník 5. FGI / IDI scenár + CATI dotazník 6. CATI dotazník
Iné	Aké prvky uľahčili a aké bránili pri implementácii projektu z pohľadu hodnotiteľov (projektového tímu a personálu)? Aké prvky uľahčili, a aké bránili v účasti príjemcov na projekte?	1. Projektový tím 2. Projektoví pracovníci realizujúci projektové činnosti (nábor, školenie, poradenstvo, stáž) 3. Príjemcovia projektu (mladí ľudia) 4. Zamestnávatelia 5. Sociálne prostredie príjemcu projektu (rodina, príbuzní)	1. FGI 2. FGI / IDI 3. FGI / IDI so zvolenými príjemcami + CAWI 4. CATI 5. FGI / IDI so zvolenými príjemcami + CATI	1. FGI scenár 2. FGI / IDI scenár 3. FGI / IDI scenáre + CAWI dotazník 4. CATI dotazník 5. FGI / IDI scenár + CATI dotazník

 

 

3.4. Ako navrhnúť nástroje zberu dát?

Bežnou chybou je začať hodnotenie tým, že si vytvoríte nástroje zberu dát, napr. dotazník pre príjemcov projektu. Nezabudnite, že výber správnych metód zberu dát, alebo príprava správnych nástrojov merania (napr. scenáre, dotazníky, tlačivá na pozorovanie) sa nedá robiť bez / oddelene od vypracovania celkového evaluačného konceptu. Nástroje zberu dát preto začnite navrhovať po stanovení:

• • predmetu, rozsahu a účelu hodnotenia,
  • evaluačných kritérií a otázok,
  • skúmanej skupiny ľudí a metód zberu dát.

Pokiaľ sa tieto prvky nezohľadnia, nepodarí sa Vám vybrať správne nástroje zberu dát. Môžete sem totiž zahrnúť aj otázky, ktoré nesúvisia s účelom zberu, a tým nebude možné odpovedať na evaluačné otázky a reagovať na evaulačné kritériá. „Nevhodné“ nástroje obsahujú neužitočné otázky, sú príliš komplexné, alebo naopak, neúplné, neposkytujú príslušné údaje a neumožňujú formulovať zmysluplné odporúčania.

Otázky zahrnuté v nástrojoch zberu dát konkretizujú evaluačné otázky. Nezabudnite, že tieto otázky kladú hodnotitelia, nie respondenti! Nezamieňajte si tieto dva typy otázok, pretože sú formulované v jazykoch prispôsobených požiadavkám:

• Hodnotiteľov / záujmových skupín hodnotenia › hodnotiace otázky,
• Skúmanej skupine osôb (respondentom)› otázky v nástrojoch zberu dát.

Ak ste si nie istý/-á, či sa má daná otázka položiť respondentom, zvážte, či na ňu opýtaná osoba dokáže odpovedať, a zároveň či pomocou získaných dát dokážete zodpovedať na evaluačné otázky a sformulovať užitočné odporúčania.

 

AKO KLÁSŤ OTÁZKY?

• Počet otázok zahrnutých v nástrojoch musí zodpovedať účelu a dĺžke trvania zberu dát.
• Nástroje zberu dát majú jasnú štruktúru s označením hlavných tém (napr. „dôvody účasti na projekte„, „posúdenie rôznych typov podpory„, „účinky účasti na projekte„). Dané témy sú zoskupené podľa tém (napr. organizačné záležitosti).
• Otázky sú kladené v konkrétnom poradí. Úvodné otázky (relatívne jednoduché) dávajte na začiatok svojho nástroja. Po nich nasledujú úvodné otázky na danú tému (nie veľmi zložité), a potom hlavné otázky (kľúč pre účel zberu dát). Najzložitejšie otázky dajte do stredu nástroja. Na záver sa pýtajte zhrňujúce a záverečné otázky.
• Otázky je potrebné klásť v logickom poradí, aby nespôsobili zmätok, alebo neprekvapili účastníkov zberu dát.Každá otázka vychádza z predchádzajúcej, alebo – v prípade interview – odkazuje na vyjadrenia respondenta.
• Jazyk interview musí byť jednoduchý a zrozumiteľný: používajte čo najkratšie vety, jazyk blízky účastníkom zberu dát – bez cudzích slov, odbornej terminológie, žargónu, skratiek.
• Otázky musíte presne formulované – napr. nesmie vzniknúť žiadna pochybnosť, akého časového obdobia sa týkajú (nepýtajte sa „či nedávno …“, ale „či minulý týždeň / mesiac / rok …“)
• Nepýtajte sa v jednej otázke na viacero tém („aké sú silné a slabé stránky projektu?“) a zároveň nepoužívajte záporné otázky („nemali by ste …“, „neuprednostňujete …“). Každá z týchto chýb sťažuje pochopenie otázky a interpretáciu odpovedí.
• Otázky a navrhované odpovede sa nesmú týkať citlivých tém – nemôžu viesť k odhaleniu traumatických zážitkov, vyvolaniu správania alebo presvedčenia, ktoré je v rozpore so zákonom alebo morálkou. Ak nie je zaručená anonymita, nepýtajte sa otázky týkajúce sa majetku, rodiny alebo zdravotných záležitostí.
• Vyhnite sa formulovaniu otázok, ktoré naznačujú odpoveď – neuvádzajte žiadne názory, ako by boli v súlade so zákonom a morálkou,neodkazuje na žiadne orgány, alebo väčšinové názory.

 

PRÍKLAD “PREKLADU” KRITÉRIA A EVALUAČNEJ OTÁZKY NA OTÁZKY V NÁSTROJI ZBERU DÁT I. Kritérium: VYUŽITIE (perspektíva: názor príjemcov; účel hodnotenia: zlepšenie projektových činností)   II. Otázka zberu dát: Do akej miery bolo školenie užitočné pre jeho účastníkov?   III. Príklady otázok zo scenára individuálneho podrobného interview (IDI) so školiteľom: 1) Aké prvky školenia boli najviac, a aké najmenej užitočné pre účastníkov, a prečo? 2) Mohlo by byť toto školenie viac prospešné pre účastníkov? Čo by sa malo zmeniť? Prečo si myslíte, že touto zmenou bude školenie užitočnejšie?   IV. Príklady otázok prieskumu pre účastníkov školenia: 1) Označte prvky školenia, ktoré boli pre Vás najužitočnejšie (možnosti: ____, ____, ____) 2) Označte prvky školenia, ktoré boli pre Vás najmenej užitočné (možnosti: ____, ____, ____) 3) Mohlo by byť toto školenie pre Vás viac užitočnejšie? (možnosti: áno, nie; neviem) otvorené otázky pre ľudí, ktorí odpovedali ‚áno‘ – Čo by sa malo zmeniť na tomto školení, aby bolo užitočnejšie? ………………….

 

Viac informácií o rozdieloch medzi kvalitatívnymi a kvantitatívnymi nástrojmi zberu dát, štruktúrou / vytvorením scenárov a dotazníkov a najčastejšie chyby v ich dizajnoch nájdete v online kurze.

IV. ČO JE POTREBNÉ ZOHĽADNIŤ PRI HODNOTENÍ PROJEKTOV ZAMERANÝCH NA MLADÝCH ĽUDÍ VO VEKU 25-29 ROKOV

 

Ako riešiť psychologické a sociálne požiadavky mladých

 

4.3.1. Zvýšená potreba na zachovanie dôvernosti poskytovaných údajov

Konkrétny dopad zberu dát predstavuje kľúčový psychosociálny faktor, ktorý je potrebné zohľadniť pri plánovaní a realizácii zberu medzi mladými ľuďmi. Tento faktor vyplýva z osobnosti mladého človeka, jeho obáv z hodnotenia, prípadne negatívnych reakcií či postihov zo strany rovesníkov, ako aj rodičov (na ktorých je mladý človek duševne aj finančne závislý). Projektový tím patrí do druhej skupiny ľudí. Pri zohľadnení týchto skutočností je potrebné:

• Informovať účastníkov zberu dát o zachovaní dôvernosti poskytnutých údajov a opatreniach prijatých za týmto účelom, t.j. zabezpečenie dôvernosti údajov pri zbere dát, ako aj anonymizáciou vo fáze analýzy dát a použitia výsledkov,
• Zaistiť úplné záruky, vrátane uskutočnenia interview (IDI, FGI) bez účasti tretích strán, vytvoriť podmienky na vypĺňanie dotazníkov, ktoré zaručujú anonymitu a dôvernosť, vrátane vhodenia dotazníka do zberného boxu,

 

4.3.2. Zvýšená požiadavka na zachovanie autonómie a emancipáciu

Na základe zistení vývojovej psychológie sú mladí ľudia vo veku od 15 do 24 rokov citliví na otázky týkajúce sa rešpektovania ich slobody, čo je spôsobené formovaním ich osobnosti. Z toho vyplýva, že ich právo a možnosť voľby o účasti, alebo neúčasti na zbere dát je potrebné jasne komunikovať. Zároveň je potrebné uviesť dôvody a dôsledky každej z týchto možností. Poskytnutie všetkých informácií je možné vnímať ako nevyhnutnú súčasť komunikácie s mladými.

Na druhej strane môžeme mladých ľudí pozitívne motivovať k ich účasti na zbere dát reagovaním na ich potreby. Môžeme ich napríklad obsadiť do funkcií spolurealizátorov a spoluhodnotiteľov. Podmienkou pre skutočné zapojenie mladých ľudí do zberu dát je, že sa k nim budeme správať ako k partnerom. Okrem úlohy klasického objektu hodnotenia môžu mladí ľudia zohrávať aj iné úlohy, vrátane poradenstva a rozhodovania. Dosiahnuť je to možné vďaka zapojeniu mladých do rôznych fáz procesu hodnotenia, od oznamovania požiadaviek na zber dát, cez spolurozhodovanie o prioritách, plánovanie, účasť na implementácii až po konzultáciu záverov (pozri Sekciu 2.2).

V. ANALÝZA DÁT

 

 

D’alšou fázou hodnotiaceho procesu po vykonaní zberu dát je ich analýza. Analýzy dát predstavuje využitie kompletného materiálu (informácií získaných prostredníctvom rôznych metód), odpovedanie na evaluačné otázky, ako aj hodnotenie projektu na základe zvolených kritérií. V tejto fáze je preto vhodné vrátiť sa ku konceptu hodnotenia, spracovaného v úvodnej fáze hodnotiaceho procesu, ktorý funguje ako kompas. Vedie hodnotiteľa celým procesom zberu dát (slúži nielen na samotný zber dát, ale aj na ich analýzu, vyvodenie záverov a formuláciu odporúčaní).

 

Účelom analýzy dát je:

• Zber a overenie získaných dát,
• Popis, zhodnotenie a porovnanie získaných kvalitatívnych a kvantitatívnych dát (overenie ich spoľahlivosti a konzistencie),
• Identifikácia a vysvetlenie rôznych vzťahov príčin a dôsledkov, ktoré umožnia pochopiť mechanizmy skúmaných javov,
• Interpretácia získaných záverov hodnotenia v spojení s rozsiahlejšími znalosťami o premete hodnotenia (hodnotenie),
• Získanie podrobných odpovedí na evaluačné otázky a dôveryhodných hodnotení na základe zvolených kritérií,
• Vyvodenie záverov zo získaných dát a formulovanie užitočných odporúčaní na ich základe.

Pri analýze dát nezabúdajte na princíp triangulácie, t.j. zostavenie dát získaných z rôznych zdrojov pomocou rôznych metód zberu dát a rôznymi hodnotiteľmi. Vďaka tomu máte možnosť dané údaje doplniť, rozšíriť a tiež sa uistiť, či dokážete získať ucelený obraz o hodnotenom projekte.

Postupy analýzy dát sú rovnaké činnosti pre obidva typy dát (kvalitatívne aj kvantitatívne). Ide najmä o postupy ako zredukovanie, prezentácia a spracovanie záverov. Získané výstupy sa však od seba líšia svojou formou. Porovnanie týchto výstupov je uvedené v tabuľke nižšie.

 

Tabuľka 3. Analýza dát – postup

POSTUP	KVANTITATÍVNE ÚDAJE	KVALITATÍVNE ÚDAJE
Redukcia dát	Výpočet percent, priemerov a iných meraní	Výber, zjednodušenie, zovšeobecnenie, zhrnutie
Prezentácia zistení (v ucelenej forme)	Tabuľky, grafy, schémy	Textové štúdie, zhrnutia, schémy, matice, siete prepojení
Vyvodenie záverov	Štatistické skúšky hypotézy týkajúce sa vzťahov medzi skúmanými javmi	Zistené vzory, jednotnosti, odchýlky, vypracovanie vysvetlení

 

Pred samotnou analýzou dát je potrebné overiť, či sú všetky materiály získané pri zbere dát anonymizované, t.j. neobsahujú žiadne osobné údaje (mená, priezviská, vrátane e-mailových adries, telefónnych čísiel, atď. ako aj kontextové údaje, na základe ktorých je možné zistiť totožnosť účastníkov). Respondenti, ktorí sa zúčastnili na kvalitatívnej časti zberu dát (IDI, FGI) majú pseudonymy, kde sa zohľadňujú znaky dôležité pre hodnotiteľa. Osobné údaje účastníkov je nevyhnutné oddeliť od poskytnutých obsahových dát.

 

Proces analýzy dát pozostáva zo štyroch hlavných fáz:

1. Výber a usporiadanie zozbieraného materiálu – počas tejto fázy sa overuje správnosť a úplnosť, spoľahlivosť každého údaju (vďaka triangulácii) a odstraňujú sa údaje neužitočné pre daný účel hodnotenia. Je potrebné zozbierať všetky údaje a uľahčiť ich ďalšiu analýzu – zvukové záznamy môžete prepísať alebo zapísať podľa vopred pripravenej schémy (ktorá zahŕňa zhrnutie vyjadrení respondentov). V prípade prieskumu vylúčte z analýzy neúplné dotazníky, atď.

 

2. Vytvorenie analytických kategórií (výber typu kódovania a kódovanie dát – ich kategorizácia a klasifikácia) – to znamená pridelenie kódov / „označení“ každému získanému údaju, ktoré predstavujú určité kategórie dát, a tým umožňujú zorganizovať získaný materiál.

• V prípade uzavretých otázok majú kódy odpovedí numerickú formu (napr. „žena“ = 1, „muž“ = 2), čím môžete analyzovať údaje pomocou štatistických programov (alebo tabuľky). Najprv si vypracujete postup kódovania, ktorý obsahuje názvy kódov a čísla použité v dotazníku, aby ste identifikovali odpovede respondentov na dané otázky. Pri papierových formách prieskumov sa vyžaduje manuálne kódovanie – tu potrebujete označiť odpovede v dotazníku číslami, kódovať odpovede a zadať tieto údaje do databázy. Elektronické prieskumy sa kódujú automaticky.

 

• V prípade otvorených otázok a iných kvalitatívnych dát majú kódy pre konkrétne odpovede verbálnu formu (napr. “školiaca organizácia”, “uskutočnenie školenia”). Kódy pre kvalitatívne údaje môžete navrhnúť pred alebo po oboznámení sa s celým materiálom. Prvá metóda sa nazýva kódovanie „zhora nadol“, založená nadobrej znalosti skúmanej témy a / alebo jej základov v danej teórii. Druhá metóda predstavuje otvorené kódovanie (“zdola nahor”) a skladá sa z kategórií uvedených v zozbieranom materiáli (napr. vzťahujúcich sa na otázky zberu dát). V obidvoch prípadoch si musíte pripraviť schému kódovania, kde budú zoradené kódy (vytvorenie hierarchie kódov, nadradené / spoločné a podrobné kódy). Týmto spôsobom je možné prezentovať získané údaje konzistentne.

 

Tabuľka 4. Príklady kvalitatívneho kódovania

Hodnotenie školiacich modulov (kód):
Užitočnosť každého školenia (podkód)	Prispôsobenie školenia požiadavkám jeho účastníkov, prispôsobenie poskytnutých vedomostí úrovni ich kompetencií
Organizácia školenia (podkód)	Trvanie (príliš dlho / príliš krátko), množstvo poskytnutých poznatkov (príliš málo / priveľa), hodnotenie formy vyučovania (lekcie, workshopy), pomer teórie a praxe, množstvo času venovaného diskusii a otázkam účastníkov vzdelávania.
Hodnotenie školiteľov (podkód)	Spôsob prenosu vedomostí, použitie príkladov, povzbudenie účastníkov klásť otázky, výmena skúseností medzi účastníkmi vzdelávania.

 

Údaje prislúchajúce daným kódom je následne možné zhrnúť do jednej tabuľky. Týmto spôsobom sa uľahčí vyhľadávanie podobných alebo rovnakých údajov o účastníkoch a zároveň získate údaje o ich odlišnosti. Tiež môžete pozorovať vzájomné spojitosti medzi vlastnosťami alebo situáciami a vyjadreniami účastníkov.

 

Nástroj 7. Tabuľka pre zhrnutie dát získaných od účastníkov školenia

 

	Osoba 1	Osoba 2	Osoba 3
Údaje o účastníkovi (miesto výkonu práce, pracovná skúsenosť, účasť na iných školeniach na túto tému)
Primeranosť vzdelávania / školenia potrebám účastníka (téma, spôsob realizácie školenia, hodnotenie školiaceho materiálu, chýbajúce prvky, organizačné metódy)
Dopad a udržateľnosť účinkov vzdelania (užitočnosť získaných vedomostí a zručností, ich dopad na odborné postavenie a osobný rast účastníka)
Zhrnutie (silné a slabé stránky školenia, doplňujúce poznámky, odporúčania – čo a ako je možné zmeniť do budúcnosti)

 

 

3. Analýza a interpretácia získaných záverov (vysvetlenie a zhodnotenie danej témy / problému zo strany hodnotiteľa)

Analýza dát je dôležitým prvkom hodnotenia. Zo získaných materiálov môžete zhrnúť závery a nájsť spoločné alebo rozdielne znaky predmetu hodnotenia. Metódu analýzy dát odporúčame zvoliť a popísať vo fáze plánovania hodnotenia. Údaje získané počas hodnotenia je možné analyzovať viacerými spôsobmi. Metódy analýzy je možné najjednoduchšie rozdeliť na:

• Analýzu kvantitatívnych dát (čísla, odpovede na uzavreté otázky) – pre jednoduché analýzy môžete použiť napríklad MS Excel, a pre zložitejšie analýzy štatistické programy, ako sú SPSS alebo Statistica. Prevádzkujú ich odborníci, ktorých služby môžete v prípade potreby využiť.

PRAKTICKÁ RADA V prípade malej skupiny sa kvantitatívne údaje neuvádzajú v percentách, napr. pri informovaní o tom, žez desaťčlennej skupinymá daný názor 20% respondentov. Lepšie je použiť absolútne čísla a uviesť, že sa jedná o 2 ľudí.

• Analýzy kvalitatívnych dát (napr. textu, vyjadrení z interview) – pri jednoduchých analýzach stačí zahrnúť údaje do diagramu/ matice. V prípade zložitejšieho materiálu je vhodné použiť programy uľahčujúce analýzu, napr. QDA Miner, OpenCode, Weft QDA.

 

Niektoré sú stručne uvedené nižšie:

 

Tabuľka 5. Metódy analýzy kvantitatívnych dát

Analýza kvantitatívnych dát, ako sú náklady, frekvencia alebo fyzické vlastnosti.	Funkcie MS Excel
Frekvenčné tabuľky: usporiadanie hodnôt získaných dát vzostupne, spolu s príslušnými frekvenciami, čím sa dosiahne jasný obraz o danom údaji.	POČETNOSŤ
Kontingenčné tabuľky: získanie dát o frekvencii dvoch premenných (napr. pohlavie a frekvencia školskej dochádzky) vyskytujúcich sa v rovnakom čase.	Funkcie kontingenčných tabuliek
Korelácia: štatistická technika na stanovenie intenzity vzájomnej súvislosti dvoch alebo viacerých premenných.	CORREL
Merania strednej tendencie: súhrnné meranie, ktoré popisuje celý súbor dát prostredníctvom jednej hodnotyzastupujúcej stred, alebo centrum (t.j. aritmetický priemer, medián, modus)	PRIEMER MEDIÁNU
Merania rozptylu: súhrnné meranie, ktoré popisuje, ako sú hodnoty rozmiestnené okolo stredu (napr. štandardná odchýlka, rozptyl).	STDEV VAR

Vlastné vypracovanie vychádzalo z nasledovných dokumentov: Peersman, G. (2014). Overview: Data Collection and Analysis Methods in Impact Evaluation, Methodological Briefs: Impact Evaluation 10, UNICEF Office of Research, Florence.

 

Tabuľka 6. Možnosti analýzy kvalitatívnych dát

Analýza slovných vyjadrení (hovorených alebo písaných),vrátane rozhovorov, dokumentov a otvorených otázok v dotazníkoch.

Analýza obsahu: redukovanie veľkého množstva neštruktúrovaného textového obsahu na údaje, ktoré je možné analyzovať, a ktoré sa vzťahujú na zber dát / evaluačné otázky.

Rozprávanie: vytvorenie súvislých príbehov týkajúcich sa zmien, ktoré nastali u jednotlivca, v komunite, mieste alebo v programe a politike.

Časové línie: zoznam kľúčových udalostí zoradených chronologicky.

Tematické kódovanie: zvukové zaznamenávanie, alebo určovanie pasáží textu alebo obrázkov prepojených spoločnou témou alebo myšlienkou,čím dosiahneme indexáciu textu do kategórií.

 

Peersman, G. (2014). Overview: Data Collection and Analysis Methods in Impact Evaluation, Methodological Briefs: Impact Evaluation 10, UNICEF Office of Research, Florence.

 

DÔLEŽITÉ Pri analyzovaní dát je veľmi dôležité určiť, aké zmeny nastali v dôsledku projektu a akú úlohu pri nich zohrali príslušné aktivity. Preto je potrebné zodpovedať na otázku, do akej miery mali projektové aktivity dopad na dosiahnutie predpokladaných merateľných ukazovateľov, a akú úlohu zohrávali projektové aktivity popri iných faktoroch majúcich vplyv na predpokladané zmeny (pozri kapitolu 2.5).

 

Pri analyzovaní dát odporúčame tiež vrátiť sa k teórii zmeny popísanej v predchádzajúcich častiach, ktorá je súčasťou popisu projektovej logiky. Pri plánovaní zmeny na začiatku projektu ste si robili odhady podmienok, ktoré musíte splniť (požadované zdroje, implementované činnosti), aby sa dosiahli dané výsledky, t.j. navrhovali ste sled príčin a dôsledkov. Výsledky hodnotenia overujú našu teóriu zmeny – buď ju potvrdí, alebo ukáže určité medzery (napr. chýbajúce / zbytočné prvky) a odporučí zlepšenia do budúcnosti.

Pre vyvodenie príčinnej súvislosti existujú tri základné stratégie. Kombináciou týchto stratégií môžete zvýšiť dôveryhodnosť zistených záverov:

 

Tabuľka 7. Analýza dát – prístupy pre určenie príčinnej súvislosti s rôznymi možnosťami

Porovnávací prístup	Vytvorenie predpokladu o tom, čo by sa stalo v prípade, že by daný program alebo politika neboli realizované; v tomto prípade je vhodné použitie experimentálnych a kvázi experimentálnych metód (tiež kontrolnej alebo porovnávacej skupiny), alebo metódy modelovania.
Konzistentnosť dôkazov s príčinnou súvislosťou	Určenie faktorov, ktoré budú v súlade s príčinnou súvislosťou, a následné hľadanie potvrdzujúceho a nepotvrdzujúceho dôkazu. Okrem iného sem patrí: dosiahnutie okamžitých výsledkov, overenie výsledkov s odhadmi odborníkov, overenie času dopadu, porovnávacie prípadové štúdie, overenie súladu s existujúcou literatúrou, Pozorovanie procesu (vytvorenie alternatívnych hypotéz a ich kontrola), kvalitatívna porovnávacia analýza.
Vylúčenie možností	Určenie možných alternatívnych príčinných vysvetlení a následné hľadanie informácií o tom, či je možné ich vylúčiť. Možnosti zahŕňajú: Pozorovanie procesu, Vylúčenie alternatívnych vysvetlení, Modelovanie, Určenie pravdepodobných vysvetlení, ich overenie a možné vylúčenie.

 

Vlastné vypracovanie vychádzalo z nasledovného: Rogers, P. (2014). Overview: Strategies for Causal Attribution, Methodological Briefs: Impact Evaluation 6, UNICEF Office of Research, Florence.

VI. REPORTING

 

 

6.1. Ako môžeme použiť výsledky analýzy dát?

Po ukončení fázy analyzovania kvalitatívnych a kvantitatívnych dát máte k dispozícii množstvo informácií, ktoré sa musia správne a rozumne využiť. Tieto dáta sa pretransformujú do vedomostí, ktoré vám umožnia robiť presné rozhodnutia týkajúce sa zlepšenia projektu (napr. ako ho lepšie prispôsobiť požiadavkám jeho príjemcov, ako dosiahnuť podobné účinky s použitím menších zdrojov, ako dosiahnuť väčší dopad a udržateľnosť výsledkov).

Na základe výsledkov analýzy je možné vyvodiť závery, ktoré sa týkajú javovo alebo problémov zistených počas hodnotenia. Tieto závery súvisia predovšetkým s témami, ktoré sú predmetom evaluačných otázok, ale môžu zahŕňať aj témy, ktoré boli dodatočne zistené počas zberu dát.

V evaluačnej správe je preto potrebné uviesť nielen zistenia z hodnotenia zberu dát, ale aj ich výklad (t.j. súvislosť a prepojenie na rozsiahlejšie znalosti o skúmanej téme). Zároveň evaluačná správa obsahuje závery vyvodené zo získaných dát a príslušné odporúčania. Vyššie uvedená schéma prezentuje vzťah medzi týmito prvkami. Pri spracovaní zistení, interpretácie, záverov a odporúčaní je možné využiť otázky (v schéme nižšie sú uvádzané kurzívou).

Nižšie uvádzame príklad procesu formulovania záverov a odporúčaní pre vzdelávací projekt zameraný na NEET (zistenia odkazujú na kvantitatívnu časť zberu dát).

 

Príklad vzťahu medzi evaluačnými zisteniami, ich výkladom, závermi a odporúčaniami

 

ZISTENIA	Odborné vzdelávanie vhodne reagovalo na potreby 71% účastníkov Vzdelávanie zamerané na rozvoj mäkkých zručností bolo užitočné pre 63% účastníkov. 85% účastníkov bez zamestnania po dobu od 6 do 12 mesiacov má záujem zúčastniť sa odborného vzdelávania týkajúceho sa rozvoja 64 % účastníkov rozvoja mäkkých zručností. 26% účastníkov bez zamestnania po dobu od 6 do 12 mesiacov a 9% dlhodobo nezamestnaných (t.j. 3 – 5 rokov) prejavilo ochotu zúčastniť sa na vyššie uvedenom vzdelávaní.
INTERPRETÁCIA ZISTENÍ	Štúdia zameraná na požiadavky cieľovej skupiny umožnila prispôsobiť ponuku vzdelania očakávaniam tejto skupiny. Dlhšie obdobie nezamestnanosti znižuje motiváciu príjemcov projektu na ich účasť na aktivačnom vzdelávaní. Je to v dôsledku nedostatku viery v možnosť nájsť si prácu, ktorá sa časom zvyšuje.
ZÁVERY	Obidve formy podpory vzdelania zamerané na odbornú aktiváciu nezamestnaných boli užitočné a primerané potrebám väčšiny príjemcov. Osoby, ktoré boli nezamestnané kratšie, mali väčší záujem o účasť na aktivačnom vzdelávaní ako dlhodobejšie nezamestnaní.
ODPORÚČANIA	Zvýšenie vhodných foriem podpory ponúkaných v projekte k požiadavkám dlhodobo nezamestnaných príjemcov, napríklad formou hĺbkových štúdií zameraných na očakávania tejto skupiny, ponukou odborného poradenstva, stáže a individuálnou podporou školiteľa pre prácu, ako aj okamžitým kontaktovaním s ľuďmi, ktorí si našli prácu po dlhej dobe. Zvýšenie úrovne využiteľnosti realizovaného vzdelávania vďaka zmenám v programoch, v trvaní a metódach realizácie pri zohľadnení konkrétnych… (konkrétne úpravy sa navrhnú v tých oblastiach, ktoré napríklad uvedú príjemcovia).

 

Nezabudnite zohľadniť rôzne aspekty týkajúce sa hodnotenia a analýzy, napr. použité metódy (kvalitatívne, kvantitatívne), metódy výberu vzorky a stupeň odozvy (úroveň návratnosti dotazníkov), čo môže viesť k určitým obmedzeniam pri formulovaní záverov.

 

PRAVIDLÁ PRE FORMULOVANIE ZÁVEROV:

• Pracujte so závermi kriticky, pozrite sa na ne s odstupom a neustále hľadajte alternatívne vysvetlenia pre zistené javy. Vždy je vhodné poradiť sa s niekým iným, najlepšie so skúsenejšou osobou (“kritický kamarát”) ktorá, vďaka tomu, že nie je zapojená do hodnotenia, sa na závery pozrie “sviežim pohľadom”.
• Ubezpečte sa, že správne interpretujete vyjadrenia účastníkov, napr. spoločnou konfrontáciou záverov. Ak si nie úplne istí daným záverom, zjemnite ho použitím slov „pravdepodobne„, „možno“ a pod.
• Závery nezovšeobecňujte na celú populáciu (napr. na ľudí, ktorí sa nezúčastnili zberu dát), ak ste použili kvalitatívne metódy, alebo ak skúmaná vzorka nebola vybraná náhodne.

• Ako sa vyhnúť chybám pri vyvodzovaní záverov môžete zistiť pomocou nášho online kurzu (https://youth-impact.eu).

 

AKO FORMULOVAŤ ODPORÚČANIA?

• Tematicky ich zoskupte (napr. riadenie projektu, spolupráca s partnermi, implementované činnosti, účinky projektu).
• Prepojte ich so silnými a slabými stránkami predmetu hodnotenia. Nezameriavajte sa len na negatíva – poukážte aj na tie oblasti, ktoré dobre fungujú a nevyžadujú si žiadne zmeny. Ak sa naopak sústredíte len na pozitívne stránky, znížite tým dôveryhodnosť hodnotenia.
• Ubezpečte sa, že odporúčania sú podrobné, precízne a realistické (možné na implementáciu), takže sú aj praktické, presné a užitočné.
• Ku každému odporúčaniu priraďte: príjemcu (s ktorým sa vopred dohodnete), časový termín a stupeň významnosti, čím zvýšite šance na jeho implementáciu.

Zábery a odporúčania môžete prezentovať v stručnej tabuľke ako zhrnutie správy, alebo ako samostatný „finálny produkt“ hodnotenia. Nižšie uvádzame príklad tabuľky s odporúčaniami, ktorá sa týka hodnotenia vzdelávacieho projektu:

 

9A. Príklad tabuľky s odporúčaniami

 

Problémová oblasť: Organizácia vzdelávania
Problém / jav	Lekcie trvajú do 20.00 hod.
Príčina	Organizátori chcú uskutočniť školenie v jeden deň, aby ušetrili peniaze za prenájom miestnosti.
Dôsledok	Účastníci sú na konci školenia unavení; tak neskoro nedokážu absorbovať vedomosti.
Dôležitosť	Nízka	Stredná	Kľúčová
Odporúčania	Začnite a skončite školenie skôr (najneskôr o 18.00 hod. ) alebo ho rozdeľte na dva dni.
Výhody	Lepšie nadobudnutie znalostí účastníkmi, ako aj väčšia spokojnosť s účasťou na školení.
Príjemca odporúčaní	Organizátor školenia (uveďte subjekt)
Termín	Okamžite (ak je to možné, uveďte konkrétny dátum)

V zjednodušenej verzii môže tabuľka so závermi a odporúčaniami vyzerať aj takto:

Nástroj 9B. Zjednodušená verzia tabuľky s odporúčaniami

 

Problém	Záver	Odporúčanie	Očakávaný výstup alebo implementácia	Príjemca odporúčaní	Termín

 

6.2. Aké sú charakteristické znaky dobrej správy?

Správa je finalizáciou procesu hodnotenia. Prezentuje koncept, priebeh zberu dát a jeho závery, ako aj súvisiace odporúčania.

Počas procesu hodnotenia môžete napísať rôzne typy správ, napr.:

 

Tabuľka 8. Typy správ

Úvodná správa – (metodická) – podrobne popisuje koncept hodnotenia (prijatá pred zahájením zberu dát)	Záverečná – prezentuje koncept hodnotenia, jeho zistenia, ako aj závery a odporúčania (prijaté po ukončení zberu dát a analýzy zistení)
Čiastková – zahŕňa niektoré časti prebiehajúceho hodnotenia (napr. ukončené projektové úlohy)	Súhrnná – zahŕňa celý rozsah prebiehajúceho hodnotenia
Periodická – vypracovaná ako súčasť prebiehajúceho hodnotenia (napr. každé 3 až 6 mesiacov)	Ročná, polročná, štvrťročná – vyhotovuje sa ako súčasť prebiehajúceho hodnotenia (správa z tohto hodnotenia nemusí zahŕňať dané časové obdobie, napr. následné projektové úlohy)
V pracovnej verzii – prvá verzia správy sa zašle záujmovým skupinám na opravy a poznámky	Vo finálnej verzii – ďalšia opravená verzia je zvyčajne finálna

 

Záverečnú správu môžete vyhotoviť v rôznych formách, ktorú – takisto ako v nej uvádzaný obsah – prispôsobíte požiadavkám jednotlivých skupín príjemcov (hodnotených záujmových skupín). Príklady spôsobov prezentovania a podpory záverov hodnotenia zahŕňajú:

• • Záverečnú správu v elektronickej verzii (papierová verzia je menej častá) zaslanú záujmovým skupinám a / alebo zverejnenú na internete (napr. na internetovej stránke projektu alebo subjektu objednávajúceho si hodnotenie),
  • Zhrnutia správ vo forme informačných letákov / brožúr, ktoré obsahujú kľúčové závery a odporúčania,
  • Multimediálnu prezentáciu počas konferencií a stretnutí, napr. so záujmovými skupinami, partnermi,
  • Infografiku na internetovej stránke projektu, sociálnych sieťach a zaslanú na sociálne siete,
  • Výtlačky plagátov prezentované pri rôznych udalostiach, napr. na konferenciách, piknikoch,
  • Filmy (video prezentácie) adresované veľkému publiku (vrátane rozptýleného) a zverejnené na internete,
  • Následnú činnosť – prezentáciu o dopadoch implementovania odporúčaní.

Správa vo verzii rozšíreného textového dokumentu môže mať nasledovnú štruktúru:

• • Úvodná strana – názov zmluvnej inštitúcie, názov inštitúcie realizujúcej hodnotenie (ak bolo hodnotenie externé), dátum vyhotovenia, autori, názov (napr. ex post hodnotenie projektu X),
  • Zhrnutie – hlavné prvky evaluačného konceptu, kľúčové zistenia, závery a odporúčania (potrebné pre rozsiahle správy),
  • Obsah – umožní automatický prístup na príslušnú stranu správy,
  • Zoznam skratiek (a prípadné definície odborných pojmov),
  • Úvod – informácie o realizujúcej inštitúcii, typ a dátum ukončenia hodnotenia, názov hodnoteného projektu, zdroje jeho financovania a organizáciu, ktoré ho implementuje
  • Predmet a rozsah hodnotenia – stručný popis hodnoteného projektu a jeho častí, ktoré boli súčasťou hodnotenia,
  • Ciele hodnotenia – vysvetlenie, prečo sa hodnotenie realizovalo a čo sa od neho očakávalo,
  • Evaluačné kritériá a otázky – údaj o tom, akým spôsobom bola stanovená hodnota predmetu hodnotenia / čo sme sa počas hodnotenia mali naučiť,
  • Metodológia – popis použitých zdrojov údajov a metód zberu dát, metódy výberu vzorky, priebeh zberu dát, úrovne odozvy (aké percento respondentov sa zúčastnilo zberu dát). Tiež je vhodné uviesť problémy, ktoré vznikli počas implementácie zberu dát, ako aj dopady ich riešení,
  • Popis evaluačných zistení – popis kvalitatívnych a kvantitatívnych záverov zistených počas zberu dát, spolu s ich výkladom na základe prijatej formy prezentácie (napr. v súlade s evaluačnými kritériami / otázkami). Konfrontujú sa zistenia z rôznych zdrojov získané prostredníctvom rôznych metód (trianguláciou). Každá kapitola môže uvádzať čiastkové zhrnutia,
  • Závery a odporúčania – stručná, ale podstatná odpoveď na evaluačné otázky. Závery musia vychádzať zo zistení štúdie, na ktoré sa musia úzko vzťahovať odporúčania,
  • Prílohy (voliteľné) – napr. použité nástroje na zber dát, tabuľkové zhrnutia, prípadové štúdie, atď.

Je dobré vedieť, že bez ohľadu na formu správy potrebujete súhlas hodnotiteľa v prípade akýchkoľvek zmien v tomto dokumente, ako pri externom, tak aj pri internom hodnotení.

• Ak máte záujem dozvedieť sa viac o komentároch k evaluačnej správe, kliknite na odkaz (https://courses.youth-impact.eu/en).

Dobrá evaluačná správa spĺňa nasledovné podmienky:

• je v súlade s podmienkami zmluvy a požiadavkami príjemcov, je napísaná v jazyku, ktorému rozumejú,
• obsahuje zoznam použitých skratiek (a prípadné definície kľúčových pojmov napr. v prípade, ak správu prezentujete širokej verejnosti, ktorá tieto pojmy neovláda),
• má jasnú a zrozumiteľnú štruktúru,
• má stručnú formu a zároveň komplexne zodpovedané evaluačné otázky (bez takzvaného „váhania“),
• je založená na dôveryhodných a spoľahlivých zisteniach, ktoré boli dôkladne analyzované,
• prezentuje nielen získané zistenia, ale tiež ich interpretáciu; zároveň uvádza vzťah medzi dátami a závermi,
• obsahuje odôvodnené závery a užitočné súvisiace odporúčania,
• obsahuje grafické prvky (tabuľky, grafy, schémy) a citáty vyjadrení respondentov, vďaka ktorým sa príjem obsahu správy stáva pútavejším.

Prostredníctvom nasledujúcej tabuľky si môžete overiť kvalitu evaluačnej správy. Obsahuje podrobné kritériá na posúdenie. Môžete si zvoliť stupnicu (číselnú alebo slovnú) a zhodnotiť svoju, alebo zadanú správu.

 

Nástroj 10. Tabuľka pre zhodnotenie kvality správy

 

KRITÉRIÁ HODNOTENIA KVALITY SPRÁVY	Na základe nasledovných kritérií je správa:
	xxx	xxx	xxx	xxx	xxx
1. Vhodný obsah a splnenie požiadaviek na údaje: – spĺňa správa požiadavky zmluvy? (ak relevantné) – poskytuje správa komplexné odpovede na skúmané otázky? – zaoberala sa správa metodickými otázkami podrobne? – obsahuje správa závery a odporúčania?
2. Jasnosť, zrozumiteľnosť: – je jazyk správy prispôsobený požiadavkám príjemcov?
3. Metodická vhodnosť: – je testovacia metóda vhodná? – mohli ste vďaka použitým metódam získať údaje a odpovede na evaluačné otázky?
4. Spoľahlivosť dát – bol zber dát realizovaný vhodným spôsobom? – bola zaručená spoľahlivosť zberu dát?
5. Správna analýza dát: – bola analýza kvalitatívnych dát realizovaná správne? – bola analýza kvalitatívnych dát realizovaná správne? – boli závery správne interpretované? – umožňujú zistené závery odpovedať na evaluačné otázky?
6. Spoľahlivé a objektívne závery: – obsahuje správa logické a opodstatnené závery vyplývajúce z analýzy dát? – sú použitia nestranné a bez vplyvu zapojených strán / zainteresovaných strán?
7. Užitočné odporúčania: – sú odporúčania použiteľné, opodstatnené a podrobné? – obsahujú odporúčania adresáta a dátum implementácie? – boli odporúčania odsúhlasené s adresátmi?
8. Kvalita a veľkosť príloh: – sú všetky potrebné doplnkové údaje zahrnuté v prílohách? -obsahujú prílohy údaje, ktoré by sa mali zahrnúť do hlavnej časti správy?
9. Iné, čo?
Na základe daných nedostatkov hodnotenia (napr.………………..), sa hodnotiaca správa posudzuje ako:	xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

 

6.3. Ako splniť požiadavky príjemcov hodnotenia

Možnosť použiť závery hodnotenia závisí od typu, t.j. fázy životného cyklu projektu, v ktorom prebieha hodnotenie.

Najväčšie šance na zavedenie zmeny poskytuje hodnotenie ex ante, ktoré sa realizuje v čase, kedy hodnotený subjekt / projekt ešte nebol zahájený.

V prípade priebežného hodnotenia je len málo príležitostí na využitie odporúčaní pre zavedenie konkrétnych zmien. Projekt totiž prebieha a jednotlivé činnosti sa postupne implementujú. Niektoré prvky sa aj napriek tomu stále dajú upraviť. Napríklad lepším prispôsobením prebiehajúcich činností potrebám príjemcov, zabezpečením dosiahnutia plánovaných ukazovateľov na predpokladanej úrovni, alebo ich prispôsobením k zmeneným podmienkam implementácie projektu.

Závery z hodnotenia ex post môžu napomôcť pri plánovaní budúcich (rovnakých alebo podobných) projektov, pretože hodnotený projekt bol už ukončený.

Ak sa závery z hodnotenia týkajú organizačných otázok, alebo otázok riadenia, môžete ich využiť pri aktuálnej práci.

Šírenie zistení z hodnotenia (najčastejšie formou záverov a odporúčaní) medzi zainteresovanými skupinami predstavuje veľmi dôležitú fázu. Prispieva k lepšiemu porozumeniu požiadaviek na zmenu, posilneniu spolupráce, záväzku a motivácii konať, ako aj k získaniu podpory v tomto procese.

Zdieľanie záverov z hodnotenia s inými ľuďmi / subjektmi môže preukazovať Vašu schopnosť vyjadriť hodnotu a kvalitu Vašich činností. Je znakom toho, že ste pripravený /-á zapájať sa do diskusií o rôznych aspektoch predmetu hodnotenia, Vašej schopnosti zhodnotiť silné a slabé stránky, ako aj túžby rozvíjať a zlepšovať spoluprácu s inými záujmovými skupinami.

 

Nástroj 11. Šírenie záverov z hodnotenia – tabuľka

 

PRÍJEMCOVIA VÝSLEDKOV Komu adresujete údaje?	FORMA ÚDAJOV V akej forme sa budú prezentovať?	ÚČEL Prečo chcete informovať príjemcov?	VYJADRENIE / OBSAH Čo máte záujem komunikovať? O čom chcete informovať príjemcov?	TERMÍN Kedy budete informovať príjemcov?
Našej organizácii	Textový dokument	Zavedenie zmien na zlepšenie projektu	Zistené ťažkosti a príležitosti na zlepšenie, zavedenie nevyhnutných zmien v nasledujúcej verzii projektu	Na pravidelnej báze a pri zhrnutí projektu
Záujmovej skupine / partnerovi	Multimediálna prezentácia	Zlepšenie spolupráce pri implementácii projektu	Priebeh procesu implementácie projektu, zistené problémy, príležitosti na zlepšenie	Opakovane a na konci projektu
Iným príjemcom, napr. miestnej komunite	Infografika	Zvýšenie podpory verejnosti pri projekte	Stupeň dosiahnutia plánovaných výsledkov, prispôsobenie projektu požiadavkám príjemcov, jeho užitočnosť	Na konci projektu

ZÁVEROM

 

Ak čítate tieto riadky, pravdepodobne ste si prečítali celý obsah a dozvedeli sa, prečo a ako môžete hodnotiť svoje projekty, a to predovšetkým tie, ktoré sú zamerané na zamestnanosť mladých ľudí. Zároveň ste sa mohli dozvedieť, či je pre Vás zaujímavé hodnotenie ich skutočného (čistého) dopadu.

Vďaka využitiu participatívneho prístupu k hodnoteniu môžete získať informácie, ktoré sú užitočné pre ďalšie kľúčové rozhodovania o vašich projektoch a / alebo programoch. Zároveň poskytuje informácie dôležité pre záujmové skupiny, predovšetkým donorov a financujúce inštitúcie. Taktiež hlavné cieľové skupiny projektov / programov môžu benefitovať vďaka lepšiemu budovaniu kompetencií. Samotný projektový tím získava lepšie informácie, vďaka ktorým môže zlepšiť koordináciu a motiváciu v tíme. Vo výsledku napokon dospejete k relevantnejšiemu, efektívnejšiemu, udržateľnejšiemu, jednoducho k lepšiemu projektu!

Pre zjednodušenie prípravy hodnotenia môžete použiť šablóny hodnotiacich nástrojov – pozri prílohy. Ak máte záujem prehĺbiť svoje znalosti z hodnotenia, môžete absolvovať náš on-line kurz, alebo sa oboznámte s činnosťami na stránke projektu Youth Impact project – všetky sú dostupné na internetovej stránke www.youth-impact.eu.

 

Dozvedieť sa viac

Zaujímavé zdroje, kde sa môžete dozvedieť viac o hodnotení, sú k dispozícii online:

• ILO Guide on Measuring Decent Jobs for Youth: Monitoring, evaluation and learning in labour market programmes
• Participatory evaluation with young people
• UNICEF methodological briefs

REFERENCIE

 

• Babbie E. (1st edition in 1975). The Practice of Social Research.
• Babbie E. (1st edition in 1999). The Basics of Social Research.
• Bartosiewicz-Niziołek M., Marcinkowska-Bachlińska M., et al (2014). Zaproszenie do ewaluacji, zaproszenie do rozwoju, KOWEZiU, Warszawa (s.69-85)
• Bartosiewicz-Niziołek M. (2012). Ewaluacja programów i przedsięwzięć społecznych – katalog dobrych praktyk , ROPS, Kraków
• Bienias S., Gapski T., Jąkalski J. (2012). Ewaluacja. Poradnik dla pracowników administracji publicznej,Ministerstwo Rozwoju Regionalnego, Warszawa
• Blalock H. (1st edition in 1960). Social Statistics.
• Checkoway, B., Richards-Schuster, K. Participatory evaluation with young people, W.G. Kellogg Foundation
• Ferguson G. A., Takane Y. (1st edition in 1971). Statistical analysis in psychology and education.
• Flick, U. (1st edition in 2007). Designing Qualitative Research.
• Flick, U. (1st edition in 2007). Managing the Quality of Qualitative Research.
• Gibbs, Graham R. (2009). Analyzing Qualitative Data.
• Kloosterman, P., Giebel, K., Senyuva, O., (2007). T-Kit 10: Educational Evaluation in Youth Work, Council of Europe Publishing
• Kvale S. (2007). Doing Interviews.
• Lisowski G., Haman J., Jasiński, M (2008). Podstawy statystyki dla socjologów, Warszawa
• Maziarz M., Piekot T., Poprawa M., i inni (2012). Jak napisać raport ewaluacyjny, Ministerstwo rozwoju Regionalnego, Warszawa
• Maziarz M., Piekot T., Poprawa M., i inni (2012). Język raportów ewaluacyjnych. Ministerstwo rozwoju Regionalnego, Warszawa
• Miles, M. B., Huberman, A. M. (1st edition in 1983). Qualitative Data Analysis.
• Nikodemska-Wołowik A., M. (1999). Jakościowe badania marketingowe, Polskie Wydawnictwo Ekonomiczne, Warszawa
• Peersman, G. (2014). Overview: Data Collection and Analysis Methods in Impact Evaluation, Methodological Briefs: Impact Evaluation 10, UNICEF Office of Research, Florence.
• Rapley T. (2007). Doing Conversation, Discourse and Document Analysis.
• Rogers, P. (2014). Overview: Strategies for Causal Attribution, Methodological Briefs: Impact Evaluation 6, UNICEF Office of Research, Florence.
• Silverman, D. (1st edition 1993). Interpreting Qualitative Data.
• Wieczorkowska G., Kochański, P., Eljaszuk, M. (2005). Statystyka. Wprowadzenie do analizy danych sondażowych i eksperymentalnych, Wyd. Naukowe Scholar, Warszawa
• W.K. Kellogg Foundation (2004). Logic Model

Nástrojj 1: (RE)Konštrukcia projektovej logiky

Nástroj 2: Tabuľka ukazovateľov dopadu projektu

Nástroj 3: Zhrnutie požiadaviek zainteresovaných strán na hodnotenie

Nástroj 4. Tabuľka – Koncept hodnotenia

Nástroj 5. Tabuľka – Plánovanie hodnotenia

IDI Scenar

Dotaznik pre skolenie

Formular pozorovanie skolenie

Nástroj 6. Matica hodnotenia

Nástroj 7. Tabuľka pre zhrnutie dát získaných od účastníkov školenia

Nástroj 8: Príklad vzťahu medzi evaluačnými zisteniami, ich výkladom, závermi a odporúčaniami

Nástroj 9A. Príklad tabuľky s odporúčaniami

Nástroj 9B. Zjednodušená verzia tabuľky s odporúčaniami

Nástroj 10. Tabuľka pre zhodnotenie kvality správy

Nástroj 11. Šírenie záverov z hodnotenia – tabuľka

PRÍRUČKA PRE HODNOTENIE AKTIVÍT NA PODPORU PODNIKAVOSTI MLADÝCH ĽUDÍ

Vaša cesta k lepším projektom zameraným na podporu podnikavosti mladých ľudí

Príručka – PDF

Príručka  – E-kniha

 

Autori: PEDAL Consulting s.r.o, Bratislava (2021)

 

1. Úvod

Účelom tohto súboru nástrojov je stručne predstaviť praktické nástroje slúžiace na hodnotenie aktivít a projektov zameraných na podporu podnikavosti mladých lidí. Inými slovami – cieľom tohto súboru nástrojov je podporiť hodnotenie projektov zameraných na zvyšovanie podnikateľských zručností mladých ľudí (vo veku 15–24 let), ktorí viac než iné vekové skupiny vo vyšehradskom regióne čelia problémom vo fáze prechodu medzi školou a zamestnaním.

Táto príručka a súbor nástrojov, ktoré obsahuje, je určená predovšetkým organizáciám agentúram, ktoré pracujú s mladými ľuďmi a cieľom ich aktivít je podpora podnikavosti mladých, podnikateľským inkubátorom a akcelerátorom, sociálnym podnikom, mimovládnym organizáciám, poradenským firmám a iným malým alebo stredným subjektom, ktoré chcú zlepšovať svoje projekty alebo programy pre mladých vďaka hodnoteniu.

Hodnotenie umožňuje organizáciám:

• merať efektívnosť projektu pri dosahovaní jeho cieľov a požadovaných výsledkov,
• posúdiť užitočnosť projektu pre účastníkov a udržateľnosť výsledkov projektu,
• posúdiť, či je vhodné v projektových aktivitách pokračovať, prípadne či by sa mali ďalej rozšíriť,
• hodnotiť účinky projektu s osobitným zreteľom na zainteresované strany projektu a širšiu komunitu (ich sociálne prostredie),
• merať efektívnosť projektu z hľadiska zdrojov použitých na jeho realizáciu a dosiahnutie výsledkov.

Tento súbor nástrojov je doplnkovým materiálom programu Vaša cesta k lepším projektom zameraným na podporu podnikavosti mladých ľudí – kombinovaný vzdelávací program zameraný na hodnotenie aktivít na podporu podnikavosti mladých ľudí (Towards better projects – blended learning course on evaluation of entrepreneurship support actions), ktorý je dostupný na e-learningovej platforme TU. Jeho hlavným zámerom je býť pro účastníkov kurzu sprievodcom pri praktickom využití týchto nástrojov. Za týmto účelom sme vytvorili radu pomocných materiálov. Tento súbor nástrojov prináša organizáciám, ktorých cieľom je rozvíjať a/alebo zvyšovať podnikateľské zručnosti mladých ľudí, praktické nástroje pre meranie a neustále zlepšovanie dopadu ich projektov.

Cieľom tohto súboru nástrojov je tak pomôcť vám realizovať aktivity a projekty zamerané na podnikavosť čo najlepšie, a to vďaka kvalitnému hodnoteniu.

Tento súbor nástrojov vytvorila spoločnosť PEDAL Consulting (Slovensko) v spolupráci s FIAP e.V. (Nemecko), Nadáciou Jerzyho Regulského na podporu miestnej demokracie (Poľsko) a Channel Crossings (Česko) v rámci projektu Youth Impact, ktorý je financovaný prostredníctvom Finančných mechanizmov EHP a Nórska. Projekt Youth Impact poskytuje nástroje a služby, vďaka ktorým môže organizátori aktivít na podporu zamestnanosti a podnikavosti mladých ľudí lepšie vyhodnocovať účinky realizovaných projektov a činností. Projekt prebieha v období 2019–2022.

 

1.1 Charakteristika cieľovej vekovej skupiny

Mladí ľudia patriaci do skupiny 15- 24 ročných v čase tvorby tohto súboru nástrojov, sú tiež popisovaní ako generácia Z (narodená po roku 1995). Generácia známa tiež ako iGeneration (generácia, ktorá vyrástla so smartfónmi a tabletmi a väčšina z nich má doma prístup k internetu), sa vyznačuje najlepším vzdelaním, pokiaľ ide o úroveň vzdelania. Zároveň je však aj v mnohých aspektoch najzraniteľnejšou skupinou, a to aj z pohľadu pozície na trhu práce v EÚ.

Ako už bolo spomenuté vyššie, cieľom tohto súboru nástrojov je poskytnúť praktické nástroje na hodnotenie projektov zameraných na zvyšovanie podnikavosti a podnikateľských zručností mladých ľudí (ďalej len ako podnikavosť), ktorí čelia ťažkostiam pri prechode medzi formálnym vzdelávaním a zamestnaním. Situáciu týchto mladých ľudí, ktorí sa najčastejšie označujú ako NEET (Not in Education, Employment or Training, teda osoby, ktoré nemajú zamestnanie, nevzdelávajú sa a nezúčastňujú sa na odbornej príprave) možno opísať tak, ako je uvedené nižšie. Ďalšie informácie o generácii Z a jej dôsledkoch na činnosti YEEA a o vykonávaní hodnotenia nájdete v časti 13.

Situácia mládeže vo veku 15-24 rokov (generácia Z):

• v roku 2017 bola miera dlhodobej nezamestnanosti tejto vekovej skupiny na úrovni 5,9 % (EUROSTAT).
• V prípade záujmu o podnikanie majú neľahkú pozíciu. Majú veľmi obmedzený prístup k finančným zdrojom, bankovým pôžičkám a úverom, pretože nemajú žiadnu, prípadne len veľmi krátku bankovú históriu. Z tohto nemajú žiadny alebo len veľmi obmedzený kapitál na začatie podnikania.
• Tí, ktorí chcú začať podnikať, majú veľmi nevýhodnú pozíciu, z hľadiska skúseností. Buď práve dokončili strednú alebo vysokú školu a nemajú žiadne skúsenosti v odbore, ktorí vyštudovali, alebo majú jen veľmi malé skúsenosti, prípadne len niekoľko málo rokov praxe. Nároky konkurenčného trhu a zložitosť vedenia vlastného podniku môžu často ďaleko presahovať ich schopnosti a zdroje.
• v dôsledku pandémie covid-19 prišlo mnoho mladých ľudí o svoje projekty alebo o prácu tesne pred nástupom do zamestnania. Títo mladí ľudia tak čelia riziku, že prídu o možnosť získať mimoriadne potrebné skúsenosti a skúsenosti v počiatočných, rozhodujúcich fázach, svojej kariéry.

Táto situácia bola východiskom pre vytvorenie nášho súboru nástrojov, ktorého cieľom je pomôcť organizáciám zameraným na projekty podporujúce podnikavosť mladých ľudí posúdiť a vyhodnotiť ich projekty a odstrániť prípadné nedostatky, ktoré by mohli ovplyvniť podporu mladých podnikavcov pri budovaní inovatívnych podnikov, ktoré majú potenciál rásť a zlepšovať život.

2. Aký je náš prístup k hodnoteniu? Aké výhody hodnotenie prináša?

 

Ak už máte existujúcu aktivitu na podporu podnikavosti mladých ľudí (projekt alebo programy zamerané na podporu podnikavosti mladých ľudí) alebo uvažujete o jej realizácii, potom vám metódy hodnotenia uvedený v tomto súbore nástrojov môžu pomôcť zistiť a preukázať, či sa vám darí dosiahnuť želaný účinok.

Hoci neexistuje jednotná definícia pojmu hodnotenie, Rozvojový program OSN (UNDP – United Nations Development Programme) definuje hodnotenie ako posúdenie či hodnotenie činnosti, projektu, programu alebo výkonnosti inštitúcie. Hodnotenie by sa malo vykonávať čo najsystematickejšie a čo najviac nestranne. Hodnotenie analyzuje úroveň dosiahnutia očakávaných aj neočakávaných výsledkov tým, že s pomocou vhodných kritérií skúma reťazec výsledkov, procesov, kontextuálnych faktorov a príčinných súvislostí. Hodnotenie by malo poskytovať dôveryhodné, užitočné informácie založené na dôkazoch, ktoré umožnia včasné začlenenie zistení, odporúčaní a poučení vyplývajúcich z hodnotenia do rozhodovacích procesov organizácií a zainteresovaných strán (UNDP, 2019). Hodnotenie sa líši od monitorovania a auditu. Viac informácií nájdete v časti 14.

Hodnotenie je skvelá metóda, ak chcete:

• zistiť, do akej miery sa vám darí dosiahnuť očakávané (plánované) ciele a výsledky,
• zistiť, či boli potreby cieľových skupín správne identifikované a či váš projekt rieši skutočné problémy,
• zistiť, aké účinky má váš projekt alebo aktivity na účastníkov a ostatných,
• posúdiť, či bolo vynaložené úsilie primerané dosiahnutým výsledkom projektu alebo nie,
• zlepšiť výsledky existujúcich partnerstiev.
• identifikovať príležitosti pre rozšírenie rozsahu vašich aktivít,
• využiť výsledky na propagáciu projektu,
• podávať správy o pokroku zainteresovaným stranám alebo vyššiemu manažmentu,
• získať finančné prostriedky, ako aj viac alebo iných partnerov.

 

Náš prístup spočíva v tom, že vám pomôžeme zhodnotiť váš projekt a ukázať jeho prínosy; poskytneme vám niekoľko praktických nástrojov, ktoré môžete pri hodnotení použiť a predstavíme vám jednoduché a účinné metódy, ako využiť hodnotenie na rozvoj vašich aktivít alebo fungovania. Ako uvidíte nižšie, existuje viacero typov hodnotenie. V tejto príručke sa zameriavame na hodnotenie dopadov v širšom zmysle, tzn. zahŕňajúc rôzne dizajny hodnotenia, nielen experimentálne a kvázi-experimentálne (viď časť 8.9).

Ak máte existujúci projekt a zatiaľ ste žiadne hodnotenie nerealizovali, nemusíte sa ničoho obávať. Nikdy nie je neskoro začať! Majte však na pamäti, že v neskoršej fáze projektu nie je možné realizovať všetky typy hodnotenia. Hlavné výhody hodnotenia:

• Využitie hodnotenia dopadu umožňuje vyhodnotiť nielen to, či sa zmeny plánované v projekte skutočne uskutočnili, ale aj to, či a do akej miery boli očakávané výsledky projektu skutočne spôsobené projektovými činnosťami.
• Závery hodnotenia prispievajú k optimalizácii krokov v rámci konkrétneho projektu. Hodnotenie vám umožňuje predvídať ťažkosti ešte pred zahájením projektu (hodnotenie ex ante) alebo identifikovať problémy v počiatočnej fáze (priebežné alebo strednodobé hodnotenie).
• Hodnotenie na konci projektu poskytuje odporúčania (následné hodnotenie – ex post), ktoré môžu pomôcť manažmentu pri prijímaní informovaných rozhodnutí o konkrétnych aktivitách alebo dokonca o budúcich projektoch.
• Rozsah možného využitia hodnotenia v riadení závisí predovšetkým od zvolených kritérií hodnotenia. Napríklad použitie kritéria efektívnosti projektu nám umožňuje posúdiť, bol k dispozícii dostatočný počet ľudí, finančných prostriedkov a času na realizáciu projektu, alebo či projektovému tímu chýbali nejaké kompetencie, prípadne boli nedostatočné iné zdroje. Na základe toho sa môžete rozhodnúť posilniť svoj tím, zvýšiť rozpočet alebo zlepšiť plánovanie.
• Výsledky hodnotenia môžu byť nástrojom na propagáciu vašej organizácie a vašich úspechov. Napríklad prípadové štúdie ilustrujúce príbehy úspešných príjemcov alebo údaje preukazujúce zvýšenie ich kompetencií možno prezentovať na sociálnych médiách, na internetovej stránke alebo počas verejných prezentácií a propagovať tak efektívnosť organizácie.
• Výsledky výskumu v rámci hodnotenia môžete použiť pri komunikácii so sponzormi vrátane žiadostí o grant. Do odpovedí na štandardné otázky uvedené vo formulároch žiadostí o financovanie podobných projektov môžete zahrnúť údaje o účinnosti, udržateľnosti, relevantnosti, užitočnosti a ďalšie charakteristiky týkajúce sa realizovaných aktivít.
• Hodnotenie môže byť užitočné aj pri nábore dobrovoľníkov, najmä ak jeho výsledky ukazujú pozitívne dopady práce organizácie, a to napríklad mieru zlepšenia života určitých ľudí alebo komunít.
• Zapojenie účastníkov do hodnotenia projektu môže tiež zvýšiť ich nadšenie a motiváciu. Možnosť ovplyvniť rozsah, hodnotiace kritériá, či predložiť pripomienky k predbežným výsledkom hodnotenia môže viesť k zvýšeniu počtu kontroly nad vlastným životom a ilustruje prepojenie medzi vykonávanou prácou a cieľmi projektu, organizáciou a vlastnými hodnotami. Účasť na hodnotiacom procese zvyšuje vedomosti a posilňuje postavenie účastníkov v mnohých oblastiach ovplyvňujúcich efektívnosť organizácie: od otázok riadenia až po vecné aspekty súvisiace s predmetom projektu.
• Zapojenie partnerov projektu do hodnotenia – najmä tých, ktorí pracujú s jeho príjemcami. Napríklad zapojenie externých partnerov (zamestnávateľov, inštitúcií, ako sú úrady práce, združenia či skupiny ovplyvnené projektom a pod.) projektu do hodnotenia umožňuje diagnostikovať problémy, ktoré obmedzili účinnosť, relevantnosť alebo užitočnosť projektu. Popis a riešenie otázok, ktoré týchto partnerov trápia, v hodnotiacej správe môže naviac výrazne zvýšiť úroveň dôvery a spolupráce s nimi aj v ďalších projektoch.
• V oblasti projektov týkajúcich sa prípravy na povolanie, zamestnanosti a podnikania mladých ľudí je pre úspešnosť hodnotenia projektov kľúčová účasť príjemcov týchto projektov – umožňuje posúdiť, ako projektové aktivity ovplyvnili očakávané zmeny v živote príjemcov. Okrem toho môže pomôcť pri plánovaní ďalšieho projektu tak, aby zodpovedal ich potrebám a prispel k dosiahnutiu cieľov.
• Hodnotenie vychádza z metodológie spoločenských vied, a preto poskytuje spoľahlivé odpovede na otázky týkajúce sa konkrétneho projektu a organizácie, ktorá ho realizuje.
• Hodnotenie projektov môže tiež pomôcť pri porovnávaní a zisťovanie toho, aké osoby a s akými vlastnosťami sú schopné začať podnikať a prečo je podnikanie ako alternatíva k zamestnaniu u iných osôb menej pravdepodobná.

 

Stručne povedané, hodnotenie má mnoho výhod. Problémom však je, že poznatky o ňom sú často abstraktné, nie založené na skúsenostiach. Systematické využívanie hodnotenia a jeho rôznych techník môže pritom zlepšiť riadenie organizácie, posilniť jej imidž, vzdelávanie a motiváciu zamestnancov, získavanie finančných prostriedkov a predovšetkým efektívne napĺňanie poslania organizácie.

3. Ako používať tento súbor nástrojov

 

Spôsob použitia tohto súboru nástrojov závisí od toho, v akej fáze životného cyklu sa vaša aktivita či projekt zameraný na podporu podnikavosti mladých ľudí nachádza.

Ak chcete realizovať projekt a od začiatku do neho zakomponovať pravidelné hodnotenie, môžete tento súbor nástrojov použiť vo fáze plánovania projektu (hodnotenie ex ante).

Ak už máte projekt, ale nie ste si istí, ako merať dopad vašej činnosti, potom vám tento súbor nástrojov pomôže identifikovať informácie, ktoré potrebujete. Zároveň vám ukáže, ako ich zbierať a čo s nimi robiť po ich zbere (mid-term alebo priebežné hodnotenie).

Ak máte existujúci projekt a hodnotíte to, čo robíte, zamerajte sa na časti, ktoré vám môžu pomôcť zdokonaliť váš prístup, alebo si preštudujte literatúru uvedenú na konci tohto dokumentu (následné, ex post hodnotenie).

4. Typ aktivity zameranej na podporu podnikavosti mladých ľudí

 

Na podporu podnikavosti mladých ľudí neexistuje jediný „správny“ model aktivít alebo projektu.

Niektoré projekty sú zamerané na rôzne fázy rozvoja podnikateľského nápadu, t. j. napríklad na tvorbu počiatočného nápadu alebo na fázu rozvoja podnikania. Iné sú viac zamerané na špecifické skupiny populácie, napríklad na nezamestnanú mládež, ženy, prisťahovalcov a osoby so zdravotným znevýhodnením alebo obete nútenej migrácie.

To, ako bude váš projekt vyzerať, závisí od toho, čo chcete dosiahnuť a akým spôsobom. Postup pri hodnotení bude následne závisieť od typu vášho projektu a stanovených cieľov hodnotenia.

Akonáhle si ujasníte, aký projekt máte alebo chcete mať, budete sa vedieť lepšie rozhodnúť, čo a ako hodnotiť a čo by ste chceli svojím vďaka hodnoteniu dosiahnuť.

Váš projekt sa v priebehu času bude veľmi pravdepodobne meniť (na základe vašich skúseností). Hodnotenie vám pomôže určiť najlepší spôsob, ako postupovať ďalej. Môže vám napríklad ukázať, či má projekt účinky, ktorý chcete dosiahnuť. Hodnotenia vám však tiež môže ukázať, že je potrebné:

• zlepšiť určitý prvok projektu
• nanovo definovať existujúce úlohy a zodpovednosti
• získať ďalšie zdroje
• zmeniť štruktúru programu
• zapojiť nového partnera
• rozšíriť existujúci projekt
• vypracovať nový projekt
• lepšie plánovať nové programy

5. Typy hodnotenia podľa fázy realizácie hodnoteného projektu

Existujú rôzne typy hodnotenia, ktoré sa líšia podľa toho, v akej fáze implementácie projektu hodnotenie uskutočníte. Môže sa jednať o hodnotenie pred zahájením projektu (hodnotenie ex ante), hodnotenie realizované počas implementácie, a to procesné (mid-term) alebo priebežné (on-going) hodnotenie a hodnotenie po ukončení projektu, tzv. následné (ex post) (Typy hodnotenia, 2013).

Tabuľka 1: Typy hodnotenia podľa fázy projektu

Fáza projektu	Účel	Typy hodnotenia
Fáza vytvorenia konceptu	Pomáha predchádzať plytvaniu zdrojmi, prispôsobiť projekt potrebám príjemcov, identifikovať potenciálne problémové oblasti, a zvýšiť šance na úspešnú realizáciu projektu.	Predbežné hodnotenie (ex ante)
Fáza realizácie	Optimalizuje projekt, zvyšuje jeho schopnosť naplniť ciele a navrhuje opatrenia na zvýšenie účinnosti, relevantnosti a efektívnosti.	Strednodobé (mid-term) alebo priebežné (on-going) hodnotenie
Fáza ukončenia projektu	Prináša poznatky o faktoroch úspechu/neúspechu projektu, jeho užitočnosti, dosahovaní plánovaných výsledkov a ich relevancii, udržateľnosti a dopadu a upozorňuje na možné zlepšenia pre ďalšie projekty.	Hodnotenie ex post

ZDROJ: upravené podľa Nanda, 2017

Nižšie uvádzame stručnú charakteristiku vybraných typov hodnotenia.

Tabuľka 2: Charakteristika vybraných typov hodnotenia

Hodnotenie ex ante (predbežné)
Toto hodnotenie sa využíva pred zahájením realizácie projektu. Prináša údaje o potrebe uskutočnenia projektu a buduje základy pre následné monitorovanie. Zároveň identifikuje oblasti, ktoré je potrebné zlepšiť, a umožňuje lepšie pochopiť, aké by mali byť priority projektu. Pomáha projektovým manažérom identifikovať prípadné problémové oblasti a oblasti, na ktoré je potrebné sa zamerať. Zvyšuje tiež povedomie o vašom projekte medzi cieľovou skupinou už pred jeho spustením. Toto hodnotenie tiež skúma kontext (podmienky), v ktorých bude projekt implementovaný. Kedy ho použiť: Pri tvorbe nových projektov Pri rozšírení projektu	Pomáha program včas zlepšiť . Umožňuje projektovým manažérom projekt upresniť alebo zdokonaliť tak, aby lepšie zodpovedal potrebám príjemcov a kontextu situácii (napr. právnej, ekonomickej, sociálnej).
Strednodobé (mid-term) alebo priebežné (on-going) hodnotenie
Tento typ hodnotenia sa realizuje po zahájení projektu. Hodnotí účinnosť, relevantnosť a efektívnosť postupov v rámci projektu. Údaje, ktoré generuje, sú užitočné pri identifikácii neefektívnych procesov a ich optimalizácii. Tieto údaje sa zároveň používajú na informovanie externým stranám o stave projektu. Kedy sa používa: Po zahájení projektu Počas implementácie existujúceho projektu	Prináša možnosť vyhnúť sa problémom vďaka ich včasnému odhaleniu. Umožňuje zistiť, ako dobre projekt funguje.
Následné hodnotenie (ex post)
Toto hodnotenie sa realizuje po ukončení projektu alebo na konci projektového cyklu. Hodnotenie poskytuje údaje o tom, do akej miery projekt priniesol úžitok cieľovej skupine, aká je využiteľnosť, dopad a udržateľnosť ich výsledkov. Je užitočné pre realizátorov projektov na to, aby dokázali zdôvodniť projekt, ukázať, čo sa vďaka projektu dosiahlo a lobovať za jeho pokračovanie alebo rozšírenie. Kedy sa realizuje: Na konci projektu Na konci projektového cyklu	Poskytuje údaje na zlepšenie projektu (odôvodňuje pokračovanie alebo zastavenie). Poskytuje informácie o užitočnosti, účinnosti, udržateľnosti, vplyve a účinnosti projektu.

ZDROJ: Úprava podľa Nanda, 2017

6. Ako hodnotiť dopad projektu?

Tak ako neexistuje jediný „správny“ model projektu na podporu podnikavosti, neexistuje ani jediný „správny“ spôsob hodnotenia. Môžete si zvoliť viac alebo menej štruktúrovaný prístup. Ak to vyhovuje vašim požiadavkám, je vhodný ktorýkoľvek z nich. V každom prípade je vždy potrebné určité hodnotenie naplánovať a dôkladne pripraviť, aby vám hodnotenie prinieslo užitočné/zmysluplné výsledky.

Tento súbor nástrojov je určený organizáciám, ktoré realizujú alebo rozvíjajú projekty zamerané na podporu podnikavosti a/alebo rozvoj podnikateľských zručností mladých ľudí. Prostredníctvom špecifického typu hodnotenia – hodnotenia dopadu môžete nielen určiť účinky vášho projektu, zmerať ich, ale ho aj neustále zlepšovať.

Hodnotenie dopadu možno chápať a realizovať rôznymi spôsobmi. Majte na pamäti, že tento typ hodnotenia je kľúčový pri analýze zmien, ktoré nastali vďaka vášmu projektu. Na základe výsledkov hodnotenia dopadu budete môcť upraviť a/alebo zlepšiť existujúci projekt, ako aj lepšie naplánovať nové projekty. Toto hodnotenie sa však najčastejšie využíva na analýzu príčinnej súvislosti, t.j. určenie toho, do akej miery prispel hodnotený projekt k pozorovaným zmenám.

Tabuľka 3: Charakteristika hodnotenia dopadu

Charakteristika hodnotenia dopadu
Kedy?	Na konci projektu alebo vo vopred definovaných fázach, kde je už možné merať určité efekty projektu (návrh konceptu hodnotenia a zber niektorých údajov však môže byť potrebný oveľa skôr – dokonca aj pred zahájením projektu) Po uplynutí stanoveného obdobia po ukončení projektu V rámci vopred zvolených intervalov v projekte
Čo?	Hodnotí skutočnú zmenu spôsobenú projektom oproti zmene pozorovanej medzi pretestom a postestom v oblasti kvality života cieľovej populácie. Vysvetľuje, čo by sa stalo, keby sa projekt nerealizoval
Prečo?	Preukázanie dopadu projektu na základe porovnania príjemcov projektu s kontrolnými skupinami (ktoré sa nezúčastnili na projekte) Získanie podrobnejších informácií, ktoré pomôžu prijať odporúčania pre prípravu nových projektov a / alebo rozhodnutí týkajúcich sa prijatých strategických rozhodnutí a financovania
Ako?	Makroskopické preskúmanie projektu spojené s prieskumom medzi účastníkmi projektu, ktorého cieľom je zistiť dosiahnuté účinky. Užitočné sú vstupy členov projektového tímu aj podnety účastníkov projektu. Pre porovnanie je potrebné mať kontrolnú skupinu ľudí, ktorí sa na projekte nezúčastnili (zhodnú s príjemcami projektu alebo veľmi podobnú, pokiaľ ide o charakteristiky významné z hľadiska projektu).
Otázky	Aké životné zmeny účastníkov projektu nastali v dôsledku vášho projektu? O čo boli ukrátení tí, ktorí sa projektu nezúčastnili?

Zdroj: Nanda, 2017

Ako sme spomenuli vyššie, v tejto príručke sa zameriavame na hodnotenie dopadov v širšom zmysle, tzn. zahŕňajúc rôzne dizajny hodnotenia, nielen experimentálne a kvázi-experimentálne (viď časť 8.9).

7. Fázy hodnotenia

Pre lepšie porozumenie procesu hodnotenia vám možno pomôže, keď si ho predstavíte ako opakujúci sa cyklus, ktorý zahŕňa prípravu hodnotenia, zber informácií, analýzu informácií, použitie informácií, a opäť prípravu.

V nižšie uvedenom modeli životného cyklu hodnotenia projektu / aktivít na podporu podnikavosti, ktorý je základom tejto časti dokumentu, nazývame tieto fázy nasledovne.

• Príprava – úspech vášho hodnotenia do veľkej miery závisí od toho, ako budete v tejto fáze uvažovať a aké rozhodnutia prijmete,
• Zber údajov – je potrebné zozbierať údaje, ktoré sú pre účel vášho hodnotenie najrelevantnejšie, a to spôsobom, ktorý zaručí ich spoľahlivosť,
• Analýza údajov – táto fáza zahŕňa usporiadanie a interpretáciu údajov a určenie kľúčových zistení,
• Využitie údajov – v tejto fáze prebieha zdieľanie zistení a rozhodovanie o budúcnosti projektu/aktivity na základe výsledkov procesu hodnotenia.

Obrázok 1: Životný cyklus hodnotenia projektov/aktivít na podporu podnikavosti mladých

V nasledujúcich častiach sa budeme každému z týchto krokov venovať podrobnejšie. Poskytneme vám tiež niekoľko podporných nástrojov, ktoré vám pomôžu v jednotlivých fázach hodnotenia.

8. Príprava hodnotenia

Obrázok 2: Životný cyklus hodnotenia projektov/aktivít na podporu podnikavosti mladých – 1. fáza

Skôr ako začnete pripravovať hodnotenie, mali by ste si premyslieť, aký projekt či aktivity na podporu podnikavosti/podnikania chcete hodnotiť a stanoviť si:

• Čo sa prostredníctvom projektu na podporu podnikavosti snažíte dosiahnuť a prečo:
  • Má rozvíjať určité podnikateľské zručnosti? Ktoré zručnosti a koľko ľudí ich má získať?
  • Zameriava sa na vytvorenie nových podnikov? Koľko podnikov sa má založiť a podporiť? Aká úroveň ich rozvoja sa má dosiahnuť?
• Z akých predpokladov projekt vychádza a aké sú riziká?:
  • Aké sú identifikované medzery a nedostatky v zručnostiach cieľovej skupiny?
  • Aká je ich motivácia a postoj k podnikaniu?
  • Aké zdroje sú k dispozícii? Aké prekážky pre rozvoj podnikavosti je potrebné prekonať?
• Ako zistíte, či je projekt úspešný po jeho realizácii:
  • Aké sú ukazovatele, ktoré dokazujú dosiahnutie cieľov projektu?
  • Ako zistíte, že zaznamenané zmeny boli dosiahnuté vďaka hodnotenému projektu (napr. ako viete, či je zvýšený počet nových podnikov výsledkom projektu?

Naplánovať dobrý projekt/aktivitu na podporu podnikavosti mladých ľudí nie je jednoduché. Navrhnutie dobrého projektu si vyžaduje pochopenie situácie v regióne a definovanie skutočného problému, ktorý môže byť vyriešený práve vďaka projektu/aktivite, ktorá má byť predmetom hodnotenia. Ďalšími dôležitými požiadavkami sú správna identifikácia cieľových skupín a ich potrieb, špecifikácia cieľov, ktoré sú dosiahnuteľné v danom časovom rámci a v rámci dostupných zdrojov a navrhnutie najvhodnejších aktivít. Aktivity musia byť navrhnuté tak, aby slúžili na tvorbu výstupov a výsledkov, ktoré vedú k dosiahnutiu stanovených hlavných cieľov a čiastkových cieľov hodnoteného projektu.

Realizátori projektu musia naviac počas implementácie projektu vnímať širšie súvislosti a mať na pamäti kľúčové otázky: čo chcú dosiahnuť, prečo a ako to chcú dosiahnuť?

• Plánujú rozvíjať určité podnikateľské zručnosti?
• Dokážu zabezpečiť vypracovanie určitého počtu podnikateľských plánov?
• Zvýši sa počet nových podnikov o určité percento?
• Aké sú riziká a predpoklady (napr. aké sú nedostatky v zručnostiach cieľovej skupiny)?
• Aká je ich motivácia a postoj k podnikaniu?
• Aké zdroje sú k dispozícii na dosiahnutie plánovaných výsledkov a ako môžete po realizácii projektu zistiť, či je projekt úspešný ?
• A napokon, ako zistíte, že pozorované zmeny sú výsledkom hodnoteného projektu?

Kľúčom k príprave návrhu hodnotenia je pochopenie logiky projektu. Tá vám poskytne informácie o údajoch získaných v rámci projektu a ktoré možno použiť pri hodnotení.

Matica logického rámca sa často pripravuje ako súčasť žiadosti o finančnú podporu pre projekt. Ak sa tak nestalo, môžete maticu logického rámca projektu vytvoriť sami tak, že si zodpoviete kľúčové otázky týkajúce sa siedmich kľúčových oblastí projektu:

• • Účel – prečo sa tento projekt realizuje? Aký problém má riešiť? Aká zmena sa očakáva?
    • Ak sa boli dosiahnuté výsledky, v cieľovej skupine je možné pozorovať určité účinky. Napríklad vďaka zvýšeniu vedomostí v určitej oblasti môže dôjsť k zmene správania účastníkov.
  • Výsledky – aké výsledky sa očakávajú? (napr. zvýšenie vedomostí/podnikateľských zručností účastníkov, založenie vlastných podnikov účastníkmi projektu)

• Výstupy – aké sú očakávané výstupy?

• • • Popis priamych “produktov” projektu/aktivít podľa logiky „ak – tak“. V praxi to znamená, že ak sa realizuje určitá činnosť, dôjde k vytvoreniu určitých výstupov. Príkladom sú podnikateľské plány vypracované v rámci projektu zameraného na pomoc pri tvorbe podnikateľského plánu; osvedčenia o zručnostiach vydané účastníkom projektu zameraného na zvyšovanie podnikateľských zručností a pod.
  • Činnosti – aké aktivity boli naplánované na dosiahnutie výstupov? (napr. semináre, školenia, mentoring)

• Indikátory dosiahnutých výsledkov – ako zistíme, či bol projekt úspešný?

• Spôsoby overovania – ako možno overiť naplnenie projektových aktivít, výstupov, výsledkov, účelu a cieľov?
• Riziká a predpoklady – z akých predpokladov vychádza projekt a aké sú riziká, ktoré môžu ohroziť dosiahnutia cieľov projektu?

Vzor matice logického rámca sa nachádza v časti 12.3.1. Viac informácií nájdete aj v e-learningovom kurze.

8.1 Koncept hodnotenia

Podobne ako príprava projektu, aj dobré hodnotenie si vyžaduje zodpovedanie súboru kľúčových otázok, ktoré vám pomôžu definovať koncept hodnotenia.

Odpovede na nasledovných 5 otázok sú dobrým spôsobom, ako začať:

PREČO budete robiť hodnotenie? Je potrebné definovať účel hodnotenia, pretože od tejto otázky závisia ďalšie časti konceptu hodnotenia.

ČO budete hodnotiť a aké zdroje sú potrebné? Predmet a rozsah hodnotenia musí byť jasný a prepojený s odpoveďou na predchádzajúcu otázku. Inak by ste mohli realizovať hodnotenie, ktoré nikoho nezaujíma. V tejto fáze je potrebné sformulovať hodnotiace kritériá a otázky. Pomáhajú zostaviť koncept hodnotenia a udržať pozornosť zameranú na otázku „PREČO“.

KTO uskutoční hodnotenie? Bude to sebahodnotenie (hodnotenie vykonajú zamestnanci, ktorí realizujú projekt), interné hodnotenie (hodnotenie vykonajú vlastní zamestnanci, ktorí sa nezúčastňujú na realizácii projektu) alebo externé hodnotenie (externý hodnotiteľ). Každý typ má svoje výhody a nevýhody.

KEDY plánujete hodnotenie uskutočniť? Pred zahájením projektu (hodnotenie ex ante)? Počas realizácie projektu (priebežné alebo procesné hodnotenie)? Alebo po skončení projektu (následné hodnotenie ex post)?

AKO budete vykonávať hodnotenie? Aké metódy zhromažďovania potrebných údajov použijete? Aké nástroje? Aké zdroje informácií použijete? Ako zapojíte zainteresované strany, ak plánujete použiť participatívny prístup?

Nasledujúce časti vás prevedú týmito otázkami.

 

8.2 Stanovenie účelu a rozsahu hodnotenia

Čo chcete zistiť? Čo sa chcete dozvedieť z výsledkov hodnotenia? Ako plánujete využiť výsledky?

PRÍKLAD

Stanovenie účelu hodnotenia

Organizácia Junior Achievement Slovensko (JA Slovensko) už viac ako 25 rokov pomáha učiteľom rozvíjať podnikavosť, ekonomické myslenie a finančnú gramotnosť žiakov na Slovensku.

Poslaním organizácie JA Slovensko je pomáhať učiteľom rozvíjať podnikavosť, ekonomické myslenie a finančnú gramotnosť žiakov základných a stredných škôl. Deje sa tak predovšetkým prostredníctvom zážitkového učenia, do ktorého sú zapojení skúsení odborníci. Organizácia JA Slovensko je členom celosvetovej siete 115 organizácií JA a členom siete 41 organizácií JA Europe. Táto sieť už 100 rokov prináša vzdelávanie a rozvoj zručností v oblasti pripravenosti na prácu, finančnej gramotnosti a podnikania po celom svete.

Činnosti zamerané na podporu zamestnanosti mladých, ktoré realizuje organizácia

V programoch „Aplikovaná ekonómia“ a „Podnikanie v cestovnom ruchu“ majú študenti možnosť rozbehnúť svoje prvé reálne podnikanie v študentskej firme. Zručnosti pre zamestnateľnosť a tvorbu vlastného nápadu rozvíjajú v programe „Zručnosti pre úspech“. Rozvoj etických aspektov podnikania a morálnych hodnôt jednotlivca je predmetom programu „Etika v podnikaní“. Finančná gramotnosť žiakov sa zvyšuje prostredníctvom programov „Viac ako peniaze“ a „Ja a peniaze“, ktoré sú vytvorené v súlade s Národným štandardom finančnej gramotnosti. Najmladší žiaci sa môžu pripraviť na svoje budúce povolanie prostredníctvom programu „Základy podnikania“.

Rozsah hodnotenia v organizácii JA

Organizácia JA Slovensko dlhodobo využíva dostupné možnosti hodnotenia s ohľadom na ich časové a finančné obmedzenia. Hlavným cieľom hodnotenia je posúdiť zvýšenie vedomostí účastníkov prostredníctvom testovania ich zručností na začiatku vzdelávania/školského roka a na jeho konci. Cieľom je porovnať výsledky a posúdiť vývoj za obdobie približne 10 mesiacov, aby sa zistilo, či je program správne nastavený s ohľadom na požiadavky cieľovej skupiny alebo či sú potrebné nejaké zlepšenia.

Zdroj: Bednárová, 2021; Junior Achievement Slovensko, n.o., n.d.

Predmet a rozsah hodnotenia musí byť jasne definovaný. Budete hodnotiť konkrétny projekt na podporu podnikavosti, alebo len jeho časť? Čo presne chcete zistiť?

Zodpovedajú ciele projektu a aktivity cieľom a prioritám organizácie?

PRÍKLAD

Hodnotenie sa zameria na program „Viac ako peniaze“.

Test finančnej gramotnosti: Žiaci zapojení do programu „Viac ako peniaze“ absolvujú na začiatku školského roka „centrálny vstupný“ test. Cieľom testovania je zistiť ich počiatočnú úroveň vedomostí v oblasti finančnej gramotnosti.

Na konci školského roka žiaci absolvujú centrálny výstupný test. Jeho cieľom je overiť úroveň vedomostí, ktorú študenti dosiahli po ukončení programu.

Zdroj: Bednárová, 2021; Junior Achievement Slovensko, n.o., n.d.

 

8.3 Definovanie hodnotiacich kritérií a otázok

Ďalší krok zahŕňa rozhodnutie o hodnotiacich kritériách, ktoré súvisia s účelom hodnotenia. Kritériá poskytujú perspektívu, cez ktorú sa môžete pozrieť na svoj projekt a formulovať hodnotiace otázky.

Kritériá opisujú požadované atribúty alebo aspekty projektu, ktoré chcete overiť/posúdiť: napr. projekt má zohľadňovať potreby príjemcov, byť v súlade s inými intervenciami, byť účinná z hľadiska dosahovania plánovaných cieľov a výsledkov, prinášať výsledky efektívnym spôsobom a mať pozitívne vplyvy, ktoré dlhodobo pretrvávajú (OECD, n.d.).

Zároveň je potrebné určiť niekoľko kľúčových otázok (hodnotiacich otázok), na ktoré chcete v hodnotení odpovedať. Napríklad vás môže zaujímať, aký prínos mala účasť na hodnotenom projekte pre účastníkov, či sa dosiahla očakávaná zmena, alebo či sa projektu zúčastnili všetky strany zapojené do projektu podľa plánu.

 

• Kritérium: RELEVANTNOSŤ

Hodnotiaca otázka: ROBÍ PROJEKT SPRÁVNE VECI? REAGUJE PROJEKT PODPORY PODNIKANIA MLÁDEŽE NA SKUTOČNÉ PROBLÉMY MLÁDEŽE V REGIÓNE?

V akom rozsahu sú projektové činnosti prispôsobené požiadavkám príjemcov

• Kritérium: EFEKTÍVNOSŤ

Hodnotiaca otázka: DOSIAHUJE PROJEKT PREDPOKLADANÉ CIELE A VÝSLEDKY?

Miera, do akej intervencia dosiahla alebo sa očakáva, že dosiahne svoje výstupy, výsledky a ciele.

• Kritérium: ÚČINNOSŤ

Hodnotiaca otázka: SÚ ZDROJE VYUŽÍVANÉ SPRÁVNE?

Miera, do akej projekt prinesie alebo pravdepodobne dosiahne plánované výstupy a výsledky hospodárnym spôsobom a včas.

• Kritérium: UŽITOČNOSŤ

Hodnotiaca otázka: DO AKEJ MIERY SÚ VÝSLEDKY PROJEKTU UŽITOČNÉ PRE JEHO PRÍJEMCOV?

Do akej miery sú výstupy a výsledky projektu užitočné pre jeho príjemcov.

• Kritérium: DOPAD

Hodnotiaca otázka: OVPLYVNIL PROJEKT SVOJICH PRÍJEMCOV?

Do akej miery ovplyvnil projekt svojich príjemcov, pozitívne, negatívne, priniesol zamýšľané a nezamýšľané zmeny, mal dosah na ľudí nad rámec priamych príjemcov projektu.

• Kritérium: UDRŽATEĽNOSŤ

Hodnotiaca otázka: PRETRVÁVAJÚ DOSIAHNUTÉ VÝSLEDKY AJ PO UKONČENÍ FINANCOVANIA PROJEKTU?

Pokračovanie výhod intervencie po ukončení projektu. Projekty by mali byť environmentálne aj finančne udržateľné. Tam, kde sa nekladie dôraz na externú pomoc, možno udržateľnosť definovať ako schopnosť kľúčových zainteresovaných strán udržať prínosy projektu po ukončení externého financovania – s využitím zdrojov dostupným na miestnej úrovni.

• Kritérium: KOHHERENCIA

Hodnotiaca otázka: DO AKEJ MIERY JE KONCEPT ZAMÝŠĽANEJ ZMENY V SÚLADE S INÝMI AKTIVITAMI/POLITIKAMI?

Do akej miery sú ciele projektu v súlade s miestnymi politikami regionálneho rozvoja? Nadväzuje projekt na iné aktivity organizácie?

 

Všetky hodnotiace otázky musia nadväzovať na stanovený rozsah a cieľ (ciele) hodnotenia. Pri definovaní otázok je potrebné mať na pamäti, že by mali byť jednoduché a dosiahnuteľné. Nižšie uvádzame niekoľko príkladov hodnotiacich otázok a súvisiacich hodnotiacich kritérií navrhnutých pre existujúci projekt.

1. PRÍKLAD

Výsledok projektu: rozvoj zručností pre dosiahnutie úspechu – základné zručnosti pre zamestnateľnosť a proaktívny prístup k rozvoju podnikania, vlastná práca, schopnosť riešiť problémy, identifikovať, navrhnúť a rozvíjať vlastný nápad.

Hodnotiace otázky: Do akej miery boli dosiahnuté plánované výsledky (ÚČINNOSŤ)? Sú ciele, aktivity a výsledky projektu v súlade s cieľmi a prioritami organizácie (KOHERENCIA)? Sú výsledky projektu užitočné pre jeho príjemcov (UŽITOČNOSŤ)? Sú výsledky projektu udržateľné (UDRŽATEĽNOSŤ)? Ako efektívne boli využité zdroje projektu (EFEKTÍVNOSŤ)?

 

2. PRÍKLAD

Produktívny postup po ukončení projektu:

Cieľ: Zlepšiť prechod mladých ľudí z univerzity k začatiu vlastného podnikania.

Hodnotiaca otázka: Ako a do akej miery projekt pomáha mladým ľuďom pri úspešnom prechode k podnikaniu alebo do zamestnania (DOPAD)?

 

3. PRÍKLAD

Hmatateľné výsledky pre účastníkov s nižšou kvalifikáciou:

Cieľ: Vybaviť účastníkov s nižšou úrovňou vzdelania zručnosťami potrebnými na založenie vlastného podnikania v ich komunitách do konca projektu.

Hodnotiaca otázka: Ako je možné vďaka projektu využiť podnikateľské zručnosti týchto mladých ľudí tak, aby sa ich nápady mohli transformovať do ziskových podnikov (UŽITOČNOSŤ).

Zdroj: vlastné vypracovanie

Tabuľka nižšie uvádza príklady hodnotiacich kritérií a otázok.

 

Tabuľka 4T: Hodnotiace kritériá a otázky

OTÁZKA	HODNOTIACE KRITÉRIÁ
Postačoval rozpočet projektu na úplnému naplneniu plánu projektu?	Efektívnosť
Do akej miery boli dosiahnuté plánované ciele a výsledky?	Účinnosť
Ako boli využité zdroje projektu?	Efektívnosť
Kde sa stala chyba a prečo?	Účinnosť, dopad
Sú ciele a aktivity projektu v súlade s cieľmi a prioritami organizácie?	Koherencia
Sú dosiahnuté výsledky trvalé?	Udržateľnosť
Čo pomohlo pri realizácii projektu?	Účinnosť
Čo spomalilo realizáciu projektu?	Účinnosť
Ako vníma projekt komunita?	Dopad
Do akej miery boli výsledky projektu užitočné pre jeho príjemcov?	Užitočnosť
Do akej miery projekt zodpovedal potrebám jeho príjemcov?	Relevantnosť

 

Zdroj: vlastné vypracovanie

Po definovaní otázok, na ktoré by vám malo dať hodnotenie odpoveď, je potrebné stanoviť indikátory, ktoré sú kľúčové pre meranie účinnosti projektu.

8. 4 Projektové indikátory

Projektové indikátory merajú účinky projektu v porovnaní s cieľom a úlohami projektu. V tomto kontexte sa indikátor používa ako referenčná hodnota na meranie miery dosiahnutia plánovaných účinkov projektu. Ukazovatele môžu byť

• kvantitatívne – tieto ukazovatele poskytujú informácie o hodnotených otázkach meraných a vyjadrených kvantitatívnym spôsobom (napr. číslo, index, pomer alebo percento)

• alebo kvalitatívne – tieto ukazovatele poskytujú informácie zozbierané kvalitatívnymi metódami a z kvalitatívneho hľadiska (stanoviská, úsudky (popisujú stav niečoho skôr kvalitatívnym spôsobom, napr. či je miestny ekosystém pre podporu začínajúcich podnikateľov po projekte rozvinutejší ako pred začiatkom projektu – podľa názorov kľúčových aktérov alebo na základe miestnych predpisov týkajúcich sa podnikateľských činností. Prečo je definovanie indikátorov dôležité v procese hodnotenia (Výber ukazovateľov projektu, 2013)?

1. V počiatočnej fáze projektu sú indikátory dôležité na účely stanovenia toho, ako sa bude merať úspešnosť projektu a aká úroveň daného indikátora alebo jeho zmeny sa bude považovať za uspokojivú z pohľadu dosiahnutia cieľov projektu.
2. Počas realizácie projektu indikátory pomáhajú merať progres projektu a upozorňujú na oblasti, ktoré je potrebné zlepšiť.
3. V záverečnej fáze indikátory poskytujú základ, prostredníctvom ktorého je možné projekt spochybniť.

Existujú tri typy všeobecne uznávaných projektových indikátorov, ktoré sa môžu použiť pri hodnotení s využitím kritérií, ako je napríklad efektívnosť, účinnosť alebo dopad:

• Procesné indikátory: používajú sa na hodnotenie projektových procesov alebo činností. Môže to byť napríklad „počet vzdelávacích aktivít zorganizovaných v období XY“.

• Indikátory výsledkov: merajú výsledky projektu. Výsledky predstavujú to, čo plynie z projektu v dlhodobom horizonte. Napríklad: „Ako sa zlepšila úroveň podnikateľských zručností“.

• Ukazovatele dopadu: merajú dlhodobý dopad projektu alebo jednoducho dopad projektu, napríklad: „Počet nových podnikov založených mladými podnikateľmi“.

Aj ďalšie kritériá (významnosť, užitočnosť, spojitosť) a s nimi súvisiace hodnotiace otázky môžu mať svoje vlastné indikátory, ale každý vhodný indikátor musí mať určité charakteristiky (Bureau of Educational and Cultural Affairs, n.d.), ktoré sú uvedené v tabuľke 5.

 

Tabuľka 5: Charakteristika indikátorov

Charakteristika	Popis
Špecifický:	Asi najdôležitejšou charakteristikou indikátorov je, že musia byť presné alebo správne definované. Inými slovami, indikátory nesmú byť nejednoznačné. V opačnom prípade rozdielna interpretácia indikátorov rôznymi ľuďmi povedie k rozdielnej interpretácii výsledkov.
Merateľný	Indikátor musí byť merateľný. Ak sa indikátor nedá merať, potom by sa nemal a nesmie používať.
Dosiahnuteľný	Indikátor je dosiahnuteľný, ak presne špecifikuje množstvo alebo úroveň toho, čo sa má merať, aby bolo možné povedať, že výsledok bol dosiahnutý. Cieľová hodnota indikátora musí byť dosiahnuteľná.
Relevantný	Relevantnosť v tomto prípade znamená, že indikátor skutočne meria to, čo má merať. Ak napríklad zamýšľate merať vplyv projektu na rozvoj špecifických podnikateľských zručností, musí indikátor merať presne toto a nič iné.
Časovo viazaný	Definícia akéhokoľvek indikátora by mala špecifikovať, kedy sa má meranie uskutočniť, aby bolo možné sledovať plánovaný pokrok.

 

Zdroj: upravené z publikácie Výber projektových ukazovateľov, 2013; Bureau of Educational and Cultural Affairs, n.d.

 

8.5 Určenie typu požadovaných údajov

Na meranie úspešnosti projektu je potrebné uskutočňovať zber údajov pred samotnou realizáciou projektu, počas neho a po jeho ukončení. Vopred je nevyhnutné stanoviť typ údajov, ktoré budete potrebovať a mať ich k dispozícii, keď ich budete potrebovať.

Existujú dve široké kategórie údajov, o ktorých môžete uvažovať:

• Kvantitatívne: jedná sa o údaje, ktoré súvisia s počítaním a meraním vecí, ako je návštevnosť, stretnutia, alebo výsledky.
• Kvalitatívne: tieto údaje sa týkajú pocitov, myšlienok, vnímania, postojov, zmien správania a presvedčenia ľudí a môžu zahŕňať napríklad zlepšenie postojov účastníkov ku konkrétnym otázkam či činnostiam, ktoré sa zistili prostredníctvom pozorovania, rozhovorov a formulárov spätnej väzby.

Nižšie uvádzame niekoľko príkladov, ako môžete prostredníctvom otázok získať rôzne kategórie údajov.

Príklady otázok na hodnotenie projektu

Ak poznáte hlavný účel hodnotenia (pozri predchádzajúcu časť), môžete zvážiť konkrétne otázky, ktoré sa použijú v nástrojoch na zber kvalitatívnych a kvantitatívnych údajov (napr. testy, dotazníky atď.).

Otázky, ktoré môžete použiť v nástrojoch na zber kvantitatívnych údajov

• Koľko školení zameraných na rozvoj podnikateľských zručností sa zorganizovalo?
• Koľko zamestnancov organizácie a podnikateľskej komunity sa zapojilo do vzdelávacieho programu?
• K akému nárastu počtu účastníkov došlo po zapojení miestnej podnikateľskej komunity do vzdelávacieho projektu?
• Ako vzrástol počet účastníkov, ktorí sa rozhodli zúčastniť akcií v rámci projektu, z dôvodu spustenia mentoringového programu?
• Koľko účastníkov získalo vďaka účasti v projektových aktivitách pozitívne zmeny v živote?
• Koľko účastníkov bolo na začiatku programu a koľko účastníkov program dokončilo?

Otázky, ktoré môžete použiť v nástrojoch na zber kvalitatívnych údajov

• Aký bol váš názor na spoluprácu s mentorom predtým, ako ste sa zapojil / -a do projektu?
• Aký je váš názor teraz, keď máte už rok skúsenosť s mentorovaním?
• Ktoré aspekty tejto skúsenosti sa vám zdali najpríjemnejšie (ak vôbec nejaké)?
• Ktoré aspekty tejto skúsenosti boli pre vás náročné (ak vôbec nejaké)?
• Čo by ste poradili ostatným účastníkom, ktorí sa do mentoringového programu prihlásia na budúci rok?
• Prečo niektorí účastníci program ukončili?
• Skúste sa vrátiť do obdobia po zahájení vašej účasti na projekte. Došlo v tomto období k nejakej významnej zmene vo vašom živote?
• (Ak áno) Uveďte, prosím, oblasti, v ktorých ste tieto zmeny pozorovali. Zároveň uveďte, ktorý hlavný faktor prispel ku každej z týchto zmien.
• Skúste sa vrátiť do obdobia po zahájení vašej účasti na projekte. Pozorujete v tomto období nejakú významnú zmenu v spôsobe fungovania vášho začínajúceho podnikania?
• (Ak áno) Uveďte, prosím, oblasti, v ktorých ste tieto zmeny pozorovali. Zároveň uveďte, ktorý hlavný faktor prispel ku každej z týchto zmien.
• (Ak bol ako hlavný faktor uvedený projekt) Ktoré konkrétne workshopy najviac posunuli vaše podnikanie?
• Poznáte v projekte oblasť, ktorá by sa podľa vás dala urobiť inak (čo sa týka organizácie, lektorov, času atď.)? Čo by ste chceli zmeniť?
• Čo by sa mohlo zmeniť (ak niečo), aby ste mohli viac využiť kontakt s ostatnými účastníkmi a mali prospech z toho, že ste súčasťou komunity?

 

8.6 Kto sú vaše zainteresované strany

Každá aktivita zameraná na podporu podnikavosti/podnikania mladých ľudí má viacero zainteresovaných strán. Zainteresované strany môžu byť rôzne, od zástupcov projektových partnerov vrátane podnikateľských inkubátorov, akcelerátorov, univerzít, miestnych alebo regionálnych správnych orgánov, organizácií zamestnávateľov, darcov, mentorov, školiteľov, trénerov, zamestnancov projektu až po samotných účastníkov.

Budete sa musieť zamyslieť nad tým, pre koho je vaše hodnotenie určené, kto sú vo vašom prípade zainteresované strany, či a ako môžu byť niektoré z nich zapojené do procesu hodnotenia, aké informácie vám môžu poskytnúť alebo aké hodnotiace kritériá a hodnotiace otázky by pre nich mohli byť dôležité.

Ak sa majú závery hodnotenia realizovať v praxi, je veľmi dôležité identifikovať požiadavky na hodnotenie zainteresovaných strán už vo fáze prípravy hodnotenia. V opačnom prípade sa môže stať, že ich požiadavky nedokážete uspokojiť, pretože výsledky hodnotenia nebudú poskytovať údaje, ktoré zainteresované strany očakávajú.

Ak je to možné, zapojte zainteresované strany do procesu hodnotenia. Získate tak komplexný prehľad a inú perspektívu. Dôležité je najmä zapojenie cieľovej skupiny (príjemcov), pretože s nimi budete v každom prípade v kontakte. Participatívne hodnotenie je jednoduchým nástrojom na začlenenie zainteresovaných strán do hodnotenia (viď časť 13).

 

8.7 Určenie potenciálnych zdrojov pomoci

Pred uskutočnením zberu dát zvážte, aký druh pomoci môžete potrebovať a kedy ju môžete potrebovať.

Prípadné zdroje pomoci

• Počas fázy prípravy a plánovania hodnotenia vám môže pomôcť nezávislá osoba, napríklad niekto z inej organizácie, ktorá realizuje podobné projekty, zainteresovaná strana alebo podnikateľský subjekt.
• Externí odborníci vám môžu pomôcť s koncepciou hodnotenia, návrhom prieskumov a analýzou údajov, ako aj s metodickým dohľadom pri príprave nástrojov hodnotenia (scenáre interview a dotazníky).
• Niektoré údaje je vhodnejšie zozbierať nezávisle prostredníctvom tretej strany (napr. zber a analýza niektorých údajov externým odborníkom, štatistiky zozbierané verejnými orgánmi atď.).

V závislosti od povahy projektu sa zainteresované strany môžu podieľať na navrhovaní konceptu hodnotenia, poskytnúť podporu pri zbere údajov, pomáhať pri interpretácii výsledkov a formulovaní odporúčaní, pričom v rámci projektu môžu využiť svoje skúsenosti a odborné znalosti.

 

8.8 Určenie zdrojov údajov, ktoré chcete zozbierať

Ak chcete získať dobrý prehľad o účastníkoch projektu, môžete zvážiť využitie interných údajov, ako napríklad:

• záznamy o dochádzke
• mieru udržania účastníkov projektu
• údaje týkajúce sa monitorovania po ukončení projektu (napr. údaje o ďalšom rozvoji podnikov, ktoré založili účastníci projektu, údaje o stave zamestnanosti príjemcov projektu, o účasti na mentoringovom programe atď.)
• rôzne informácie o podnikoch, ktoré boli založené počas projektu (napr. technológie, sociálne podniky, podnikanie, nové nápady)
• záznamy o správaní účastníkov (napr. prestávky, odhodlanie a nasadenie, udržanie ich počtu)
• názory rodičov účastníkov projektu, odborných asistentov alebo lektorov/trénerov pre jednotlivé oblasti projektu
• informácie o dosiahnutých úspechoch účastníkov (napr. výsledky pred testovaním a po testovaní).

Z pohľadu realizátora aktivít zameraných na podporu podnikavosti/podnikania mladých ľudí môžete tiež zvážiť:

• rozhovory s dobrovoľníkmi pôsobiacimi v organizácii
• záznamy o finančnej a materiálnej podpore
• úroveň mediálneho pokrytia alebo dosahu komunikačného a propagačného úsilia
• zistenie spokojnosti účastníka (napr. pomocou prieskumu a rozhovorov)
• počet účastníkov, ktorí boli priamo alebo nepriamo ovplyvnení aktivitami alebo projektmi
• údaje o predaji alebo iné dôkazy o marketingovom úspechu
• rozhovory s projektovými pracovníkmi.

V záujme zabezpečenia objektivity výsledkov hodnotenia je vhodné zvážiť aj údaje, ktoré môžu byť dostupné z externých zdrojov. Tieto môžu zahŕňať štatistiky, prieskumy alebo analýzy vypracované:

• úradmi práce, ktoré môžu viesť štatistiky o počte absolventov evidovaných ako nezamestnaných v sledovanom období;
• obcami, ktoré môžu monitorovať podnikateľskú aktivitu v príslušnom regióne;
• strednými, vysokými školami a inými vzdelávacími inštitúciami, ktoré môžu poskytnúť štatistiky zozbierané o svojich absolventoch/kluboch absolventov;
• na vládnej úrovni / ministerstvom práce, sociálnych vecí a podobne, ktoré majú systematický prístup k problematike zamestnanosti a podnikania skupiny NEET
• mimovládnymi organizáciami, ktoré sa venujú oblasti mládeže (napr. mimovládne organizácie spolupracujúce s univerzitami, ako sú AIESEC, IASTE, ELSA),
• sieťovými priestormi, ako sú komunitné centrá, centrá voľného času, co-workingové priestory atď.

 

Využite čo najviac existujúcich údajov. Údaje o projekte možno sledovať prostredníctvom dokumentov, ako sú:

• plánovacie dokumenty, najmä matica logického rámca, dokumenty k žiadosti o grant atď.
• komunikácia – e-maily, záznamy telefonických rozhovorov medzi partnermi
• pôvodné časové plány a rozpočty
• obchodné alebo strategické plány
• zápisnice zo stretnutí
• dokumentácia o konzultáciách s komunitou
• memorandá a
• finančné záznamy.

 

Ďalšie údaje môžete získať prostredníctvom rozhovorov s ľuďmi, ktorí sa na projekte podieľali od jeho začiatku. Môžete zistiť, čo si ľudia pamätajú o začiatku projektu:

• ich počiatočné očakávania a motiváciu zapojiť sa do projektu, zmeny v očakávaniach v priebehu projektu a mieru naplnenia ich očakávaní
• počiatočné úlohy a zodpovednosti
• očakávané a skutočné problémy a
• navrhované spôsoby ich riešenia.

 

Takto si môžete vytvoriť obraz o tom, ako sa projekt vyvíjal a či stále plní svoj pôvodný účel.

 

Existuje mnoho rôznych metód zberu údajov z rôznych zdrojov informácií, z ktorých každá má svoje výhody a nevýhody, ako napríklad primárny (teoretický) výskum, interview, prípadové štúdie, pozorovania a prieskumy. Viac príkladov ako realizovať zber dát z rôznych zdrojov nájdete v časti 9 „Zber údajov“.

 

8.9 Dizajny hodnotenia dopadu

Hodnotenie dopadu je typ hodnotenia zameraný na faktory, ktoré prispeli k pozorovanej zmene v cieľovej skupine hodnoteného projektu. Vyvodené závery môže podporiť využitie kombinácie nasledujúcich stratégií (Peersman, 2015):

• odhad toho, čo by sa stalo v prípade, ak by hodnotený projekt neexistoval, v porovnaní s pozorovanou situáciou po realizácii projektu,
• kontrola konzistentnosti dôkazov o existencii príčinných vzťahov podľa matice logického rámca,
• vylúčenie alternatívnych vysvetlení prostredníctvom logického procesu založeného na dôkazoch.

Poznáme tri dizajny ktoré umožňujú uplatniť tieto stratégie v praxi. Experimentálne a kvázi experimentálne dizajny sú založené na princípe porovnania hodnoty meraného indikátora dopadu projektových aktivít pred a po realizácii projektu v dvoch skupinách – v cieľovej skupine príjemcov, ktorí sa priamo zúčastnili projektu, a v druhej skupine, ktorú tvorí skupina ľudí, ktorí sa nezúčastnili projektu a sú čo najviac podobní príjemcom projektu.

• Pri experimentálnych modeloch dizajnu sú ľudia náhodne pridelení do skupiny príjemcov projektu (skúšobná skupina), alebo do skupiny, ktorá nie je zahrnutá do projektu (kontrolná skupina). Tento dizajn sa tiež nazýva RCT – randomizované kontrolované testy).

Hlavným predpokladom pre RCT je, že počet ľudí, ktoré majú záujem zúčastniť sa projektu, je väčší ako počet účastníkov, ktorých môžete zahrnúť. Skúšobná skupina a kontrolná skupina má podobné znaky, ako je vek, úroveň vzdelania, postavenie v zamestnaní atď. Náhodný výber sa môže uskutočniť rôznymi spôsobmi, napr. zaradenie počítačom alebo žrebovaním. Hlavnou zásadou je, že všetci jednotlivci majú rovnakú šancu byť zaradení do oboch skupín.

• Pri kvázi experimentálnych modeloch dizajnu sa „druhá“ (nie zapojená do projektu) skupina ľudí nazýva porovnávacia skupina. Táto skupina je vytvorená pomocou rôznych techník, ktoré zaisťujú optimálnu podobnosť alebo riadenú odlišnosť od intervenčnej skupiny. Mechanizmus výberu do oboch skupín nie je náhodný (porovnávané skupiny napr. zahŕňajú iba osoby, ktoré sa priblížili hranici prijatiu do projektu. Skupiny zahŕňajú osoby príjemcov projektu a uchádzačov, ktorí neboli do projektu zaradení).

Neexperimentálne modely dizajnu systematicky skúmajú, či sú dôkazy v zhode s tým, čo by malo nastať, ak by implementácia projektu priniesla zamýšľanú zmenu (napr. postupnosť a načasovanie projektových činností a vplyvov prebiehajú v súlade s logickým rámcom projektu), a či mimoprojektové faktory mohli prispieť k zamýšľaným zmenám.

 

9. Zber dát

Obrázok 3: Životný cyklus hodnotenia projektov/aktivít na podporu podnikavosti mladých – 2. fáza

Táto časť súboru nástrojov sa zameriava na:

• rôzne spôsoby zberu údajov
• spôsoby, ako môžete využiť konkrétny zdroj údajov pomocou príslušných metód hodnotenia.

Pri hodnotení sa môžu použiť kvantitatívne alebo kvalitatívne metódy. Najčastejšie sa však používajú obidve, pretože sa navzájom dopĺňajú a vzájomne vyvažujú svoje ich slabé stránky (CTSA, 2011).

 

9.1 Kvantitatívne metódy

Tieto metódy nám umožňujú získať kvantitatívne údaje, ktoré merajú rozsah (koľko), intenzitu (do akej miery) a frekvenciu (ako často) skúmaných javov, ako napríklad dopad implementácie projektu (napr. počet ľudí, ktorí využili vedomosti a zručnosti získané v projekte na vypracovanie a realizáciu svojich podnikateľských plánov.

Zber kvantitatívnych dát sa realizuje pomocou prieskumov (napr. pomocou dotazníkov, pre-testov pred a post-testov, pozorovaním, preskúmaním existujúcich dokumentov a databáz alebo zberom klinických údajov) s využitím rôznych komunikačných kanálov. Pandémia COVID-19 viedla k širšiemu využívaniu on-line komunikačných kanálov, metód (napr. interview s použitím počítača / internetu – CAWI) a nástrojov (napr. mentimetra).

 

Prieskumy

Prieskumy, ktoré sa realizujú formou dotazníkov (v papierovej alebo online forme), predstavujú rýchly a lacný spôsob získania údajov o tom, čo si ľudia myslia, čo robia a v akej životnej situácii sa nachádzajú. Hodnotiteľ môže klásť otázky aj počas telefonického alebo osobného rozhovoru. Takéto metódy sú však rozsiahlejšie.

V rámci prieskumu môžete napríklad zistiť od príjemcov projektu, čo získali vďaka projektu a čo im prinieslo toto zoznámenie s podnikateľskými alebo odbornými témami. Prostredníctvom prieskumu medzi účastníkmi projektu zisťujete, čo sa naučili vďaka účasti na príslušných aktivitách vrátane tých, ktoré sami v rámci projektu realizovali, a či majú nejaké návrhy na zlepšenie výsledkov, alebo procesov. Prieskum môžete tiež uskutočniť medzi rodičmi alebo opatrovníkmi mladých ľudí, ktorí sa zúčastňujú na projekte, aby ste zistili, aký dopad mal projekt na ich deti. Ak chcete pozorovať rozsah zmeny spôsobenej implementáciou projektu, je nutné zozbierať údaje pred a po implementácii projektu (napr. úroveň vedomostí alebo určitých zručností, ktoré sa v rámci projektu rozvíjali).

Pamätajte na to, že otázky vo vašich hodnotiacich nástrojoch (ako sú internetové dotazníky alebo dotazníky realizované za účasti hodnotiteľa) musia súvisieť so zvolenými hodnotiacimi kritériami a otázkami. Keď máte hodnotiace nástroje pripravené, môžete uskutočniť vlastný online prieskum pomocou bezplatného online softvéru.

Analýza kvantitatívnych údajov je jednoduchšia ako analýza kvalitatívnych údajov a možno ich zovšeobecniť. Zovšeobecnenie znamená, že zistenia možno aplikovať na širšiu skupinu (populáciu), ako sú účastníci prieskumu (vzorka), za predpokladu, že vzorka je dostatočne veľký a presne reprezentuje danú populáciu. Ak sú údaje zbierané správne, sú spoľahlivé a ich presnosť možno odhadnúť. Zber kvantitatívnych údajov však môže byť náročný v dôsledku sťaženého prístupu k údajov o vzorke a ku kontaktným údajom osôb zaradených do vzorky, rovnako ako aj ťažšieho oslovovania respondentov zo vzorky, ich nedostatku času a motivácie, nehovoriac o nedostatkoch spojených so samotným dotazníkom. Typ informácií, ktoré možno získať z kvantitatívnych údajov, je tiež do určitej miery obmedzený. Neposkytnú vám hlbší vhľad do problematiky, ani vysvetlenie súvislostí a komplexnejších problémov, ako sú príčiny a dôsledky skúmaných javov.

Aby bolo možné dokumentovať zmenu spôsobenú hodnoteným projektom, je potrebné zhromaždiť údaje pred (pre-test) a po (post-test) realizáciu projektu, napríklad úroveň znalostí alebo zručností, ktoré boli v rámci projektu rozvinuté, počet nových registrovaných podnikov. Na tento účel možno použiť rôzne testy a databázy.

 

Posúdenie zručností

S cieľom preukázať pokrok účastníkov môžu niektorí realizátori aktivít zameraných na podporu podnikavosti mladých ľudí bežne vykonávať testy a iné hodnotenia, ktoré sa môžu použiť v rámci analýzy sekundárnych dát. Môže sa vykonať séria niekoľkých testov, ktoré preukážu výkonnostnú úroveň študentov pred a po zapojení sa do aktivity alebo skupiny aktivít. Môže však byť náročnejšie preukázať, že zmena výkonnosti nastala len v dôsledku vašich projektových aktivít. Majte na pamäti vonkajšie faktory, ktoré mohli prispieť k dosiahnutiu pozorovaných zmien, alebo pôsobiť proti dosiahnutiu zamýšľanej zmeny. Viac o testovaní zručností nájdete v časti 14.

 

9.2 Kvalitatívne metódy

Tieto metódy slúžia k lepšiemu poznaniu, hlbšiemu pochopeniu a vysvetleniu celého procesu projektu a jeho účinkov. Kvalitatívne údaje vám môžu poskytnúť podrobné informácie. Poskytujú nám odpovede na otázky: čo sa stalo, čo a ako sa podarilo a prečo (napr. čo prebiehalo správne a čo nesprávne, čo sa nedarilo a prečo) a zároveň uvádzajú faktory, ktoré prispeli k zamýšľanej zmene, atď.

Na zber kvalitatívnych dát môžete využiť hĺbkové osobné interview (individuálne alebo skupinové, takzvané „focus groups“), pozorovanie a prípadové štúdie, ako aj sekundárny výskum, ktorý predstavuje analýzu dokumentov vrátane vyjadrení, denníkov, záznamov pracovníkov, atď.

Poďme sa na ne v krátkosti pozrieť.

 

Individuálny rozhovor

Rozhovor je v podstate dialóg. Môže mať viac alebo menej štruktúrovanú formu (na základe scenára s vopred pripraveným súborom otázok), pološtruktúrovanú formu (s pripravenými otázkami, ktoré môžete v priebehu rozhovoru doplniť, upraviť alebo vynechať) alebo neštruktúrovanú formu (kedy respondenti hovoria samostatne a dostávajú len občasné otázky od pýtajúceho sa).

Rozhovory je možné prispôsobiť tak, aby zodpovedali dostupnosti respondentov – môžu prebiehať v čase vyhradenom pre projektové aktivity, osobne, telefonicky alebo prostredníctvom internetu, v mieste realizácie projektu alebo kdekoľvek inde.

Spôsob vedenia rozhovoru bude závisieť od projektu, ktorý hodnotíte. S účastníkmi mentoringového programu alebo odbornej prípravy na povolanie môžu byť napr. vedené menej formálne, neštruktúrované rozhovory zamerané na to, ako prebiehajú aktivity, projekt či stretnutie. Pri rozhovoroch s účastníkmi vo fáze formovania podnikateľského nápadu môžete použiť pološtruktúrované rozhovory, a to osobné alebo telefonické.

Účastníkom rozhovorov môžete vopred poskytnúť niekoľko základných otázok (nie však scenár – súbor otázok na rozhovor), a tak im poskytnúť čas na premyslenie odpovedí.

 

Focus group (skupinový rozhovor)

Focus group druh rozhovoru v malej skupine (5-8 osôb), ktorú tvoria účastníci a moderátor. Hosťami focus groups obvykle bývajú rôzni ľudia, ktorí diskutujú o spoločnej téme. Tieto rozhovory môžu byť užitočné, ak chcete pozvať napríklad niekoľko účastníkov, rodičov, pracovníkov, školiteľov, mentorov, zainteresované strany alebo partnerov projektu a hovoriť s nimi o projekte, jeho vplyvoch a možností zlepšenia z rôznej perspektívy.

Je vhodné, ak diskusiu vedie jedna osoba (moderátor) a druhá osoba si robí poznámky. Najvhodnejšie (rovnako ako pri individuálnych rozhovoroch) je požiadať respondentov o súhlas s nahrávaním. Znenie rozhovorov a výsledné zistenia potom môžete zhrnúť písomne, prípadne ústne.

 

Pozorovanie

Pozorovanie je metóda zberu dát založená na starostlivom a systematickom prežívaní (sledovanie, počúvanie) rôznych udalostí a javov a javov prostredníctvom pozorovania správania účastníkov v prirodzenej situácii. Môže byť vykonávané bez akýchkoľvek nástrojov alebo môžete použiť záznamový hárok pozorovania či kontrolný zoznam. Použitím formulára pozorovania sa pozornosť pozorovateľa upriamuje na zvolené témy, ako napríklad na úroveň aktivity alebo interakcie medzi účastníkmi, školenia, zapojenie školiteľa, spôsob prezentovania javov, zapojenie účastníkov a vedenie školenia (Bartosiewicz-Niziołek, M., Nałęcz, S., 2021).

Na zaznamenanie aktivít účastníkov alebo zamestnancov, ako aj ich reakcie môžete tiež použiť kontrolné zoznamy, alebo si robiť poznámky. Záznamový hárok umožňuje zaznamenať dynamiku interakcie medzi účastníkmi a personálom alebo medzi účastníkmi navzájom. Pre meranie úrovne angažovanosti účastníkov môžete použiť jednoduchý systém označenia odpovedí áno / nie alebo zaškrtnite / označte odpoveď k zaznamenaniu reči tela alebo slovných komentárov účastníkov, typu nimi kladených otázok, miery prejavenej sebadôvery alebo toho, do akej miery sa riadi návrhmi pracovníkov projektu alebo mentora. Môžete tiež použiť jednoduchý sčítací systém, napríklad k zaznamenanie počtu účastníkov zapojených do aktivít v rôznych fázach počas projektu.

Kontrolný zoznam/záznamový hárok sa zameriava na získanie údajov, ktoré sú potrebné na zodpovedanie hodnotiacej otázky. Je nutné ho pripraviť vopred, pred samotným pozorovaním.

Okrem skúmaných javov je vhodné využiť aj iné zdroje dát tak, aby ste dosiahli úplný obraz o výstupoch účastníkov projektu.

 

Prípadová štúdia

Prípadová štúdia predstavuje podrobnú analýzu skúmanej problematiky alebo udalosti. Môže ísť o účinné znázornenie dopadu činnosti alebo projektu na jednotlivca, zvolený projekt alebo aktivitu. Prípadové štúdie zachytávajú príbeh, ktorý sa skrýva za štatistickými údajmi alebo inými údajmi a sú obzvlášť účinné vtedy, keď sa kombinujú s rôznymi zdrojmi údajov.

Prípadová štúdia sa môže napríklad týkať konkrétneho účastníka a vyzdvihovať získané znalosti a zručnosti a iné výhody plynúce z účasti v projekte na podporu podnikavosti/podnikania, na základe vyjadrení tejto osoby. Spojenie hlasu účastníka a ďalších dôkazov vytvorí celkový pohľad o dopade projektu, ako aj porozumenie procesov, ktoré prispeli k zmene. Ďalšie dôkazy môžu zahŕňať komentáre zo strany koordinátora projektu pre podporu podnikavosti/podnikania, ďalších pracovníkov, ktorí prispeli svojimi skúsenosťami, lektorov a rodičov alebo opatrovníkov zapojených účastníkov.

 

Sekundárny výskum (analýza dokumentov) (z anglického originálu „Desk Research“)

Dokumenty sú užitočným zdrojom údajov týkajúcich o počiatočných fázach vášho projektu, ako aj údajov o realizovaných aktivitách, príjemcoch projektu a ich pokroku atď. Pri výbere materiálov na analýzu majte na pamäti účel hodnotenia. V prípade, že vám chýba matica logického rámca, tieto dokumenty vám pomôžu pri jeho vypracovaní v neskorších fázach projektu.

Vhodnými materiálmi sú dokumenty z počiatočnej fázy a plánovania hodnoteného projektu, ako sú obchodné alebo strategické plány, komunikácia medzi partnermi a poradcami, finančné záznamy, zápisnice zo stretnutí, dohody alebo memorandá o porozumení a podobne.

Ak už máte dobre rozbehnutý projekt, ktorý prebieha určité časové obdobie (alebo je aktívny niekoľko rokov po sebe), je pravdepodobné, že máte prístup k niektorým z týchto dokumentov, ktoré môžete zahrnúť do hodnotenia (napr. správy, identifikovanie potrieb, testy merajúce úroveň vedomostí alebo zručností, písomné podklady školiteľov a účastníkov školenia/stážistov, kontrolné zoznamy). Informácie môžete získať aj od osôb, ktoré sa na projekte podieľali od jeho začiatku. Môžete získať údaje o tom, či si pamätajú dôvody začatia konkrétneho projektu, o stretnutiach, alebo iných aktivitách v rámci projektu, čo chceli dosiahnuť a do akej miery sa podľa nich splnili počiatočné ciele a očakávania.

Jedným z najjednoduchších dokumentov, ktoré môžete použiť, je kontrolný zoznam. Je to rýchly a jednoduchý spôsob zaznamenávania základných informácií. Používa sa vtedy, keď potrebujete zaznamenať informácie o konkrétnych aspektoch alebo aktivitách v rámci projektu.

Kontrolný zoznam môžete použiť na účely:

• zhrnutia činností alebo aktivít, do ktorých sa účastníci zapojili,
• sledovania pokroku účastníkov v priebehu času,
• záznamy z pozorovaní – viac o nich vyššie,
• zaznamenania úloh, ktoré účastník splnil, alebo častí uskutočnených úloh.

Kontrolné zoznamy môžu viesť pracovníci projektu alebo pracovníci zodpovední za podporné aktivity, účastníci alebo všetky strany. Príklad kontrolného zoznamu nájdete na ďalších stranách súboru nástrojov.

Ak práve začínate s aktivitou zameranou na podporu podnikavosti mladých ľudí, svoje prvotné záznamy si ponechajte. Poskytnú vám dôležité údaje o projekte a zároveň sú užitočným zdrojom údajov na sledovanie pokroku vašich činností alebo intervencií.

Pri analýze dokumentácie môžete použiť metódu sekundárneho výskumu (analýzu dokumentácie, ako sú denníky, zápisy a záznamy vrátane osobných úvah), ktorá vám poskytne bohatý obraz o skúsenostiach ľudí zapojených do projektu. Na základe záznamov zistíte, ako sa zmenilo myslenie alebo chápanie účastníka v dôsledku jeho účasti na projekte. Tiež môžete vidieť, čo účastníci očakávali na začiatku projektu a či sa tieto očakávania naplnili alebo nie. Vďaka záznamom viete zistiť, či sa účastník/stážista stal sebavedomejším alebo či nadobudol konkrétne zručnosti alebo vedomosti. Denné záznamy pracovníkov projektu môžu tiež sledovať vývoj študentov alebo osobný profesijný rast daných pracovníkov. Partneri sa zasa môžu rozhodnúť viesť záznam o stretnutiach a aktivitách za účelom sledovania pokroku alebo zdokumentovanie udalostí. Tieto záznamy môžu mať formálnu, alebo menej formálnu formu. Získaný typ údajov môže byť obzvlášť nápomocný pri hodnotení zameranom na zmenu alebo vývoj v priebehu času. Je vhodné mať na pamäti, že je potrebné získať súhlas od majiteľov týchto denníkov, záznamov a zápisov na účely zaistenia súladu so všeobecným nariadením o ochrane údajov (GDPR).

Môžete tiež využiť referencie alebo odporúčania, ktoré umožnia ľuďom nezapojeným do projektu vyjadriť svoju podporu projektu. Referencie prinášajú dôkazy o silných a slabých stránkach projektu. Zvyčajne, aj keď nie vždy, sú poskytované na základe vašej žiadosti. Podobne ako prípadové štúdie môžu referencie poskytnúť komplexnejší obraz o tom, čo sa dosiahlo z pohľadu účastníka projektu alebo dokonca osoby, ktorá sa na projekte nezúčastnila. Na preukázanie dopadu projektu v konkrétnej oblasti môžete použiť napríklad list od miestneho úradu, ktorý pozitívne hodnotí implementáciu inovatívneho prístupu k riešeniu problémov určitej komunity. Ďalším príkladom môže byť spätná väzba, ktorú vám zašlú zástupcovia miestnej podnikateľskej asociácie, ktorá sa týka správania a práce účastníkov počas mentoringu alebo učňovských aktivít realizovaných v rámci projektu spolupráce s miestnymi podnikmi.

V rámci analýzy sekundárnych dát je možné analyzovať aj vizuálne záznamy. Tieto záznamy môžu slúžiť ako dôkaz o zapojení sa do aktivít, alebo na preukázanie dopadu projektu na jeho účastníkov. Fotografie a videá môžu tzv. „pripraviť pôdu“ pre hodnotenie, pretože ukazujú prostredie, v ktorom projekt prebieha, a zapojené osoby. V závislosti od charakteru aktivít, do ktorých sú účastníci zapojení, môžu fotografie zobrazovať pokrok smerom ku koncovému výsledku a zároveň samotný výsledok. Pred zhotovením fotografických záznamov je potrebné získať súhlas (ak sa vzťahuje) účastníkov (tiež školiteľov a iných zainteresovaných strán). Ak je to relevantné, je potrebné zohľadniť, kto a na aký účel snímky zhotovil.

 

9.3 Výhody a obmedzenia niektorých bežných metód zberu dát

Možno presne neviete, ktoré metódy zberu dát je vhodné použiť pri hodnotení. Niektoré môžu byť pre váš účel vhodnejšie ako iné.

Preštudujte si nasledujúcu tabuľku, ktorá u každej metódy zberu informácií uvádza najdôležitejšiu výhodu a jedno kľúčové obmedzenie; pomôže vám rozhodnúť, aké informácie budú pre vaše hodnotenie najužitočnejšie. Je veľmi dôležité pamätať si, že pri hodnotení je nevyhnutné používať kvalitatívne, ako aj kvantitatívne metódy. Získate tak komplexný údaj, pevnejšiu základňu poznatkov a ucelený obraz o hodnotenom projekte alebo jeho účinkoch.

 

Tabuľka 6: Výhody a obmedzenia metód zberu dát

Metódy zberu dát	Hlavné výhody	Hlavné obmedzenia
Individuálne rozhovory	Umožňuje zachytiť pohľady účastníkov do hĺbky	Môže byť časovo náročné, pokiaľ ide o zber a analýzu údajov z rozhovorov; vyžaduje sa skúsený anketár
Focus group (skupinové rozhovory)	Interakcie medzi účastníkmi poskytujú širšiu perspektívu a umožňujú konfrontáciu rôznych názorov	Môže byť náročné na organizáciu (osobný kontakt) a čas (ako sa uvádza vyššie); vyžaduje sa skúsený moderátor
Prípadové štúdie	Slúžia ako príklad a môžu poskytnúť hĺbkový a ucelený obraz o dopade na účastníkov	Ide o konkrétne prípady, ktoré sa nedajú zovšeobecniť.
Pozorovanie	Umožňuje analyzovať reakcie príjemcov v prirodzenom prostredí a vnímať angažovanosť účastníkov na základe osobnej skúsenosti	Zobrazuje len pozorovateľné správanie, nie to, čo si účastníci myslia
Sekundárny výskum (analýza dokumentov: denníkov, posudkov a výpovede, fotografií a videozáznamy, testov a iných hodnotení)	Môže poskytnúť informácie o kontexte projektu na začiatku (napr. počiatočné očakávania a ciele), ako aj na konci projektu (napr. môžete analyzovať výsledky testov a všetku ostatnú dokumentáciu, aby ste overili výskyt, načasovanie, rozsah, kvalitu a výsledky konkrétnych projektových aktivít	Plánovacie dokumenty z počiatočných fáz projektu je niekedy ťažké dohľadať
Prieskumy	Spoľahlivý, porovnateľný a zovšeobecniteľný, ako aj rýchly a lacný spôsob zachytenia názorov, správania a faktov	Neumožňujú získať hlbší vhľad do problematiky

 

Zdroj: vlastné spracovanie

Majte na pamäti, že pri hodnotení zberu dát sa rôzne typy metód zberu dát vždy používajú spoločne, pretože sa navzájom dopĺňajú. Použitie kvalitatívnych aj kvantitatívnych metód umožňuje prekonať ich obmedzenia.

 

9.4 HODNOTIACE NÁSTROJE

Hodnotiace nástroje sú priradené k príslušným metódam zberu dát z daných zdrojov. Nasledujúca tabuľka uvádza údaje o tom, aký nástroj zodpovedá príslušnej metóde.

Tabuľka 7: Prehľad hodnotiacich metód a nástrojov

 

HODNOTIACE METÓDY	HODNOTIACE NÁSTROJE
Kvantitatívna metóda – prieskum	Dotazník vyplňovaný samostatne opýtaným bez účasti dopytujúceho sa (v papierovej, online forme) Interview formou dotazníkov realizované s podporou dopytujúceho sa
Kvalitatívne metódy: Rozhovor (interview: individuálne, skupinové) Pozorovanie Analýza sekundárnych dát	Scenár rozhovoru Záznamový hárok pozorovania alebo kontrolný zoznam Postupy pre anaIýzu dokumentov

 

Zdroj: vlastné spracovanie

Hodnotiace nástroje sa najčastejšie pripravujú nanovo podľa konceptu hodnotenia. Otázky obsiahnuté v nástrojoch musia totiž zodpovedať účelu hodnotenia, kritériám a otázkam. Príklady vzorových otázok, ktoré môžete použiť na prípravu vlastných nástrojov, boli uvedené v časti 8.

10. Analýza údajov

Obrázok 4: Životný cyklus hodnotenia projektov / aktivít na podporu podnikavosti mladých ľudí – 3. fáza

Táto fáza sa zameriava na analýzu získaných údajov s cieľom tieto informácie pochopiť a dať im zmysel. Táto fáza by mala priniesť odpovede na vaše hodnotiace otázky. Ide o zásadný krok vedúci k zisteniu, či hodnotený projekt priniesol zmenu a dosiahol požadované výsledky a dopad, či naplnil potreby príjemcov a či bol užitočný a účinný.

Bude potrebné vykonať analýzu informácií kvantitatívneho a kvalitatívneho charakteru. Kvantitatívne informácie sú v podstate čísla, t.j. ide predovšetkým o údaje zozbierané pomocou dotazníkov, ale aj výsledky testov, údaje o dochádzke a / alebo absencii či počtu účastníkov, ktorí spĺňajú minimálne referenčné štandardy. Kvalitatívne informácie naproti tomu zachytávajú názory ľudí, pozorované správanie, skúsenosti a rôzne perspektívy

Na základe analýzy rôznych informácií s použitím rôznych metód môžete získať spoľahlivý obraz o svojom projekte a zdôrazniť všetka merateľná zmeny, ktoré nastali vďaka projektu, a zároveň zachytiť, aké prínosy projekt mal pre zainteresované strany.

Hľadanie vzorcov alebo trendov v rámci analýzy údajov vám môže napovedať, ktoré prvky vášho projektu boli úspešné a ktoré by bolo potrebné zmeniť, aby ste dosiahli lepšie výsledky projektu. Ak napríklad s partnermi realizujete projekt, ktorého cieľom je zvýšiť angažovanosť účastníkov, môžete sledovať ich výkon v priebehu času pomocou analýzy zmien v dochádzke alebo analýzy konečných výstupov a výsledkov.

K plnému pochopeniu vplyvu vášho projektu vám poslúži tiež analýza spätnej väzby ohľadom postojov študentov získaná od pracovníkov projektu alebo odborných poradcov a mentorov. Ak ste poskytujete vzdelávanie v oblasti podnikania a spolupracujete s mimovládnymi organizáciami na programe mentoringovej podpory účastníkom kurzu podnikania, môžete merať úspech ako z hľadiska lepšieho zapojenia účastníkov, tak z hľadiska postojov zamestnancov k zamestnávateľovi a zvereným úlohám.

 

10.1 Ako analyzovať zozbierané údaje

Analýza údajov sa skladá zo štyroch krokov, ktoré je potrebné vykonať, aby bolo možné vyvodiť závery a interpretovať výsledky hodnotenia.

• Anonymizácia – je potrebné zabezpečiť odstránenie všetkých osobných alebo citlivých údajov zo súborov údajov (napr. mien, kontaktných údajov, dátumy narodenia atď.),
• Kontrola kvality informácií – úplnosť a konzistentnosť údajov, oprava zjavných chýb, odstránenie informácií v prípade, že nie je možné overiť ich správnosť, výber údajov, ktoré sú relevantné pre hodnotenie,
• Kódovanie a kategorizácia údajov pomocou súboru kódov (napr. symbolov alebo názvov kategórií údajov),
• Analýza a interpretácia.

Aké sú kroky pri analýze kvalitatívnych údajov?

Analýza kvalitatívnych údajov zahŕňa skúmanie, porovnávanie, hľadanie rozdielov a interpretáciu vzorcov. Pozostáva z týchto krokov: identifikácia tém, kódovanie, zoskupovanie podobných údajov do klastrov a identifikovanie zmysluplných a dôležitých bodov, ako napríklad s cieľom budovať teórie podložené dátami alebo pri iných prístupoch ku kvalitatívnej analýze (NCVO a), n.d.). Hlavné kroky tejto analýzy sú nasledovné:

• Starostlivo si preštudujte údaje, ktoré máte k dispozícii.
• Identifikujte témy alebo kategórie, ktoré sú relevantné pre vašu analýzu. Každú z kategórií pomenujte (názvy predstavujú „kódy“). Kódy môžete definovať pred analýzou alebo keď začnete pracovať s údajmi.
• Prejdite si prepisy rozhovorov, skupinových interview alebo reakcií účastníkov na otvorené otázky v prieskumoch a zvýraznite si kľúčové citáty. Ku každému zvýraznenému citátu uveďte zodpovedajúci kód. Ak sa na kódovaní podieľa viac osôb, skúste niektoré časti zakódovať a porovnať hneď na začiatku. Takto môžete zabezpečiť konzistentnosť kódovania údajov.
• Vytvorte skupiny citátov (zoskupte ich od klastrov) s rovnakým kódom.
• Identifikujte špecifické vzorce, ktoré sú zrejmé po zoskupení údajov do klastrov. Môžete tiež dospieť k záveru, že je potrebné zhromaždiť ďalšie údaje alebo potvrdiť platnosť niektorých údajov pomocou iných zdrojov informácií. Ak sú napríklad v zozbieraných údajoch protichodné citácie, môžete sa rozhodnúť kontaktovať facilitátora školenia a získať ďalšie údaje. Možno budete musieť vykonať dodatočnú analýzu. Napríklad niektoré kategórie môže byť potrebné rozdeliť na podkategórie.
• Použite relevantné citáty pre účely spísania záverov a ich interpretácie.

 

Aké sú kroky pri analýze kvantitatívnych údajov?

Analýza kvantitatívnych údajov je založená na zhrnutí údajov z dotazníkov a testov. Pred samotným zhrnutím sa uistite, že máte údaje v použiteľnom formáte. To bude závisieť to od softvéru, ktorý plánujete použiť (špecializovaný štatistický softvér, napr. R, STATA, SAS, SPSS; alebo tabuľkový procesor, napr. v rámci aplikácií kancelárskeho balíka MS Office, ako je MS Excel alebo online platformou, ako napr. Google). Ak ste napríklad zozbierali údaje pomocou dotazníkov v papierovej forme, je potrebné ich zadať do tabuľkového procesora alebo databázy manuálne. Následne odstráňte všetky zjavné chyby, ako napr. chýbajúce odpovede, duplicity, akékoľvek iné zjavné chyby a uistite sa, že každá z vašich premenných má správny číselný formát, napr. dátumy sú formátované ako dátumy, čísla ako čísla, sumy peňazí ako mena (NCVO b), n.d.).

Pozrite si tabuľku v časti 14.5, ktoré obsahujú popisy bežných techník a výpočtov, ktoré môžete použiť. Pre jednoduché výpočty môžete použiť tabuľkový procesor, napríklad MS Excel na usporiadanie a analýzu dát. Po dokončení úvodných výpočtov môžete identifikovať oblasti, v ktorých by ste vďaka podrobnejšej analýze získali ďalšie poznatky.

V ďalšom kroku si premyslite formu prezentácie vašich údajov. Majte na pamäti, že údaje by mali byť ľahko prezentovateľné. Vo všeobecnosti sa odporúča prezentovať údaje formou tabuľky alebo grafu, najmä v prípade údajov, ktoré sú pre ľudí využívajúcich vaše hodnotenie najdôležitejšie.

Teraz by ste mali byť schopní vyvodiť kľúčové zistenia. Je potrebné zohľadniť niekoľko vecí (Cottage Health, n.d.):

• Je napríklad úroveň ukazovateľa 80% dobrý alebo zlý výsledok? Ako to viete? Na túto otázku si zodpoviete porovnaním vašich údajov s údajmi matice logického rámca, údajmi z predchádzajúceho roka alebo s inými podobnými intervenciami.
• Existujú nejaké ďalšie vzorce, témy alebo trendy? Je napríklad jedna skupina trvalo lepšie alebo horšie výsledky ako iné skupiny?
• Dokážete vysvetliť niektoré menej časté odpovede? V tomto prípade vám môže pomôcť kvalitatívna analýza.
• Je v údajoch niečo, čo vás prekvapilo?
• Viete vysvetliť, prečo sú niektoré výsledky také, aké sú? Môžete napríklad navzájom prepojiť dosiahnuté percentuálne hodnoty s kvalitatívnymi údajmi, ktoré vysvetľujú, prečo niektorí ľudia dosiahli určitý výsledok, zatiaľ čo iní nie?

 

10.2 Čo je potrebné mať na pamäti pri analýze zozbieraných údajov

Tipy pre analýzu údajov

• • Aby ste si uľahčili analýzu, môžete údaje previesť zo slovného na číselné vyjadrenie Môžete to urobiť tak, že roztriedite odpovede do kategórií alebo tém, ktoré vystihujú príslušné aspekty projektu.
  • Vďaka tomuto prístupu dokážete zhrnúť veľké množstvo údajov, napríklad početnosť (počty), percentá alebo poradie. Umožňuje tiež sledovať viac charakteristík (alebo „premenných“) naraz, ak chcete zistiť možnú súvislosť medzi nimi. Napríklad vás môže zaujímať, ako sa líši účasť v projekte alebo dosiahnuté výsledky u dievčat a u chlapcov.
  • V závislosti od množstva a druhu zozbieraných údajov ich môžete analyzovať sami, požiadať o pomoc kolegu alebo partnera, externého odborníka/organizáciu špecializujúcu sa na analýzu údajov
  • Analýzu údajov je možné vykonať pomocou špecializovaných štatistických aplikácií, bežných kanceláskych alebo internetových aplikácií (napr. MS Excel, tabuľkový procesor Google) alebo manuálne (napr. pomocou papiera a pera s kalkulačkou) – v závislosti od rozsahu údajov, ktoré analyzujete a máte k dispozícii.
  • V niektorých prípadoch môžete svoje výsledky porovnať s celoštátnymi alebo regionálnymi výsledkami. Ak však zvolíte tento prístup, nezabudnite, že pri každom porovnaní je potrebné zohľadniť kontext, v ktorom boli údaje zozbierané.
  • Vzorce, trendy a témy vám môžu pomôcť pri odpovedaní na vaše hodnotiace otázky, identifikovať prípadné neočakávané výsledky a odhaliť možné medzery v získaných údajoch.
  • Vaša analýza môže niekedy zahŕňať porovnanie toho, čo ľudia hovoria alebo píšu na začiatku činnosti alebo projektu, s tým, čo hovoria a píšu po jej skončení. (Pri takomto zbere údajov pred a po uskutočnení projektu môžete využiť kvantitatívne alebo kvalitatívne metódy).
  • Váš projekt môže tiež zahŕňať pravidelnejší zber údajov. Zvážte preto spôsoby, ako môžete zbierať údaje vo viacerých fázach projektu a následne ich analyzovať tak, aby ste čo najlepšie dokázali určiť, aké výsledky ste dosiahli.

• Vaša analýza by mala byť „vhodná na daný účel“, to znamená, že musí priniesť dôkazy o tom, či váš projekt dosiahol alebo nedosiahol požadované výsledky. V prípade jednorazového projektu môže ísť o pomerne jednoduché porovnanie stavu pred projektom a po projekte, ktoré ukáže, či a ako došlo k zmene. Pri dlhodobejších projektoch alebo v prípade, že sa uchádzate o ďalšie financovanie môže byť vyžadovaná hlbšia analýza, ktorá preukáže, či existujú dostatočné ukazovatele úspechu, ktoré by odôvodňovali pokračovanie projektu.

 

Ako zabezpečiť etickú spôsob spracovania údajov

Teraz, keď ste zhromaždili všetky údaje a tešíte sa na ich využitie, je dôležité dodržiavať všetky právne predpisy, ktoré stanovujú požiadavky na etickú správu údajov. Nižšie uvádzame stručný prehľad postupu, etického nakladania s údajmi, ktoré ste získali v rámci svojho hodnotenia.

V nadväznosti na Nariadenie Európskeho parlamentu a Rady (EÚ) 2016/679 z 27. apríla 2016 o ochrane fyzických osôb pri spracúvaní osobných údajov a o voľnom pohybe takýchto údajov, ktorým sa zrušuje Smernica 95/46/ES (všeobecné nariadenie o ochrane údajov), bol zavedený plnohodnotný proces mapovania požiadaviek založených nariadením GDPR s cieľom zosúladiť aktivity projektu s platným legislatívnym rámcom.

Všetky vykonávané výskumné a inovačné činnosti musia byť v súlade s etickými zásadami a príslušnými vnútroštátnymi právnymi predpismi, právnymi predpismi Únie a medzinárodnými právnymi predpismi vrátane Charty základných práv Európskej únie a Európskeho dohovoru o ľudských právach a jeho dodatkových protokolov.

V rámci realizácie hodnotenia sa v implementačnej fáze zabezpečuje zosúladenie procesu zhromažďovania údajov s acquis communautaire, pričom sa náležite uplatňujú postupy využívania údajov, ktoré spadajú pod GDPR. Na tento účel sa dôrazne odporúča vymenovať interného pracovníka pre ochranu údajov, ktorý bude zodpovedný za zabezpečenie spracovania údajov v plnom súlade s nariadením GDPR.

10.3 Vyvodenie záverov a odporúčania

Aký je rozdiel medzi zisteniami, závermi a odporúčaniami?

• zistenia sú výsledkom analýzy údajov: tabuľky, grafy a/alebo textový popis pozorovaných skutočností.
• Závery zodpovedajú otázku „Čo to znamená?“ ku kotrým dôjdete pri pohľade na zistenia. Závery by mali byť sprevádzané interpretáciami alebo vysvetleniami, ktoré budú vytvorené na základe pohľadu na zistenia z nadhľadu. Závery by mali poskytovať odpovede na hodnotiace otázky.
• Ďalším krokom je odpoveď na otázku „Čo teraz?“. Odporúčania vychádzajú zo zistení a záverov a predstavujú návrhy na možné zlepšenie projektu, zníženie rizika jeho zlyhania alebo ako by program mal pokračovať.

Pri vyvodzovaní správnych, na dôkazoch založených záverov a odporúčaní postupujte podľa nižšie uvedených krokov (Kuhn, 2020). Môžete využiť tabuľku, ktorú ste použili pri analýze údajov a jednoducho pridať nové stĺpce pre zistenia, závery a odporúčania:

Zistenia sú overené údaje bez akejkoľvek interpretácie. Použitie výrazov založených na dátach, napr. „Školenia sa zúčastnilo x žien z y účastníkov“ pomôže spísať čo najjasnejšie a neskreslené zistenia. V prípade kvalitatívnej analýzy je niekedy ťažké vyhnúť sa unáhleným záverom. Čokoľvek iné ako spísanie zistení bez interpretácie by však v tejto fáze mohlo byť len nepodloženým predpokladom alebo unáhleným záverom, ktorý by mohol poškodiť platnosť analýzy.

Akonáhle sú zistenia kompletné, môže osoba vykonávajúca analýzu dát prejsť k ďalšiemu kroku – vyvodeniu záverov. Závery sú úsudky urobené na základe zistení a odpovedajú na otázku „Čo to teda znamená?“, ktorá môže vyvstať pri pohľade na zistenia. Závery by mali byť doplnené interpretáciami alebo vysvetleniami, odvodenými na základe posúdenia zistení v širšom kontexte. Čím viac vysvetlení založených na dôkazoch budete schopní poskytnúť, tým lepšie ich môžete použiť na vypracovanie správ, ktoré vychádzajú zo zozbieraných údajov.

Ďalší krok v reťazci analýzy je zodpovedanie otázky „Čo ďalej?“. Čo je vhodné urobiť, aby ste dokázali nadviazať na to, čo v projekte funguje, alebo zlepšiť to, čo nefunguje? Odporúčania musia byť konkrétne a realizovateľné a uskutočniteľné s ohľadom na dostupné ľudské, technické a finančné zdroje. Preto by mali byť odkonzultované aspoň s najvplyvnejšími zainteresovanými stranami.

1. príklad – príliš široké odporúčanie: Investujte viac zdrojov do personálu
2. príklad – dobré odporúčanie: Investujte viac zdrojov do zlepšenia vybraných prevádzkových oblastí, napríklad do vytvorenia lepších podmienok pre realizáciu projektu – najmä do budovania kapacít pracovníkov v oblasti riadenia projektov a osvedčených postupov riadenia podniku. Ak sa úsilie zamerané na budovanie kapacít spojí so zavedením štandardizovaných operačných postupov (napríklad pre základné prevádzkové procesy a komunikáciu), a súvisiacim školením, môžeme výrazne zlepšiť efektívnosť realizácie projektu.

11. Využitie údajov

Obrázok 5: Životný cyklus hodnotenia projektov / akcií na podporu podnikavosti mladých ľudí – 4. fáza

Táto fáza procesu hodnotenia je zameraná na zdieľanie výsledkov hodnotenia a prijímanie uvážených rozhodnutí o vašom projekte a jeho ďalšom smerovaní.

 

11.1 Reportovanie

Ak vypracujete koncept hodnotenia na začiatku procesu, mali by ste tiež identifikovať rôzne skupiny zainteresovaných strán, ich potreby a očakávania od hodnotenia a tiež spôsob, akým im chcete predložiť výsledky hodnotenia.

Niektoré otázky, nad ktorými by ste sa mali zamyslieť, zahŕňajú:

• Ktorým zainteresovaným stranám by ste mali predložiť výsledky hodnotenia?
• Čo musíte zahrnúť do rôznych typov správ pre jednotlivé zainteresované strany?
• Budú výsledky hodnotenia predložené vo forme pracovnej verzie?

Pri príprave výsledkov hodnotenia by ste mali vziať do úvahy potreby kľúčových zainteresovaných strán, aby ste určili:

• kedy
• a v akej forme budú chcieť mať výsledky hodnotenia k dispozícii.

Tiež stanovte, koho zapojíte do konzultácií k návrhu správy a či plánujete uplatniť participatívny prístup v procese vyvodzovania záverov a formulovania odporúčaní (pozri modul 5 e-learningového kurzu).

Body, ktoré je potrebné vziať do úvahy pri výbere formátu správy

Výsledky hodnotenia je možné zhrnúť a prezentovať v rôznych formátoch pre rôzne zainteresované strany. Pri rozhodovaní o formáte majte na pamäti:

• Účel správy a spôsob, akým ovplyvňuje o výber formátu. Účel môžu zahŕňať:
  • identifikovanie zistení a odporúčaní pre aktuálne realizovaný projekt
  • informácie pre plánovanie alebo rozhodovanie o ďalšom financovaní
  • získanie spätnej väzby k návrhom správ
  • zapojenie zainteresovaných strán
  • široké šírenie výsledkov hodnotenia.
• Akú formu správy uprednostňujú zainteresované strany získavanie informácií (napr. písomné správy, grafiku, čísla, vizuály alebo kombináciu týchto všetkých)?
• Aká je preferovaná dĺžka správy (alebo trvanie, ak ide o audio/vizuálnu prezentáciu)?
• Aký prístup má publikum k informačným technológiám (označenie, či používať webové formáty)?

Nasledujúcu tabuľku je možné použiť na zber informácií o potrebách zainteresovaných strán týkajúcich sa prezentácie výsledkov hodnotenia:

Hodnotený projekt: Dátum analýzy potrieb zainteresovaných strán:
Zainteresovaná strana:	Prečo sa zaujímajú o výsledky hodnotenia?	O poskytnutie akých informácie majú záujem?	V akej forme by mali byť informácie poskytnuté?	Kedy by mali byť informácie poskytnuté?

 

Formáty správ

Písomné správy boli hlavnou formou prezentácie výsledkov hodnotenia v minulosti. Dlhé technické správy však nespĺňajú potreby všetkých zainteresovaných strán.

Prezentácia vašej správy by mala vášmu čitateľovi pomôcť rýchlo a ľahko porozumieť kľúčovým bodom.

Správy je možné predkladať rôznymi spôsobmi, napríklad:

• V písomnej forme (pozri časť 12.6.)
• Na prezentačných podujatiach
• Vo forme prezentačných materiálov
• Kreatívnym a/alebo interaktívnym spôsobom

Ďalšie informácie o podávaní správ nájdete v module 5 e-learningového kurzu.

11.2 Zdieľanie záverov

• Zdieľanie a prezentácia môže slúžiť na zabezpečenie súladu s platnými predpismi, ale zároveň môže predstavovať cennú príležitosť na to, aby sa k výsledkom hodnotenia vyjadrili ďalšie osoby.
• Zdieľanie môže pomôcť zainteresovaným stranám zapojiť sa do projektu, ovplyvniť ďalšie fázy projektu alebo partnerov v tom, aby znovu preskúmali svoju analýzu.
• To, s kým a ako sa rozhodnete podeliť o svoje zistenia, bude závisieť od očakávaní jednotlivých strán projektu a od účelu, za akým sa hodnotenie realizovalo.
• Ak sa jedná o financovanie a je potrebné uspokojiť záujmy určitej skupiny alebo organizácie (napríklad financujúcej organizácue), bude vhodné spísať také zistenia vyplývajúce z hodnotenia, ktoré poskytujú odpovede na otázky relevantné pre túto skupinu.
• Ak chcete ukázať svetu alebo len miestnej komunite, ako skvelý váš projekt je, môžete svoje zistenia sprístupniť širokej verejnosti. Zhrnutie môžete zverejniť napríklad v príslušných bulletinoch, výročných správach či na webových stránkach.
• Vizualizácia výsledkov hodnotenia môže príjemcom pomôcť lepšie pochopiť prezentované údaje. Vhodne navrhnutá infografika môže jednoduchým a jasným spôsobom ilustrovať hlavné črty a vzájomné vzťahy. Vizuálne prvky je pochopiteľne treba zvoliť podľa typu príjemcov.
• Zdieľajte údaje so školiteľmi, mentormi a lektormi. Umožníte im tak zlepšiť, prípadne zmeniť prístup.

 

11.3 Prijímanie informovaných rozhodnutí

Po uskutočnení hodnotenia a zdieľaní vašich zistení môžete prijať informované rozhodnutia o tom, či budete v projekte pokračovať rovnakým spôsobom, či v projekte vykonáte určité zmeny, prípadne oboje.

Z vášho hodnotenia môže napríklad vyplynúť, že hodnotená aktivita zameraná na podporu podnikavosti mladých ľudí by mala pokračovať v spolupráci s tým istým partnerom, ale zamerať sa na nové výzvy alebo príležitosti. Zo záverov hodnotenia môže tiež vyplynúť, že je možné realizovať podobnú aktivitu, ale s iným partnerom alebo skupinou mentorov či školiteľov.

V tomto bode je potrebné, aby ste s partnermi otvorene prediskutovali budúcnosť hodnoteného projektu zameraného na podporu podnikavosti mladých ľudí.

Nižšie uvádzame niekoľko príkladov otázok, pomocou ktorých môžete túto fázu vášho hodnotenia viesť:

• Budete v projekte pokračovať rovnakým spôsobom?
• Je potrebné projekt ďalej rozvíjať alebo vylepšiť?
• Môže byť váš model projektu replikovaný inde?
• Napreduje projekt správnym smerom? Ak áno, aký je najlepší spôsob zavŕšenia projektu?
• Ako oznámite svoje rozhodnutie zainteresovaným stranám?
• Ktorá časť projektu bola pre jeho príjemcov najviac a ktorá najmenej prínosná?

12. Špecifické aspekty práce s mládežou vo veku 15-24 rokov

Skupina mladých ľudí vo veku 15- 24 rokov (v čase tvorby tohto súboru nástrojov) je tiež označovaná ako generácia Z (narodená po roku 1995 alebo 1996). Napriek tomu, že je na ceste stať sa najlepšie vzdelanou generáciou, sú aj najzraniteľnejší, pokiaľ ide o ich postavenie na trhu práce v EÚ.

V dôsledku krízy COVID-19 smeruje generácia Z k ešte neistejšej budúcnosti. Kríza spojená s ochorením COVID-19 výrazne narušila proces ich vzdelávania a vyhliadky na získanie zamestnania v blízkej budúcnosti. Kríza obzvlášť ťažko zasiahla starších členov tejto skupiny. Je veľmi pravdepodobné, že oni alebo niekto z ich domácnosti stratil prácu alebo musel akceptovať zníženie príjmu.

Osoby v posledných rokoch svojho vzdelávania (stredná alebo vysoká škola) mohli stratiť svoje projekty, stáže alebo iné činnosti, ktoré im pomáhajú získať skúsenosti a/alebo rozvíjať zručnosti potrebné na to, aby uspeli na trhu práce alebo v podnikaní. COVID-19 teda ešte viac zhoršil postavenie tejto skupiny na trhu práce (Európsky parlament, 2020).

Na druhej strane výskumy naznačujú, že generácia Z je na dobrej ceste stať sa najpodnikateľskejšou generáciou vôbec. Aj keď majú najstarší členovia iba 24 rokov, niektorí z nich si už budujú úspešnú podnikateľskú kariéru – realizáciou podnikateľských nápadov založených na nových aplikáciách, vďaka vybudovanou úspešných kanálov na YouTube alebo výrobou kozmetických výrobkov a či trendových ručne vyrobených motýlikov.

Napriek tomu, že ich nápady sa stále zameriavajú na produkty a služby, ktoré napĺňajú základné ľudské potreby – jesť, hrať sa, spájať sa a byť produktívni, prinášajú aj niektoré jedinečné vlastnosti a skúsenosti – niečo, čo dáva tejto generácii výhodu v podnikaní.

Nasledujúca časť poskytuje prehľad charakteristík generácie Z, ktoré by ste mali vziať do úvahy pri príprave projektu na podporu podnikavosti mladých, ktorého cieľom je pomôcť členom generácie Z vybudovať si v budúcnosti úspešnú kariéru (na základe Shafin Diamond Tejani, 2020; Dave Clark, 2019 a Annie E. Casey Foundation, 2021).

12.1 Čo by ste mali mať na pamäti pri príprave projektu na podporu podnikavosti pre skupinu vo veku 15-24 rokov

Vážia si vzdelanie

• U členov Generácie Z je menšia pravdepodobnosť, že odídu zo strednej školy. Naopak, pravdepodobnosť, že budú pokračovať v štúdiu na vysokej škole, je vyššia.
• Pre rozvoj podnikavosti mladých by bolo rozumné zahrnúť školenie zamerané na podnikanie do formálneho vzdelávania alebo spolupracovať so školami pri jeho vedení

 

Podnikanie ako norma

• Pre predchádzajúce generácie nebolo podnikanie bežnou kariérnou cestou. Generácia Z, na druhej strane, má množstvo podnikateľských vzorov – od Elona Muska po „influencerov“ na YouTube. Získať mentora je ľahšie ako kedykoľvek v minulosti.
• Zapojenie populárnych podnikateľov ako rečníkov, školiteľov alebo mentorov môže byť pre váš projekt na podporu podnikavosti dobrým rozhodnutím.

 

Sú to digitálni „domorodci“, majú k dispozícii lacnejšie nástroje (a viac) ako kedykoľvek predtým a používajú ich múdro

• Generácia Z nikdy nežila bez možnosti získať informácie či okamžitý sociálny kontakty v reálnom čase v online priestore. Vďaka rozšíreniu internetu majú prístup k širokému spektru vplyvov, perspektív, myšlienok a príležitostí. Poznajú najnovšie nástroje a kanály a chápu hodnotu budovania značky a vlastnej propagácie. Okrem toho často premieňajú na podnikanie projekty, ktorým sa venujú začali venovať z vášne – zdieľajú si návody na líčenie na YouTube alebo projekty pre tvorcov rôznych výrobkov či obsahu na Instagrame. Kým si to uvedomia, majú rozbehnuté podnikanie, pričom na štart využili aplikácie jednoducho dostupné vo svojom telefóne.
• Pri príprave projektu na podporu podnikavosti mladých by ste mohli zvážiť prvky zamerané na ďalšie zlepšovanie digitálnych zručností alebo poskytovanie inšpiratívnych vzorov. Uplatnenie technológií v podnikaní, napríklad na marketing, je nevyhnutnosťou.

 

Sú pragmatickí a finančne uvedomelí

• Túto generáciu ovplyvnili náročné hospodárske obdobia, ktorým ich rodiny a komunity čelili počas hospodárskej krízy v rokoch 2008- 2010. Výsledkom bolo, že táto generácia je sebavedomejšia, vytrvalejšia, realistickejšia, inovatívnejšia a nezávislejšia ako predchádzajúce generácie. Pokiaľ ide o prácu, generácia Z považuje svoju prácu za prostriedok na dosiahnutie cieľa, to znamená, že práca je zdrojom príjmu. Ochotne prijmú zamestnanie, ktoré poskytuje stabilný príjem a potrebné výhody, aj keď to nie je ich vysnené zamestnanie. Okrem toho ich zasiahla kríza COVID-19, ktorá enormne narušila ich vzdelávanie a zhoršila vyhliadky na zamestnanie v budúcnosti.
• Začatie podnikania ako dodatočný zdroj príjmu, ktorý pomáha zlepšiť ich finančnú stabilitu, možno považovať za atraktívnu možnosť pre túto generáciu.

 

Sociálne schopnosti sú nedostatočne rozvinuté

• Napriek tomu, že technológie v mnohých ohľadoch uľahčili život potenciálnym podnikateľom generácie Z, viedli tiež k nedostatočnému rozvoju sociálnych zručností jej členov. Mnoho mladých ľudí sa tiež ocitá v pasci porovnávania sa s rovesníkmi ktorú sociálne médiá prinášajú.
• Zahrnutie aktivít na rozvoj sociálnych zručností a zlepšenie duševného zdravia môže byť dôležité pre ich úspech v kariére.

 

Neobávajú sa prekážok

• Pre Generáciu Z je tiež menej pravdepodobné, že ju demotivujú prekážky na ich ceste za úspechom. Môže im chýbať formálne vzdelanie, ale nenechajú pochybnosti o sebe stáť im v ceste.
• Ďalší rozvoj ich odolnosti môže byť v týchto turbulentných časoch dôležitým prvkom projektov/aktivít na podporu podnikavosti mladých.

 

Sú poháňaní vyššími cieľmi a ich správanie odráža ich hodnoty

• Generácia Z je poháňaná veľkými ambíciami, ktoré presahujú rámec ich osobných úspechov. Chcú vyriešiť problémy, ako sú zmena klímy a sociálna spravodlivosť. Na duševné zdravie tejto generácie navyše vplývajú globálne výzvy, ktoré vedú k zvýšenému stresu.
• Ich pragmatizmus ich vedie k tomu, aby preskúmali a zhodnotili širokú škálu možností predtým, ako sa dospejú k rozhodnutiu. Ich voľba produktov či služieb sa považuje za vyjadrenie ich hodnôt a identity. Napríklad častejšie kupujú udržateľné výrobky a značky a často sú za ne ochotní zaplatiť viac.
• Zvážte zameranie svojho na podporu podnikateľských myšlienok so zameraním na niektoré ciele

trvalo udržateľného rozvoja a zatraktívnite tak svoju projekt pre túto generáciu.

 

Učia sa v procese

• Ako doposiaľ najlepšie vzdelaná generácia si generácia Z veľmi cení vzdelávanie. Uprednostňujú však iné spôsoby učenia. Je jednoduchšie ako kedykoľvek predtým objaviť online kurzy na akúkoľvek zaujímavú tému, stať sa súčasťou akcelerátora pre mladých podnikateľov – a to všetko počas štúdia.
• Poskytovanie určitého obsahu alebo školení a iných aktivít online by mohlo zvýšiť atraktivitu projektu na rozvoj podnikavosti pre túto skupinu.

 

Zmena je vítaná

• Vďaka digitalizácii má táto generácia veľa znalostí a je vystavená mnohým rôznym témam. S touto šírkou znalostí neustále hľadajú nové myšlienky a skúsenosti.
• Preto projekty na podporu podnikavosti zamerané na túto generáciu musia byť dynamické a poskytovať veľa inšpirácie a nových podnetov.

12.2 Charakteristiky generácie Z, ktoré ovplyvňujú hodnotenie

Sú to naši prví „digitálni domorodci“

• Pre Generáciu Z je využívanie digitálnych technológií úplne prirodzené a sú zvyknutí informácie získavať prostredníctvom internetu. Pre organizácie pokúšajúce sa osloviť túto skupinu je ľahšie nadviazať kontakt s využitím online prostriedkov ako metódami „starej školy“.
• Okrem toho je dôležité venovať pozornosť vizuálnej stránke materiálov. Táto generácia používa rôzne nástroje, platformy alebo aplikácie na dennej báze. Aby ste upútali ich pozornosť, používajte materiály, ktoré sú vizuálne príťažlivé a maximálne využite dostupné online nástroje. Napríklad nástroje ako mentimenter, survio atď. vám pomôžu pripraviť dotazníky, ktoré nielen profesionálne vyzerajú, ale tiež uľahčia analýzu údajov.

 

Preferujú online komunikáciu

• Keďže členovia generácie Z trávia veľa času v online prostredí, aj pri komunikácii využívajú technológie. Odpovedať na online prieskum alebo sa zúčastniť online akcie bude pre nich preto prirodzenejšie.
• Preferencia online komunikácie má navyše za následok nedostatočný rozvoj sociálnych zručností mnohých členov generácie Z. Realizácia výskumu online by preto mohla byť lepšou voľbou na zabezpečenie ich zapojenia.

 

Ako nadviazať kontakt

• V dôsledku preferencie online komunikácie budete musieť na kontakt s nimi použiť správne komunikačné kanály. Na rozdiel od predchádzajúcich generácií preferujú používanie rôznych komunikačných platforiem a sociálnych médií, napr. Instagram, TikTok atď.
• Snažte sa spoznať a porozumieť potenciálnym účastníkom vášho hodnotenia a identifikujte najlepší spôsob, ako ich osloviť.

 

Chcú byť vypočutí

• V dôsledku prístupu k tak veľkému množstvu informácií majú títo mladí ľudia vyhranené názory a chcú, aby boli vypočutí. Veria, že ich nápady sú rovnako cenné ako nápady od zástupcov iných generácií.
• O ich pozornosť sa však uchádza veľa konkurenčných požiadaviek. Je veľmi pravdepodobné, že sa zapoja do aktivít, ktoré považujú za zaujímavé a relevantné.

12.3 Etické otázky zapájania mladých ľudí do hodnotenia

Zapojenie mladých ľudí do hodnotenia si vyžaduje aplikáciu špecifických etických prístupov. Nižšie uvádzame niekoľko kľúčových bodov (Schenk & Williamson, 2005; UNICEF, 2002):

• Dodržanie prísnych etické zásad je obzvlášť dôležité pri práci s deťmi a mladistvými kvôli mocenskému rozdielu medzi účastníkom/čkou a výskumníkom/čkou. Napríklad, musí byť dodržaná zásada získania súhlasu rodiča alebo zákonného zástupcu dieťaťa s účasťou na projekte/výskume.
• Záujem dieťaťa musí byť hlavným faktorom všetkých činností, ktorésa ho týkajú. Výskumníci musia zvážiť, ako hodnotenie podporínajlepší záujem každého dieťaťa. Musí byť zavedený mechanizmus etickej kontroly, aby sa nezávisle chránili záujmy zúčastnených detí a mladistvých.
• Ak zhromaždenie informácií nebude priamo prospešné pre zúčastnené deti a mladistvých alebo pre ich komunitu, hodnotenie by nemalo pokračovať.
• S účasťou na hodnotení môžu byť spojené isté spoločenské dôsledky alebo individuálne náklady. Výskumníci sú zodpovední za ochranu detí pred vystavením sa akémukoľvek riziku, aj keď sú ochotné sa zúčastniť.
• Názory mladých ľudí je potrebné vziať do úvahy vo všetkých záležitostiach, ktoré sa ich týkajú. Nemali by byť použité len ako údaje zozbierané od „predmetov” výskumu. Vedci sú zodpovední za zaistenie toho, aby deti a dospievajúci dostali informácie, ktoré potrebujú na formovanie svojho názoru, a za rozhodnutie, či ich vyjadria alebo nie.
• Čo sa týka dizajnu hodnotenia, výskumníci/čky by mali zabezpečiť, aby bol navrhnutý tak, aby pomohol napraviť vzorce vylúčenia/exklúzie. Vyžaduje si to pozornosť a citlivosť na socio-ekonomické prekážky a prekážky súvisiace s rodom, vekom, etnickým pôvodom, zdravotným stavom,atď.
• Práca s deťmi a mladistvými, ktoré sa nachádzajú v obzvlášť zraniteľných situáciách, si vyžaduje ďalšie záruky na ochranu ich najlepšieho záujmu.
• Je dôležité, aby bol jasne definovaný cieľ hodnotenia a cieľové publikum a aby boli k dispozícii dostatočné ľudské a finančné zdroje na etickú realizáciu výskumu.
• Manažéri/ky, ktorí si objednávajú hodnotenie, sú zodpovední za zaistenie toho, aby boli etické problémy identifikované a vyriešené už pri návrhu koncepcie a metodiky hodnotenia.

14. Súbor nástrojov

Tento súbor nástrojov obsahuje šablóny, tabuľky a kontrolné zoznamy, ktoré vám môžu pomôcť v rôznych fázach hodnotenia (zoznam nie je úplný).

Kontrolný zoznam hodnotiaceho cyklu.
Nástroje na použitie vo fáze prípravy hodnotenia.
Nástroje na použitie pri zhromažďovaní informácií.
Nástroje na analýzu dát.
Nástroje na používanie dát.
Mäkké zručnosti potrebné na úspešné vedenie projektu podnikavosti mladých ľudí
14.1 Rozdiel medzi hodnotením, monitoringom a auditom

Tabuľka 8: Monitoring, audit a hodnotenie

Audit Monitoring Hodnotenie
Definícia

Hodnotenie:

– zákonnosti a oprávnenosti projektových výdavkov a príjmov

-dodržiavania zákonov a predpisov

– efektívneho, účelného a hospodárneho využívania finančných prostriedkov projektu

Priebežná analýza pokroku projektu pri dosahovaní plánovaných výsledkov s cieľom zlepšiť rozhodovacie procesy manažmentu projektu Posúdenie účinnosti, dopadu, relevancie, užitočnosti a udržateľnosti projektových aktivít.
Kto? Zvyčajne externé agentúry Interná zodpovednosť projektových manažérov Externé firmy (výskumné/konzultačné), interní odborníci alebo sebahodnotenie
Kedy? V polovici obdobia, Ex-post, po ukončení. Priebežne (on-going) Zvyčajne po ukončení (ex-post), ale aj na začiatku (ex-ante), v polovici obdobia (mid-term/procesné) a priebežne (on-going).
Prečo? Poskytuje uistenie zainteresovaným stranám a možnosť vyvodenia zodpovednosť. Pre overenie pokroku, prijatie nápravných opatrení a prípadnú zmenu plánov. Získanie širších skúseností použiteľných pre ďalšie projekty. Zaisťuje rozvoj a vyvodenie zodpovednosti.

Zdroj: Európska komisia – Úrad pre spoluprácu Europe Aid, 2004

14.2 Kontrolný zoznam hodnotiaceho cyklu

Tabuľka 9: Kontroln ý zoznam hodnotiaceho cyklu

Vyriešené

Áno (ii)

Nie (x)

Alebo

Nie je jasné

PRÍPRAVA

Čo potrebujete zistiť? Aké údaje vám pomôžu?
Máte jasné a spoločné ciele hodnotenia?
Existuje kľúčová hodnotiaca otázka (alebo otázky), ktorou sa bude vaše hodnotenie riadiť?
Určili ste, aké údaje potrebujete zozbierať?
Máte zručnosti a vedomosti na ich zber? Kto bude vykonávať konkrétne kroky v rámci hodnotenia? Je potrebná nejaká externá podpora?
Poznáte svoje zainteresované strany? Viete, či, ako a za akých podmienok sa môžu zapojiť do hodnotenia? Poznáte ich očakávania od hodnotenia?
Viete, aké relevantné údaje sú už k dispozícii?
Viete, kto vám môže pomôcť nájsť potrebné informácie?
Bude mať každý „partner“ možnosť prispieť k hodnoteniu?

ZBER ÚDAJOV

Akým spôsobom budete zbierať údaje?

Zameriavate sa skôr na zber relevantných údajov než na množstvo údajov?
Viete, akými metódami bude realizovaný zber údajov (kvantitatívne, kvalitatívne)?
Stanovili ste postup zberu údajov (existujúcich a/alebo dodatočných)?
Kto uskutoční zber a ako dlho to bude trvať?

ANALÝZA ÚDAJOV

Ako budete údaje analyzovať?
Aké kvantitatívne a kvalitatívne údaje budete chcieť analyzovať?
Aké analytické metódy použijete?
Máte interné kapacity na analýzu údajov?
Čo vám získané údaje hovoria?
Identifikovali ste hlavné témy, vzorce a trendy (v čase)? Máte jasno v tom, aké sú hlavné výsledky vášho projektu?
Existujú nejaké ďalšie (t. j. neočakávané) výsledky projektu?
Zistili ste, v akých oblastiach by sa vaša aktivita zameraná na podporu podnikavosti mladých ľudí mohla zlepšiť?

POUŽITIE ÚDAJOV

Čo sa môžete z výsledkov hodnotenia dozvedieť?
Reaguje váš projekt na potreby príjemcov/miestnych komunít?
Do akej miery boli dosiahnuté ciele a očakávané výsledky?
Čo je potrebné zlepšiť vo vašich existujúcich alebo budúcich projektoch?
Aké interné procesy je potrebné zlepšiť?

Máte k dispozícii komunikačné kanály a nástroje na zdieľanie a propagáciu toho, čo ste sa naučili?

Existuje priestor na rozšírenie alebo pokračovanie projektu?

Poskytli ste relevantnú spätnú väzbu svojim kľúčovým zainteresovaným stranám (odpovede na otázky, ktoré ich zaujímajú, v písomnej alebo ústnej forme)? Boli ich zástupcovia pozvaní na diskusiu o zisteniach (ak to bolo potrebné)?
Je známy stav projektu – dokončený, prebiehajúci atď.? Boli dosiahnuté stanovené ciele hodnotenia?
Je potrebné vykonať zmeny v projekte?
Dohodli ste sa, ako budete v projekte ďalej postupovať?

Zdroj: vlastné spracovanie

14.3 Nástroje na použitie vo fáze prípravy hodnotenia
14.3.1 Matica logického rámca

Jedná sa o nástroj, pomocou ktorého môžete rekonštruovať logiku projektu, ktorý chcete hodnotiť.

Tabuľka 10: Matica logického rámca

Ciele Merateľné ukazovatele (indikátory) Spôsoby overovania Dôležité predpoklady

CÍL:

Širší problém, ktorý projekt pomáha riešiť

Kvantitatívne spôsoby merania alebo kvalitatívne spôsoby posudzovania dosiahnutia časovo ohraničeného cieľa Hospodárne metódy a zdroje pre zistenie miery naplnenia alebo posúdenie ukazovateľov. (Od cieľa k vyššiemu cieľu) Vonkajšie faktory nevyhnutné pre zabezpečenie trvácnosti cieľov v dlhodobom horizonte

ÚČEL:

Bezprostredný vplyv na oblasť projektu alebo cieľovú skupinu, t.j. zmena alebo prínos, ktorý sa má projektom dosiahnuť.

Kvantitatívne spôsoby merania alebo kvalitatívne spôsoby posudzovania dosiahnutia časovo ohraničeného účelu Hospodárne metódy a zdroje pre zistenie miery naplnenia alebo posúdenie ukazovateľov.

(Od účelu k cieľu)

Vonkajšie podmienky, ktorých existencia je nevyhnutná, ak má účel projektu prispieť k dosiahnutiu cieľa projektu.

VÝSTUPY:

Jedná sa o konkrétne produkty, ktoré majú byť v projekte vytvorené, aby mohol byť splnený jeho účel.

Kvantitatívne spôsoby merania alebo kvalitatívne spôsoby posudzovania dosiahnutia produkcie výstupov s jasne určeným termínom Hospodárne metódy a zdroje pre zistenie miery naplnenia alebo posúdenie ukazovateľov.

(Od výstupov k účelu)

Mimoprojektové faktory, ktoré by mohli v prípade, že by boli prítomné, limitovať úspešný pokrok od naplnenia výstupov k dosiahnutiu účelu projektu.

AKTIVITY:

Ide o úlohy, ktoré treba vykonať, aby bolo možné vyprodukovať výstupy.

VSTUPY:

Tabuľka rozpočtu projektu

Správa o finančnom výsledku podľa špecifikácie danej grantovou zmluvou

(Od aktivít k výstupom)

Mimoprojektové faktory, ktoré by mohli v prípade, že by boli prítomné, limitovať úspešný pokrok od realizácie aktivít k dosiahnutiu výstupov projektu.

Zdroj: Ministerstvo pre medzinárodný rozvoj, 2007

Nasledujúca tabuľka uvádza ďalšie údaje o jednotlivých prvkoch matice logického rámca.

Tabuľka 11: Rozdiel medzi vstupmi, aktivitami, výstupmi, výsledkami a dopadom

Vstupy/ zdroje Vstupy predstavujú zdroje, ktoré používame v projekte na jeho realizáciu, vrátane ľudských zdrojov, financií alebo vybavenia. Vstupy zabezpečujú, že je možné dosiahnuť zamýšľané výsledky projektu.
Aktivity Aktivity sú činnosti spojené s dosiahnutím cieľov projektu. Inými slovami, aktivity vykonávajú pracovníci / zamestnanci, aby dosiahli ciele projektu.
Výstupy Predstavujú prvú úroveň výsledkov spojených s projektom. Výstupy, ktoré sa často zamieňajú s „aktivitami“, sú priame okamžité produkty, ktoré sú výsledkom projektu. Inými slovami, výstupy obvykle predstavujú to, čo projekt dosiahol v krátkodobom horizonte. Jednoduchý spôsob, ako určiť výstupy, je kvantifikovať projektové aktivity, ktoré majú priamu väzbu na cieľ projektu. Výstupy projektu môžu byť napríklad: počet zrealizovaných školení v oblasti podnikania, počet stretnutí s úspešnými podnikateľmi alebo počet vydaných vzdelávacích publikácií.
Výsledky Ide o druhú úroveň výsledkov, ktoré súvisia s projektom. Táto úroveň sa týka strednodobých dôsledkov projektu. Môže to byť napríklad zlepšenie úrovne vedomostí o témach súvisiacich s podnikaním alebo založenie začínajúceho podniku. Je dôležité si uvedomiť, že výsledky by mali jasne súvisieť s cieľmi projektu.

Dopad Dopad je treťou úrovňou projektových výsledkov. Ide o dlhodobý dôsledok alebo dôsledok, ktorý ovplyvňuje nielen priamych účastníkov projektu. Väčšinou je veľmi ťažké zistiť dopad projektu dosiahnutý výlučne hodnoteným projektom, pretože k rovnakému cieľu môže viesť niekoľko ďalších intervencií. Príkladom môže byť zvýšenie počtu nových podnikov v regióne, zníženie nezamestnanosti alebo počtu členov skupiny NEET v danom meste.

Zdroj: Rozdiel medzi vstupmi, aktivitami, výstupmi, výsledkami a dopadom, 2013

14.3.2 Indikátory výsledkov účastníkov projektu

Indikátory je možné vytvoriť pre rôzne fázy projektu. Na obrázku 7 sú uvedené príklady indikátorov výsledkov programu vzdelávania v oblasti zamestnanosti/rozvoja pracovnej sily (The Urban Institute, What Works, n.d.).

V závislosti od zložitosti a dĺžke trvania vášho projektu môžete projekt rozdeliť na niekoľko etáp a vypracovať indikátory výsledkov pre jednotlivé etapy programu.

Obrázok 6: Príklad indikátorov výsledkov účastníkov projektu

Zdroj: The Urban Institute, What Works, n.d.

14.3.3 Identifikovanie zainteresovaných strán hodnotenia

Každý projekt / aktivita zameraná na podporu podnikavosti mladých ľudí môže mať viacero zainteresovaných strán. Vďaka poznaniu zainteresovaných strán dokážete zistiť, na aké otázky má hodnotenie odpovedať, akú má mať formu a kedy bude potrebné.

Tento zoznam zainteresovaných strán vám pomôže zistiť, kto môže mať záujem o vaše hodnotenie. Premyslite si, kto sa na hodnotení zúčastní a s kým budete zdieľať zistenia, aby sa odporúčania mohli realizovať.

Tabuľka 12: Zoznam zainteresovaných strán

Potenciálne zainteresované strany hodnotenia Áno / Nie
Príjemcovia projektu (ktorí sa aktuálne zúčastňuje na projekte )

Absolventi (príjemcovia, ktorí ukončili svoju účasť na projekte)

Školitelia

Mentori

Inovačné centrá (zástupcovia)

Podnikateľské akcelerátory (zástupcovia)

Spoločnosti poskytujúce súkromný kapitál a/alebo rizikový kapitál

Pracovníci projektu

Kouči

Anjelski investori

Výskumní pracovníci

Orgány miestnej samosprávy (zástupcovia)

Partneri projektu

Dobrovoľníci

Iné inštitúcie realizujúce podobné projekty (zástupcovia)

Miestni zamestnávatelia

Kto ešte? (Doplňte tie, ktoré sa vás konkrétne týkajú)

Zdroj: vlastné spracovanie

Potom, ako identifikujete zainteresované strany, porozmýšľajte nad pridanou hodnotou, ktorú tieto strany môžu priniesť do vášho hodnotenia a nad ich motiváciou zapojiť sa do procesu. Na základe týchto údajov sa rozhodnete, aký typ údajov, aké kľúčové závery a komunikačné kanály použijete.

Zainteresované strany môžete rozdeliť do 4 skupín podľa ich vplyvu, záujmu a úrovne účasti na vašom projekte (Product plan, n.d.).

Obrázok 7: Matica zainteresovaných strán podľa vplyvu – záujmu

Zdroj: Produktový plán, n.d.

Veľký vplyv, veľký záujem: najdôležitejšie zainteresované strany. Mali by ste uprednostniť ich záujmy a zabezpečiť ich spokojnosť s hodnotením projektu – pravidelne ich informujte, pozývajte ich na dôležité stretnutia, žiadajte ich o spätnú väzbu.
Veľký vplyv, nízky záujem: Vzhľadom na vplyv týchto strán by ste sa mali snažiť ich uspokojiť. Pretože však neprejavili hlboký záujem o váš projekt, mohla by ich príliš častá komunikácia z vašej strany odradiť. Mali by ste preto zvážiť, ako často ich kontaktovať aké a množstvo informácií im poskytovať.
Nízky vplyv, vysoký záujem: Tieto strany by ste mali pravidelne informovať a oslovovať.
Nízky vplyv, nízky záujem: Tieto strany pravidelne informujte, avšak neposkytujte im príliš veľa údajov.
14.4 Metódy a nástroje využívané vo fáze zberu údajov

Nižšie nájdete niekoľko metód a nástrojov, ktoré môžete použiť v tejto fáze hodnotenia.

14.4.1 Určenie vhodných metód na zber potrebných údajov

Vzhľadom na účel hodnotenie určite metódy a nástroje zberu informácií, ktoré budú pre tento účel najvyhovujúcejšie. Zhrnutie jednotlivých druhov nástrojov a metód zberu informácií nájdete vyššie v časti 9 „Zber údajov“.

Tabuľka 13:Tabuľka pre plánovanie zberu údajov

Hodnotiaca otázka Aké údaje sú pre váš účel najviac relevantné? Ktoré údaje bude najľahšie zozbierať?

Zdroj informácií

(interná, napr. projektová dokumentácia, projektový personál, príjemcovia projektu alebo externí, napr. miestne orgány, miestna podnikateľská komunita, vzdelávacie inštitúcie atď.)

Pri ktorých údajoch budete potrebovať pomoc so zberom? Kto vám môže pomôcť? (napr. kolega, nezávislí experti, kolegovia partnera, účastníci projektu, externý hodnotiteľ)

Zdroj: vlastné spracovanie

Tabuľka 14: Kontrolný zoznam na identifikáciu nástrojov, ktoré je možné použiť na zhromažďovanie potrebných informácií

Hodnotiaca otázka

Metóda zberu údajov Nástroj Od koho budú údaje získavané Kedy budú údaje získavané Kde budú údaje získavané
Hodnotiaca otázka 1

Hodnotiaca otázka 2

Hodnotiaca otázka x

14.4.2 Osobný potenciál a ciele – nástroj na sebahodnotenie

Tento dotazník je vhodný na predbežné a následné meranie sociálnych zručností a osobných hodnôt účastníkov na posúdenie ich pokroku v projekte. Ide o asistované zisťovanie, pri ktorom niektorí účastníci (najmä obete nútenej migrácie, ako sú utečenci, prisťahovalci alebo osoby so zdravotným znevýhodnením) nemusia byť schopní porozumieť všetkým otázkam a budú potrebovať asistenciu zo strany inštruktorov, aby poskytli požadované informácie.

Tieto a osobnostné testy boli inšpirované nástrojmi dostupnými na platformách smfa-jobnet.de a Psychometrics (navštívte stránku www.mfa-jobnet.deand, www.psychometrics.com) s nevyhnutnými úpravami tak, aby zodpovedali tomuto modulu hodnotenia, však pôvodný zdroj obsahuje viac testov, ktoré vám môžu pomôcť posúdiť zamestnateľnosť uchádzačov.

Tabuľka 15: Nástroj sebahodnoteniana posúdenie osobného potenciálu a cieľov uchádzača

Vzdelanie / Zručnosti

V ktorých oblastiach som bol/-a doteraz aktívny/-a? Čo som sa naučil/-a?

Čo som sa v tejto súvislosti naučil/-a?

Aké zručnosti som vďaka tomu získal/-a? Aké zručnosti som si osvojil/-a pri každodenných činnostiach? Aké všeobecné kompetencie som získal/-a vďaka svojim profesným a mimoprofesným skúsenostiam?

Aký odborný alebo iný výcvik som nadobudol/-a?

Aké diplomy, osvedčenia, atď. som získal/-a?

Ktoré z mojich diplomov sú v krajine aktuálneho pobytu uznávané?

Ktoré nie sú uznávané?

Kde som pracoval/-a?

a) V domovskom štáte

b) v inom štáte EÚ

c) V iných štátoch

Aké iné pracovné skúsenosti mám?

Čo ma na školení/práci obzvlášť oslovilo, čo ma zaujalo, čo ma nadchlo?

Akú mám ďalšiu kvalifikáciu (napr. jazykové kurzy, práca s počítačom, vodičský preukaz atď.)?

Aké zručnosti a kompetencie som nadobudol/-a na rôznych miestach a v rôznych štátoch? (nielen v odbornej oblasti, ale aj v každodennom živote)

Kde ich dnes využívam?

Čo sa chcem naučiť?

Ktoré zo svojich zručností môžem dobre využiť v krajine, v ktorej žijem?

Existujú oblasti, v ktorých mám úplne iné zručnosti ako moji súčasní kolegovia a priatelia?

Existuje povolanie, ktorému by som sa chcel/-a teraz venovať?

Ak nie: Čím sa chcem živiť namiesto toho?

Aké očakávania a predstavy som mal/-a, keď som prišiel/-a do tejto krajiny?

Čo je iné, ako som očakával/-a?

Je to pre mňa

a) sklamanie?

b) výzva?

Ako môžem využiť kontakty, ktoré mám, pri realizácii svojich nápadov a plánov?

Sebahodnotenie

Čo sa mi v živote podarilo?

V čom som bol/-a vždy mimoriadne dobrý/-á?

Čo ma vždy bavilo?

Ktoré svoje kompetencie/ zručnosti dôležité pre môj budúci profesionálny život chcem ďalej rozvíjať? V čom sa chcem ešte viac zlepšiť?

Čo nerád / nerada robím?

Ktoré z mojich zručností boli počas môjho pobytu v tejto krajine obzvlášť užitočné/dôležité/úspešné?

Externé hodnotenie

Aké zručnosti / silné stránky vidia vo mne iní?

Čím som dokázal/-a inšpirovať/zaujať iných?

Za čo som dostal/-a veľa pochvaly/uznania?

Práca

Ktorých 5 charakteristík by mala mať práca, aby mi vyhovovala?

Ako si konkrétne predstavujem svoju budúcu prácu?

Kde? S kým? Čo presne znamená moja práca?

Aký je môj cieľ?

Čo môžem urobiť, aby som dosiahol/-a svoj cieľ?

S čím potrebujem pomôcť/podporiť? Čo presne potrebujem?

S akými ťažkosťami/prekážkami sa môžem stretnúť?

Vek:

Pohlavie:

Zdroj: úprava podľa Stellenbörsefür MFA und Arbeitgeber (n.d.) and Psychometrics Canada Ltd. (n.d.).

14.4.3 Sebahodnotiaci dotazník: Sociálne zručnosti a osobné hodnoty

Tento dotazník je vhodný na predbežné a následné meranie kompetencií účastníkov vyvinutých v projekte. Ako sme už uviedli vyššie, sebahodnotiace dotazníky nie sú jediným nástrojom na meranie pokroku. Môžu byť totiž subjektívne a niekedy môže zmena zaznamenaná týmto druhom nástrojov vyjadrovať pokles len preto, že vďaka školeniam si príjemca uvedomil svoje slabé stránky v určitej oblasti. Sebahodnotenie však možno doplniť inými formami externého hodnotenia, ktoré vykonávajú projektoví pracovníci (napríklad školitelia, mentori, psychológovia).

Tabuľka 16: Sebahodnotiaci dotazník na posúdenie sociálnych zručností a osobných hodnôt

Priezvisko, meno:

Dátum:

++ + 0 – —
Sociálne zručnosti

Komunikačné zručnosti

Pozorne počúvam, čo a ako iní hovoria.

Ostatní mi hovoria, že im dobre rozumiem.

Aj vo väčších skupinách dokážem vyjadriť svoj názor tak, aby bol zrozumiteľný pre všetkých.

Tímová spolupráca

Je pre mňa dôležité, aby tím dobre fungoval: preto sa so svojimi kolegami delím o dôležité skúsenosti a poznatky.

Ale tiež sa mi páči, keď sa môžem učiť od iných.

Ak je to dôležité pre skupinu, moje osobné záujmy dokážem dať do úzadia.

Aktívne sa zapájam do skupinovej práce, napr. zvažujem, ako si najlepšie rozdeliť prácu.

Schopnosť zvládať konflikty

Skôr ako sa kvôli niečomu rozčúlim, radšej sa o veciach pokojne porozprávam.

Nemám problém akceptovať iné názory ľudí.

Pri rozhovoroch dokážem ľahko zistiť, či ide o vecný problém, alebo či si dvaja ľudia osobne nerozumejú.

Keď sa vyskytnú konflikty, snažím sa jednať ich alebo sa snažím nájsť riešenie, ktoré akceptujú všetci zúčastnení (nechcem vyhrať len ja).

Schopnosť prijať kritiku

Ak niekto kritizuje môj výkon alebo správanie, premýšľam nad tým, či môže mať pravdu.

Ak chcem niekomu niečo vytknúť, vysvetlím to konkrétne a priateľským tónom.

Chápem, že každý niekedy robí chyby.

Komunikácia s ľuďmi

Rád/rada oslovujem iných ľudí.

Zvyčajne zostávam pokojný/-a a objektívny/-a, aj keď mi iní ľudia idú na nervy.

Ak vidím, že je niekto rozčúlený, upokojím ho.

Osobné hodnoty

Spoľahlivosť

Vždy chodím na dohodnuté stretnutia včas.

Ak nemôžem dodržať termín stretnutia, včas sa ospravedlním.

Pracovné úlohy vždy odovzdám načas.

Nie je potrebné, aby ma niekto neustále kontroloval: ak mám nejakú úlohu, uvažujem o jej splnení sám/sama.

Zmysel pre zodpovednosť

Preberám zodpovednosť za to, čo robím.

Starám sa o svoje zdravie.

Dávam si veľký pozor, aby som nikoho neohrozil/-a.

So zvereným vybavením alebo materiálom zaobchádzam s veľkou opatrnosťou.

Zdroj: úprava podľa Stellenbörsefür MFA und Arbeitgeber (n.d.) and Psychometrics Canada Ltd. (n.d.).

14.4.4 Dotazník – hodnotenie vlastných zručností

Tento dotazník je vhodný na meranie pokroku účastníka pred aj po uskutočnení projektu. Je potrebné poznamenať, že sebahodnotiace dotazníky nie sú jediným nástrojom na meranie progresu. Môžu byť totiž subjektívne a niekedy môže zmena zaznamenaná týmto druhom nástrojov vyjadrovať pokles len preto, že vďaka školeniam si príjemca uvedomil svoje slabé stránky v určitej oblasti

+++ je viac pravdivé; ++ je pravdivé; + je menej pravdivé.

Tabuľka 17:Sebahodnotiaci dotazník na posúdenie vlastných zručností

1.Sebahodnotenie +++ ++ +
Samostatnosť

Rozhodujem sa sám / sama

Vytváram si vlastný názor a prezentujem ho

Preberám zodpovednosť za svoje činy

Plánujem a realizujem prácu bez pomoci iných

V prípade potreby požiadam o pomoc iných

Dokážem sa presadiť

Flexibilita, pružnosť

Viem sa prispôsobiť novej situácii

Dokážem robiť viac rôznych úloh naraz

Som otvorený/-á novým alebo nezvyčajným nápadom

Dokážem ľahko prejsť z jednej úlohy na druhú

Kreativita

Dokážem nájsť riešenia problémov

Dokážem si pomôcť sám / sama

Skúšam nové možnosti

Som nápaditý/á a vynalézavý/á

Aj s malými prostriedkami dokážem dosiahnuť veľa

2. Sociálne kompetencie

Komunikačné zručnosti

Jasne sa vyjadrujem ústne aj písomne

Pýtam sa, ak niečomu nerozumiem

Dokážem počúvať

Nesúdim a nerobím unáhlené závery

Schopnosť riešiť konflikty

Dokážem povedať nie

Akceptujem iné hodnotenia / názory

Dokážem ponúknuť konštruktívnu kritiku a aj na ňu primerane reagovať

Dokážem rozpoznať napätie a rozprávať o ňom

Dokážem sa vyrovnať so svojimi silnými a slabými stránkami

Schopnosť pracovať v tíme

Akceptujem prijaté rozhodnutia

Dokážem nájsť riešenie spolu s ostatnými

Nemusím stáť na čele skupiny

Zdieľam zodpovednosť za výsledky práce

Dokážem prebrať zodpovednosť v skupine

3. Metodické kompetencie

Technika učenia a práce

Viem, kde a ako získam informácie

Dokážem sa dobre sústrediť

Som vytrvalý/-á

Dokážem si správne rozdeliť svoje sily

Organizácia práce

Vytváram si plán práce a kontrolujem ho

V mojej práci dokážem rozpoznať súvislosti

Viem predvídať dôsledky a odhadnúť ich

Dokážem rozpoznať podstatu veci

4. Profesionálne kompetencie

Odborné znalosti

Ovládam podmienky v odbornej oblasti

Poznám pravidlá a normy svojej práce

Mám technické / jazykové znalosti

Mám dobré všeobecné vzdelanie

Praktické vedomosti

Uplatňujem odborné vedomosti

Prácu vykonávam správne

Využívam to, čo som sa naučil/-a

Celkom

Zdroj: úprava podľa Stellenbörsefür MFA und Arbeitgeber (n.d.) and Psychometrics Canada Ltd. (n.d.).

14.4.5 Testy využívané na meranie úrovne rozvoja zručností

Existuje viacero testov, ktoré už boli vyvinuté a ktoré možno využiť ako pomôcku pri hodnotení podnikateľských zručností príjemcov projektov / aktivít zameraných na podporu podnikavosti mladých ľudí (zakladateľov nových start-upov / podnikov). Meranie zručností účastníkov vášho projektu vám pomôže pri plánovaní a optimalizácii projektu.

Tieto psychometrické testy vychádzajú z nástrojov dostupných na platformách mfa-jobnet.de a Psychometrics (navštívte stránku www.mfa-jobnet.deand , www.psychometrics.com) a boli upravené tak, aby zodpovedali tomuto modulu hodnotenia. Pôvodný zdroj obsahuje viac testov, ktoré vám môžu pomôcť posúdiť potenciál účastníka.

Nižšie uvádzame niekoľko testov, ktoré môžete použiť:

Test inšpirácie (Inspire),
Test informovanosti,
Test zručností.
Test vytvárania sietí.

Test inšpirácie (IT)

Každý projekt zameraný na podnikavosť má iné požiadavky na jeho úspešnú realizáciu. Test IT umožňuje prijímateľovi špecifikovať dôležitosť vhodnosti osobnosti potenciálneho účastníka s požiadavkami projektu, ktorý organizácia začína realizovať, a ideálne skóre, ktoré by mal dosiahnuť. Tieto hodnotenia sa následne využívajú na preskúmanie toho, do akej miery projekt príjemcu zodpovedá požiadavkám celej projektovej činnosti.

Výhody testu IT

IT test poskytuje komplexné obraz o osobnosti účastníka a zároveň ukazuje, akým spôsobom bude:

realizovať svoj projekt,
komunikovať s ľuďmi,
riešiť problémy,
riadiť zmeny, a
zvládať stres.

Príklady otázok pre rozhovor

ENERGIA A MOTIVÁCIA

Energia

Povedzte mi niečo o projekt, na ktorom ste pracovali v minulosti, a ktorý si vyžadoval veľa energie a nasadenia. Aké boli vaše povinnosti? Aký bol konečný výsledok?
Vymenujte niektoré z najnáročnejších vecí, ktoré ste realizovali. Ako ste ich zvládli?
Každému niekedy dôjde energia. Povedzte mi o situácii, keď ste museli pracovať na úlohe, ktorá bola príliš náročná. Čo ste urobili? Čo sa nakoniec stalo?

Ambícia

Povedzte mi o situácii, kedy ste sa museli veľmi snažiť, aby ste dosiahli úspech.
Povedzte mi o nejakých náročných cieľoch, ktoré ste si stanovili, a o tom, ako ste ich dosiahli.
Opíšte situáciu, v ktorej ste zaujali sa vzdali vlastnej súťaživosti, aby ste dosiahli úspech.
Mali ste niekedy projekt, v rámci ktorého takmer nebol priestor na kariérny postup? Aké to pre vás bolo?

Líderstvo

Aké skúsenosti máte s vedením ľudí? Aké to pre vás bolo? Čo bolo na tejto skúsenosti pozitívne? Čo by ste urobili inak? Mohla/mohol by ste mohli byť efektívnejším lídrom? Ako?
Porozprávajte mi o situácii, keď ste museli presvedčiť ľudí, aby vás nasledovali. Čo ste urobili? Podarilo sa vám získať ľudí na vašu stranu?
Povedzte mi o situácii, keď ste čelili ťažkostiam vo svojom tíme. O aký bol problém šlo a ako ste ho prekonali?
Porozprávajte o istuácii, kedy ste sa ujali vedúcej úlohy bez toho, aby vás o to niekto požiadal.
Uveďte príklad náročnej situácie, kedy ste prevzali úlohu lídra. O akú úlohu šlo?
Povedzte mi o situácii, keď ste museli nasledovať vedenie niekoho iného.

Postup IT testu:

Testy budú zdrojom referenčných hodnôt pre váš projekt. Vyhodnotí sa výkonnosť príjemcu a vypracuje sa správa príjemcu.

Vytvorenie referenčných hodnôt – pozorovatelia budú spolupracovať s príjemcami na vytvorení referenčných hodnôt pre projektovú aktivitu. Jedným z najefektívnejších spôsobov, ako tieto požiadavky identifikovať, je zhromaždiť údaje od ľudí, ktorí projekt dobre poznajú. Tieto osoby, ktoré sú dobre oboznámené s projektom, môžu hovoriť o znalostiach, zručnostiach a vlastnostiach, ktoré sú nevyhnutné na to, aby konkrétna osoba úspešne absolvovala projekt.
Hodnotenie účastníkov – na hodnotenie účastníkov použite hodnotiaci nástroj.
Hodnotenie osoby – po absolvovaní testu inšpirácie (IT testu) môže pozorovateľ vytvoriť správu, v ktorej uvedie, do akej miery zodpovedajú osobnostné vlastnosti účastníka požiadavkám projektovej aktivity.

Správa z absolvovania IT testu okrem iného poskytuje:

celkové skóre vhodnosti pre projektovú aktivitu – ktoré je možné rýchlo vyhodnotiť na základe celkovej zhody uchádzačov s referenčnými hodnotami projektu;
profil účastníka, ktorý pomôže identifikovať konkrétne oblasti, v ktorých je / nie je vhodným uchádzačom,
hĺbkový opis správania účastníka v spoločnom pracovnom priestore pomôže zamerať sa na oblasti neistoty pri následných rozhovoroch a
validita profilu – hodnotí, do akej miery bol dotazník vyplnený úprimne, a nie prehnane pozitívnym alebo neobvyklým spôsobom.

Zdroj: úpravené podľa Stellenbörsefür MFA und Arbeitgeber (n.d.) and Psychometrics Canada Ltd. (n.d.).

Test informovanosti (AT)

Cieľom aktivít zameraných na podporu podnikavosti mladých ľudí je rozvoj podnikateľských zručností. Cieľom tohto testu je preto poskytnúť prehľad rôznych kompetencií a mäkkých zručností, ktoré je potrebné rozvíjať, spolu s opatreniami, ktoré sa hodnotia, a zručnosťami, ktoré sa testujú.

Samostatné konanie – pripravenosť prijať zodpovednosť, flexibilita, odolnosť, samostatná iniciatíva, primeraná asertivita, časový manažment, pripravenosť zlepšiť výkon svojho tímu na základe spätnej väzby a reflexívneho učenia.
Tímová práca – rešpektovanie druhých, spolupráca, vyjednávanie, presviedčanie, prispievanie do diskusií, uvedomovanie si vzájomnej závislosti s ostatnými.
Kultúrna tolerancia / citlivosť – byť schopný, rešpektovať ľudí iných kultúr, nediskriminovať ľudí iných kultúr.
Informovanosť o podnikaní a zákazníkoch – základné pochopenie kľúčových faktorov úspechu v podnikaní a dôležitosť zaistenia spokojnosti zákazníkov a budovania ich lojality.
Kritické myslenie – objektívny zber a analýza údajov, vytváranie podložených úsudkov.
Riešenie problémov – analýza faktov a okolností s cieľom určiť príčinu problému, identifikovať a vybrať vhodné riešenia.
Komunikácia – schopnosť účinne prispôsobovať informácie účelu a publiku a používať najlepšie dostupné nástroje na ich zdieľanie.
Časový manažment – Schopnosť plánovať a organizovať svoj čas v rámci rôznych činností.
Flexibilita – Schopnosť pracovať v neustále sa meniacom prostredí a snaha hľadať obojstranne výhodné riešenia.
Odolnosť – Schopnosť pracovať pod tlakom.
Efektívnosť – Uplatňovanie pravidla 80/20 a ďalších techník na dosiahnutie vyšších výsledkov v kratšom čase. Prepínanie medzi rôznymi úlohami a efektívny pokrok zo dňa na deň.
Vytváranie sietí kontaktov – Rozvíjanie siete umožní vytvoriť podnikateľské príležitosti, partnerské dohody, nájsť subdodávateľov alebo budúcich zamestnancov. Rozširuje obzory v oblasti PR a odovzdávania správneho posolstva na všetkých stranách.
Budovanie značky – Budovanie konzistentnej osobnej a obchodnej značky prispôsobenej správnemu publiku.
Predaj – nemať zábrany pri oslovovaní potenciálnych klientov a vytváraní nových podnikateľských príležitostí. Nájsť správne predajné kanály a intenzívne investovať do ich rozvoja. Budovanie predajných lievikov a predvídateľných príležitostí na rast príjmov.

Pomoc poskytnutá príjemcovi projektu v oblasti poznania jeho typu osobnosti je prvým krokom na ceste k osobnému rozvoju a podnikateľskému rastu. Test AT napomáha príjemcom pochopiť ich silné stránky, preferované pracovné štýly a v konečnom dôsledku vidieť ich potenciál. Pri individuálnom používaní testu AT na získanie obrazu o sebe samom a ujasnenie svojich cieľov, pomáha test AT vyššiu mieru porozumenia a ocenenia v rámci tímu – a umožňuje tímu lepšie spolupracovať.

Test AT sa môže vykonávať buď v rámci osobných rozhovorov, alebo praktických cvičení v tímoch.

Výhody testu AT:

lepšie pochopenie seba samého a druhých.
zlepšenie komunikačných zručností.
schopnosť porozumieť si navzájom a obmedziť konflikty.
poznanie svojho osobného a pracovného štýlu, silných stránok a oblastí potenciálneho rozvoja.

Otázky pre rozhovor

SEBAVEDOMIE

Ak sa v projekte požaduje, aby bol jednotlivec sebavedomý a cítil sa dobre pri kontakte s ľuďmi v rôznych spoločenských situáciách, zvážte niektoré z nasledujúcich otázok:

Uveďte príklad situácie, keď ste museli komunikovať so skupinou neznámych ľudí v súvislosti s prácou. Čo ste urobili? Aký bol výsledok?
Povedzte mi o situácii, keď ste sa museli chovať sebaisto v spoločnosti, aby ste dosiahli nejaký cieľ.

PRESVIEDČANIE
Ak si projekt vyžaduje osobu, kto nemá problém s vyjednávaním, predajom, ovplyvňovaním ostatných a snahou presvedčiť ľudí alebo zmeniť ich uhol pohľadu, zvážte niektoré z nasledujúcich otázok:

Uveďte príklad situácie, kedy ste niekoho presvedčili, aby si niečo kúpil? Čo ste urobili, aby ste ho/ju presvedčili?
Povedzte mi o situácii, kedy ste dosiahli, že niekto zmenil názor. Čo ste urobili/povedali, že sa tieto osoby začali pozerať na vec z vášho uhlu pohľadu?
Povedzte, kedy ste použili vyjednávanie, aby ste dosiahli to, čo ste chceli. Aký bol výsledok?

INICIATÍVA

Ak si projekt vyžaduje osobu s vysokou mierou iniciatívy, ktorá dokáže identifikovať nové príležitosti a prijímať výzvy, zvážte niektoré z nasledujúcich otázok:

Uveďte príklad, kedy ste dokončili projekt bez podpory iných. Aký bol výsledok?
Povedzte mi o príležitosti, ktorú ste identifikovali a ktorú ostatní prehliadli.
Opíšte nejaké nové výzvy, ktoré ste prijali bez podpory ostatných.
Uveďte niektoré nové povinnosti, ktoré ste na seba prevzali dobrovoľne.
Keď identifikujete potenciálnu príležitosť, čo potrebujete predtým, ako na nej začnete pracovať?
Čomu dávate prednosť, stabilným úlohám a povinnostiam alebo často sa meniacim úlohám a povinnostiam. Prečo?
Povedzte mi o príležitostiach, pri ktorých ste prejavili iniciatívu.
Uveďte niekoľko príkladov, kedy ste prejavili iniciatívu.

Zdroj: úprava podľa Stellenbörsefür MFA und Arbeitgeber (n.d.) and Psychometrics Canada Ltd. (n.d.).

Test mäkkých zručností (SST).

Tento test poukazuje na náročnosť rozvíjania kompetencií, ktoré uvádza test informovanosti a následne navrhuje konkrétnu vedomostnú bázu (lekcie), ‚vďaka ktorým je ju možné dosiahnuť.

Test SST pomáha účastníkom a členom ich tímu zoznámiť sa so štýlom riešenia konfliktov jednotlivých členov tímu, identifikovať potenciálne problémy a stanoviť ciele, akým spôsobom by mali riešiť konflikty ako skupina. V prípade zabehnutých tímov pomáha test SST členom tímu pochopiť rôzne konfliktné správanie, ktoré sa v tíme vyskytuje, identifikovať výzvy tímu pri zvládaní konfliktov a nájsť konštruktívne spôsoby, ako tieto výzvy zvládnuť.

Test SST sa môže realizovať ako osobný rozhovor, alebo ako praktické cvičenie v tímoch.

Test SST uvádza päť rôznych spôsobov riešenia konfliktov, ktoré sú zaradené do dvoch oblastí:

Asertivita – miera, do akej sa človek snaží uspokojiť svoje vlastné potreby.
Spolupráca – miera, do akej sa človek snaží uspokojiť potreby iných.

Výhody testu SST

Prečo organizácie využívajú testy SST?

Vyplnenie krátkeho dotazníka trvá len niekoľko minút a môžete ho vyplniť online pred školením alebo v papierovej podobe na mieste.
Poskytuje pragmatický, situačný prístup k riešeniu konfliktov, riadeniu zmien, rozvoju líderstva, komunikácii, udržaniu účastníkov a ďalším oblastiam.
Umožňuje vašej organizácii začať produktívny dialóg o konfliktoch.
Môže sa používať ako samostatný nástroj pre jednotlivcov, v procese skupinového vzdelávania, alebo ako súčasť štruktúrovaného vzdelávacieho workshopu.

Otázky pre rozhovor

SPOĽAHLIVOSŤ

Ak hľadáte účastníkov (príjemcov) s vysokou mierou spoľahlivosti, zvážte niektoré z nasledujúcich otázok:

Povedzte mi o projekte, ktorý ste nemohli dokončiť načas. Čo sa stalo? Čo by ste urobili inak?
Vyhovuje vám, ak necháte projekt nedokončený, ak sa vyskytne niečo iné?
Uveďte príklad úlohy, na ktorej dokončení ste museli pracovať dlhšie, ako je váš bežný pracovný čas. Aká to bola skúsenosť?
Môžete opísať situáciu, keď ste museli zmeniť priority a ponechať úlohu, na ktorej ste pracovali, nedokončenú? Čo sa stalo? Ako ste dokončili prvú úlohu?
Povedzte, kedy bolo pre vás ťažké dokončiť úlohu. Čo sa stalo a ako ste vyriešili ťažkosti?
Opíšte situáciu, kedy ste museli pracovať mimoriadne tvrdo, aby ste svoje úlohy dokončili podľa plánu.

VYTRVALOSŤ
Ak si projekt vyžaduje osobu s vysokou mierou vytrvalosti, zvážte niektoré z nasledujúcich otázok:

Povedzte mi o náročnej úlohe, ktorú ste nedávno dokončili. Čím bola náročná? Ako sa vám podarilo prekonať ťažkosti/prekážky?
Opíšte obdobie, keď ste museli dokončiť veľké množstvo nudných/nezaujímavých úloh. Ako ste sa motivovali k ich splneniu?
Uveďte príklad projektu, ktorého ste sa vzdali, pretože jeho dokončenie vyžadovalo vynaloženie neprimeraných prostriedkov.
Povedzte mi o situácii, kedy ste preukázali vysokú mieru vytrvalosti.
Povedzte mi o prekážkach, ktoré ste prekonali, a ktoré si vyžadovali veľkú vytrvalosť.
Uveďte príklad niečoho, čoho ste vzdali, pretože ste sa domnievali, že to nestojí za námahu.

Ak projekt zahŕňa najmä úlohy, ktoré sa dajú rýchlo dokončiť, a neobsahuje príliš mnoho prekážok, ktoré treba zvládnuť, zvážte niektoré z nasledujúcich otázok:

Uveďte príklad projektu, ktorého ste sa vzdali, pretože jeho dokončenie vyžadovalo vynaloženie neprimeraných prostriedkov.
Opíšte obdobie, keď ste mali veľa nudnej práce, ktorú ste museli dokončiť. Ako ste sa motivovali?
Pracovali ste niekedy na projekte, kde sa od vás vyžadovala len nenáročná práca a nepredstavovala žiadneuvýzvu? Aké to pre vás bolo? Bolo to príjemné alebo nepríjemné?

ZMYSEL PRE DETAIL

Ak projekt zahŕňa úlohy, ktoré si vyžadujú prácu s množstvom podrobných údajov alebo podrobný prieskum, zvážte niektoré z nasledujúcich otázok:

Opíšte projekt, na ktorom ste pracovali a ktorý si vyžadoval veľa detailnej práce.
Akú najpodrobnejšiu prácu ste museli vykonať?
Čo je pre vás horšie, dokončiť projekt neskoro, alebo ho dokončiť načas s nejakými nedostatkami?
Aké úlohy ste museli v minulosti realizovať, ktoré si vyžadovali, aby ste venovali veľkú pozornosť detailom?

Ak projekt nezahŕňa posúdenie veľkého množstva podrobnej práce, ale vyžaduje si niekoho, kto sa zameriava na globálne problémy, osvedčené postupy alebo záležitosti, zvážte niektoré z nasledujúcich otázok:

Povedzte mi o situácii, kedy ste ignorovali detaily a zamerali sa na celkový obraz.
Povedzte mi o situácii, kedy sa ľudia vo vašom tíme príliš sústredili na detaily a unikli im širšie súvislosti. Čo ste urobili, aby ste im pomohli rozšíriť ich obzor? Stáva sa niekedy, že človek trávi príliš veľa času skúmaním menej dôležitých detailov?
Aké máte skúsenosti s určovaním stratégie/skúmaním širších súvislostí/stanovením vyšších cieľov a priorít?

DODRŽIAVANIE PRAVIDIEL
Ak má projekt veľa veľa procesov a pravidiel, ktoré je potrebné prísne dodržiavať, zvážte niektoré z nasledujúcich otázok:

Opíšte svoje predchádzajúce skúsenosti s prácou vo veľmi štruktúrovanom prostredí, na ktoré sa vzťahuje veľké množstvo pravidiel.
Opíšte svoje skúsenosti s prácou v prostredí, kde neexistuje štruktúra alebo pravidlá týkajúce sa spôsobu práce.
Môžete uviesť príklad, kedy ste museli ignorovať pravidlá alebo postupy, aby ste úspešne dokončili svoju prácu?
Ako určujete, kedy je možné ignorovať niektoré postupy/pravidlá? Existujú situácie, v ktorých by sa podľa vás mali pravidlá dodržiavať stále? Ako určujete, kedy to je?

Ak sa v projekte neuplatňujú takmer žiadne postupy a pravidlá a od jednotlivca sa požaduje, aby určil najlepší spôsob, ako splniť svoje úlohy, zvážte niektoré z nasledujúcich otázok:

Povedzte mi o niektorých neefektívnych pravidlách, ktoré bolo potrebné neustále dodržiavať v inovačnom centre alebo podnikateľskom inkubátore, kde ste predtým pôsobili.
Môžete mi uviesť príklad, kedy ste museli ignorovať pravidlá alebo postupy, aby ste úspešne splnili svoje úlohy?
Ako určujete, kedy je možné postupy/pravidlá ignorovať? Existujú situácie, kedy by sa podľa vás mali dodržiavať stále? Ako určujete, kedy to je?
Ako často sa stretávate s pravidlami/postupmi, ktoré by podľa vás už nemali platiť?
Ako dobre sa vám pracuje na úlohách, ku ktorým vám nikto nedal žiadne pokyny/ inštrukcie? Teší vás táto voľnosť? Priali by ste si mať spätnú väzbu, vďaka ktorej by ste sa uistili, že úlohy vykonávate správne?

PLÁNOVANIE
Ak projekt zahŕňa veľa krátkodobého a dlhodobého plánovania, zvážte niektoré z nasledujúcich otázok:

Povedzte mi o úlohe, ktorú ste dokončili a ktorá si vyžadovala značnú mieru plánovania.
Uveďte príklad dlhodobého cieľa alebo plánu, ktorý ste si stanovili. Splnili ste svoje ciele? Do akej miery bol váš plán efektívny?

Zdroj: úprava podľa Stellenbörsefür MFA und Arbeitgeber (n.d.) and Psychometrics Canada Ltd. (n.d.).

Test vytvárania sietí kontaktov

Hlavným cieľom testu je zlepšenie v oblasti vytvárania sietí kontaktov a výmeny poznatkov v rámci projektov/aktivít zameraných na podporu podnikavosti mladých ľudí a umožniť tak vytvoriť úspešné inovačné ekosystémy v rámci celej Európy.

Prínosy testu NT:

Vzájomné prepojenie vašich záujmov a preferencií s rôznymi aktivitami, úlohami, nastavením projektov a kariérou.
Test NT poskytuje výsledky, ktoré môžete využiť, ak s podnikaním ešte len začínate.

Vytváranie sietí kontaktov sa realizuje buď formou osobných rozhovorov, alebo praktických cvičení v tímoch.

Otázky pre rozhovor

ŠTÝL RIEŠENIA PROBLÉMOV

INOVÁCIA

Ak si projekt vyžaduje kreatívnu a inovatívnu osobu, zvážte niektoré z nasledujúcich otázok:

Uveďte príklad problému, ktorý ste vyriešili inovatívnym spôsobom.
Uveďte originálne/kreatívne/nové riešenie, ktoré ste navrhli pri riešení problému.
Pri riešení problému sa najprv zameriate na to, ako sa postupovalo predtým, alebo navrhnete úplne nové riešenie?
Aké sú výhody/nevýhody použitia minulých riešení?
Aké boli vaše najkreatívnejšie nápady pri riešení úlohy?
Keď niečomu nerozumiete, pýtate sa, kým to nepochopíte?
Spochybňujete často to, čo sa považuje za normálne?
Radi pozorujete ľudí? Spochybňujete často to, čo sa považuje za normálne?
Radi sledujete, čo sa deje vo svete v oblasti inovácií?
Pozorujete, ako sa ľudia správajú v situáciách, ktoré sa môžu týkať vášho podnikania (napr. kde a ako jesť, piť, obliekať sa, nakupovať atď.) Pozorujete svet okolo seba? Prichádzajú vám na um nápady na nové výrobky a služby?
Ste dobrodružný, šťastný a vyhľadávate nové zážitky?

Ak si projekt nevyžaduje veľkú schopnosť riešiť problémy alebo ak sú pre riešenie problémov potrebné len postupné zmeny či praktické riešenia, zvážte niektoré z nasledujúcich otázok:

Pri riešení problému sa najprv zameriate na to, ako sa postupovalo predtým, alebo prídete s úplne novým riešením?
Akú hodnotu vidíte v tom, že sa držíte zavedených spôsobov riešenia úlohy?
Aké sú výhody/nevýhody používania minulých riešení?
Aké boli vaše najpraktickejšie riešenia problémov?
Označili by ste sa ako inovatívnu alebo praktickú osobu?

ANALYTICKÉ MYSLENIE

Ak si projekt vyžaduje analýzu veľkého množstva údajov a logický, opatrný a premyslený prístup k rozhodovaniu, zvážte niektoré z nasledujúcich otázok:

Koľko informácií potrebujete, aby ste sa dokázali bez obáv rozhodnúť? Ako tieto údaje získate?
Povedzte mi o rozhodnutí, ktoré ste urobili na základe zhromaždenia rozsiahleho množstva údajov a diskusie s ostatnými. Ako to dopadlo? Bola vaša opatrnosť na mieste, alebo ste mohol / a rozhodnúť rýchlejšie?
Opísali by vás vaši priatelia ako analytického a kalkulujúceho človeka alebo intuitívneho a spontánneho? Prečo?
Akým procesom prechádzate, kým urobíte rozhodnutie?
Povedzte mi o dôležitom rozhodnutí, ktoré ste museli urobiť rýchlo.

Ak si projekt vyžaduje rýchle rozhodovanie, kde nie je možné zhromaždiť rozsiahle množstvo údajov, zvážte niektoré z nasledujúcich otázok:

Koľko informácií potrebujete mať, aby ste sa dokázali bez obáv rozhodnúť? Ako tieto údaje získate?
Povedzte mi o rozhodnutí, ktoré ste urobili inštinktívne. Ako to dopadlo? Do akej miery vám vyhovuje rozhodovať sa týmto spôsobom?
Opísali by vás vaši priatelia ako analytického a vypočítavého človeka alebo intuitívneho a spontánneho? Prečo?
Kedy ste sa pri rozhodovaní museli spoľahnúť na svoju intuíciu?

ZVLÁDANIE TLAKU A STRESU

SEBAOVLÁDANIE

Ak projekt vyžaduje od jednotlivca (príjemcu) vysokú mieru sebaovládania, zvážte niektoré z nasledujúcich otázok:

Čo robíte, keď vás správanie druhých frustruje? Povedzte mi o situácii, kedy ste cítil / a frustráciu zo správania člena tímu.
Uveďte príklad, kedy ste boli na niekoho nahnevaný pri plnení úloh. Čo ste urobili?
Opíšte predchádzajúcu skúsenosť pri plnení úlohy, pri ktorej ste sa často stretávali s rozčúlenými ľuďmi.
Aké máte skúsenosti s jednaním s nahnevanými zákazníkmi?
Povedzte mi o situácii, kedy ste museli riešiť problém s nahnevaným zákazníkom. Čo ste urobili? Aké boli výsledky? Ako ste sa potom cítili?

ODOLNOSŤ VOČI STRESU

Ak projekt vyžaduje dosahovanie výsledkov v prostredí s vysokou mierou stresu, zvážte niektoré z nasledujúcich otázok:

Čo robíte, aby ste zmiernili stres?
Ako znášate stres?
Uveďte, kedy ste riešili úlohu v extrémnom strese.
Aké typy činností považujete za stresujúce?
Povedzte mi o situácii, kedy ste mali problém zvládnuť stresujúce úlohy. Čo ste urobili, aby ste to zvládli?
S akým typom stresu sa vyrovnávate veľmi ťažko?
Existujú stresujúce činnosti, s ktorými sa nedokážete vyrovnať? Aké to sú?
Čo považujete za najviac stresujúce?
Pri akých druhoch extrémneho stresu ste museli plniť úlohy?
Aké boli niektoré z najviac stresujúcich vecí, na ktorých ste sa podieľali?

Zdroj: úprava podľa Stellenbörsefür MFA und Arbeitgeber (n.d.) and Psychometrics Canada Ltd. (n.d.).

14.4.6 Nástroj „Business Model Canvas“

Šablóna pre tvorbu obchodného modelu „Business Model Canvas“ (BMC) je vhodným nástrojom pre hodnotenie začínajúceho podniku, tzv. start-upu, na začiatku a na konci projektu – a pomáha tak určiť úroveň rozvoja podniku.

Obrázok 8: Business Model Canvas

Zdroj: Strategyzer, n.d.

Ako BMC použiť?

BMC môže slúžiť východiskový bod pri formovaní podnikateľského nápadu a mal by zaistiť, aby potenciálny podnikateľ venoval pozornosť všetkým dôležitým aspektom rozvoja podnikateľského nápadu. BMC je sumarizáciou nápadu/modelu. Nasledujúce otázky by mali pomôcť zhodnotiť myšlienku z rôznych perspektív.

Nižšie uvádzame prehľad krokov, ako môžete použiť nástroj „Business Model Canvas“ pri hodnotení projektu/ aktivít zameraných na podnikavosť:

Rozvoj podnikateľského/projektového nápadu z pohľadu začínajúceho podnikateľa

Ktorý nápad/plán je pre mňa najvhodnejší?
V čom sa líši od ostatných?

Požiadavky zakladateľa

Akú mám kvalifikáciu, silné a slabé stránky?
Akých partnerov mám alebo potrebujem?

Prehľad trhu

Aká je moja cieľová skupina a aké sú jej požiadavky?
Čo ponúka moja konkurencia?

Dobré stratégie pre marketing a distribúciu

Ako by mohla vyzerať dobrá reklama?
Aká je moja distribučná oblasť a distribučná sieť?
Mám dobrú cenovú stratégiu?

Založenie organizácie/firmy

Koľko zamestnancov potrebujem a aké by mali mať zručnosti/kvalifikáciu?
Aká je právna forma mojej spoločnosti?

Analýza a zváženie možných príležitostí a rizík

Financovanie

Koľko sú moji potenciálni zákazníci ochotní zaplatiť?
Aké vysoké sú moje požiadavky na kapitál?
Mám plán financovania a investícií?
Existujú alternatívne možnosti financovania? Granty, dary.
Aké vysoké sú moje životné náklady?

Získanie ďalších dokumentov

Potrebujem ďalšie dokumenty, napríklad znalecké posudky, zmluvy alebo životopisy?
Právne požiadavky?

Chcete si to vyskúšať sami? Vyplňte Podnikateľský model Model Canvas nižšie.

Obrázok 9: Predloha pre navrhnutie podnikateľského modelu „Business Model Canvas“

Zdroj: Strategyzer, n.d.

14.5 Nástroje využívané pri analýze údajov

Nižšie uvádzame niekoľko nástrojov, ktoré môžete použiť pri analýze dát, ktoré ste zozbierali.

14.5.1 Hodnotenie výsledkov („čo“) projektu

Nižšie uvedené otázky slúžia len ako návod na posúdenie výsledkov vášho projektu.

V závislosti od charakteru vášho projektu a účelu hodnotenia môžete mať ďalšie alebo iné otázky, ktoré chcete položiť.

Akým spôsobom účastníkom prospela účasť vo vašom projekte? (Napr. znovuzapojenie do procesu vzdelávania, získanie certifikátu, rozšírenie alebo zlepšenie sietí kontaktov v konkrétnom sektore, identifikácia realistickej profesijnej dráhy, získanie podnikateľských zručností, atď.)
Ako to viete? (To znamená, aké údaje alebo dôkazy máte k dispozícii, aby ste preukázali, že účasť na projekte bola pre účastníkov prospešná?)
Aké ďalšie výhody projekt priniesol (a komu)?
Vyskytli sa nejaké prekvapivé alebo neočakávané výsledky?
Ako viete, či zmena bola spôsobená aktivitami vášho projektu? (V organizácii sa v rovnakom čase ako váš projekt môžu realizovať aj iné projekty/aktivity, ktoré môžu tiež ovplyvniť výsledky účastníkov alebo skutočnosti, ktoré chcete merať).
14.5.2 Hodnotenie účinnosti („ako“) projektu

Nižšie uvedený kontrolný zoznam slúži ako jednoduchý spôsob hodnotenia efektívnosti projektu („ako“) a identifikácie potenciálnych oblastí na zlepšenie.

Na základe charakteru projektu a účelu hodnotenia môžete mať ďalšie alebo iné otázky, ktoré chcete položiť.

Tabuľka 18:Kontrolný zoznam na hodnotenie účinnosti projektu

Kľúčová otázka A/N Príklady (na riešenie zistených problémov)
Sú všetky zainteresované strany plne zapojené do projektu? Nie Usporiadajte stretnutie všetkých zainteresovaných strán, aby ste preskúmali momentálnu úroveň ich zapojenia a určili, či je potrebné niečo zmeniť a akým spôsobom. Sú napríklad potrebné väčšie zdroje? Zmenilo by sa niečo vďaka formálnemu podchyteniu projektu formou memoranda o porozumení? Ak sa niektorý z partnerov skutočne nezapája do projektu a nie je pravdepodobné, že sa to zmení, bolo by vhodné požiadať o pomoc inú organizáciu?
Existuje spoločná vízia a spoločné ciele?
Vytvorte spoločne akýsi slovník – v ktorom budú definované ciele a stanovený spoločný výklad pojmov.
Má každá zainteresovaná strana jasne definovanú úlohu a zodpovednosti?
Vytvorte organizačnú schému, v ktorej budú uvedené úlohy a zodpovednosti každej strany – musí byť prístupná všetkým.
Sú očakávania jednotlivých zainteresovaných strán spravodlivé a primerané?

Rozumie dobre každá zainteresovaná strana požiadavkám ostatných zainteresovaných strán?

Existuje pravidelná komunikácia medzi zainteresovanými stranami?

Dostali všetky strany spravodlivé uznanie za ich úsilie?

Prevýšil prínos spolupráce vynaložený čas a úsilie?

Zoznam vám môže pomôcť rozdeliť hlavnú alebo kľúčovú hodnotiacu otázku na určitý počet čiastkových otázok, ktoré budú slúžiť ako návod na zber a analýzu informácií. Nasledujúca tabuľka ukazuje priebeh jedného školenia pre nezamestnaných absolventov v rámci projektu na podporu podnikateľského zmýšľania.

Tabuľka 19: Kontrolný zoznam na hodnotenie vzdelávania absolventov bez práce zameraného na oblasť podnikania

Názov projektu: Vzdelávanie absolventov bez práce v oblasti podnikania.

Cieľ Zameranie hodnotenia Hodnotiaca otázka Otázky zahrnuté v hodnotiacich nástrojoch (kladené respondentom)
Pomôcť účastníkom transformovať ich nápady na fungujúce a ziskové podniky. Zameranie sa na dopad aktivít alebo projektu („čo“). Ako a do akej miery pomohol projekt absolventom premeniť ich nápady na fungujúce a ziskové podniky?

» Aké vedomosti a zručnosti získali účastníci prostredníctvom tohto projektu?

“ Ako tieto zručnosti pomohli účastníkom v ich snahe premeniť nápady na plnohodnotné podniky?

“ Existujú ďalšie veci, ktoré by bolo možné urobiť na podporu účastníkov v ich snažení?

“ Aké ďalšie informácie sú potrebné na prijatie rozhodnutia o budúcnosti projektu.

Zistiť, ako dobre zainteresované strany spolupracujú a či je možné niečo zlepšiť. Zameranie sa na účinnosť projektov („ako“). Do akej miery sú naše súčasné projekty účinné?

» Čo robíme dobre?

“ Čo sa nám nedarí?

“ Ako môžeme tieto projekty zlepšiť?

14.5.3 Techniky kvantitatívnej analýzy

Tabuľka 20: Prehľad techník kvantitatívnej analýzy

Cieľ Technika analýzy Jak realizovať výpočet Príklady otázky a odpovede
Chcete poznať počet respondentov, ktorí zvolili určitú odpoveď? Frekvencia Spočítajte počet odpovedí pri každej možnosti odpovede

Koľko respondentov uviedlo, že sa zúčastnili výučby?

14 študentov sa zúčastnilo výučby

Chcete vedieť, aké percento respondentov odpovedajúcich na otázku zvolilo každú z odpovedí? Percento Výpočet: počet respondentov, ktorí zvolili možnosť A/ celkový počet odpovedí = PERCENTO

Aké percento respondentov uviedlo, že sa zúčastnili vyučovania každý mesiac?

10 študentov zvolilo možnosť A (účasť mesačne)/ 20 študentov odpovedalo = 50% študentov sa zúčastnilo každý mesiac.

Chcete poznať úplný rozsah výsledné skóre / hodnôt pri konkrétnej otázky? Rozsah Identifikujte najvyššiu a najnižšiu hodnotu. Popíšte ich ako „nízke skóre – počet / vysoké skóre – počet“.

Aký je rozsah počtu osôb v domácnosti?

Veľkosť domácnosti sa pohybovala v rozmedzí 1-6 osôb.

Chcete poznať priemer všetkých položiek v databáze? Priemer Súčet všetkých odpovedí/počet všetkých odpovedí = PRIEMER

Aký je priemerný počet osôb v domácnosti?

Máte 21 odpovedí, ktoré sú nasledovné:

1,1,2,2,2,2,3,3,3,4,4,4,4,4,4,4,4,5,5,6,6,

Celkový súčet všetkých odpovedí je 73, delené počet odpovedí (21), to znamená, že priemerná veľkosť domácnosti je 3,5 osôb.

Chcete poznať strednú hodnotu v súbore dát, ak obsahuje extrémne hodnoty (t.j. veľmi vysoká alebo veľmi nízke čísla)? Medián

Zoraďte všetky hodnoty odpovedí vo vzostupnom (zostupnom) poradí.

Medián predstavuje hodnotu uprostred tohto sledu dát (napr. ak máte 21 odpovedí, medián bude hodnota na 11. mieste).

Pokiaľ máte párny počet odpovedí, medián bude tvoriť stredná hodnota z hodnôt uprostred zoznamu (t.j. ak máte 20 odpovedí, medián bude priemer 10. a 11. odpovede).

Aký je medián počtu osôb v domácnosti?

Máte zoznam 21 odpovedí, ktoré sú nasledovné:

1,1,2,2,2,2,3,3,3,4,4,4,4,4,4,4,4,5,5,6,6,

Medián je 4, t.j. 11. číslo v poradí.

Chcete poznať priemer, ak používate hodnotiacu stupnicu ako napr. mieru spokojnosti s programom? Vážený priemer

Priraďte každej možnosti odpovede na hodnotiacej škále numerickú hodnotu alebo „váhu“.

Vynásobte hodnotu priradenú konkrétnej možnosti (váhu) počtom, koľkokrát bola daná možnosť vybraná.

Vypočítajte čiastkový súčin (váha X počet odpovedí) pri každej možnosti odpovede.

Vydeľte súčet počtom odpovedí.

Aký je vážený priemer spokojnosti s programom? Rozsah hodnôt (váha) je od 1 (úplne nespokojný) do 5 (veľmi spokojný).

Napr.

Možnosť odpovede Váha Počet odpovedí Váha X počet odpovedí
1 (vôbec nie) 1 4 4
2 2 8 16
3 (neutrálny) 3 9 27
4 4 15 60
5 (veľmi) 5 14 70
Celkom
50 177

177 : 50 respondentov = 3,5 – vážený priemer. Na základe výpočtu sa ukazuje, že priemerná odpoveď bola medzi „neutrálny“ a „spokojný“.

Chcete porovnať odpovede dvoch rôznych skupín? Krížové tabuľkové porovnanie

Určite „kategórie“, ktoré vás zaujímajú, a vypočítajte frekvencie a percentá odpovedí každej skupiny; porovnajte a hľadajte podobnosti a rozdiely.

(Na určenie toho, či je rozdiel medzi skupinami významný, je nutné vykonať štatistickú analýzu).

Ktorí účastníci boli s výučbou spokojnejší?

Vaša porovnávacie tabuľky môžu vyzerať napr. nasledovne:

Spokojní Nespokojní
Pohlavie

Muž 46 % 54 %
Žena 45 % 55 %
Má svojho praktického lekára?
Áno 65 % 35 %
Nie 26 % 74 %
Má diagnostikované chronické ochorenie?
Áno 47 % 53 %
Nie 44 % 56 %

Zdroj: Cottage Health, n.d.

14.5.4 Ako prezentovať kvantitatívne údaje

Tabuľka 21: Prehľad formátov na prezentáciu údajov

Čo chcete prezentovať? Aký graf použiť
Porovnanie dvoch alebo viacerých kategórií Stĺpcový graf, koláčový graf
Binárne údaje(napr. odpovede áno / nie) Koláčový graf, stĺpcový graf
Zmenu v priebehu času Čiarový graf, plošný graf
Koreláciu dvoch premenných Bodový graj
Frekvenciu Stĺpcový graf
Percentá Stĺpcový graf, koláčový graf
Rozptyl (ako je rozptýl hodnôt v súbore údajov) Krabicový grah (Box a whisker plot), stĺpcový graf

Zdroj: Národný výbor pre dobrovoľnícke organizácie, n.d.

14.6 Nástroje na použitie údajov

Jasná štruktúra správy zvyšuje jej väčšej zrozumiteľnosť Pred vypracovaním správy si naplánujte názvy jednotlivých kapitol a podkapitol tak, aby bola správa čitateľnejšia a zrozumiteľnejšia. Nižšie nájdete vzor štruktúry správy z hodnotenia:

OBSAH

ZOZNAM SKRATIEK

POĎAKOVANIE

ZHRNUTIE

ÚVOD

Základné údaje o projekte, zdroj financovania, partneri/zainteresované strany, cieľová skupina a účastníci, proces realizácie, ciele, činnosti/úlohy a výsledky
Koncept hodnotenia – typ, rozsah, účel, kritériá a otázky

METHODIKA

2.1 Metódy zberu informácií a vzoriek

2.2 Otázky spoľahlivosti a platnosti údajov

VÝSLEDKY

3 Mali by byť prediskutované podľa hodnotiacich kritérií a otázok

PONAUČENIA, ZÁVERY A ODPORÚČANIA

4.1 Ponaučenia

4.2 Závery a odporúčania

PRÍLOHY

Príloha 1: Mapa oblasti intervencie

Príloha 2: Nástroje zberu dát (napr. použité dotazníky a scenáre)

14.7 Vzor formulára informovaným súhlasom pre výskum zahŕňajúci deti
Vezmite prosím na vedomie, že tento vzor má pomôcť výskumnému pracovníkovi pri navrhovaní formulára informovaného súhlasu pre zákonných zastupcov/ rodičov detí / mladistvých alebo dospelých, ktorí nemôžu udeliť súhlas.
Formulár informovaného súhlasu pozostáva z dvoch častí: informačného listu a vyhlásenia o súhlase.
Vzor obsahuje vysvetlenia v [], ktoré majú usmerniť výskumného pracovníka a nie sú zahrnuté vo formulári súhlasu.

Informovaný súhlas

Za zákonných zástupcov rodičov detí/mladistvých

Meno výskumného pracovníka: _____________________________________________________________________

Názov výskumu: ___________________________________________________________________________

Tento formulár informovaného súhlasu má dve časti:

Informačný list (poskytuje informácií o výskume).
Vyhlásenie o súhlase (vyžaduje sa Váš podpisy ak súhlasíte s účasťou vášho dieťaťa)

Časť I: Informačný list

Úvod

[Stručne uveďte, kto ste, aký je účel vášho výskumu (napríklad výskumný projekt pre účely financujúcej organizácie, údaje o financujúcej organizácii) a čo skúmate. Uveďte, že ich pozývate, aby sa ich dieťa zúčastnilo výskumu, ktorý robíte. Uistite rodičov / opatrovníkov, že ak niektorým termínom alebo pojmom nerozumejú, poskytnete im vysvetlenie.]

Účel výskumu

[Laicky vysvetlite, prečo sa výskum robí a čo sa od výsledkov očakáva. Vysvetlite, prečo musíte výskum vykonávať s deťmi. Vaše vysvetlenie by malo rodičom/opatrovníkom poskytnúť vysvetlenia, a nie ich zmiasť – nepoužívajte zložitý technický ani profesionálny žargón.]

Typ intervencie / postupu vo výskume

[Poskytnite stručný úvod do štruktúry výskumnej štúdie. Vysvetlite, čo každý z krokov alebo postupov zahŕňa. Uveďte, kedy bude výskum prebiehať, a kde. Ak váš výskum zahŕňa pozorovanie, stručne vysvetlite, čo budete pozorovať a z akých dôvodov. Ak váš výskum zahŕňa prieskumy, uveďte, kde a ako budú prieskumy realizovaný a údaje zhromažďované. Ak váš výskum zahŕňa skupinové diskusie alebo pohovory, stručne vysvetlite typ otázok, ktoré budú deťom pravdepodobne položené, a ak môžu ísť o otázky citlivého charakteru alebo môžu potenciálne spôsobiť rozpaky, uveďte to, pokúste sa predvídať obavy rodičov/opatrovníkov a navrhnúť ochranné opatrenia. Pre rodičov/opatrovníkov bude dôležité od začiatku vedieť, čo výskum s ich dieťaťom zahŕňa. Ak má výskumník v úmysle použiť fotografie, zvukové / video záznamy detí, mali by byť v tejto fáze informovaní aj rodičia / opatrovníci.]

Výber účastníkov

[Jasne uveďte, prečo ste vybrali ich dieťa, aby sa zúčastnilo tohto výskumu. Rodičia/opatrovníci sa môžu pýtať, prečo boli vybraté ich deti, a môžu mať obavy.]

Dobrovoľná účasť – právo odmietnuť alebo odstúpiť

[Jasne uveďte, že sa môžu rozhodnúť, či sa ich dieťa zúčastní alebo nie, a že sa nemusia zúčastniť výskumu, ak si to neželajú. Uistite ich, že rozhodnutie, či sa ich dieťa zúčastní alebo nie, nijako nepriaznivo neovplyvní práva dieťaťa. Jasne uveďte, že sa môžu rozhodnúť kedykoľvek a bez akýchkoľvek následkov súhlas s účasťou odvolať. Na začiatku formulára je dôležité jasne uviesť, že účasť je dobrovoľná. Tiež vysvetlite, že ich dieťa bude požiadané, aby súhlasilo- alebo súhlasí- s účasťou a že obavy a priania dieťaťa budú brané veľmi vážne.]

Trvanie

[Zahrňte vyhlásenie o očakávaných požiadavkách na účasť dieťaťa z hľadiska času, takisto o časových požiadavkách na rodičov/opatrovníkov.]

Riziká a výhody

[Vysvetlite a popíšte všetky riziká, ktoré očakávate alebo ktoré môžu nastať. Stručne tiež vysvetlite a popíšte výhody výskumného projektu, z ktorého bude mať prospech ich dieťa, komunita, do ktorej patria alebo spoločnosť ako celok.]

Dôvernosť

[Vysvetlite, ako bude výskumný pracovník zachovávať dôvernosť údajov, pokiaľ ide o informácie o dieťati a informácie, ktoré dieťa zdieľa, kto má k údajom prístup a ako dlho budú tieto údaje uchovávané. Vysvetlite rodičom/zákonným zástupcom, že v prípadoch, keď je výskum citlivý alebo sa týka zraniteľných účastníkov, budú prijaté dodatočné opatrenia na zaistenie bezpečnosti a anonymity. Zahrňte vyhlásenie informujúce rodičov / opatrovníkov o právach ich detí podľa článku 586 zákona o ochrane údajov a všeobecného nariadenia o ochrane údajov (GDPR) (EU2016 / 679) o prístupe, oprave alebo vymazaní údajov, ktoré sa ich týkajú.]

Zdieľanie výsledkov

[Váš plán zdieľania výsledkov by mal byť rodičom/opatrovníkom dostupný. Môžete tiež informovať rodičov/opatrovníkov, že zistenia výskumu zdieľané širšej verejnosti, napríklad prostredníctvom publikácií a konferencií.]

Na koho sa obrátiť

[Uveďte svoje kontaktné údaje a meno a kontaktné údaje svojho nadriadeného (ak je k dispozícii). To umožňuje rodičom/opatrovníkom požiadať o ďalšie informácie o výskume a požiadať o informácie o tom, ako sa spracúvajú osobné údaje ich detí.]

Časť II: Vyhlásenie o súhlase

¦ Bol som požiadaný, aby som udelil súhlas s účasťou svojho dieťaťa na výskume s názvom ___________________________________________________________________________________

¦ Potvrdzujem, že som si prečítal/a a porozumel/a vyššie uvedeným informáciám, alebo mi boli prečítané, a že súhlasím s účasťou môjho dieťaťa na tomto výskume.

¦ Mal/a som príležitosť položiť otázky týkajúce sa výskumu a všetky otázky, ktoré som položil/a, boli zodpovedané k mojej spokojnosti.

¦ Rozumiem, že sa môžem slobodne obrátiť na výskumného/ú pracovníka/čku alebo jeho supervízora a požiadať ho/ju o ďalšie objasnenie a informácie.

Rozumiem, že účasť môjho dieťaťa na tomto výskume je dobrovoľná a že moje dieťa môže z výskumu kedykoľvek odstúpiť aj bez uvedenia dôvodu.

¦ Rozumiem, že všetky údaje sú anonymné a že medzi poskytnutými osobnými údajmi a informáciami uvedenými vo výskume nebude žiadna súvislosť.

¦ Rozumiem, že s účasťou na tomto výskume nie sú spojené žiadne riziká ani ohrozenie pre moje dieťa.

¦ Súhlasím s tým, aby bolo moje dieťa na účely výskumu nahrávané / vyfotografované. (Vymazať, ak nie je k dispozícii)

¦ Súhlasím s prepisom informácií poskytnutých mojím dieťaťom a s tým, že údaje z prepisov budú uchovávané (uveďte, kde sú uchovávané, aké bezpečnostné opatrenia boli prijaté a kto má k týmto údajom prístup) do (uveďte konkrétne relevantné obdobie počas ktoré údaje budú uchovávané) (Vymazať, ak nie je k dispozícii)

¦ Rozumiem, že identita môjho dieťaťa zostane anonymná pri akejkoľvek forme šírenia (písomnej alebo inej) výsledkov výskumu.

Meno rodičov/opatrovníkov

Podpis rodičov/opatrovníkov

Dátum

Zdroj: Riaditeľstvo pre výskum, celoživotné vzdelávanie a zamestnateľnosť, Ministerstvo školstva a zamestnanosti Malty

15. Záver

Domnievame sa, že akonáhle organizátori projektov/aktivít na podporu podnikavosti mladých ľudí absolvujú celý cyklus hodnotenia a budú venovať mimoriadnu pozornosť detailom, získajú lepšie poznatky, pokiaľ ide o organizovaných projektoch/aktivitách. Na základe toho bude možné zlepšovať kvalitu ich služieb a prispievať k zvyšovaniu podnikavosti mladých ľudí.

Referencie

Nižšie uvedené zdroje vám poskytnú ďalšie informácie alebo potrebnú podporu.

• Bartosiewicz-Niziołek, M., Nałęcz, S. (2021) Towards better youth employment actions. Blended learning course on evaluation. Youth Impact project. Jerzy Regulski Foundation in Support of Local Democracy. https://moodle.youth-impact.eu/
• Bartosiewicz-Niziołek, M., Nałęcz, S., Penza-Gabler, Z., Pintera, E. (2021) Your leverage to better youth employment projects. Evaluation Toolkit. Youth Impact Project. https://www.youth-impact.eu/toolkit/
• Bednárová, E. (2021, May 6). Hodnotenie dopadu mládežníckych projektov (praktické príklady vybraných slovenských organizácií). Youth Impact. https://www.youth-impact.eu/wp-content/uploads/2021/05/Hodnotenie_dopadu_mladeznicke_projekty.pdf
• Bhatia, M. (2018, July 16) What is monitoring and evaluation? A guide to the basics. Humans of data https://humansofdata.atlan.com/2018/07/what-is-monitoring-and-evaluation/
• Bureau of Educational and Cultural Affairs (n.d.) A good start with S.M.A.R.T. (indicators). https://eca.state.gov/files/bureau/a_good_start_with_smart.pdf
• Clinical and Translational Science Awards (CTSA) Consortium’s Community Engagement Key Function Committee (2011). Principles of community engagement – second edition. National Institute of Health, Publication No. 11-7782, pp. 175-176. https://www.atsdr.cdc.gov/communityengagement/pce_program_methods.html
• Cottage Health (n.d.). Cottage Health Evaluation Toolkit: How to analyze and interpret data. Cottage Centre for Population Healthhttps://www.cottagehealth.org/app/files/public/2246/Analyze_and_Interpret_Data_Cottage_Health_Evaluation_Toolkit.pdf
• Department for International Development (2007). Humanitarian Funding Guidelines for NGOs, p 20. ISBN: 1 86192 915 3. https://www.ennonline.net/attachments/126/dfid-guidelines.pdf
• Difference between inputs, activities, outputs, outcomes and impact (2013, June 10) Monitoring and Evaluation blog, https://frankotienoodhiambo.blogspot.com/2013/06/difference-between-inputs-activities.html#more

• European Parliament (December 2020). Next generation or lost generation? Children, young people and the pandemic.

https://www.europarl.europa.eu/RegData/etudes/BRIE/2020/659404/EPRS_BRI(2020)659404_EN.pdf

• EUROSTAT (2011) https://appsso.eurostat.ec.europa.eu/nui/submitViewTabuľkaAction.do
• European Commission – Europe Aid Cooperation Office (2004, March) Project life-cycle management guidelines. Aid Delivery Methods, vol. 1., p. 40. https://europa.eu/capacity4dev/iesf/documents/aid-delivery-methods-project-cycle-management-guidelines-europeaid-2004
• Fayolle, A., Gailly B., Lassas-Clerc, N. (2006). Assessing the impact of entrepreneurship education project: a new methodology. Journal of European Industrial Training.https://www.researchgate.net/publication/274028620_Assessing_the_Impact_of_Entrepreneurship_Education
• H. Rasmuna (2012) Evaluation of the Implementation of the Module of Basic Entrepreneurship in College Community Ministry of Higher Education. The International Proceedings of the Economics Development and Research: Economics, Trade and Development. Singapore: IACST Press, vol. 36, pp. 96-100. http://ipedr.com/vol36/018-ICETD2012-D10007.pdf
• Huhn, C. (2020, September 16). Findings, Conclusions, and Recommendations Matrices. Headlight Consulting Services. https://www.headlightconsultingservices.com/blog/findings-conclusions-and-recommendations-matrices/
• Independent Evaluation Office of UNDP (2019, January). UNDP Evaluation Guidelines. UNDP. http://web.undp.org/evaluation/guideline/documents/PDF/UNDP_Evaluation_Guidelines.pdf
• Junior Achievement Slovensko, n.o. (n.d.) Viacakopeniaze. https://www.viacakopeniaze.sk/financna-gramotnost/
• Nanda, V. (2017, April 18) 7 types of evaluation you need to know. Humans of data. https://humansofdata.atlan.com/2017/04/7-types-of-evaluation/
• OECD DAC Network on Development Evaluation (n.d.) Evaluation criteria. OECD. https://www.oecd.org/dac/evaluation/daccriteriaforevaluatingdevelopmentassistance.htm
• OECD (2013) DEVELOPMENT RESULTS: An Overview of Results Measurement and Management. http://www.oecd.org/dac/peer-reviews/Development-Results-Note.pdf
• Peersman, G. (2015) Impact evaluation. BetterEvaluation. https://www.betterevaluation.org/en/themes/impact_evaluation#ImpactEvaluation_1
• Product plan (n.d.).Stakeholder Analysis.https://www.productplan.com/glossary/stakeholder-analysis/
• Psychometrics Canada Ltd. (n.d.). Psychometrics. https://www.psychometrics.com
• Selecting project indicators (2013, May 25). Monitoring and Evaluation blog.https://frankotienoodhiambo.blogspot.com/2013/05/selecting-project-indicators.html
• Shafin Diamond Tejani (April 2021). What I’ve Learned From Working With Gen Z Entrepreneurs

https://www.worth.com/gen-z-entrepreneurs/

• Simister, N. (2017). Basic tools for data collection. INTRAC. https://www.intrac.org/wpcms/wp-content/uploads/2017/01/Basic-tools-for-data-collection.pdf
• Stellenbörsefür MFA und Arbeitgeber (n.d.) mfa-jobnet.de. www.mfa-jobnet.de
• Strategyzer AG (n.d.). The Business Model Canvas. Strategyzer. https://www.strategyzer.com/canvas/business-model-canvas
• Types of evaluation (2013, May 31). Monitoring and Evaluation blog. https://frankotienoodhiambo.blogspot.com/2013/05/types-of-evaluation.html
• The National Council for Voluntary Organisations (n.d.) How to analyse quantitative data for evaluation. NCVO/Know-how.https://knowhow.ncvo.org.uk/how-to/how-to-analyse-quantitative-data-for-evaluation
• The National Council for Voluntary Organisations (n.d.). How to analyse qualitative data for evaluation.https://knowhow.ncvo.org.uk/@@search?SearchableText=How+to+analyse+qualitative+
• The Urban Institute, What Works (n.d.). Candidate Outcome Indicators: Employment Training/ Workforce Development Program. Urban Institute. https://www.urban.org/sites/default/files/2015/04/10/employment_training.pdf
• What are the core characteristics of Generation Z? (January 2021). Annie E. Casey Foundation.

https://www.aecf.org/blog/what-are-the-core-characteristics-of-generation-z

• 10 Defining Characteristics of Generation Z (January 2019).

https://blog.ttisi.com/10-defining-characteristics-of-generation-z

PRÍRUČKA PRE HODNOTENIE AKTIVÍT NA PODPORU PODNIKAVOSTI MLADÝCH ĽUDÍ

Vaša cesta k lepším projektom zameraným na podporu podnikavosti mladých ľudí

Príručka – PDF

Príručka: E-kniha

 

Autori: PEDAL Consulting s.r.o, Bratislava (2022)

 

1. Úvod

Účelom tohto súboru nástrojov je stručne predstaviť praktické nástroje slúžiace na hodnotenie aktivít a projektov zameraných na podporu podnikavosti mladých lidí.

Táto príručka a súbor nástrojov, ktoré obsahuje, je určená predovšetkým organizáciám agentúram, ktoré pracujú s mladými ľuďmi a cieľom ich aktivít je podpora podnikavosti mladých, podnikateľským inkubátorom a akcelerátorom, sociálnym podnikom, mimovládnym organizáciám, poradenským firmám a iným malým alebo stredným subjektom, ktoré chcú zlepšovať svoje projekty alebo programy pre mladých vďaka hodnoteniu.

Hodnotenie umožňuje organizáciám:

• merať efektívnosť projektu pri dosahovaní jeho cieľov a požadovaných výsledkov,
• posúdiť užitočnosť projektu pre účastníkov a udržateľnosť výsledkov projektu,
• posúdiť, či je vhodné v projektových aktivitách pokračovať, prípadne či by sa mali ďalej rozšíriť,
• hodnotiť účinky projektu s osobitným zreteľom na zainteresované strany projektu a širšiu komunitu (ich sociálne prostredie),
• merať efektívnosť projektu z hľadiska zdrojov použitých na jeho realizáciu a dosiahnutie výsledkov.

Tento súbor nástrojov je doplnkovým materiálom programu Vaša cesta k lepším projektom zameraným na podporu podnikavosti mladých ľudí – kombinovaný vzdelávací program zameraný na hodnotenie aktivít na podporu podnikavosti mladých ľudí (Towards better projects – blended learning course on evaluation of entrepreneurship support actions), ktorý je dostupný na e-learningovej platforme TU. Jeho hlavným zámerom je býť pro účastníkov kurzu sprievodcom pri praktickom využití týchto nástrojov. Za týmto účelom sme vytvorili radu pomocných materiálov. Tento súbor nástrojov prináša organizáciám, ktorých cieľom je rozvíjať a/alebo zvyšovať podnikateľské zručnosti mladých ľudí, praktické nástroje pre meranie a neustále zlepšovanie dopadu ich projektov.

Cieľom tohto súboru nástrojov je tak pomôcť vám realizovať aktivity a projekty zamerané na podnikavosť čo najlepšie, a to vďaka kvalitnému hodnoteniu.

Tento súbor nástrojov vytvorila spoločnosť PEDAL Consulting (Slovensko) v spolupráci s FIAP e.V. (Nemecko), Nadáciou Jerzyho Regulského na podporu miestnej demokracie (Poľsko) a Channel Crossings (Česko) v rámci projektu Youth Impact, ktorý je financovaný prostredníctvom Finančných mechanizmov EHP a Nórska. Projekt Youth Impact poskytuje nástroje a služby, vďaka ktorým môže organizátori aktivít na podporu zamestnanosti a podnikavosti mladých ľudí lepšie vyhodnocovať účinky realizovaných projektov a činností. Projekt prebieha v období 2019–2022.

 

1.1 Charakteristika cieľovej vekovej skupiny

Mladí ľudia patriaci do skupiny 15- 24 ročných v čase tvorby tohto súboru nástrojov, sú tiež popisovaní ako generácia Z (narodená po roku 1995). Generácia známa tiež ako iGeneration (generácia, ktorá vyrástla so smartfónmi a tabletmi a väčšina z nich má doma prístup k internetu), sa vyznačuje najlepším vzdelaním, pokiaľ ide o úroveň vzdelania. Zároveň je však aj v mnohých aspektoch najzraniteľnejšou skupinou, a to aj z pohľadu pozície na trhu práce v EÚ.

Ako už bolo spomenuté vyššie, cieľom tohto súboru nástrojov je poskytnúť praktické nástroje na hodnotenie projektov zameraných na zvyšovanie podnikavosti a podnikateľských zručností mladých ľudí (ďalej len ako podnikavosť), ktorí čelia ťažkostiam pri prechode medzi formálnym vzdelávaním a zamestnaním. Situáciu týchto mladých ľudí, ktorí sa najčastejšie označujú ako NEET (Not in Education, Employment or Training, teda osoby, ktoré nemajú zamestnanie, nevzdelávajú sa a nezúčastňujú sa na odbornej príprave) možno opísať tak, ako je uvedené nižšie. Ďalšie informácie o generácii Z a jej dôsledkoch na činnosti YEEA a o vykonávaní hodnotenia nájdete v časti 13.

Situácia mládeže vo veku 15-24 rokov (generácia Z):

• v roku 2017 bola miera dlhodobej nezamestnanosti tejto vekovej skupiny na úrovni 5,9 % (EUROSTAT).
• V prípade záujmu o podnikanie majú neľahkú pozíciu. Majú veľmi obmedzený prístup k finančným zdrojom, bankovým pôžičkám a úverom, pretože nemajú žiadnu, prípadne len veľmi krátku bankovú históriu. Z tohto nemajú žiadny alebo len veľmi obmedzený kapitál na začatie podnikania.
• Tí, ktorí chcú začať podnikať, majú veľmi nevýhodnú pozíciu, z hľadiska skúseností. Buď práve dokončili strednú alebo vysokú školu a nemajú žiadne skúsenosti v odbore, ktorí vyštudovali, alebo majú jen veľmi malé skúsenosti, prípadne len niekoľko málo rokov praxe. Nároky konkurenčného trhu a zložitosť vedenia vlastného podniku môžu často ďaleko presahovať ich schopnosti a zdroje.
• v dôsledku pandémie covid-19 prišlo mnoho mladých ľudí o svoje projekty alebo o prácu tesne pred nástupom do zamestnania. Títo mladí ľudia tak čelia riziku, že prídu o možnosť získať mimoriadne potrebné skúsenosti a skúsenosti v počiatočných, rozhodujúcich fázach, svojej kariéry.

Táto situácia bola východiskom pre vytvorenie nášho súboru nástrojov, ktorého cieľom je pomôcť organizáciám zameraným na projekty podporujúce podnikavosť mladých ľudí posúdiť a vyhodnotiť ich projekty a odstrániť prípadné nedostatky, ktoré by mohli ovplyvniť podporu mladých podnikavcov pri budovaní inovatívnych podnikov, ktoré majú potenciál rásť a zlepšovať život.

2. Aký je náš prístup k hodnoteniu? Aké výhody hodnotenie prináša?

 

Ak už máte existujúcu aktivitu na podporu podnikavosti mladých ľudí (projekt alebo programy zamerané na podporu podnikavosti mladých ľudí) alebo uvažujete o jej realizácii, potom vám metódy hodnotenia uvedený v tomto súbore nástrojov môžu pomôcť zistiť a preukázať, či sa vám darí dosiahnuť želaný účinok.

Hoci neexistuje jednotná definícia pojmu hodnotenie, Rozvojový program OSN (UNDP – United Nations Development Programme) definuje hodnotenie ako posúdenie či hodnotenie činnosti, projektu, programu alebo výkonnosti inštitúcie. Hodnotenie by sa malo vykonávať čo najsystematickejšie a čo najviac nestranne. Hodnotenie analyzuje úroveň dosiahnutia očakávaných aj neočakávaných výsledkov tým, že s pomocou vhodných kritérií skúma reťazec výsledkov, procesov, kontextuálnych faktorov a príčinných súvislostí. Hodnotenie by malo poskytovať dôveryhodné, užitočné informácie založené na dôkazoch, ktoré umožnia včasné začlenenie zistení, odporúčaní a poučení vyplývajúcich z hodnotenia do rozhodovacích procesov organizácií a zainteresovaných strán (UNDP, 2019). Hodnotenie sa líši od monitorovania a auditu. Viac informácií nájdete v časti 14.

Hodnotenie je skvelá metóda, ak chcete:

• zistiť, do akej miery sa vám darí dosiahnuť očakávané (plánované) ciele a výsledky,
• zistiť, či boli potreby cieľových skupín správne identifikované a či váš projekt rieši skutočné problémy,
• zistiť, aké účinky má váš projekt alebo aktivity na účastníkov a ostatných,
• posúdiť, či bolo vynaložené úsilie primerané dosiahnutým výsledkom projektu alebo nie,
• zlepšiť výsledky existujúcich partnerstiev.
• identifikovať príležitosti pre rozšírenie rozsahu vašich aktivít,
• využiť výsledky na propagáciu projektu,
• podávať správy o pokroku zainteresovaným stranám alebo vyššiemu manažmentu,
• získať finančné prostriedky, ako aj viac alebo iných partnerov.

 

Náš prístup spočíva v tom, že vám pomôžeme zhodnotiť váš projekt a ukázať jeho prínosy; poskytneme vám niekoľko praktických nástrojov, ktoré môžete pri hodnotení použiť a predstavíme vám jednoduché a účinné metódy, ako využiť hodnotenie na rozvoj vašich aktivít alebo fungovania. Ako uvidíte nižšie, existuje viacero typov hodnotenie. V tejto príručke sa zameriavame na hodnotenie dopadov v širšom zmysle, tzn. zahŕňajúc rôzne dizajny hodnotenia, nielen experimentálne a kvázi-experimentálne (viď časť 8.9).

Ak máte existujúci projekt a zatiaľ ste žiadne hodnotenie nerealizovali, nemusíte sa ničoho obávať. Nikdy nie je neskoro začať! Majte však na pamäti, že v neskoršej fáze projektu nie je možné realizovať všetky typy hodnotenia. Hlavné výhody hodnotenia:

• Využitie hodnotenia dopadu umožňuje vyhodnotiť nielen to, či sa zmeny plánované v projekte skutočne uskutočnili, ale aj to, či a do akej miery boli očakávané výsledky projektu skutočne spôsobené projektovými činnosťami.
• Závery hodnotenia prispievajú k optimalizácii krokov v rámci konkrétneho projektu. Hodnotenie vám umožňuje predvídať ťažkosti ešte pred zahájením projektu (hodnotenie ex ante) alebo identifikovať problémy v počiatočnej fáze (priebežné alebo strednodobé hodnotenie).
• Hodnotenie na konci projektu poskytuje odporúčania (následné hodnotenie – ex post), ktoré môžu pomôcť manažmentu pri prijímaní informovaných rozhodnutí o konkrétnych aktivitách alebo dokonca o budúcich projektoch.
• Rozsah možného využitia hodnotenia v riadení závisí predovšetkým od zvolených kritérií hodnotenia. Napríklad použitie kritéria efektívnosti projektu nám umožňuje posúdiť, bol k dispozícii dostatočný počet ľudí, finančných prostriedkov a času na realizáciu projektu, alebo či projektovému tímu chýbali nejaké kompetencie, prípadne boli nedostatočné iné zdroje. Na základe toho sa môžete rozhodnúť posilniť svoj tím, zvýšiť rozpočet alebo zlepšiť plánovanie.
• Výsledky hodnotenia môžu byť nástrojom na propagáciu vašej organizácie a vašich úspechov. Napríklad prípadové štúdie ilustrujúce príbehy úspešných príjemcov alebo údaje preukazujúce zvýšenie ich kompetencií možno prezentovať na sociálnych médiách, na internetovej stránke alebo počas verejných prezentácií a propagovať tak efektívnosť organizácie.
• Výsledky výskumu v rámci hodnotenia môžete použiť pri komunikácii so sponzormi vrátane žiadostí o grant. Do odpovedí na štandardné otázky uvedené vo formulároch žiadostí o financovanie podobných projektov môžete zahrnúť údaje o účinnosti, udržateľnosti, relevantnosti, užitočnosti a ďalšie charakteristiky týkajúce sa realizovaných aktivít.
• Hodnotenie môže byť užitočné aj pri nábore dobrovoľníkov, najmä ak jeho výsledky ukazujú pozitívne dopady práce organizácie, a to napríklad mieru zlepšenia života určitých ľudí alebo komunít.
• Zapojenie účastníkov do hodnotenia projektu môže tiež zvýšiť ich nadšenie a motiváciu. Možnosť ovplyvniť rozsah, hodnotiace kritériá, či predložiť pripomienky k predbežným výsledkom hodnotenia môže viesť k zvýšeniu počtu kontroly nad vlastným životom a ilustruje prepojenie medzi vykonávanou prácou a cieľmi projektu, organizáciou a vlastnými hodnotami. Účasť na hodnotiacom procese zvyšuje vedomosti a posilňuje postavenie účastníkov v mnohých oblastiach ovplyvňujúcich efektívnosť organizácie: od otázok riadenia až po vecné aspekty súvisiace s predmetom projektu.
• Zapojenie partnerov projektu do hodnotenia – najmä tých, ktorí pracujú s jeho príjemcami. Napríklad zapojenie externých partnerov (zamestnávateľov, inštitúcií, ako sú úrady práce, združenia či skupiny ovplyvnené projektom a pod.) projektu do hodnotenia umožňuje diagnostikovať problémy, ktoré obmedzili účinnosť, relevantnosť alebo užitočnosť projektu. Popis a riešenie otázok, ktoré týchto partnerov trápia, v hodnotiacej správe môže naviac výrazne zvýšiť úroveň dôvery a spolupráce s nimi aj v ďalších projektoch.
• V oblasti projektov týkajúcich sa prípravy na povolanie, zamestnanosti a podnikania mladých ľudí je pre úspešnosť hodnotenia projektov kľúčová účasť príjemcov týchto projektov – umožňuje posúdiť, ako projektové aktivity ovplyvnili očakávané zmeny v živote príjemcov. Okrem toho môže pomôcť pri plánovaní ďalšieho projektu tak, aby zodpovedal ich potrebám a prispel k dosiahnutiu cieľov.
• Hodnotenie vychádza z metodológie spoločenských vied, a preto poskytuje spoľahlivé odpovede na otázky týkajúce sa konkrétneho projektu a organizácie, ktorá ho realizuje.
• Hodnotenie projektov môže tiež pomôcť pri porovnávaní a zisťovanie toho, aké osoby a s akými vlastnosťami sú schopné začať podnikať a prečo je podnikanie ako alternatíva k zamestnaniu u iných osôb menej pravdepodobná.

 

Stručne povedané, hodnotenie má mnoho výhod. Problémom však je, že poznatky o ňom sú často abstraktné, nie založené na skúsenostiach. Systematické využívanie hodnotenia a jeho rôznych techník môže pritom zlepšiť riadenie organizácie, posilniť jej imidž, vzdelávanie a motiváciu zamestnancov, získavanie finančných prostriedkov a predovšetkým efektívne napĺňanie poslania organizácie.

3. Ako používať tento súbor nástrojov

 

Spôsob použitia tohto súboru nástrojov závisí od toho, v akej fáze životného cyklu sa vaša aktivita či projekt zameraný na podporu podnikavosti mladých ľudí nachádza.

Ak chcete realizovať projekt a od začiatku do neho zakomponovať pravidelné hodnotenie, môžete tento súbor nástrojov použiť vo fáze plánovania projektu (hodnotenie ex ante).

Ak už máte projekt, ale nie ste si istí, ako merať dopad vašej činnosti, potom vám tento súbor nástrojov pomôže identifikovať informácie, ktoré potrebujete. Zároveň vám ukáže, ako ich zbierať a čo s nimi robiť po ich zbere (mid-term alebo priebežné hodnotenie).

Ak máte existujúci projekt a hodnotíte to, čo robíte, zamerajte sa na časti, ktoré vám môžu pomôcť zdokonaliť váš prístup, alebo si preštudujte literatúru uvedenú na konci tohto dokumentu (následné, ex post hodnotenie).

4. Typ aktivity zameranej na podporu podnikavosti mladých ľudí

 

Na podporu podnikavosti mladých ľudí neexistuje jediný „správny“ model aktivít alebo projektu.

Niektoré projekty sú zamerané na rôzne fázy rozvoja podnikateľského nápadu, t. j. napríklad na tvorbu počiatočného nápadu alebo na fázu rozvoja podnikania. Iné sú viac zamerané na špecifické skupiny populácie, napríklad na nezamestnanú mládež, ženy, prisťahovalcov a osoby so zdravotným znevýhodnením alebo obete nútenej migrácie.

To, ako bude váš projekt vyzerať, závisí od toho, čo chcete dosiahnuť a akým spôsobom. Postup pri hodnotení bude následne závisieť od typu vášho projektu a stanovených cieľov hodnotenia.

Akonáhle si ujasníte, aký projekt máte alebo chcete mať, budete sa vedieť lepšie rozhodnúť, čo a ako hodnotiť a čo by ste chceli svojím vďaka hodnoteniu dosiahnuť.

Váš projekt sa v priebehu času bude veľmi pravdepodobne meniť (na základe vašich skúseností). Hodnotenie vám pomôže určiť najlepší spôsob, ako postupovať ďalej. Môže vám napríklad ukázať, či má projekt účinky, ktorý chcete dosiahnuť. Hodnotenia vám však tiež môže ukázať, že je potrebné:

• zlepšiť určitý prvok projektu
• nanovo definovať existujúce úlohy a zodpovednosti
• získať ďalšie zdroje
• zmeniť štruktúru programu
• zapojiť nového partnera
• rozšíriť existujúci projekt
• vypracovať nový projekt
• lepšie plánovať nové programy

5. Typy hodnotenia podľa fázy realizácie hodnoteného projektu

Existujú rôzne typy hodnotenia, ktoré sa líšia podľa toho, v akej fáze implementácie projektu hodnotenie uskutočníte. Môže sa jednať o hodnotenie pred zahájením projektu (hodnotenie ex ante), hodnotenie realizované počas implementácie, a to procesné (mid-term) alebo priebežné (on-going) hodnotenie a hodnotenie po ukončení projektu, tzv. následné (ex post) (Typy hodnotenia, 2013).

Tabuľka 1: Typy hodnotenia podľa fázy projektu

Fáza projektu	Účel	Typy hodnotenia
Fáza vytvorenia konceptu	Pomáha predchádzať plytvaniu zdrojmi, prispôsobiť projekt potrebám príjemcov, identifikovať potenciálne problémové oblasti, a zvýšiť šance na úspešnú realizáciu projektu.	Predbežné hodnotenie (ex ante)
Fáza realizácie	Optimalizuje projekt, zvyšuje jeho schopnosť naplniť ciele a navrhuje opatrenia na zvýšenie účinnosti, relevantnosti a efektívnosti.	Strednodobé (mid-term) alebo priebežné (on-going) hodnotenie
Fáza ukončenia projektu	Prináša poznatky o faktoroch úspechu/neúspechu projektu, jeho užitočnosti, dosahovaní plánovaných výsledkov a ich relevancii, udržateľnosti a dopadu a upozorňuje na možné zlepšenia pre ďalšie projekty.	Hodnotenie ex post

ZDROJ: upravené podľa Nanda, 2017

Nižšie uvádzame stručnú charakteristiku vybraných typov hodnotenia.

Tabuľka 2: Charakteristika vybraných typov hodnotenia

Hodnotenie ex ante (predbežné)
Toto hodnotenie sa využíva pred zahájením realizácie projektu. Prináša údaje o potrebe uskutočnenia projektu a buduje základy pre následné monitorovanie. Zároveň identifikuje oblasti, ktoré je potrebné zlepšiť, a umožňuje lepšie pochopiť, aké by mali byť priority projektu. Pomáha projektovým manažérom identifikovať prípadné problémové oblasti a oblasti, na ktoré je potrebné sa zamerať. Zvyšuje tiež povedomie o vašom projekte medzi cieľovou skupinou už pred jeho spustením. Toto hodnotenie tiež skúma kontext (podmienky), v ktorých bude projekt implementovaný. Kedy ho použiť: Pri tvorbe nových projektov Pri rozšírení projektu	Pomáha program včas zlepšiť . Umožňuje projektovým manažérom projekt upresniť alebo zdokonaliť tak, aby lepšie zodpovedal potrebám príjemcov a kontextu situácii (napr. právnej, ekonomickej, sociálnej).
Strednodobé (mid-term) alebo priebežné (on-going) hodnotenie
Tento typ hodnotenia sa realizuje po zahájení projektu. Hodnotí účinnosť, relevantnosť a efektívnosť postupov v rámci projektu. Údaje, ktoré generuje, sú užitočné pri identifikácii neefektívnych procesov a ich optimalizácii. Tieto údaje sa zároveň používajú na informovanie externým stranám o stave projektu. Kedy sa používa: Po zahájení projektu Počas implementácie existujúceho projektu	Prináša možnosť vyhnúť sa problémom vďaka ich včasnému odhaleniu. Umožňuje zistiť, ako dobre projekt funguje.
Následné hodnotenie (ex post)
Toto hodnotenie sa realizuje po ukončení projektu alebo na konci projektového cyklu. Hodnotenie poskytuje údaje o tom, do akej miery projekt priniesol úžitok cieľovej skupine, aká je využiteľnosť, dopad a udržateľnosť ich výsledkov. Je užitočné pre realizátorov projektov na to, aby dokázali zdôvodniť projekt, ukázať, čo sa vďaka projektu dosiahlo a lobovať za jeho pokračovanie alebo rozšírenie. Kedy sa realizuje: Na konci projektu Na konci projektového cyklu	Poskytuje údaje na zlepšenie projektu (odôvodňuje pokračovanie alebo zastavenie). Poskytuje informácie o užitočnosti, účinnosti, udržateľnosti, vplyve a účinnosti projektu.

ZDROJ: Úprava podľa Nanda, 2017

6. Ako hodnotiť dopad projektu?

Tak ako neexistuje jediný „správny“ model projektu na podporu podnikavosti, neexistuje ani jediný „správny“ spôsob hodnotenia. Môžete si zvoliť viac alebo menej štruktúrovaný prístup. Ak to vyhovuje vašim požiadavkám, je vhodný ktorýkoľvek z nich. V každom prípade je vždy potrebné určité hodnotenie naplánovať a dôkladne pripraviť, aby vám hodnotenie prinieslo užitočné/zmysluplné výsledky.

Tento súbor nástrojov je určený organizáciám, ktoré realizujú alebo rozvíjajú projekty zamerané na podporu podnikavosti a/alebo rozvoj podnikateľských zručností mladých ľudí. Prostredníctvom špecifického typu hodnotenia – hodnotenia dopadu môžete nielen určiť účinky vášho projektu, zmerať ich, ale ho aj neustále zlepšovať.

Hodnotenie dopadu možno chápať a realizovať rôznymi spôsobmi. Majte na pamäti, že tento typ hodnotenia je kľúčový pri analýze zmien, ktoré nastali vďaka vášmu projektu. Na základe výsledkov hodnotenia dopadu budete môcť upraviť a/alebo zlepšiť existujúci projekt, ako aj lepšie naplánovať nové projekty. Toto hodnotenie sa však najčastejšie využíva na analýzu príčinnej súvislosti, t.j. určenie toho, do akej miery prispel hodnotený projekt k pozorovaným zmenám.

Tabuľka 3: Charakteristika hodnotenia dopadu

Charakteristika hodnotenia dopadu
Kedy?	Na konci projektu alebo vo vopred definovaných fázach, kde je už možné merať určité efekty projektu (návrh konceptu hodnotenia a zber niektorých údajov však môže byť potrebný oveľa skôr – dokonca aj pred zahájením projektu) Po uplynutí stanoveného obdobia po ukončení projektu V rámci vopred zvolených intervalov v projekte
Čo?	Hodnotí skutočnú zmenu spôsobenú projektom oproti zmene pozorovanej medzi pretestom a postestom v oblasti kvality života cieľovej populácie. Vysvetľuje, čo by sa stalo, keby sa projekt nerealizoval
Prečo?	Preukázanie dopadu projektu na základe porovnania príjemcov projektu s kontrolnými skupinami (ktoré sa nezúčastnili na projekte) Získanie podrobnejších informácií, ktoré pomôžu prijať odporúčania pre prípravu nových projektov a / alebo rozhodnutí týkajúcich sa prijatých strategických rozhodnutí a financovania
Ako?	Makroskopické preskúmanie projektu spojené s prieskumom medzi účastníkmi projektu, ktorého cieľom je zistiť dosiahnuté účinky. Užitočné sú vstupy členov projektového tímu aj podnety účastníkov projektu. Pre porovnanie je potrebné mať kontrolnú skupinu ľudí, ktorí sa na projekte nezúčastnili (zhodnú s príjemcami projektu alebo veľmi podobnú, pokiaľ ide o charakteristiky významné z hľadiska projektu).
Otázky	Aké životné zmeny účastníkov projektu nastali v dôsledku vášho projektu? O čo boli ukrátení tí, ktorí sa projektu nezúčastnili?

Zdroj: Nanda, 2017

Ako sme spomenuli vyššie, v tejto príručke sa zameriavame na hodnotenie dopadov v širšom zmysle, tzn. zahŕňajúc rôzne dizajny hodnotenia, nielen experimentálne a kvázi-experimentálne (viď časť 8.9).

7. Fázy hodnotenia

Pre lepšie porozumenie procesu hodnotenia vám možno pomôže, keď si ho predstavíte ako opakujúci sa cyklus, ktorý zahŕňa prípravu hodnotenia, zber informácií, analýzu informácií, použitie informácií, a opäť prípravu.

V nižšie uvedenom modeli životného cyklu hodnotenia projektu / aktivít na podporu podnikavosti, ktorý je základom tejto časti dokumentu, nazývame tieto fázy nasledovne.

• Príprava – úspech vášho hodnotenia do veľkej miery závisí od toho, ako budete v tejto fáze uvažovať a aké rozhodnutia prijmete,
• Zber údajov – je potrebné zozbierať údaje, ktoré sú pre účel vášho hodnotenie najrelevantnejšie, a to spôsobom, ktorý zaručí ich spoľahlivosť,
• Analýza údajov – táto fáza zahŕňa usporiadanie a interpretáciu údajov a určenie kľúčových zistení,
• Využitie údajov – v tejto fáze prebieha zdieľanie zistení a rozhodovanie o budúcnosti projektu/aktivity na základe výsledkov procesu hodnotenia.

Obrázok 1: Životný cyklus hodnotenia projektov/aktivít na podporu podnikavosti mladých

V nasledujúcich častiach sa budeme každému z týchto krokov venovať podrobnejšie. Poskytneme vám tiež niekoľko podporných nástrojov, ktoré vám pomôžu v jednotlivých fázach hodnotenia.

8. Príprava hodnotenia

Obrázok 2: Životný cyklus hodnotenia projektov/aktivít na podporu podnikavosti mladých – 1. fáza

Skôr ako začnete pripravovať hodnotenie, mali by ste si premyslieť, aký projekt či aktivity na podporu podnikavosti/podnikania chcete hodnotiť a stanoviť si:

• Čo sa prostredníctvom projektu na podporu podnikavosti snažíte dosiahnuť a prečo:
  • Má rozvíjať určité podnikateľské zručnosti? Ktoré zručnosti a koľko ľudí ich má získať?
  • Zameriava sa na vytvorenie nových podnikov? Koľko podnikov sa má založiť a podporiť? Aká úroveň ich rozvoja sa má dosiahnuť?
• Z akých predpokladov projekt vychádza a aké sú riziká?:
  • Aké sú identifikované medzery a nedostatky v zručnostiach cieľovej skupiny?
  • Aká je ich motivácia a postoj k podnikaniu?
  • Aké zdroje sú k dispozícii? Aké prekážky pre rozvoj podnikavosti je potrebné prekonať?
• Ako zistíte, či je projekt úspešný po jeho realizácii:
  • Aké sú ukazovatele, ktoré dokazujú dosiahnutie cieľov projektu?
  • Ako zistíte, že zaznamenané zmeny boli dosiahnuté vďaka hodnotenému projektu (napr. ako viete, či je zvýšený počet nových podnikov výsledkom projektu?

Naplánovať dobrý projekt/aktivitu na podporu podnikavosti mladých ľudí nie je jednoduché. Navrhnutie dobrého projektu si vyžaduje pochopenie situácie v regióne a definovanie skutočného problému, ktorý môže byť vyriešený práve vďaka projektu/aktivite, ktorá má byť predmetom hodnotenia. Ďalšími dôležitými požiadavkami sú správna identifikácia cieľových skupín a ich potrieb, špecifikácia cieľov, ktoré sú dosiahnuteľné v danom časovom rámci a v rámci dostupných zdrojov a navrhnutie najvhodnejších aktivít. Aktivity musia byť navrhnuté tak, aby slúžili na tvorbu výstupov a výsledkov, ktoré vedú k dosiahnutiu stanovených hlavných cieľov a čiastkových cieľov hodnoteného projektu.

Realizátori projektu musia naviac počas implementácie projektu vnímať širšie súvislosti a mať na pamäti kľúčové otázky: čo chcú dosiahnuť, prečo a ako to chcú dosiahnuť?

• Plánujú rozvíjať určité podnikateľské zručnosti?
• Dokážu zabezpečiť vypracovanie určitého počtu podnikateľských plánov?
• Zvýši sa počet nových podnikov o určité percento?
• Aké sú riziká a predpoklady (napr. aké sú nedostatky v zručnostiach cieľovej skupiny)?
• Aká je ich motivácia a postoj k podnikaniu?
• Aké zdroje sú k dispozícii na dosiahnutie plánovaných výsledkov a ako môžete po realizácii projektu zistiť, či je projekt úspešný ?
• A napokon, ako zistíte, že pozorované zmeny sú výsledkom hodnoteného projektu?

Kľúčom k príprave návrhu hodnotenia je pochopenie logiky projektu. Tá vám poskytne informácie o údajoch získaných v rámci projektu a ktoré možno použiť pri hodnotení.

Matica logického rámca sa často pripravuje ako súčasť žiadosti o finančnú podporu pre projekt. Ak sa tak nestalo, môžete maticu logického rámca projektu vytvoriť sami tak, že si zodpoviete kľúčové otázky týkajúce sa siedmich kľúčových oblastí projektu:

• • Účel – prečo sa tento projekt realizuje? Aký problém má riešiť? Aká zmena sa očakáva?
    • Ak sa boli dosiahnuté výsledky, v cieľovej skupine je možné pozorovať určité účinky. Napríklad vďaka zvýšeniu vedomostí v určitej oblasti môže dôjsť k zmene správania účastníkov.
  • Výsledky – aké výsledky sa očakávajú? (napr. zvýšenie vedomostí/podnikateľských zručností účastníkov, založenie vlastných podnikov účastníkmi projektu)

• Výstupy – aké sú očakávané výstupy?

• • • Popis priamych “produktov” projektu/aktivít podľa logiky „ak – tak“. V praxi to znamená, že ak sa realizuje určitá činnosť, dôjde k vytvoreniu určitých výstupov. Príkladom sú podnikateľské plány vypracované v rámci projektu zameraného na pomoc pri tvorbe podnikateľského plánu; osvedčenia o zručnostiach vydané účastníkom projektu zameraného na zvyšovanie podnikateľských zručností a pod.
  • Činnosti – aké aktivity boli naplánované na dosiahnutie výstupov? (napr. semináre, školenia, mentoring)

• Indikátory dosiahnutých výsledkov – ako zistíme, či bol projekt úspešný?

• Spôsoby overovania – ako možno overiť naplnenie projektových aktivít, výstupov, výsledkov, účelu a cieľov?
• Riziká a predpoklady – z akých predpokladov vychádza projekt a aké sú riziká, ktoré môžu ohroziť dosiahnutia cieľov projektu?

Vzor matice logického rámca sa nachádza v časti 12.3.1. Viac informácií nájdete aj v e-learningovom kurze.

8.1 Koncept hodnotenia

Podobne ako príprava projektu, aj dobré hodnotenie si vyžaduje zodpovedanie súboru kľúčových otázok, ktoré vám pomôžu definovať koncept hodnotenia.

Odpovede na nasledovných 5 otázok sú dobrým spôsobom, ako začať:

PREČO budete robiť hodnotenie? Je potrebné definovať účel hodnotenia, pretože od tejto otázky závisia ďalšie časti konceptu hodnotenia.

ČO budete hodnotiť a aké zdroje sú potrebné? Predmet a rozsah hodnotenia musí byť jasný a prepojený s odpoveďou na predchádzajúcu otázku. Inak by ste mohli realizovať hodnotenie, ktoré nikoho nezaujíma. V tejto fáze je potrebné sformulovať hodnotiace kritériá a otázky. Pomáhajú zostaviť koncept hodnotenia a udržať pozornosť zameranú na otázku „PREČO“.

KTO uskutoční hodnotenie? Bude to sebahodnotenie (hodnotenie vykonajú zamestnanci, ktorí realizujú projekt), interné hodnotenie (hodnotenie vykonajú vlastní zamestnanci, ktorí sa nezúčastňujú na realizácii projektu) alebo externé hodnotenie (externý hodnotiteľ). Každý typ má svoje výhody a nevýhody.

KEDY plánujete hodnotenie uskutočniť? Pred zahájením projektu (hodnotenie ex ante)? Počas realizácie projektu (priebežné alebo procesné hodnotenie)? Alebo po skončení projektu (následné hodnotenie ex post)?

AKO budete vykonávať hodnotenie? Aké metódy zhromažďovania potrebných údajov použijete? Aké nástroje? Aké zdroje informácií použijete? Ako zapojíte zainteresované strany, ak plánujete použiť participatívny prístup?

Nasledujúce časti vás prevedú týmito otázkami.

 

8.2 Stanovenie účelu a rozsahu hodnotenia

Čo chcete zistiť? Čo sa chcete dozvedieť z výsledkov hodnotenia? Ako plánujete využiť výsledky?

PRÍKLAD

Stanovenie účelu hodnotenia

Organizácia Junior Achievement Slovensko (JA Slovensko) už viac ako 25 rokov pomáha učiteľom rozvíjať podnikavosť, ekonomické myslenie a finančnú gramotnosť žiakov na Slovensku.

Poslaním organizácie JA Slovensko je pomáhať učiteľom rozvíjať podnikavosť, ekonomické myslenie a finančnú gramotnosť žiakov základných a stredných škôl. Deje sa tak predovšetkým prostredníctvom zážitkového učenia, do ktorého sú zapojení skúsení odborníci. Organizácia JA Slovensko je členom celosvetovej siete 115 organizácií JA a členom siete 41 organizácií JA Europe. Táto sieť už 100 rokov prináša vzdelávanie a rozvoj zručností v oblasti pripravenosti na prácu, finančnej gramotnosti a podnikania po celom svete.

Činnosti zamerané na podporu zamestnanosti mladých, ktoré realizuje organizácia

V programoch „Aplikovaná ekonómia“ a „Podnikanie v cestovnom ruchu“ majú študenti možnosť rozbehnúť svoje prvé reálne podnikanie v študentskej firme. Zručnosti pre zamestnateľnosť a tvorbu vlastného nápadu rozvíjajú v programe „Zručnosti pre úspech“. Rozvoj etických aspektov podnikania a morálnych hodnôt jednotlivca je predmetom programu „Etika v podnikaní“. Finančná gramotnosť žiakov sa zvyšuje prostredníctvom programov „Viac ako peniaze“ a „Ja a peniaze“, ktoré sú vytvorené v súlade s Národným štandardom finančnej gramotnosti. Najmladší žiaci sa môžu pripraviť na svoje budúce povolanie prostredníctvom programu „Základy podnikania“.

Rozsah hodnotenia v organizácii JA

Organizácia JA Slovensko dlhodobo využíva dostupné možnosti hodnotenia s ohľadom na ich časové a finančné obmedzenia. Hlavným cieľom hodnotenia je posúdiť zvýšenie vedomostí účastníkov prostredníctvom testovania ich zručností na začiatku vzdelávania/školského roka a na jeho konci. Cieľom je porovnať výsledky a posúdiť vývoj za obdobie približne 10 mesiacov, aby sa zistilo, či je program správne nastavený s ohľadom na požiadavky cieľovej skupiny alebo či sú potrebné nejaké zlepšenia.

Zdroj: Bednárová, 2021; Junior Achievement Slovensko, n.o., n.d.

Predmet a rozsah hodnotenia musí byť jasne definovaný. Budete hodnotiť konkrétny projekt na podporu podnikavosti, alebo len jeho časť? Čo presne chcete zistiť?

Zodpovedajú ciele projektu a aktivity cieľom a prioritám organizácie?

PRÍKLAD

Hodnotenie sa zameria na program „Viac ako peniaze“.

Test finančnej gramotnosti: Žiaci zapojení do programu „Viac ako peniaze“ absolvujú na začiatku školského roka „centrálny vstupný“ test. Cieľom testovania je zistiť ich počiatočnú úroveň vedomostí v oblasti finančnej gramotnosti.

Na konci školského roka žiaci absolvujú centrálny výstupný test. Jeho cieľom je overiť úroveň vedomostí, ktorú študenti dosiahli po ukončení programu.

Zdroj: Bednárová, 2021; Junior Achievement Slovensko, n.o., n.d.

 

8.3 Definovanie hodnotiacich kritérií a otázok

Ďalší krok zahŕňa rozhodnutie o hodnotiacich kritériách, ktoré súvisia s účelom hodnotenia. Kritériá poskytujú perspektívu, cez ktorú sa môžete pozrieť na svoj projekt a formulovať hodnotiace otázky.

Kritériá opisujú požadované atribúty alebo aspekty projektu, ktoré chcete overiť/posúdiť: napr. projekt má zohľadňovať potreby príjemcov, byť v súlade s inými intervenciami, byť účinná z hľadiska dosahovania plánovaných cieľov a výsledkov, prinášať výsledky efektívnym spôsobom a mať pozitívne vplyvy, ktoré dlhodobo pretrvávajú (OECD, n.d.).

Zároveň je potrebné určiť niekoľko kľúčových otázok (hodnotiacich otázok), na ktoré chcete v hodnotení odpovedať. Napríklad vás môže zaujímať, aký prínos mala účasť na hodnotenom projekte pre účastníkov, či sa dosiahla očakávaná zmena, alebo či sa projektu zúčastnili všetky strany zapojené do projektu podľa plánu.

 

• Kritérium: RELEVANTNOSŤ

Hodnotiaca otázka: ROBÍ PROJEKT SPRÁVNE VECI? REAGUJE PROJEKT PODPORY PODNIKANIA MLÁDEŽE NA SKUTOČNÉ PROBLÉMY MLÁDEŽE V REGIÓNE?

V akom rozsahu sú projektové činnosti prispôsobené požiadavkám príjemcov

• Kritérium: EFEKTÍVNOSŤ

Hodnotiaca otázka: DOSIAHUJE PROJEKT PREDPOKLADANÉ CIELE A VÝSLEDKY?

Miera, do akej intervencia dosiahla alebo sa očakáva, že dosiahne svoje výstupy, výsledky a ciele.

• Kritérium: ÚČINNOSŤ

Hodnotiaca otázka: SÚ ZDROJE VYUŽÍVANÉ SPRÁVNE?

Miera, do akej projekt prinesie alebo pravdepodobne dosiahne plánované výstupy a výsledky hospodárnym spôsobom a včas.

• Kritérium: UŽITOČNOSŤ

Hodnotiaca otázka: DO AKEJ MIERY SÚ VÝSLEDKY PROJEKTU UŽITOČNÉ PRE JEHO PRÍJEMCOV?

Do akej miery sú výstupy a výsledky projektu užitočné pre jeho príjemcov.

• Kritérium: DOPAD

Hodnotiaca otázka: OVPLYVNIL PROJEKT SVOJICH PRÍJEMCOV?

Do akej miery ovplyvnil projekt svojich príjemcov, pozitívne, negatívne, priniesol zamýšľané a nezamýšľané zmeny, mal dosah na ľudí nad rámec priamych príjemcov projektu.

• Kritérium: UDRŽATEĽNOSŤ

Hodnotiaca otázka: PRETRVÁVAJÚ DOSIAHNUTÉ VÝSLEDKY AJ PO UKONČENÍ FINANCOVANIA PROJEKTU?

Pokračovanie výhod intervencie po ukončení projektu. Projekty by mali byť environmentálne aj finančne udržateľné. Tam, kde sa nekladie dôraz na externú pomoc, možno udržateľnosť definovať ako schopnosť kľúčových zainteresovaných strán udržať prínosy projektu po ukončení externého financovania – s využitím zdrojov dostupným na miestnej úrovni.

• Kritérium: KOHHERENCIA

Hodnotiaca otázka: DO AKEJ MIERY JE KONCEPT ZAMÝŠĽANEJ ZMENY V SÚLADE S INÝMI AKTIVITAMI/POLITIKAMI?

Do akej miery sú ciele projektu v súlade s miestnymi politikami regionálneho rozvoja? Nadväzuje projekt na iné aktivity organizácie?

 

Všetky hodnotiace otázky musia nadväzovať na stanovený rozsah a cieľ (ciele) hodnotenia. Pri definovaní otázok je potrebné mať na pamäti, že by mali byť jednoduché a dosiahnuteľné. Nižšie uvádzame niekoľko príkladov hodnotiacich otázok a súvisiacich hodnotiacich kritérií navrhnutých pre existujúci projekt.

1. PRÍKLAD

Výsledok projektu: rozvoj zručností pre dosiahnutie úspechu – základné zručnosti pre zamestnateľnosť a proaktívny prístup k rozvoju podnikania, vlastná práca, schopnosť riešiť problémy, identifikovať, navrhnúť a rozvíjať vlastný nápad.

Hodnotiace otázky: Do akej miery boli dosiahnuté plánované výsledky (ÚČINNOSŤ)? Sú ciele, aktivity a výsledky projektu v súlade s cieľmi a prioritami organizácie (KOHERENCIA)? Sú výsledky projektu užitočné pre jeho príjemcov (UŽITOČNOSŤ)? Sú výsledky projektu udržateľné (UDRŽATEĽNOSŤ)? Ako efektívne boli využité zdroje projektu (EFEKTÍVNOSŤ)?

 

2. PRÍKLAD

Produktívny postup po ukončení projektu:

Cieľ: Zlepšiť prechod mladých ľudí z univerzity k začatiu vlastného podnikania.

Hodnotiaca otázka: Ako a do akej miery projekt pomáha mladým ľuďom pri úspešnom prechode k podnikaniu alebo do zamestnania (DOPAD)?

 

3. PRÍKLAD

Hmatateľné výsledky pre účastníkov s nižšou kvalifikáciou:

Cieľ: Vybaviť účastníkov s nižšou úrovňou vzdelania zručnosťami potrebnými na založenie vlastného podnikania v ich komunitách do konca projektu.

Hodnotiaca otázka: Ako je možné vďaka projektu využiť podnikateľské zručnosti týchto mladých ľudí tak, aby sa ich nápady mohli transformovať do ziskových podnikov (UŽITOČNOSŤ).

Zdroj: vlastné vypracovanie

Tabuľka nižšie uvádza príklady hodnotiacich kritérií a otázok.

 

Tabuľka 4T: Hodnotiace kritériá a otázky

OTÁZKA	HODNOTIACE KRITÉRIÁ
Postačoval rozpočet projektu na úplnému naplneniu plánu projektu?	Efektívnosť
Do akej miery boli dosiahnuté plánované ciele a výsledky?	Účinnosť
Ako boli využité zdroje projektu?	Efektívnosť
Kde sa stala chyba a prečo?	Účinnosť, dopad
Sú ciele a aktivity projektu v súlade s cieľmi a prioritami organizácie?	Koherencia
Sú dosiahnuté výsledky trvalé?	Udržateľnosť
Čo pomohlo pri realizácii projektu?	Účinnosť
Čo spomalilo realizáciu projektu?	Účinnosť
Ako vníma projekt komunita?	Dopad
Do akej miery boli výsledky projektu užitočné pre jeho príjemcov?	Užitočnosť
Do akej miery projekt zodpovedal potrebám jeho príjemcov?	Relevantnosť

 

Zdroj: vlastné vypracovanie

Po definovaní otázok, na ktoré by vám malo dať hodnotenie odpoveď, je potrebné stanoviť indikátory, ktoré sú kľúčové pre meranie účinnosti projektu.

8. 4 Projektové indikátory

Projektové indikátory merajú účinky projektu v porovnaní s cieľom a úlohami projektu. V tomto kontexte sa indikátor používa ako referenčná hodnota na meranie miery dosiahnutia plánovaných účinkov projektu. Ukazovatele môžu byť

• kvantitatívne – tieto ukazovatele poskytujú informácie o hodnotených otázkach meraných a vyjadrených kvantitatívnym spôsobom (napr. číslo, index, pomer alebo percento)

• alebo kvalitatívne – tieto ukazovatele poskytujú informácie zozbierané kvalitatívnymi metódami a z kvalitatívneho hľadiska (stanoviská, úsudky (popisujú stav niečoho skôr kvalitatívnym spôsobom, napr. či je miestny ekosystém pre podporu začínajúcich podnikateľov po projekte rozvinutejší ako pred začiatkom projektu – podľa názorov kľúčových aktérov alebo na základe miestnych predpisov týkajúcich sa podnikateľských činností. Prečo je definovanie indikátorov dôležité v procese hodnotenia (Výber ukazovateľov projektu, 2013)?

1. V počiatočnej fáze projektu sú indikátory dôležité na účely stanovenia toho, ako sa bude merať úspešnosť projektu a aká úroveň daného indikátora alebo jeho zmeny sa bude považovať za uspokojivú z pohľadu dosiahnutia cieľov projektu.
2. Počas realizácie projektu indikátory pomáhajú merať progres projektu a upozorňujú na oblasti, ktoré je potrebné zlepšiť.
3. V záverečnej fáze indikátory poskytujú základ, prostredníctvom ktorého je možné projekt spochybniť.

Existujú tri typy všeobecne uznávaných projektových indikátorov, ktoré sa môžu použiť pri hodnotení s využitím kritérií, ako je napríklad efektívnosť, účinnosť alebo dopad:

• Procesné indikátory: používajú sa na hodnotenie projektových procesov alebo činností. Môže to byť napríklad „počet vzdelávacích aktivít zorganizovaných v období XY“.

• Indikátory výsledkov: merajú výsledky projektu. Výsledky predstavujú to, čo plynie z projektu v dlhodobom horizonte. Napríklad: „Ako sa zlepšila úroveň podnikateľských zručností“.

• Ukazovatele dopadu: merajú dlhodobý dopad projektu alebo jednoducho dopad projektu, napríklad: „Počet nových podnikov založených mladými podnikateľmi“.

Aj ďalšie kritériá (významnosť, užitočnosť, spojitosť) a s nimi súvisiace hodnotiace otázky môžu mať svoje vlastné indikátory, ale každý vhodný indikátor musí mať určité charakteristiky (Bureau of Educational and Cultural Affairs, n.d.), ktoré sú uvedené v tabuľke 5.

 

Tabuľka 5: Charakteristika indikátorov

Charakteristika	Popis
Špecifický:	Asi najdôležitejšou charakteristikou indikátorov je, že musia byť presné alebo správne definované. Inými slovami, indikátory nesmú byť nejednoznačné. V opačnom prípade rozdielna interpretácia indikátorov rôznymi ľuďmi povedie k rozdielnej interpretácii výsledkov.
Merateľný	Indikátor musí byť merateľný. Ak sa indikátor nedá merať, potom by sa nemal a nesmie používať.
Dosiahnuteľný	Indikátor je dosiahnuteľný, ak presne špecifikuje množstvo alebo úroveň toho, čo sa má merať, aby bolo možné povedať, že výsledok bol dosiahnutý. Cieľová hodnota indikátora musí byť dosiahnuteľná.
Relevantný	Relevantnosť v tomto prípade znamená, že indikátor skutočne meria to, čo má merať. Ak napríklad zamýšľate merať vplyv projektu na rozvoj špecifických podnikateľských zručností, musí indikátor merať presne toto a nič iné.
Časovo viazaný	Definícia akéhokoľvek indikátora by mala špecifikovať, kedy sa má meranie uskutočniť, aby bolo možné sledovať plánovaný pokrok.

 

Zdroj: upravené z publikácie Výber projektových ukazovateľov, 2013; Bureau of Educational and Cultural Affairs, n.d.

 

8.5 Určenie typu požadovaných údajov

Na meranie úspešnosti projektu je potrebné uskutočňovať zber údajov pred samotnou realizáciou projektu, počas neho a po jeho ukončení. Vopred je nevyhnutné stanoviť typ údajov, ktoré budete potrebovať a mať ich k dispozícii, keď ich budete potrebovať.

Existujú dve široké kategórie údajov, o ktorých môžete uvažovať:

• Kvantitatívne: jedná sa o údaje, ktoré súvisia s počítaním a meraním vecí, ako je návštevnosť, stretnutia, alebo výsledky.
• Kvalitatívne: tieto údaje sa týkajú pocitov, myšlienok, vnímania, postojov, zmien správania a presvedčenia ľudí a môžu zahŕňať napríklad zlepšenie postojov účastníkov ku konkrétnym otázkam či činnostiam, ktoré sa zistili prostredníctvom pozorovania, rozhovorov a formulárov spätnej väzby.

Nižšie uvádzame niekoľko príkladov, ako môžete prostredníctvom otázok získať rôzne kategórie údajov.

Príklady otázok na hodnotenie projektu

Ak poznáte hlavný účel hodnotenia (pozri predchádzajúcu časť), môžete zvážiť konkrétne otázky, ktoré sa použijú v nástrojoch na zber kvalitatívnych a kvantitatívnych údajov (napr. testy, dotazníky atď.).

Otázky, ktoré môžete použiť v nástrojoch na zber kvantitatívnych údajov

• Koľko školení zameraných na rozvoj podnikateľských zručností sa zorganizovalo?
• Koľko zamestnancov organizácie a podnikateľskej komunity sa zapojilo do vzdelávacieho programu?
• K akému nárastu počtu účastníkov došlo po zapojení miestnej podnikateľskej komunity do vzdelávacieho projektu?
• Ako vzrástol počet účastníkov, ktorí sa rozhodli zúčastniť akcií v rámci projektu, z dôvodu spustenia mentoringového programu?
• Koľko účastníkov získalo vďaka účasti v projektových aktivitách pozitívne zmeny v živote?
• Koľko účastníkov bolo na začiatku programu a koľko účastníkov program dokončilo?

Otázky, ktoré môžete použiť v nástrojoch na zber kvalitatívnych údajov

• Aký bol váš názor na spoluprácu s mentorom predtým, ako ste sa zapojil / -a do projektu?
• Aký je váš názor teraz, keď máte už rok skúsenosť s mentorovaním?
• Ktoré aspekty tejto skúsenosti sa vám zdali najpríjemnejšie (ak vôbec nejaké)?
• Ktoré aspekty tejto skúsenosti boli pre vás náročné (ak vôbec nejaké)?
• Čo by ste poradili ostatným účastníkom, ktorí sa do mentoringového programu prihlásia na budúci rok?
• Prečo niektorí účastníci program ukončili?
• Skúste sa vrátiť do obdobia po zahájení vašej účasti na projekte. Došlo v tomto období k nejakej významnej zmene vo vašom živote?
• (Ak áno) Uveďte, prosím, oblasti, v ktorých ste tieto zmeny pozorovali. Zároveň uveďte, ktorý hlavný faktor prispel ku každej z týchto zmien.
• Skúste sa vrátiť do obdobia po zahájení vašej účasti na projekte. Pozorujete v tomto období nejakú významnú zmenu v spôsobe fungovania vášho začínajúceho podnikania?
• (Ak áno) Uveďte, prosím, oblasti, v ktorých ste tieto zmeny pozorovali. Zároveň uveďte, ktorý hlavný faktor prispel ku každej z týchto zmien.
• (Ak bol ako hlavný faktor uvedený projekt) Ktoré konkrétne workshopy najviac posunuli vaše podnikanie?
• Poznáte v projekte oblasť, ktorá by sa podľa vás dala urobiť inak (čo sa týka organizácie, lektorov, času atď.)? Čo by ste chceli zmeniť?
• Čo by sa mohlo zmeniť (ak niečo), aby ste mohli viac využiť kontakt s ostatnými účastníkmi a mali prospech z toho, že ste súčasťou komunity?

 

8.6 Kto sú vaše zainteresované strany

Každá aktivita zameraná na podporu podnikavosti/podnikania mladých ľudí má viacero zainteresovaných strán. Zainteresované strany môžu byť rôzne, od zástupcov projektových partnerov vrátane podnikateľských inkubátorov, akcelerátorov, univerzít, miestnych alebo regionálnych správnych orgánov, organizácií zamestnávateľov, darcov, mentorov, školiteľov, trénerov, zamestnancov projektu až po samotných účastníkov.

Budete sa musieť zamyslieť nad tým, pre koho je vaše hodnotenie určené, kto sú vo vašom prípade zainteresované strany, či a ako môžu byť niektoré z nich zapojené do procesu hodnotenia, aké informácie vám môžu poskytnúť alebo aké hodnotiace kritériá a hodnotiace otázky by pre nich mohli byť dôležité.

Ak sa majú závery hodnotenia realizovať v praxi, je veľmi dôležité identifikovať požiadavky na hodnotenie zainteresovaných strán už vo fáze prípravy hodnotenia. V opačnom prípade sa môže stať, že ich požiadavky nedokážete uspokojiť, pretože výsledky hodnotenia nebudú poskytovať údaje, ktoré zainteresované strany očakávajú.

Ak je to možné, zapojte zainteresované strany do procesu hodnotenia. Získate tak komplexný prehľad a inú perspektívu. Dôležité je najmä zapojenie cieľovej skupiny (príjemcov), pretože s nimi budete v každom prípade v kontakte. Participatívne hodnotenie je jednoduchým nástrojom na začlenenie zainteresovaných strán do hodnotenia (viď časť 13).

 

8.7 Určenie potenciálnych zdrojov pomoci

Pred uskutočnením zberu dát zvážte, aký druh pomoci môžete potrebovať a kedy ju môžete potrebovať.

Prípadné zdroje pomoci

• Počas fázy prípravy a plánovania hodnotenia vám môže pomôcť nezávislá osoba, napríklad niekto z inej organizácie, ktorá realizuje podobné projekty, zainteresovaná strana alebo podnikateľský subjekt.
• Externí odborníci vám môžu pomôcť s koncepciou hodnotenia, návrhom prieskumov a analýzou údajov, ako aj s metodickým dohľadom pri príprave nástrojov hodnotenia (scenáre interview a dotazníky).
• Niektoré údaje je vhodnejšie zozbierať nezávisle prostredníctvom tretej strany (napr. zber a analýza niektorých údajov externým odborníkom, štatistiky zozbierané verejnými orgánmi atď.).

V závislosti od povahy projektu sa zainteresované strany môžu podieľať na navrhovaní konceptu hodnotenia, poskytnúť podporu pri zbere údajov, pomáhať pri interpretácii výsledkov a formulovaní odporúčaní, pričom v rámci projektu môžu využiť svoje skúsenosti a odborné znalosti.

 

8.8 Určenie zdrojov údajov, ktoré chcete zozbierať

Ak chcete získať dobrý prehľad o účastníkoch projektu, môžete zvážiť využitie interných údajov, ako napríklad:

• záznamy o dochádzke
• mieru udržania účastníkov projektu
• údaje týkajúce sa monitorovania po ukončení projektu (napr. údaje o ďalšom rozvoji podnikov, ktoré založili účastníci projektu, údaje o stave zamestnanosti príjemcov projektu, o účasti na mentoringovom programe atď.)
• rôzne informácie o podnikoch, ktoré boli založené počas projektu (napr. technológie, sociálne podniky, podnikanie, nové nápady)
• záznamy o správaní účastníkov (napr. prestávky, odhodlanie a nasadenie, udržanie ich počtu)
• názory rodičov účastníkov projektu, odborných asistentov alebo lektorov/trénerov pre jednotlivé oblasti projektu
• informácie o dosiahnutých úspechoch účastníkov (napr. výsledky pred testovaním a po testovaní).

Z pohľadu realizátora aktivít zameraných na podporu podnikavosti/podnikania mladých ľudí môžete tiež zvážiť:

• rozhovory s dobrovoľníkmi pôsobiacimi v organizácii
• záznamy o finančnej a materiálnej podpore
• úroveň mediálneho pokrytia alebo dosahu komunikačného a propagačného úsilia
• zistenie spokojnosti účastníka (napr. pomocou prieskumu a rozhovorov)
• počet účastníkov, ktorí boli priamo alebo nepriamo ovplyvnení aktivitami alebo projektmi
• údaje o predaji alebo iné dôkazy o marketingovom úspechu
• rozhovory s projektovými pracovníkmi.

V záujme zabezpečenia objektivity výsledkov hodnotenia je vhodné zvážiť aj údaje, ktoré môžu byť dostupné z externých zdrojov. Tieto môžu zahŕňať štatistiky, prieskumy alebo analýzy vypracované:

• úradmi práce, ktoré môžu viesť štatistiky o počte absolventov evidovaných ako nezamestnaných v sledovanom období;
• obcami, ktoré môžu monitorovať podnikateľskú aktivitu v príslušnom regióne;
• strednými, vysokými školami a inými vzdelávacími inštitúciami, ktoré môžu poskytnúť štatistiky zozbierané o svojich absolventoch/kluboch absolventov;
• na vládnej úrovni / ministerstvom práce, sociálnych vecí a podobne, ktoré majú systematický prístup k problematike zamestnanosti a podnikania skupiny NEET
• mimovládnymi organizáciami, ktoré sa venujú oblasti mládeže (napr. mimovládne organizácie spolupracujúce s univerzitami, ako sú AIESEC, IASTE, ELSA),
• sieťovými priestormi, ako sú komunitné centrá, centrá voľného času, co-workingové priestory atď.

 

Využite čo najviac existujúcich údajov. Údaje o projekte možno sledovať prostredníctvom dokumentov, ako sú:

• plánovacie dokumenty, najmä matica logického rámca, dokumenty k žiadosti o grant atď.
• komunikácia – e-maily, záznamy telefonických rozhovorov medzi partnermi
• pôvodné časové plány a rozpočty
• obchodné alebo strategické plány
• zápisnice zo stretnutí
• dokumentácia o konzultáciách s komunitou
• memorandá a
• finančné záznamy.

 

Ďalšie údaje môžete získať prostredníctvom rozhovorov s ľuďmi, ktorí sa na projekte podieľali od jeho začiatku. Môžete zistiť, čo si ľudia pamätajú o začiatku projektu:

• ich počiatočné očakávania a motiváciu zapojiť sa do projektu, zmeny v očakávaniach v priebehu projektu a mieru naplnenia ich očakávaní
• počiatočné úlohy a zodpovednosti
• očakávané a skutočné problémy a
• navrhované spôsoby ich riešenia.

 

Takto si môžete vytvoriť obraz o tom, ako sa projekt vyvíjal a či stále plní svoj pôvodný účel.

 

Existuje mnoho rôznych metód zberu údajov z rôznych zdrojov informácií, z ktorých každá má svoje výhody a nevýhody, ako napríklad primárny (teoretický) výskum, interview, prípadové štúdie, pozorovania a prieskumy. Viac príkladov ako realizovať zber dát z rôznych zdrojov nájdete v časti 9 „Zber údajov“.

 

8.9 Dizajny hodnotenia dopadu

Hodnotenie dopadu je typ hodnotenia zameraný na faktory, ktoré prispeli k pozorovanej zmene v cieľovej skupine hodnoteného projektu. Vyvodené závery môže podporiť využitie kombinácie nasledujúcich stratégií (Peersman, 2015):

• odhad toho, čo by sa stalo v prípade, ak by hodnotený projekt neexistoval, v porovnaní s pozorovanou situáciou po realizácii projektu,
• kontrola konzistentnosti dôkazov o existencii príčinných vzťahov podľa matice logického rámca,
• vylúčenie alternatívnych vysvetlení prostredníctvom logického procesu založeného na dôkazoch.

Poznáme tri dizajny ktoré umožňujú uplatniť tieto stratégie v praxi. Experimentálne a kvázi experimentálne dizajny sú založené na princípe porovnania hodnoty meraného indikátora dopadu projektových aktivít pred a po realizácii projektu v dvoch skupinách – v cieľovej skupine príjemcov, ktorí sa priamo zúčastnili projektu, a v druhej skupine, ktorú tvorí skupina ľudí, ktorí sa nezúčastnili projektu a sú čo najviac podobní príjemcom projektu.

• Pri experimentálnych modeloch dizajnu sú ľudia náhodne pridelení do skupiny príjemcov projektu (skúšobná skupina), alebo do skupiny, ktorá nie je zahrnutá do projektu (kontrolná skupina). Tento dizajn sa tiež nazýva RCT – randomizované kontrolované testy).

Hlavným predpokladom pre RCT je, že počet ľudí, ktoré majú záujem zúčastniť sa projektu, je väčší ako počet účastníkov, ktorých môžete zahrnúť. Skúšobná skupina a kontrolná skupina má podobné znaky, ako je vek, úroveň vzdelania, postavenie v zamestnaní atď. Náhodný výber sa môže uskutočniť rôznymi spôsobmi, napr. zaradenie počítačom alebo žrebovaním. Hlavnou zásadou je, že všetci jednotlivci majú rovnakú šancu byť zaradení do oboch skupín.

• Pri kvázi experimentálnych modeloch dizajnu sa „druhá“ (nie zapojená do projektu) skupina ľudí nazýva porovnávacia skupina. Táto skupina je vytvorená pomocou rôznych techník, ktoré zaisťujú optimálnu podobnosť alebo riadenú odlišnosť od intervenčnej skupiny. Mechanizmus výberu do oboch skupín nie je náhodný (porovnávané skupiny napr. zahŕňajú iba osoby, ktoré sa priblížili hranici prijatiu do projektu. Skupiny zahŕňajú osoby príjemcov projektu a uchádzačov, ktorí neboli do projektu zaradení).

Neexperimentálne modely dizajnu systematicky skúmajú, či sú dôkazy v zhode s tým, čo by malo nastať, ak by implementácia projektu priniesla zamýšľanú zmenu (napr. postupnosť a načasovanie projektových činností a vplyvov prebiehajú v súlade s logickým rámcom projektu), a či mimoprojektové faktory mohli prispieť k zamýšľaným zmenám.