NARZĘDZIOWNIK EWALUACYJNY

Twój sposób na lepsze projekty wspierające zatrudnienie młodzieży

 

Autorzy: Monika Bartosiewicz-Niziołek, Sławomir Nałęcz, Zofia Penza-Gabler, Ewa Pintera

 

Narzędziownik Ewaluacyjny – PDF

 

 

WPROWADZENIE

 

WPROWADZENIE

 

Celem tego narzędziownika jest przedstawienie praktycznych narzędzi wspomagających ewaluację projektów wspierających zwiększenie zatrudnienia ludzi młodych (w wieku 15–24 lat), w tym osób, które mają trudności w przejściu z edukacji szkolnej na rynek pracy (NEETS). 

Głównymi odbiorcami narzędziownika są organizacje pozarządowe i inne podmioty, które chcą analizować swoje projekty w wyżej wymienionym obszarze. Taka ewaluacja może mieć na celu: 

  • pomiar skuteczności projektu w osiąganiu celów i efektów projektu (produkty, rezultaty), 
  • ocenę przydatności projektu dla jego beneficjentów/uczestników oraz trwałości osiągniętych efektów, 
  • lepsze dostosowanie projektu do potrzeb jego beneficjentów i rynku pracy,
  • zbadanie wpływu projektu na szerszą grupę osób, które nie uczestniczyły w nim bezpośrednio (np. rodziny, przyjaciół beneficjentów projektu), 
  • ocenę efektywności projektu pod względem zasobów zaangażowanych w projekt.

Narzędziownik jest materiałem pomocniczym do kursu „Towards better youth employment actions – blended learning course on evaluation”, który znajduje się na ogólnodostępnej platformie szkoleniowej. W trakcie tego kursu możesz zdobyć wiedzę na temat ewaluacji dostosowaną do Twoich potrzeb (na poziomie podstawowym lub zaawansowanym). Natomiast narzędziownik ma charakter praktyczny – poza przedstawieniem podstawowych informacji o ewaluacji, zawiera instrukcje, narzędzia i przykłady, które zostały opracowane w celu rozwijania umiejętności ewaluacyjnych oraz wsparcia procesu wykorzystania wiedzy nabytej podczas kursu. Służą temu m.in. zestawy pytań, tabele i szablony ułatwiające zaprojektowanie i zaplanowanie ewaluacji, zbieranie niezbędnych informacji oraz formułowanie wniosków i rekomendacji, mających na celu udoskonalenie projektów wspierających zatrudnienie osób młodych, realizowanych przez Twoją organizację. 

Narzędziownik został opracowany przez Fundację Rozwoju Demokracji Lokalnej im. Jerzego Regulskiego (FRDL) we współpracy z Channel Crossing (Czechy), Forschungsinstitut für Innovative Arbeitsgestaltung und Prävention (Niemcy), PEDAL Consulting (Słowacja), w ramach projektu Youth Impact, finansowanego ze środków Mechanizmu Finansowego EOG oraz Norweskiego Mechanizmu Finansowego. Projekt ten ma na celu dostarczenie praktycznych narzędzi i usług wspierających potencjał podmiotów, które wdrażają rozwiązania na rzecz zatrudnienia i przedsiębiorczości młodzieży, w zakresie ewaluacji wpływu ich działań. Projekt jest realizowany w latach 2019–2022.

 

SŁOWNICZEK POJĘĆ PROJEKTOWYCH

 

Slowniczek

 

Cel ogólny – oczekiwany, stan bądź efekt działań prowadzonych w ramach projektu, przewidziany do osiągnięcia w określonym czasie.

 

Przykład: Zwiększenie do roku 2022 r. zatrudnienia wśród młodych matek (które w 2020 roku nie pracowały i korzystały z zasiłków pomocy społecznej) w gminie X.

 

Cel szczegółowy – zaplanowany stan, który zostanie osiągnięty w wyniku realizacji części działań. Powinien być spójny z celem ogólnym i przyczyniać się do jego osiągnięcia.

 

Przykład: Zwiększenie do końca roku 2021 kompetencji zawodowych młodych matek (które w momencie rozpoczęcia projektu nie pracowały i korzystały z zasiłków pomocy społecznej) w gminie X, w zakresie oczekiwanym przez pracodawców z tej gminy.

 

Dobór próby – wyodrębnienie z populacji części przypadków, które będą stanowić próbę (mniejsza część populacji). Dobór jest prowadzony w określony sposób (losowy lub nielosowy) w oparciu o operat losowania, czyli zestawienie (listę) wszystkich jednostek tworzących populację), zktórych próba jest losowana.

 

Działania projektowe – czynności skierowane do określonej grupy docelowej, które przyczyniają się do powstania założonych produktów i rezultatów,a następnie realizacji celów projektu.

 

Przykład: Przeszkolenie w zakresie barwienia tkanin 20 młodych matek (które w momencie rozpoczęcia projektu nie pracowały i korzystały z zasiłków pomocy społecznej) w gminie X.

 

Generalizacja – uogólnienie wyników uzyskanych w badaniu reprezentatywnej próby na całą populację (tj. także na jednostki, które nie wzięły udziału w badaniu). Na podstawie wyników z próby wnioskujemy – z określonym prawdopodobieństwem – że wyniki (cechy, opinie itp.) są podobne dla całej populacji.

 

Matryca logiczna projektu – tabela służąca do określenia metodologii pomiaru wybranych elementów projektu, takich jak poszczególne produkty, rezultaty czy oddziaływanie. Matryca określa wskaźniki, za pomocą których będzie mierzony dany element, metodę pomiaru, założenia (patrz: rozdział 2.1.)

 

Model logiczny – kompleksowe narzędzie do planowania projektu iwspomagającezarządzanie jego realizacją. Przedstawia logikę interwencji, łączącą poszczególne elementy projektu za pomocą relacji przyczynowo-skutkowych (patrz: rozdział 2.1.).

 

Monitoring – bieżące zbieranie, analizowanie i dokumentowanie informacji w trakcie trwania projektu, dotyczące postępów w jego wdrażaniu w odniesieniu do założonego harmonogramu działań i budżetu.

 

NEET (not in employment, education or training) – określenie stosowane wobec osób – głównie młodych, które jednocześnie nie uczą się, nie pracują, ani nie uczestniczą w szkoleniu przygotowującym do wykonywania zawodu, z różnych powodów (zniechęcenie, kryzys życiowy, niepełnosprawność, obowiązki rodzicielskie czy rodzinne).

 

Oddziaływanie – odroczone w czasie skutki realizacji działań, produktów i rezultatów projektu, które (wraz z innymi projektami/interwencjami i czynnikami) obejmują szerszą społeczność niż jego bezpośredni odbiorcy.

 

Przykład: poprawa warunków życia dzieci wychowywanych przez kobiety, które zyskały pracę dzięki nabytym w ramach projektu kompetencjom zawodowym.

 

Populacja badana – zbiorowość jednostek (np. określonych osób, organizacji, firm, szkół, różnych instytucji) stanowiąca przedmiot badania / obiekt zainteresowań badacza.

 

Produkt – krótkoterminowy, policzalny efekt działania projektowego np. przedmiot, wydarzenie czy wykonanie usługi. Mogą to być dobra lub usługi przekazane odbiorcom projektu, bądź przez nich wytworzone, które mają się przyczynić do osiągnięcia założonych rezultatów.

 

Przykłady: szkolenie, materiały szkoleniowe, zaświadczenia potwierdzające nabycie kwalifikacji zawodowych w zakresie barwienia tkanin przez beneficjentki projektu.

 

Projekt – zestaw działań zmierzających do wytworzenia przewidzianych produktów i rezultatów, które (po wykorzystaniu ich przez grupę docelową projektu) powinny przyczynić się do osiągnięcia założonego celu i oddziaływania.

 

Próba reprezentatywna – próba, która dobrze odzwierciedla (reprezentuje) badaną populację i pozwala trafnie oszacować jej cechy w drodze generalizacji.

 

Rezultat– bezpośrednie i natychmiastowe efekty/zmiany, które powstają u odbiorców w wyniku realizacji działań projektowych.

 

Przykład: Zwiększenie kompetencji beneficjentek projektu w zakresie barwienia tkanin.

 

Wskaźnik produktu – informuje o realizacji działań, w wyniku których powstały policzalne produkty.

 

Przykłady: liczba wydanych zaświadczeń potwierdzających uzyskanie określonych kompetencji zawodowych; liczba próbnych listów motywacyjnych i CV przygotowanych przez uczestników szkolenia; liczba opracowanych podręczników.

 

Wskaźnik rezultatu – informuje o stopniu osiągniętych zmian wśród beneficjentów, w wyniku ich udziału w działaniach projektowych i zastosowania produktów powstałych na danym etapie wdrażania projektu.

 

Przykład: Liczba beneficjentek, które zdobyły umiejętności zawodowe w zakresie barwienia tkanin.

 

Wskaźnik oddziaływania – wykazuje odłożone w czasie efekty projektu, które wykraczają poza jego bezpośrednich odbiorców. Efekty te zwykle obejmują otoczenie społeczne beneficjentów projektu i mogą wynikać z kumulacji różnych czynników (w tym działań pozaprojektowych).

 

Przykład: odsetek beneficjentek projektu, których gospodarstwo domowe nie korzysta z zasiłków pomocy społecznej (z powodu niespełniania kryterium dochodowego) w 18 miesięcy po zakończeniu projektu.

 

I. KORZYŚCI Z EWALUACJI

 

 

KORZYŚCI Z EWALUACJI

 

 

Istnieje wiele sposobów rozumienia pojęcia ewaluacji. Zgodnie z podejściem przyjętym w projekcie Youth Impact głównym celem ewaluacji jest ocena projektu służąca jego udoskonaleniu. Ocena ta oparta jest na dowodach zebranych przy użyciu metodologii nauk społecznych.

Nasze podejście odwołuje się do szeroko rozumianej ewaluacji wpływu (ang. impact evaluation). Jest to oparta na wiarygodnych danych refleksja nad efektami projektu. Pozwala zrozumieć czynniki wpływające na bieżące i odroczone zmiany, koncentruje się także na trwałości osiąganych rezultatów oraz oddziaływaniu projektu, które wykracza poza jego bezpośrednich odbiorców. Ewaluacja ta pozwala również na sformułowanie rekomendacji wspierających zarządzanie projektem, które przyczyniają się do skutecznej i efektywnej realizacji jego celów, jak również misji organizacji. 

Nasze podejście jest również podejściem partycypacyjnym, uwzględniającym potrzeby różnych interesariuszy i angażującym ich w planowanie i kolejne  etapy ewaluacji.

Tak rozumiana ewaluacja nie tylko pozwala określić wartość danego projektu oraz zrozumieć przyczyny sukcesów i porażek towarzyszących jego realizacji. Jest też przydatnym narzędziem zarządzania dla organizacji nastawionych na misję społeczną i innych instytucji „uczących się”. 

 

KORZYŚCI Z DOBRZE PRZEPROWADZONEJ EWALUACJI:

  • Pozwala przewidzieć różne trudności, zanim jeszcze projekt się rozpocznie oraz dostrzec problemy w trakcie jego realizacji , a także umożliwia zaplanowanie działań minimalizujących zidentyfikowane ryzyka.
  • Dostarcza rekomendacji służących udoskonaleniu projektu (realizowanego obecnie  albo już zakończonego), aby lepiej odpowiadał na potrzeby odbiorców, osiągał trwalsze i bardziej użyteczne rezultaty, miał szerszy wpływ, czy realizował zaplanowane cele przy mniejszym zużyciu zasobów.
  • Pozwala ocenić, w jakiej skali zamierzone efekty projektu były rzeczywiście wynikiem działań projektowych*. Ponadto ułatwia podjęcie decyzji, czy warto dany projekt kontynuować, upowszechnić lub wykorzystać w pracy z inną grupą docelową. 
  • Zwiększa motywację pracowników – angażowanie zespołu projektowego w ewaluację (szczególnie na etapie jej projektowania oraz interpretacji wyników) zwiększa poczucie sprawczości, podkreśla związek pomiędzy  wykonywaną pracą a celami projektu, misją organizacji i własnymi wartościami.
  • Zwiększa kompetencje pracowników – od kwestii związanych z zarządzaniem projektem, po wiedzę na temat mechanizmów zmian zachodzących w efekcie jego realizacji.
  • Wpływa na podniesienie poziomu zaufania i współpracy z partnerami (także przy  następnych projektach), dzięki uwzględnieniu perspektywy i potrzeb informacyjnych zewnętrznych interesariuszy.
  • Umożliwia wykazanie osiągniętych efektów i poprawia współpracę z grantodawcami i sponsorami, zachęcając ich do finansowania kolejnych przedsięwzięć. 
Przykład: W uzasadnieniu wniosku o dofinansowanie można przytoczyć wyniki ewaluacji, która dotyczyła wcześniejszego/ podobnego przedsięwzięcia. Przytoczenie wiarygodnych danych może pomóc w przekonaniu grantodawców, że Twój projekt jest wart dofinansowania.
  • Pomaga w promowaniu organizacji.
Przykład: Wyniki ewaluacji, w tym studia przypadków (case studies), można wykorzystać w mediach społecznościowych do promocji działań organizacji. Mogą to być np. historie młodych ludzi, którzy dzięki wsparciu Twojej organizacji nabyli nowe kompetencje, a następnie znaleźli satysfakcjonującą pracę lub z sukcesem prowadzą własną firmę. 

 

Podsumowując, ewaluacja niesie ze sobą wiele korzyści. Wprowadzenie jej do codziennej pracy może być bardzo użytecznym wsparciem dla zarządzania organizacją – wzmacniania wiarygodności i poprawy wizerunku, kształcenia i motywowania personelu, pozyskiwania środków, a przede wszystkim skutecznego wypełniania wyznaczonej misji.


*Taką możliwość zapewnia tzw. ewaluacja wpływu (ang. impact evaluation), o której mowa w rozdziale 2.4 .

II. JAK PRZYGOTOWAĆ SIĘ DO EWALUACJI?

 

 

JAK PRZYGOTOWAĆ SIĘ DO EWALUACJI

 

 

“You can’t do “good” evaluation if you have a poorly planned program”. Beverly Anderson Parsons (1999)

 

W narzędziowniku przedstawiamy praktyczne sposoby prowadzenia ewaluacji wpływu Przedmiotem analizy są efekty działań projektowych (produkty, rezultaty, oddziaływanie) i ich zgodność z teorią zmiany. Teoria zmiany określa, dlaczego i w jaki sposób ma nastąpić pożądana zmiana.

 

2.1. Co musisz wiedzieć o projekcie, aby zaplanować jego ewaluację?

 

W narzędziowniku przedstawiamy praktyczne sposoby prowadzenia ewaluacji wpływu Przedmiotem analizy są efekty działań projektowych (produkty, rezultaty, oddziaływanie) i ich zgodność z teorią zmiany. Teoria zmiany określa, dlaczego i w jaki sposób ma nastąpić pożądana zmiana.

Graficznym przedstawieniem teorii zmiany może być tzw. model logiczny, w którym zestawia się to, co organizacja realizująca przedsięwzięcie musi zgromadzić (nakłady/zasoby), prace, które musi wykonać (działania projektowe), z efektami, jakie zamierza osiągnąć. Model logiczny dla danego projektu tworzy się według następującego schematu.

 

 

Tabela 1. Przykład łańcucha zmian w projekcie aktywizacji zawodowej młodzieży z małego miasta

ZASOBY DZIAŁANIA PRODUKTY   REZULTATY ODDZIAŁYWANIE
Jakie zasoby zostały zmobilizowane do projektu? Jakie działania są wykonywane w ramach projektu? Jakie produkty/usługi zostały dostarczone beneficjentom? Bezpośrednie efekty w grupie docelowej Długoterminowe efekty na lokalnym rynku pracy
  • Budżet
  • Personel
  • Trenerzy
  • Wyposażenie
  • Program szkolenia
  • Szkolenia
  • Warsztaty
  • Usługi agencji zatrudnienia
  • Młode kobiety z małego miasta ukończyły szkolenia
  • Beneficjentki wzięły udział w warsztatach
  • Beneficjentki skorzystały z usług agencji zatrudnienia
  • Rozwinięte umiejętności techniczne
  • Zmiana postaw wobec zatrudnienia z pasywnych na aktywne wśród uczestników
  • Skrócony czas szukania pracy
  • Zmniejszone bezrobocie wśród młodych dorosłych w danym miasteczku

 

Źródło: Opracowanie własne na podstawie: Guide on Measuring Decent Jobs for Youth – Monitoring, evaluation and learning in labour market programmes. Note 3: Establishing a monitoring system, Międzynarodowa Organizacja Pracy. Genewa, 2018.

Teoria zmiany i odpowiadający jej model logiczny powinny być częścią dokumentacji projektowej. W praktyce zdarza się, że model logiczny ani teoria zmiany nie zostały opracowane lub są bardzo wybiórcze. Brak opisu logiki projektu (np. założeń wskazujących jak definiuje się sukces) uniemożliwia przeprowadzenie ewaluacji i tym samym zweryfikowanie, czy założona zmiana miała miejsce oraz czy nastąpiła ona w efekcie realizacji działań projektowych.

 

Co zrobić, jeśli w dokumentacji projektowej brakuje modelu logicznego?

W takiej sytuacji konieczne jest odtworzenie logiki, według której realizowany jest projekt, np. w oparciu o wywiady z kierownictwem i personelem projektu, a także istniejących dokumentów, takich jak np. strategia/ plan realizacji projektu, uzasadnienie jego wdrożenia, wniosek o dofinansowanie, umowa partnerska, itp. W rekonstrukcji logiki projektu może być pomocna poniższa tabela.

 

Narzędzie 1. (Re)konstrukcja logiki ewaluowanego projektu

 

Narzędzie 2. Tabela wskaźników efektów projektu (produktów, rezultatów, oddziaływania)

 

Narzędzie 2. Tabela wskaźników efektów projektu (produktów, rezultatów, oddziaływania) wraz ze źródłami informacji umożliwiającymi weryfikację ich poziomu.

Jakie wskaźniki będą użyte do oceny osiągnięcia planowanych efektów? Kto/co może być źródłem informacji, w oparciu o które zweryfikujemy poziom wskaźników?
PRODUKTY

dobra materialne i usługi, które otrzymuje lub wytwarza odbiorca w trakcie realizacji projektu

W odniesieniu do celów szczegółowych, operacyjnych

Liczba sporządzonych autoanaliz mocnych stron odbiorców projektu Odbiorcy projektu, psycholog, doradca zawodowy
Liczba CV wypracowanych w ramach projektu

Liczba przykładowych listów motywacyjnych

Odbiorcy projektu i doradca zawodowy
Liczba przeprowadzonych diagnoz psychologicznych

Liczba diagnoz preferencji i predyspozycji zawodowych

Liczba przygotowanych Indywidualnych Planów Działania

Psycholog, doradca zawodowy, opiekun staży
REZULTATY (TWARDE I MIĘKKIE)

Bezpośrednie i natychmiastowe efekty projektu (w postaci materialnej i niematerialnej)

W odniesieniu do celów szczegółowych, operacyjnych

 

Liczba sprawozdań sporządzonych przez osoby prowadzące poszczególne działania projektowe (psychologa, doradcę zawodowego, trenerów/ szkoleniowców, opiekunów staży) Psycholog, doradca zawodowy, trenerzy/ szkoleniowcy, opiekunowie staży
Liczba osób, które wzięły udział w szkoleniach

Liczba osób uczestniczących w stażach

Liczba zaświadczeń o ukończeniu danego typu szkolenia

Liczba zaświadczeń o ukończeniu staży

Listy obecności na szkoleniach i stażach  

Dokumentacja fotograficzna

Listy potwierdzające odbiór zaświadczeń ze szkoleń i staży

Umowy stażowe

Liczba godzin przeprowadzonych zajęć (szkoleń, doradztwa psychologicznego i zawodowego, staży)

Liczba osób, które nabyły nowe kompetencje, tj, wiedzę i umiejętności (porównanie przed i po zakończeniu szkoleń)

Liczba osób, u których wzrosła motywacja do aktywizacji zawodowej (podjęcia zatrudnienia lub założenia własnej działalności gospodarczej)

Dokumentacja projektowa (dzienniki/ konspekty zajęć podpisane przez osoby prowadzące),

Dzienniczki stażystów

Testy wiedzy i sprawdziany umiejętności przeprowadzone przed rozpoczęciem i po zakończeniu szkoleń

Opinia doradcy zawodowego, wyniki badania motywacji do podjęcia zatrudnienia

ODDZIAŁYWANIE

Konsekwencje projektu wykraczające poza bezpośrednie i natychmiastowe efekty, zmiany, które nastąpiły w otoczeniu odbiorców, efekty odroczone

W odniesieniu do celów ogólnych, strategicznych

Liczba młodych osób bezrobotnych w regionie objętym projektem (przed i po jego zakończeniu)

Liczba osób, które uzyskały zatrudnienie w efekcie udziału w projekcie

Liczba osób, które założyły działalność gospodarczą/ własne firmy w efekcie udziału w projekcie (w tym samozatrudnionych)

 

Powiatowy Urząd Pracy,

Bank Danych Lokalnych, informacje udzielone przez odbiorców projektu i ich otoczenie społeczne (rodziny, bliskich)  

Źródło: Opracowanie własne

Więcej przykładów formułowania wskaźników w projektach dotyczących zatrudnienia młodych można znaleźć w publikacji „Guide on Measuring Decent Jobs for Youth. Monitoring, evaluation and learning in labour market programmes, NOTE 3. ESTABLISHING A MONITORING SYSTEM” (s. 6–9).

 

2.2. Kiedy przystąpić do opracowania koncepcji i planu ewaluacji?

Koncepcję ewaluacji warto opracować przed rozpoczęciem projektu lub nawet w trakcie jego planowania, gdyż dzięki temu można:

  • zainicjować pogłębioną refleksję nad logiką i spójnością działań projektowych, ich przełożeniem na cele projektu, a także czynnikami ułatwiającymi i utrudniającymi ich osiągnięcie;
  • zaplanować z wyprzedzeniem pozyskanie informacji (danych) umożliwiających odpowiedź na pytania ewaluacyjne (np. bez początkowego pomiaru wiedzy i umiejętności odbiorców szkolenia, wykonanego przed rozpoczęciem tego działania, niemożliwe będzie rzetelne wykazanie uzyskanej zmiany, tj. przyrostu kompetencji, który powinien nastąpić w wyniku tego szkolenia);
  • wygospodarować odpowiednie środki na przeprowadzenie ewaluacji oraz wpisać je do harmonogramu działań projektowych, które posłużą do zebrania odpowiednich danych, ich przeanalizowania oraz raportowania;
  • zaplanować gromadzenie wielu informacji w najbardziej efektywny sposób (najtańszy, najszybszy, najprostszy) podczas działań projektowych lub po ich zakończeniu.

Warto pamiętać, że ewaluacja jest wieloetapowym procesem, który trzeba dobrze zaprojektować i zaplanować, a następnie krok po kroku zrealizować.

Etapy procesu ewaluacji:

  1. Diagnoza potrzeb ewaluacyjnych
  2. Konceptualizacja i planowanie ewaluacji
  3. Gromadzenie informacji – realizacja badania
  4. Analiza danych oraz wnioskowanie
  5. Raportowanie wyników
  6. Wykorzystanie wyników ewaluacji

 

2.3. Jak diagnozować potrzeby ewaluacyjne interesariuszy projektu

Ani konceptualizacji, ani planowania ewaluacji nie należy rozpoczynać bez ustalenia, komu i do czego są potrzebne informacje, wnioski i rekomendacje z ewaluacji. Warto rozpocząć diagnozę potrzeb ewaluacyjnych od interesariuszy projektu, który ma podlegać ewaluacji.

Interesariuszami projektu są osoby/podmioty (instytucje, organizacje) w różny sposób zaangażowane w realizację danego projektu, np. jego beneficjenci, zespół projektowy, kadra realizująca działania projektowe (np. trenerzy, psychologowie, doradcy zawodowi), partnerzy projektu (współpracujące organizacje lub instytucje), sponsorzy/ grantodawcy itd.) 

Udział interesariuszy projektu w jego ewaluacji jest bardzo ważny, ponieważ są to potencjalni sojusznicy ewaluatora. Mogą oni wspierać cały proces ewaluacyjny, w tym wdrażanie rekomendacji doskonalących projekt. Dzięki zaangażowaniu w działania ewaluacyjne różnych  interesariuszy można nie tylko usprawnić komunikację i ulepszyć współpracę z partnerami, beneficjentami oraz kadrą projektową, lecz także nakłonić grantodawców do inwestowania w obecnie realizowany projekt czy jego kolejną edycję. Zainteresowanie innych osób/podmiotów ewaluacją danego projektu znacznie ułatwi prowadzenie jej w sposób partycypacyjny, polegający na angażowaniu interesariuszy w cały proces ewaluacyjny, zaczynając od diagnozy potrzeb informacyjnych.   

Najlepszym sposobem na zdiagnozowanie potrzeb ewaluacyjnych, zapewniającym jednocześnie wysoki poziom partycypacji interesariuszy, jest przeprowadzenie  warsztatu / wywiadu grupowego z przedstawicielami wszystkich podmiotów (organizacji, instytucji) i grup osób zaangażowanych w dany projekt. 

W przypadku, gdy odbiorcami projektu jest młodzież, NEETs lub inne osoby, które mogą odczuwać obawy przed publicznym wypowiadaniem się lub wyrażaniem swoich opinii, należy najpierw przeprowadzić oddzielne spotkanie z udziałem tych beneficjentów, a następnie zaprosić ich przedstawicieli do udziału w warsztacie, w którym będą uczestniczyć także inni interesariusze. Tego typu warsztat z młodzieżą lub innymi odbiorcami projektu o relatywnie słabej pozycji społecznej należy opierać na wartościach wzmacniających podmiotowość odbiorców projektu (patrz przykład z Participatory evaluation with young people, p. 7–8). 

OPIS PRZYKŁADOWEGO WARSZTATU Z INTERESARIUSZAMI

Spotkanie z interesariuszami powinno się rozpocząć od omówienia jego celu oraz przedstawienia się wszystkich uczestników/czek. Następnie warto zaprezentować korzyści wynikające z ewaluacji projektu, a także porozmawiać o tym, na ile i w jaki sposób może ona być przydatna dla poszczególnych interesariuszy.

Po takim wstępie warto rozdać osobom uczestniczącym w warsztacie małe karteczki samoprzylepne i poprosić je o udzielenie odpowiedzi na następujące pytania: 

  1. Czego chcę się dowiedzieć dzięki ewaluacji?
  2. Dlaczego jest to ważne? Do czego chcę wykorzystać tę wiedzę?
    [w ten sposób określone zostaną CELE EWALUACJI].

Zebrane karteczki należy pogrupować (najlepiej na tablicy np. typu flipchart) w taki sposób, by podobne sprawy i powiązane z nimi elementy projektu znajdowały się obok siebie. Zgłoszone zagadnienia można podzielić według następujących obszarów:

  • działania np. rekrutacja odbiorców projektu, diagnoza ich potrzeb, poradnictwo psychologiczne, przeprowadzenie szkoleń, doradztwo zawodowe, organizacja staży, działania promocyjno-informacyjne,
  • produkty np. opracowane Indywidualne Plany Działania, sporządzone w  ramach ćwiczeń cv i listy motywacyjne, wydane zaświadczenia o odbytych kursach i stażach, listy obecności, programy szkoleń, sprawozdania trenerów prowadzących szkolenia, materiały szkoleniowe, materiały promocyjne,
  • rezultaty np. wzrost kompetencji miękkich (umiejętności społecznych) i twardych (umiejętności zawodowych), zmiana postaw uczestników projektu, wzrost motywacji do poszukiwania pracy, znalezienie odpowiedniej pracy, utrzymanie zatrudnienia, aktywizacja społeczna,
  • inne kwestie np. komunikacja z odbiorcami projektu, sposób zarządzania projektem.

Kolejnym krokiem jest omówienie z interesariuszami wyłonionych kwestii/elementów projektu, zastanowienie się wspólnie, które z nich są najważniejsze. Finalnie nie powinno ich być więcej niż kilka [w ten sposób wstępnie określony zostanie ZAKRES EWALUACJI].

Następnie każde z wyłonionych do ewaluacji zagadnień priorytetowych warto omówić pod następującymi względami (a na flipcharcie kolejni uczestnicy lub moderator spisują wnioski):

  1. Pod jakim kątem/względem dana kwestia powinna być rozpatrywana? [tu wybierasz KRYTERIA EWALUACYJNE] na przykład: 
    • adekwatność do potrzeb odbiorców / społeczności lokalnej / rynku pracy (pracodawców),
    • skuteczność – osiąganie założonych efektów (produktów, rezultatów i celów),
    • użyteczność wypracowanych rezultatów dla różnych grup docelowych projektu (np. NEETs, pracodawców),
    • efektywność – stosunek poniesionych nakładów (zasobów) do osiągniętych efektów projektu,
    • trwałość wypracowanych rezultatów po zakończeniu projektu,
    • oddziaływanie – jak działania projektowe wpłynęły na beneficjentów i ich otoczenie społeczne/ środowisko.
  1. Na jakie pytania uwzględniające ww. kryteria powinna odpowiedzieć ewaluacja? Odnośnie każdego z priorytetowych zagadnień ewaluacyjnych należy sformułować co najmniej jedno takie pytanie.
    [W ten sposób wstępnie określisz PYTANIA EWALUACYJNE)
  2. Jakie informacje / dane są potrzebne do udzielenia odpowiedzi na każde z tych pytań? [W ten sposób wstępnie zidentyfikujesz ZAKRES POTRZEBNYCH INFORMACJI]
  3. Skąd i w jaki sposób można pozyskać takie informacje/ dane? [W ten sposób wstępnie określisz ŹRÓDŁA I METODY BADAWCZE]
  4. W jaki sposób interesariusze mogą wspomóc proces ewaluacji? (np. poprzez pomoc w pozyskiwaniu informacji/ danych, bezpośredni udział w badaniu, interpretowanie i rozpowszechnianie wyników ewaluacji) [w ten sposób zachęcasz ich do wsparcia ewaluacji]

Na zakończenie warto jeszcze dowiedzieć się, w jakiej formie interesariusze chcieliby otrzymać wyniki ewaluacji.

  • Czy interesariusze chcieliby otrzymać wyniki w postaci raportu (tj. rozbudowanego dokumentu tekstowego), prezentacji multimedialnej, infografiki, na ile szczegółowo i obszernie wyniki powinny być przedstawione poszczególnym grupom interesariuszy)?

Źródło: Opracowanie własne

Informacje zebrane podczas warsztatu z udziałem interesariuszy powinny posłużyć przygotowaniu koncepcji i planu ewaluacji (zob. rozdz. 2.3). W związku z tym warto podsumować kluczowe wyniki diagnozy potrzeb informacyjnych interesariuszy w dwóch poniżej przedstawionych tabelach.

 

Narzędzie 3. Tabela podsumowująca diagnozę ewaluacyjnych potrzeb interesariuszy projektu

 

Informacje o oczekiwaniach poszczególnych interesariuszy w zakresie formy przedstawienia i sposobów wykorzystania wyników ewaluacji będą przydatne na etapie planowania ich rozpowszechnienia (patrz Rozdział 6.3.).

 

2.4. Jak zaprojektować i zaplanować ewaluację?

Informacje zebrane w czasie warsztatu z udziałem interesariuszy posłużą do przygotowania koncepcji i planu ewaluacji. Koncepcję ewaluacji, czyli pomysł na to, jak ją przeprowadzić, można przygotować w trzech krokach. 

 

 

Pierwszy i drugi krok obejmują następujące elementy:   

  • przedmiot ewaluacji – co chcemy ewaluować (np. dany projekt, działania statutowe organizacji),
  • zakres ewaluacji – jak duża część projektu zostanie objęta ewaluacją, np. cały projekt czy tylko wybrane elementy (dane działania, efekty), 
  • cel/cele ewaluacji – po co ją prowadzimy, do czego wykorzystamy wyniki ewaluacji,
  • rodzaj ewaluacji – na jakim etapie realizacji projektu będziemy ją prowadzić: przed rozpoczęciem działań projektowych (ewaluacja ex-ante), w trakcie ich trwania (ewaluacja bieżąca lub okresowa), po zakończeniu projektu (ewaluacja ex-post),
  • kryteria ewaluacyjne – cechy wskazujące, pod jakim względem projekt jest oceniany (np. trafność, skuteczność, efektywność, użyteczność, oddziaływanie, trwałość),
  • pytania ewaluacyjne – ogólnie sformułowane pytania dotyczące zagadnień istotnych z punktu widzenia oceny wartości i jakości ewaluowanego projektu,
  • realizator ewaluacji – kto będzie ją przeprowadzał, np. zespół realizujący projekt (autoewaluacja), specjalista ds. ewaluacji zatrudniony przez organizację wdrażającą projekt (ewaluacja wewnętrzna) czy zakontraktowany przez nią podmiot zewnętrzny (ewaluacja zewnętrzna)*, 

Informacje te możemy przedstawić w formie tabeli koncepcji ewaluacji projektu. Przykład takiej tabeli i jej zastosowanie do konkretnego projektu przedstawiono poniżej. 


*Zalety i wady różnych rodzajów ewaluacji wyłonionych ze względu na umiejscowienie realizującego ją podmiotu zostały omówione w zdalnym kursie (Moduł I).


 

Narzędzie 4. Koncepcja ewaluacji projektu – część 1.

1. Przedmiot ewaluacji: jaki projekt chcesz ewaluować? Projekt aktywizacji młodych dorosłych dofinansowany ze środków zewnętrznych
2. Zakres ewaluacji: jaką część projektu chcesz ewaluować (całość, wybrane działania – które z nich)? Ewaluacją zostaną objęte wszystkie działania/ zadania projektowe, tj. rekrutacja odbiorców, szkolenia mające na celu rozwój kompetencji twardych i miękkich (psychospołecznych), doradztwo psychologiczne i zawodowe oraz staże.    
3. Jaki etap realizacji projektu chcesz poddać ewaluacji?  Zakończenie projektu (ewaluacja ex-post)
4. Kto będzie realizował ewaluację? Osoby zajmujące się realizacją ewaluowanego projektu (autoewaluacja)
5. Cel ewaluacji i planowane wykorzystanie jej wyników.

Cele można odnieść do głównych funkcji ewaluacji: edukacyjnej, decyzyjnej, rozwojowej, sprawozdawczej, promocyjnej, proceduralnej.

Cele ewaluacji powinny być powiązane z kryteriami i pytaniami ewaluacyjnymi.

Po co prowadzisz ewaluację? Co chcesz osiągnąć za jej pomocą? Do czego wykorzystasz wiedzę, którą pozyskasz z ewaluacji?

Głównym celem ewaluacji jest ulepszenie kolejnej edycji projektu i zwiększenie jego oddziaływania. Chcemy się dowiedzieć, czy zaproponowany model aktywizacji zawodowej osób młodych umożliwił realizację założonych efektów, jakie czynniki wpływały na ten proces, a także na ile osiągnięte rezultaty były adekwatne, przydatne i trwałe. Wyniki ewaluacji wykorzystamy także do zwiększenia efektywności projektu w celu osiągania założonych efektów przy pomocy mniejszych zasobów.

6. Kryteria* i pytania ewaluacyjne**: pod jakim kątem chcemy oszacować przedmiot ewaluacji (*) oraz czego chcemy się o nim dowiedzieć (**)?

Kryteria ewaluacyjne* – aspekty projektu, które poddajemy ewaluacji (np.: adekwatność, skuteczność, efektywność, użyteczność, oddziaływanie, trwałość).

Pytania ewaluacyjne** są to ogólnie sformułowane pytania dotyczące kwestii, które są dla nas ważne z punktu widzenia oceny wartości / jakości projektu.

Pytania powinny być powiązane z wybranymi kryteriami ewaluacyjnymi, ale można sformułować pytanie nieodnoszące się do żadnego z ww. kryteriów.

Pytania mogą odnosić się do:

·  procesów i działań służących realizacji  przedsięwzięcia,

·  osiąganych efektów, a także przyczyn badanych zjawisk, sposobu funkcjonowania przedsięwzięcia (np. systemu zarządzania).

 

1. Kryterium: adekwatność

Pytania: W jakim stopniu działania projektowe (takie jak rekrutacja do projektu, szkolenia, doradztwo, staże) były dostosowane do potrzeb uczestników/czek, a w jakim do potrzeb pracodawców? Jakie zmiany w projekcie pozwoliłyby w większym stopniu dostosować go do potrzeb obu tych grup docelowych?

2. Kryterium: skuteczność

Pytania: W jakim stopniu zostały osiągnięte założone cele, produkty i rezultaty projektu? Czy jakichś założeń nie udało się zrealizować i dlaczego tak się stało?

3. Kryterium: efektywność

Pytania: Czy uzyskane efekty odpowiadają poniesionym nakładom? Czy można było osiągnąć takie same efekty przy wykorzystaniu mniejszych zasobów (finansowych, czasowych, ludzkich, technicznych, organizacyjnych)?

4. Kryterium: użyteczność

Pytania: W jakim stopniu wypracowane rezultaty projektu są przydatne dla jego odbiorców, tj. osób młodych oraz pracodawców? Czy i jak można zwiększyć tę przydatność?

5. Kryterium: trwałość

Pytania: Czy wypracowane efekty utrzymują się w czasie po zakończeniu finansowania projektu? Jakie czynniki sprzyjają trwałości wypracowanych rezultatów?

6. Kryterium: oddziaływanie

Pytanie: W jakim stopniu realizacja projektu wpłynęła na poziom aktywności zawodowej i społecznej osób młodych na terenie objętym działaniami projektowymi? Czy efekty projektu wykraczają poza jego bezpośrednich odbiorców, a jeśli tak to na czym to zjawisko polega i jakie mechanizmy go powodują?

7. Inne: Jakie elementy ułatwiały a jakie utrudniały wdrażanie projektu z punktu widzenia jego realizatorów (zespołu projektowego i kadry prowadzącej dane działania)? Jakie elementy ułatwiały/ utrudniały beneficjentom udział w projekcie?

Źródło: Opracowanie własne

Trzeci etap tworzenia koncepcji ewaluacji wymaga znajomości różnych metod i narzędzi badawczych, które są przedstawione rozdziale III. Z tego też względu część planowania ewaluacji dotyczącą metodologii zbierania danych do ewaluacji zostanie przedstawiona w podrozdziale 3.3. (przykład tego etapu projektowania ewaluacji jest przedstawiony w narzędziu 6) 

Informacje dotyczące dostępności potrzebnych danych, jak również możliwości uzyskania wsparcia ze strony poszczególnych interesariuszy zostaną wykorzystane podczas planowania procesu ewaluacji oraz szacowania zasobów niezbędnych do jej przeprowadzenia. Plan ewaluacji powinien obejmować takie elementy jak: jej harmonogram (w podziale na poszczególne etapy), zasoby niezbędne do przeprowadzenia wszystkich etapów ewaluacji (ludzkie, czasowe, finansowe, informacyjne), a także planowaną formę/y raportu ewaluacyjnego. 

Informacje te możemy przedstawić w formie tabeli planowania ewaluacji. Poniżej przedstawiono przykład takiej tabeli i jej zastosowanie do konkretnego projektu. 

 

Narzędzie 5. Tabela planowania ewaluacji

1. Harmonogram realizacji ewaluacji

Ile czasu zajmie realizacja poszczególnych czynności/ zadań?

1. Opracowanie koncepcji i przygotowanie badania ewaluacyjnego (przygotowanie narzędzi badawczych, organizacja badania): 4-6 tygodni

2. Gromadzenie informacji/ danych: ok. 12 tygodni

3. Analiza zebranych danych (ilościowych, jakościowych): 3-4 tygodnie

4. Sporządzenie raportu ewaluacyjnego: 4 tygodnie

2. Dostępne zasoby, które można wykorzystać do przeprowadzenia ewaluacji. 

 

a) Ludzkie: (liczba i kompetencje osób potrzebnych do przeprowadzenia ewaluacji)

Ewaluacja będzie prowadzona przez 3 osoby z zespołu projektowego, które mogą być wspomagane przez zewnętrznego specjalistę (ewaluatora) na poszczególnych etapach tego procesu, np. oceny spójności koncepcji ewaluacji i narzędzi badawczych, w tym pod kątem ich poprawności metodologicznej, konsultowania procesu analizy danych oraz treści raportu. Osoby prowadzące ewaluację mają doświadczenie w realizacji badań ilościowych (sondaży) oraz jakościowych (wywiady indywidualne i grupowe, analiza dokumentacji).

b) Czasowe: (ile czasu łącznie zajmie realizacja ewaluacji)

ok. 20 tygodni (osoby prowadzące ewaluację jednocześnie będą realizować inne obowiązki zawodowe. Czas realizacji badania został wydłużony ze względu na okres wakacyjny, w którym może się wiązać z trudnościami w dostępie do osób badanych.

c) Finansowe: (jakie środki planujemy przeznaczyć na ewaluację, np. procent od budżetu projektu/ przedsięwzięcia)

ok. 1–10 % całego budżetu projektu.

d) Informacyjne: (jakie dane potrzebne do udzielenia odpowiedzi na pytania ewaluacyjne są obecnie dostępne, jakie raporty, dokumenty, statystyki możemy wykorzystać)

Raport z analizy potrzeb grup docelowych projektu, sprawozdania osób prowadzących szkolenia, doradztwo i staże, dane z urzędu pracy dotyczące poziomu bezrobocia wśród osób młodych w regionie objętym projektem, informacje nt. zawodów deficytowych oraz potrzebach kadrowych pracodawców w tym regionie, dane z monitoringu projektu, informacje (w tym w formie raportów ewaluacyjnych) dot. podobnych projektów (szczególnie realizowanych w zbliżonych warunkach), produkty wypracowane w ramach projektu (autoanaliza mocnych stron beneficjentów, indywidualne plany działania, cv, przykładowe listy motywacyjne), dokumentacja projektowa dotycząca wypracowanych rezultatów (listy obecności, wydane zaświadczenia ukończenia szkoleń i staży, wstępne/ początkowe pomiary poziomu kompetencji miękkich i twardych uczestników/czek projektu

3. Forma prezentacji wyników ewaluacji (np. raport, prezentacja multimedialna, infografiki)  Prezentacja multimedialna oraz infografika do zamieszczenia na stronie internetowej projektu

Źródło: Opracowanie własne

 

Jak widać w powyższej tabeli, informacje są jednym z zasobów do przeprowadzenia ewaluacji. Istnieje wiele źródeł danych, które mogą być przydatne w tym celu. W kontekście projektów dotyczących zatrudnienia młodzieży jednym z najważniejszych obszarów postępów przewidzianych w projektach są kompetencje ogólne i zawodowe. Źródłem informacji o początkowym i końcowym poziomie tych umiejętności wśród beneficjentów projektów powinni być trenerzy kompetencji. Dlatego warto współpracować z nimi w zakresie gromadzenia i wykorzystywania danych o poziomie kompetencji przed i po szkoleniu. Pomiar powinien uwzględniać wielostronne spojrzenie na umiejętności osób szkolonych (perspektywa trenera, samoocena uczestnika szkolenia i test psychometryczny), być adekwatny i spójny z treścią szkolenia. Przykładowe zestaw takich narzędzi znajduje się w załączniku **. Pozwalają one na pomiar ośmiu kompetencji kluczowych „koniecznych do osobistej samorealizacji, bycia aktywnym obywatelem, spójności społecznej i uzyskania szans na zatrudnienie”, o których mowa w Zaleceniu 2006/962/WE Parlamentu Europejskiego i Rady w sprawie kompetencji kluczowych w procesie uczenia się przez całe życie*.


Zalecenie Parlamentu Europejskiego i Rady z dnia 18 grudnia 2006 r. w sprawie kompetencji kluczowych w procesie uczenia się przez całe życie (2006/962/WE) określa osiem następujących kompetencji kluczowych: 1) porozumiewanie się w języku ojczystym; 2) porozumiewanie się w językach obcych; 3) kompetencje matematyczne i podstawowe kompetencje naukowo-techniczne; 4) kompetencje informatyczne; 5) umiejętność uczenia się; 6) kompetencje społeczne i obywatelskie; 7) inicjatywność i przedsiębiorczość; oraz 8) świadomość i ekspresja kulturalna


 

2.5. Jak zaplanować ewaluację wpływu? 

Kluczowym wyróżnikiem ewaluacji wpływu jest fakt, że prowadzona w ten sposób ocena efektów projektu uwzględnia nie tylko wpływ działań projektowych, lecz także wpływ czynników zewnętrznych (pozaprojektowych). Aby ocenić realny wpływ (netto) projektu, konieczne jest zaplanowanie i przeprowadzenie ewaluacji w sposób umożliwiający stwierdzenie, czy realizacja projektu spowodowała zamierzoną zmianę i w jakim stopniu wpłynęły na nią czynniki pozaprojektowe.

Przeprowadzenie ewaluacji wpływu pozwala zebrać różnego rodzaju informacje, które są bardzo użyteczne dla rozwoju projektu:

1) dane o faktycznym wpływie projektu na osiągnięcie oczekiwanej zmiany to kluczowa informacja dla decyzji o powtarzaniu, powielaniu, doskonaleniu lub zaprzestaniu prowadzenia danego projektu ponieważ:

a) czynniki pozaprojektowe mogły przyczynić się do zajścia zmiany (oczekiwanej w projekcie), przez co wpływ (netto) ewaluowanego projektu byłby mniejszy niż wskazywała na to prosta różnica między wartością końcową wskaźnika rezultatu a jego wartością bazową (mierzoną na początku projektu),

b) zewnętrzne czynniki mogły przeciwdziałać zajściu oczekiwanej w projekcie zmiany, przez co wpływ (netto) projektu byłby większy niż różnica między wartością końcową a wartością bazową wskaźnika rezultatu.

2) informacja o zróżnicowaniu i mechanizmach wpływu poszczególnych elementów projektu na osiągnięcie oczekiwanej zmiany jest bardzo pomocna w ulepszaniu projektu,

3) zidentyfikowanie silnie oddziaływujących czynników zewnętrznych oraz mechanizmów ich wpływu na planowaną w projekcie zmianę może być wykorzystane do modyfikacji działań projektowych, tak by lepiej współpracowały z procesami wspierającymi zmianę i lepiej radziły sobie z niwelowaniem czynników przeciwnych.

Zależnie od tego, która z powyższych kwestii stanowi priorytet w ewaluacji danego projektu, jak i od ograniczeń w dostępie do odpowiednich danych stosuje się różne modele ewaluacji wpływu wraz z odpowiednimi do nich metodami zbierania danych.

 

Tabela 1. Różne podejścia do projektowania ewaluacji wpływu.

Rodzaje ewaluacji wpływu Podstawa wnioskowania przyczynowego Wymagania Przykłady
Modele eksperymentalne Wnioskowanie „kontrfaktyczne” porównuje zmianę wskaźnika rezultatu zmiany w grupie beneficjentów z tym, co by się stało, gdyby projekt nie był realizowany Porównanie  zmian w grupie beneficjentów ze zmianami w grupie porównawczej: z pretestem albo bez  Eksperyment z losowym doborem do grupy eksperymentalnej i  kontrolnej 

 

Modele quasi-eksperymentalne                     

Modele statystyczne Korelacja między wskaźnikiem rezultatu i wskaźnikiem produktu (realizacji działań projektowych) przy kontroli czynników zakłócających Duża próba, grupy porównawcze lub dane z poprzednich okresów i dane o czynnikach  zakłócających  Regresja statystyczna 
Modele oparte na teorii  Identyfikacja mechanizmów, które tłumaczą zaobserwowane zmiany, i empiryczna weryfikacja ich działania Mocna teoria zmiany (istniejąca lub zrekonstruowana na potrzeby ewaluacji) Śledzenie procesów prowadzących do oczekiwanej zmiany
Modele oparte na studiach przypadków Porównanie uzyskanych rezultatów w ramach poszczególnych przypadków i pomiędzy w różnymi przypadkami (pomiędzy projektami) pod kątem ewentualnych czynników przyczynowych Mocna teoria

Do porównania potrzeba danych z kilku projektów (przypadków)

Jakościowa analiza porównawcza
Modele oparte na partycypacji Postrzegany związek przyczynowy z punktu widzenia osób, na które wpłynęła interwencja (projekt) Wykwalifikowani  facylitatorzy Samoocena zmiany (ang. reflexive counterfactuals)

Ranking i punktacja

Ocena najważniejszej zmiany (narracji)

Źródło: Emily Woodhouse, Emiel de Lange, Eleanor J Milner-Gulland, Evaluating the impacts of conservation interventions on human wellbeing: Guidance for practitioners, International Institute for Environment and Development, London 2016.

 

Modele eksperymentalne i quasi-eksperymentalne służą do określenia, jaką część zaobserwowanej projekcie zmiany można przypisać faktycznemu wpływowi działań projektowych (wpływ netto). Za miarę wpływu działań projektowych uznaje się różnicę odnotowaną pomiędzy pomiarem wskaźnika przed rozpoczęciem i po zakończeniu projektu w grupie jego odbiorców (zmiana w tzw. grupie eksperymentalnej, uczestniczącej w działaniach projektowych) po skorygowaniu jej o wpływ czynników pozaprojektowych. Wpływ czynników pozaprojektowych szacuje się na podstawie pomiaru zmiany wskaźnika rezultatu,  w grupie osób, które nie uczestniczyły w projekcie, a są możliwie najbardziej podobne do beneficjentów. 

  • W modelach eksperymentalnych (RCT, Random Controlled Trials) potencjalni odbiorcy są losowo przypisani do grupy beneficjentów objętych działaniem projektu (grupa eksperymentalna) oraz do grupy nie objętej działaniem projektu (grupa kontrolna). Losowy dobór do grup pozwala zagwarantować, że obie grupy nie różnią się od siebie*. Zatem zmiany mierzonego wskaźnika w grupie kontrolnej można przypisać tylko czynnikom pozaprojektowym, zaś w grupie eksperymentalnej – łącznemu wpływowi działania projektu i czynników pozaprojektowych. 
  • W modelach quasi-eksperymentalnych nie występuje losowy dobór grup. Grupa kontrolna dobierana jest do danej grupy eksperymentalnej (beneficjentów projektu) w taki sposób, by obie grupy były do siebie jak najbardziej podobne. Grupa kontrolna pełni analogiczną funkcję jak modelach eksperymentalnych. 

Aby zastosowanie modelu eksperymentalnego lub quasi-eksperymentalnego było możliwe, działania ewaluacyjne muszą być skoordynowane z działaniami projektowymi, a zatem należy je odpowiednio wcześnie zaplanować. Na przykład, gdy spodziewasz się nadwyżki kandydatów na beneficjentów projektu lub gdy projekt będzie realizowany w kilku edycjach i możesz zrobić łączną rekrutację, a przydział do grup możesz przeprowadzić metodą losową. W ten sposób uzyskasz losowo wybraną grupę eksperymentalną (która będzie jako pierwsza objęta działaniami projektowymi) oraz grupę kontrolną (osoby wylosowane do kolejnej edycji projektu). Tuż po wyłonieniu grup należy przeprowadzić w nich pomiar bazowy (oraz pomiar końcowy w obu grupach po zakończeniu projektu).

Jeśli beneficjentów ewaluowanego projektu wybiera instytucja zewnętrzna (np. Powiatowy Urząd Pracy), warto również sprawdzić, jaka procedura selekcji jest tam stosowana. Jeśli ta procedura daje możliwość doboru grupy kontrolnej lub porównawczej, w której można zmierzyć wskaźnik rezultatu projektu – należy to zweryfikować i zaplanować pomiar w tej grupie w tym samym czasie, w którym jest on przeprowadzany w ewaluowanym projekcie.

Ważnym aspektem ewaluacji wpływu jest kontrola tzw. efektu rozlewania się (ang. spill over effect), polegającego na rozprzestrzenianiu się wpływu działań projektowych poza grupę eksperymentalną, w szczególności na osoby z grupy kontrolnej. Zagrożenie efektem spill over jest tym większe, im więcej odbiorcy ewaluowanego projektu mają kontaktów z osobami z grupy kontrolnej.

 


*Gdy grupa eksperymentalna lub grupa kontrolna jest mała, należy zastosować dobór warstwowo-losowy (zamiast prostego doboru losowego), aby upewnić się, że obie grupy mają podobną strukturę według cech, które mogą wpłynąć na zamierzony wynik projektu (np. struktura wykształcenia powinna być podobna w grupach eksperymentalnej i kontrolnej. W przeciwnym razie grupa o wyższym poziomie wykształcenia może robić większe postępy w nabywaniu umiejętności, które mają być rozwijane w ewaluowanym projekcie).


 

W modelach opartych na teorii planowanie i interpretacja ewaluacji wpływu wymaga skorzystania teorii zmiany, aby zweryfikować spójność wyników ewaluacji z logiką projektu oraz zweryfikować wpływ czynników pozaprojektowych. Badanie spójności faktów z logiką projektu koncentruje się na identyfikacji dowodów, które mogłyby potwierdzić związki przyczynowo-skutkowe, oraz na zebraniu danych, które potwierdzą te związki lub im zaprzeczą. W tym podejściu kluczowe jest jak najwcześniejsze zaplanowanie, jakiego rodzaju dane należy zebrać w trakcie realizacji projektu, aby zweryfikować:

– przyczynowo-skutkową więź między działaniami, produktami, rezultatami  i oddziaływaniem składającymi się na logiczny model zmiany,

– osiągnięcie kolejnych etapów w przyczynowo-skutkowym łańcuchu rezultatów pośrednich (tzw. milestones) prowadzących do efektu mierzonego wskaźnikiem końcowym,

Weryfikowanie wpływu czynników pozaprojektowych – polega na analogicznym jak wyżej zaplanowaniu i sprawdzenia innych niż działania projektowe czynników zmiany oczekiwanej jako rezultaty i cel projektu.

Model ewaluacji wpływu oparty na studiach przypadków (ang. case studies) stosujemy np. gdy ewaluowany projekt stanowi część większego programu, realizowanego w różnych miejscach i/lub przez różne organizacje. Może to stanowić okazję do pozyskania danych porównawczych, które zostaną wykorzystane w tym modelu. Przy tego rodzaju  ewaluacji należy zgromadzić jak najwięcej informacji dotyczących nie tylko wskaźnika rezultatu, który mierzysz w ewaluowanym projekcie, lecz także wszystkich istotnych czynników mogących wpływać na zmiany wartości tego wskaźnika. Zestaw tych czynników określa się na podstawie teorii zmiany. Warto pamiętać, że w tym modelu można też wykorzystać informacje o podobnych projektach realizowanych w przeszłości. Niezależnie od tego, skąd pochodzą analizowane przypadki, ważne jest, by pozyskać z nich z góry określony zestaw informacji. Końcowa analiza opiera się na tabeli podsumowującej dane ze wszystkich analizowanych przypadków, dotyczące występowania zamierzonej zmiany oraz dane o projektowych oraz pozaprojektowych czynnikach, które na tę zmianę mogły mieć wpływ.

Narzędzie 6. Tabela służąca do podsumowania wyników analizy przypadków (case studies) 

  Zjawisko 1:

Ponad 50% młodzieży NEET, która uczestniczyła w projekcie, ma pracę lub jest zaangażowana w kształcenie bądź szkolenie 1 rok po zakończeniu projektu

Zjawisko 2: 

NEET uczestniczący w projekcie przeszli intensywne szkolenie w zakresie kompetencji społecznych

Zjawisko 3:

NEET uczestniczący w projekcie przeszli szkolenie zawodowe

Zjawisko 4:

(czynnik pozaprojektowy) NEET uczestniczący w projekcie otrzymali 6-miesięczne zatrudnienie wspomagane, organizowane przez Urząd Pracy zaraz po zakończeniu projektu

Przypadek 1: Aktualnie ewaluowany projekt, którego wynik jest wyświetlany w 1. kolumnie 1 1 1 1
Przypadek 2: Ten sam projekt realizowany 2 lata wcześniej przez tego samego realizatora 1 1 1 1
Przypadek 3: Inny projekt w ramach tego samego programu (oczekiwany ten sam rezultat), inny realizator 0 1 0 0
Przypadek 4: NEET otrzymujący jedynie zatrudnienie wspomagane, organizowane przez Urząd Pracy 0 1 1 1

0 – zjawisko nie miało miejsca, 1 – zjawisko miało miejsce

W powyższej tabeli przedstawiono podsumowanie analizy 4 przypadków, w których rezultat (posiadanie pracy lub uczestnictwo w kształceniu/szkoleniu zawodowym, stwierdzone 1 rok po zakończeniu projektu) był analizowany w szeregu przypadków pod kątem trzech czynników. Dwa z nich stanowiły różne bodźce projektowe (szeroko zakrojone szkolenie kompetencji społecznych i szkolenia zawodowe), a czwarty to zatrudnienie zewnętrzne – wspomagane przez 6 miesięcy po zakończeniu projektu). Analiza wykazała, że to intensywny trening kompetencji społecznych może być uznany za przyczynę zamierzonego efektu.
Źródło: Opracowanie własne

 

Modele partycypacyjne to niedoceniane choć dostępne rodzaje ewaluacji wpływu. Nie gwarantują one tak dużej wiarygodności i precyzji, jak model eksperymentalny lub quasi-eksperymentalny, nie są też tak przekonujące jak analiza przypadków. Są za to możliwe do zastosowania nawet w małych projektach. W ramach tych modeli należy odwołać się do percepcji uczestników ewaluowanego projektu i na podstawie uzyskanych od nich informacji oceniać, jaki wpływ miał projekt. Duże znaczenie ma więc metodologia zbierania danych, gdyż badani mają tendencję do dostosowywania się do tego, co w ich mniemaniu może chcieć usłyszeć badacz, zwłaszcza gdy jest nim ktoś z personelu projektowego.

  • Jednym z modeli partycypacyjnych jest model, który można nazwać samooceną zmiany (ang. reflexive counterfactuals). Jego zaletą jest to, że może być stosowany po zakończeniu projektu. Z drugiej strony technika ta jest narażona na opisane wcześniej zagrożenie tzw. wpływem badacza. W ramach ‘reflexive counterfactuals’ beneficjenci są proszeni o porównanie swojej obecnej sytuacji z tą sprzed udziału w projekcie, pod kątem tego, co się zmieniło na lepsze, a co na gorsze. Następnie proszeni są o ocenienie wagi poszczególnych korzyści i kosztów oraz wybranie tych, które uznają za najważniejsze. Za pomocą różnych technik badawczych możemy również zapytać o przyczyny poszczególnych zmian i w ten sposób zidentyfikować, które z nich były związane z projektem.
  • Innym modelem partycypacyjnego badania wpływu projektu jest „Ocena najważniejszej zmiany” (ang. MSC, Most Significant Change). Opiera się on na generowaniu i pogłębionej analizie historii zmian, jakie zaszły w życiu beneficjentów. Te historie zmian powinny być zaobserwowane i odnotowane przez różnych interesariuszy projektu (w tym także samych beneficjentów). Właściwości tej techniki badawczej pozwalają na stosowanie jej po zakończeniu projektu.

Na koniec trzeba jeszcze wspomnieć o możliwości prowadzenia ewaluacji wpływu opartej na metodach statystycznych. Podstawą jest tu  analiza korelacji (współwystępowania) wskaźnika rezultatu i wskaźników działań podejmowanych w ewaluowanym projekcie*. Takie analizy wykonuje się na dużych zbiorach danych, co z czyni ten rodzaj ewaluacji mało użytecznym dla organizacji prowadzących projekty dla relatywnie małej grupy odbiorców**.

Więcej informacji na temat ewaluacji wpływu można znaleźć w kursie on-line (Moduł V).


*W takich analizach podstawową metodą jest regresja, w której badana jest siła związku między wskaźnikiem oczekiwanego rezultatu a wskaźnikiem konkretnego działania przeprowadzonego w ramach ewaluowanego projektu, przy statystycznej kontroli (wyłączeniu) wpływu innych czynników, zakłócających badaną relację. 

**Problemem utrudniającym korzystanie ze statystycznych metod ewaluacji wpływu przez małe i średnie organizacje jest, obok skali prowadzonych projektów, także konieczność korzystania z zaawansowanego oprogramowania statystycznego i wykwalifikowanych analityków.


 

 

III. GROMADZENIE DANYCH

 

3 GROMADZENIE DANYCH

 

3.1. Jakie są główne typy metod badań ewaluacyjnych 

Aby oszacować wartość projektu w odniesieniu do przyjętych kryteriów oraz odpowiedzieć na pytania ewaluacyjne, należy w poprawny sposób zebrać niezbędne informacje. Temu celowi służą metody i narzędzia badawcze. Metody badawcze oznaczają określony sposób gromadzenia informacji – jakościowy lub ilościowy przy pomocy specjalnie w tym celu opracowanych narzędzi, takich jak np. scenariusze wywiadów, arkusze obserwacji czy kwestionariusze. W tym rozdziale możesz prześledzić, czym się różnią te metody i narzędzia badawcze.

Metody jakościowe umożliwiają zbieranie danych w sposób pogłębiony i elastyczny, ale nie pozwalają na poznanie skali badanych zjawisk, ponieważ obejmują niewielką liczbę osób (np. trenerów, wybranych beneficjentów). Z kolei metody ilościowe stosuje się w przypadku dużych grup liczących kilkadziesiąt lub więcej osób. W przypadku liczniejszych grup (np. powyżej 400–500 osób) metody te umożliwiają uogólnienie wniosków uzyskanych w badaniu reprezentatywnej, losowo dobranej próby na całą populację, tj. społeczność interesującą badacza, w tym osoby, które nie uczestniczyły bezpośrednio w danym badaniu. Warunkiem  generalizacji jest reprezentatywność próby osób badanych, czyli maksymalne podobieństwo ich cech socjodemograficznych do populacji, z której zostały wyłonione.

 

Tabela 2. Porównanie jakościowych i ilościowych metod badań ewaluacyjnych.

Metody  jakościowe Metody ilościowe
Najczęściej wykorzystywane metody ewaluacyjne i odpowiadające im narzędzia badawcze 
  • Analiza dokumentacji – dyspozycje do analizy dokumentów
  • Pogłębiony wywiad indywidualny (IDI) –-  scenariusz wywiadu IDI,
  • Zogniskowany wywiad grupowy (FGI) – scenariusz wywiadu FGI
  • Obserwacja – arkusz obserwacji
  • Studium przypadku – opracowywane na podstawie informacji zebranych przy pomocy ww. metod
Sondaż (survey) realizowany:

a) z udziałem ankietera – wywiad ankieterski oparty na kwestionariuszu papierowym (PAPI) lub elektronicznym (CAPI), wywiad telefoniczny wspierany komputerowo (CATI)    kwestionariusz  wywiadu

b) bez udziału ankietera – wypełniana samodzielnie przez respondentów/ki ankieta internetowa (CAWI) lub papierowa (w tym audytoryjna) – kwestionariusz ankiety

Cel stosowania Poznanie, zrozumienie, opis i wyjaśnienie badanych zjawisk i procesów Określenie skali, natężenia, częstotliwości badanych zjawisk,  ich współwystępowania oraz zależności pomiędzy nimi
Typowe pytania Co się dzieje? W jaki sposób? Jak to przebiega? Dlaczego? Ile? W jakim stopniu? Jak często? W związku z czym?
Perspektywa badacza Konkretne przypadki (osoby, działania, procesy) w celu poznania ich specyfiki, złożoności, różnorodności, przebiegu zdarzeń, rozumienia związków przyczynowo-skutkowych Zjawiska i cechy grup jednostek ważne dla ewaluowanego projektu (najczęściej beneficjenci), badane w celu poszukiwania ogólnych prawidłowości i schematów
Sposób doboru próby Dobór celowy (nielosowy) – badacz sam decyduje kogo przebadać (np. na podstawie tego, że dana osoba posiada potrzebne informacje) Dobór losowy lub nielosowy (np. ochotnicy). W projektach liczących np. do 300 osób stosuje się próbę wyczerpującą, która obejmuje wszystkich beneficjentów.
Liczebność badanej próby Małe próby, tj. kilka, kilkanaście przypadków Duże próby, tj. liczące co najmniej kilkadziesiąt osób
Uogólnianie wyników Nie można generalizować wyników ze względu na brak reprezentatywności badanej próby (wnioski z badania odnoszą się wyłącznie do osób, które w nim uczestniczyły) Jest możliwość generalizowania wyników z badania wylosowanej próby na szerszą populację (osób, które nie brały w nim udziału), jeżeli próba ta jest reprezentatywna.

Źródło: Opracowanie własne

 

Oba opisane powyżej  rodzaje metod mają swoje mocne i słabe strony, dlatego w badaniu ewaluacyjnym zawsze warto stosować zarówno metody jakościowe, jak i ilościowe. Podejście to jest zgodne z zasadą triangulacji, której stosowanie ma na celu zapewnienie wysokiej jakości gromadzonych informacji. Triangulacja oznacza także wykorzystywanie różnych źródeł informacji, typów zbieranych danych, technik analitycznych oraz teorii wyjaśniających zidentyfikowane zależności/mechanizmy, a także różnych osób prowadzących ewaluację (których kompetencje powinny się uzupełniać). Zapewnienie zróżnicowania tych elementów umożliwia:

  • całościowe poznanie i zrozumienie ewaluowanego obiektu,
  • uwzględnienie różnych punktów widzenia i aspektów badanego zjawiska,
  • uzupełnienie i pogłębienie gromadzonych danych,
  • weryfikację zebranych informacji,
  • zwiększenie obiektywności formułowanych wniosków.

 

3.2. Jakie metody i narzędzia są zazwyczaj używane w ewaluacji

Aby ułatwić wybór metod najbardziej odpowiednich dla danej koncepcji ewaluacji poniżej zamieszczono krótkie opisy  najpopularniejszych z nich: 

  1. metody jakościowe
  • analiza dokumentacji (desk research),
  • pogłębiony wywiad indywidualny (IDI)
  • zogniskowany wywiad grupowy (FGI)
  • obserwacja
  • studium przypadku
  1. metody ilościowe (sondaże)
  • wywiady kwestionariuszowe prowadzone przy pomocy ankietera – przy użyciu kwestionariusza papierowego (PAPI), wspomagany komputerowo (CAPI), lub telefoniczny (CATI),
  • badania ankietowe realizowane bez udziału ankietera – samodzielnie wypełniana ankieta internetowa (CAWI) lub papierowa, w tym audytoryjna –  wypełniana w jednym miejscu i czasie jednocześnie przez grupę osób.
  1. metody aktywne/ warsztatowe (mieszane, tj. jakościowo-ilościowe).

 

3.2.1. Analiza dokumentacji

Analiza dokumentacji (ang. desk research) to najłatwiej dostępna metoda zbierania informacji, w której wykorzystuje się dane zastane, tj. takie, które powstały niezależnie od działań badaczy. 

Wśród danych zastanych można wyróżnić dane wewnętrzne (powstające na potrzeby ewaluowanego projektu) oraz dane zewnętrzne:

  • Dane wewnętrzne są to informacje tworzone przy okazji przygotowywania i realizacji działań projektowych (np. wniosek projektowy, scenariusze szkoleń, listy obecności, umowy, zdjęcia, filmy i materiały o projekcie zamieszczane w internecie, posty i reakcje w mediach społecznościowych). W przypadku projektów szkoleniowych dla młodzieży poszukującej pracy mogą to być także wyniki pomiaru kompetencji beneficjentów na początku i na końcu udziału w projekcie (testów wiedzy, umiejętności, badania postaw itp.)
  • Dane zewnętrzne są to informacje, które mogą dotyczyć tego badanego zjawiska, procesów czy grupy docelowej, lecz zostały zebrane niezależnie od ewaluowanego projektu (np. statystyki, repozytoria danych, raporty, artykuły, książki, filmy, zdjęcia i inne materiały dostępne w internecie). W przypadku ewaluacji projektów dotyczących zatrudnienia warto korzystać z informacji o analogicznych projektach, a także danych  dotyczących zatrudnienia młodzieży zamieszkałej w danej miejscowości, którymi dysponują np. urzędy pracy, ZUS, GUS, urzędy marszałkowskie itp. 

Analiza dokumentacji jest podstawową metodą zbierania informacji nt. danego projektu, dostarcza wiedzy nt. potrzeb jego odbiorców i kontekstu ewaluowanego projektu. 

 

WARUNKI ZASTOSOWANIA: coraz więcej instytucji publicznych udostępnia dane administracyjne zgodnie z zasadą transparentności działania instytucji publicznych oraz partycypacji obywatelskiej (koncepcja open government). Ważna jest jednak ocena rzetelności i trafności pozyskanych danych w oparciu o informacje metodologiczne zawarte w dokumentacji źródłowej.

 

ZALETY:

  • dostępność – szczególnie gdy chodzi o informacje zamieszczone w internecie, 
  • duża różnorodność – możemy skorzystać z dowolnych danych/materiałów związanych z prowadzoną ewaluacją, 
  • brak lub niskie koszty pozyskania informacji – większość dokumentów jest dostępna bezpłatnie,
  • w przypadku danych zewnętrznych – brak obciążenia danych wpływem badacza.

WADY: 

  • zróżnicowana wiarygodność danych – trzeba uwzględniać rzetelność źródła informacji oraz kontekst ich powstawania (w jakich warunkach, kto i po co je zgromadził i analizował),
  • ograniczenia w dostępie i korzystaniu z danych wewnętrznych ze względu na ochronę danych osobowych, prawa autorskie i majątkowe.


3.2.2. Pogłębiony wywiad indywidualny (IDI)

Wywiad indywidualny ma formę bezpośredniej rozmowy badacza z osobą badaną, prowadzonej na ogół przy użyciu scenariusza. Wywiad ten umożliwia uzyskanie obszernych, wnikliwych oraz pogłębionych informacji, poznanie opinii, doświadczeń, interpretacji i motywów postępowania osoby badanej, zbadanie faktów z jej perspektywy, a także zrozumienie jej poglądów. 

WAŻNE

Język wywiadu powinien być zawsze dostosowany do rozmówcy. W wywiadach (szczególnie tymi z osobami młodymi) należy posługiwać się prostym językiem i unikać specjalistycznego słownictwa, które może powodować niezrozumienie zadawanych pytań i onieśmielać rozmówców. 

 

WARUNKI STOSOWANIA: wywiad indywidualny najlepiej przeprowadzać w pomieszczeniach wyciszonych i gwarantujących dyskrecję. Częstą praktyką jest nagrywanie wywiadu, jednak badany nie zawsze musi się na to zgodzić. W takim wypadku badacz sporządza notatki na bieżąco i uzupełnia je zaraz po zakończeniu spotkania. Zalecane jest prowadzenie wywiadu przez osobę spoza personelu projektu, by uniknąć sytuacji, w które rozmówca może czuć się skrępowany wyrażaniem szczerych opinii.

 

ZALETY:

  • możliwość omówienia skomplikowanych i szczegółowych zagadnień, 
  • lepsze zrozumienie punktu widzenia osoby badanej („wejście w jej buty”), 
  • poznanie faktów w kontekście sytuacyjnym,
  • elastyczność – możliwość dostosowania się do rozmówcy oraz zadawania dodatkowych pytań niezamieszczonych w scenariuszu 

WADY:

  • niechęć niektórych badanych do wyrażania szczerych opinii spowodowana brakiem anonimowości,
  • wpływ cech osobowościowych badanego na uzyskiwane wyniki np. trudność w pozyskaniu informacji od osób małomównych, nieśmiałych, wycofanych. 

 

NARZĘDZIE BADAWCZE: realizacja wywiadu może być wspomagana przez scenariusz wywiadu indywidualnego, który zawiera listę pytań lub zagadnień do omówienia z rozmówcą.  Osoba prowadząca wywiad może zmieniać kolejność pytań lub dodawać pytania nie uwzględnione w scenariuszu, jeśli jest to potrzebne dla lepszego zrozumienia danej kwestii. 

 

PRZYKŁAD SCENARIUSZA POGŁĘBIONEGO WYWIADU INDYWIDUALNEGO Z ZESPOŁEM PROJEKTOWYM (KADRĄ PROJEKTU)

I. Wdrażanie projektu

1. Czy brał(a) Pan(i) wcześniej udział w realizacji podobnych projektów? Jeśli tak, to w jakich? W jakich rolach Pan(i) w nich uczestniczył(a)?

2.  Jakie są Pani/Pana obecne obowiązki związane z realizacją tego projektu?

II. Proces wdrażania projektu

1.  W jaki sposób przebiegał proces rekrutacji uczestników projektu? Czy pozyskano zakładaną liczbę osób? Czy napotkano na jakieś utrudnienia w procesie rekrutacji? Na czym one polegały? Czy projekt cieszył się zainteresowaniem jego adresatów?

2.  Czy osoby biorące udział w tym projekcie zgłaszały jakieś uwagi nt. jego realizacji? Czego one dotyczyły? Czy w związku z tym wprowadzono jakieś zmiany?

3.  Czy projekt był dotychczas modyfikowany z jakiś innych powodów? Na czym polegały te zmiany? Czym były spowodowane?

4.  Czy projekt wymaga dalszych zmian? W jakim zakresie? Co mogłoby usprawnić jego realizację? Czy projekt wymaga uzupełnienia o jakieś dodatkowe elementy? Jeśli tak, to jakie?

5.  Czy w projekcie osiągane są zaplanowane produkty i rezultaty? Czy proces ten przebiega zgodnie z założonym harmonogramem?

6.  Czy dostrzega Pan(i) jakieś zagrożenia dla realizacji projektu/osiągnięcia założonego poziomu produktów i rezultatów? Jeśli tak, to jakie? W jaki sposób można im przeciwdziałać?

III. Ocena dotychczasowych osiągnięć

1. Jakie elementy ułatwiały realizację projektu?

2. Jakie elementy utrudniały wdrażanie projektu? Jakie były przyczyny tych trudności? W jaki sposób usiłował(a) Pan(i) sobie z nimi poradzić?

3. Czy brakowało Pani/Panu jakiś zasobów (ludzkich, czasowych, organizacyjnych, technicznych, finansowych), dzięki którym realizacja projektu byłaby łatwiejsza? Jakie inne zmiany mogłyby się przyczynić do łatwiejszej realizacji tego projektu?

4. Jakie zmiany pomogłyby bardziej dostosować projekt do potrzeb odbiorców?

5. Proszę wymienić mocne/słabe strony tego projektu.

Źródło: Opracowanie własne

SZABLON: SCENARIUSZ POGŁĘBIONEGO WYWIADU INDYWIDUALNEGO

 

3.2.3. Zogniskowany wywiad grupowy (FGI)

Wywiad grupowy to rozmowa z grupą ok. 6-8 osób, prowadzona przez moderatora, który podaje zagadnienia do dyskusji oraz wspiera jej przebieg. Uczestnicy FGI są dobierani zgodnie z założeniami określonymi przez badacza oraz ich znajomością danych zagadnień.

 

WAŻNE 

W przypadku młodzieży dyskusja powinna być podzielona na krótsze części, angażujące wszystkich uczestników, aby zbyt szybko się nie zdekoncentrowali/znudzili. Warto wykorzystywać narzędzia multimedialne, elementy grywalizacji czy niestandardowe rozwiązania np. papierową kostkę z pytaniami, rzucaną samodzielnie przez uczestników spotkania. W dyskusji pomocny jest flipchart, na którym zapisuje się spostrzeżenia grupy. 

 

WARUNKI STOSOWANIA: jednym z kluczowych warunków powodzenia wywiadu grupowego jest trafny dobór osób dysponujących określonymi informacjami, którymi będą  się wymieniać. Ważne jest zagwarantowanie komfortu uczestnikom spotkania poprzez zorganizowanie go w sali odpowiedniej wielkości, wyciszonej, z wygodnymi miejscami do siedzenia oraz kwadratowym lub okrągłym stołem, który umożliwia wszystkim kontakt wzrokowy. 

 

ZALETY

  • poznanie różnych punktów widzenia, uwzględnienie odmiennych opinii uczestników grupy,
  • wzajemna weryfikacja i uzupełnianie informacji przez różnych uczestników dyskusji,
  • możliwość obserwowania interakcji zachodzących pomiędzy osobami badanymi,
  • pozyskiwanie istotnych informacji w relatywnie krótkim czasie.

WADY

  • dynamika procesów grupowych, w tym presja na spójność opinii może prowadzić do nieujawnienia zdania mniejszości, np. z powodu zdominowania wywiadu przez lidera grupy rówieśniczej, 
  • ryzyko przeniesienia na forum grupy konfliktów czy złych relacji personalnych, obniżające efektywność badania oraz wiarygodność uzyskanych wyników,
  • trudności organizacyjne (konieczność zebrania grupy osób w danym miejscu i czasie, zapewnienie odpowiednio wyposażonej sali). 

 

NARZĘDZIE BADAWCZE: narzędziem, którym posługuje się moderator w tej metodzie, jest scenariusz wywiadu grupowego, zawierający zasady dyskusji grupowej, określone zagadnienia/pytania i wytyczne dotyczące różnych form aktywności, w jakie moderator ma angażować uczestników. 

 

PRZYKŁADOWY SCENARIUSZ ZOGNISKOWANYCH WYWIADÓW GRUPOWYCH (FGI)

REALIZOWANYCH W RAMACH BADANIA POTRZEB SZKOLENIOWYCH

I. CELE BADANIA FGI:

·        uzyskanie wstępnych informacji nt. potrzeb szkoleniowych młodych ludzi

· zgromadzenie danych służących skonstruowaniu kwestionariusza wywiadów telefonicznych (CATI), które będą realizowane w II etapie badania

II. GRUPA DOCELOWA:

– osoby odpowiedzialne za zarządzanie personelem i/lub szkoleniami w organizacjach

III. PROGRAM SPOTKANIA

1.     WSTĘP (czas trwania – ok. 30 minut)

a)     Przywitanie i wyjaśnienie celu spotkania

(tekst: Szanowni Państwo, nazywam się … i witam na spotkaniu, które zostało zorganizowane przez… w celu zebrania informacji na temat potrzeb szkoleniowych młodych ludzi. Nasze spotkanie jest realizowane w ramach projektu „XYZ”. Projekt ten jest finansowany przez….i realizowany we współpracy z… Celem projektu jest…)

b)     przedstawienie się uczestników FGI

c)     informacja o nagrywaniu wywiadu, zapewnienie o anonimowości

(tekst: przebieg naszego spotkania będzie rejestrowany w formie zapisu audio. Jest to konieczne ze względu na brak możliwości dokładnego notowania Państwa wypowiedzi. Zapewniam, że nikt nie będzie imiennie cytowany, a zapis naszej rozmowy oraz wszelkie dane osobowe dotyczące jej uczestników zostaną wykorzystane wyłącznie w celach badawczych i nie będą ujawniane osobom postronnym)

    1. omówienie zasad dyskusji grupowej

(tekst: w celu ułatwienia przebiegu naszej rozmowy proponuję kierowanie się w jej trakcie następującymi zasadami:

· każda osoba ma prawo do wyrażania własnego zdania – nie obowiązuje nas jednomyślność. Każda opinia jest dla nas ważna i cenna – nie ma dobrych, ani złych wypowiedzi, zależy nam na tym, by były one szczere,

· nie przerywamy sobie nawzajem – w danym momencie mówi tylko jedna osoba. Zwracamy się przede wszystkim do innych uczestników spotkania, a nie do osoby prowadzącej,

· w razie nieporozumienia prosimy o wyjaśnienie danej kwestii. Osoba prowadząca spotkanie będzie się upewniała, czy dobrze rozumie Państwa wypowiedzi i zbierała wyrażane opinie w formie wniosków,

· ściszamy bądź wyłączamy telefony komórkowe, rozmowy telefoniczne prowadzimy wyłącznie na zewnątrz,

· prosimy o trzymanie się przez uczestników spotkania tematów, którym jest ono poświęcone – rolą moderatora będzie m.in. sprowadzanie dyskusji na właściwe tory i pilnowanie, by uczestnicy nie odchodzili od głównego wątku dyskusji.

2. DYSKUSJA OTWIERAJĄCA (czas trwania – ok. 70 minut)

 

2.1. Skala potrzeb szkoleniowych młodych ludzi (ok. 35 minut)

  1. Czy młodzi ludzie uczestniczą w szkoleniach? Jaki jest ich zakres tematyczny / wymiar czasowy / forma?
  2. Jakie czynniki utrudniają młodym ludziom udział w szkoleniach?
  3. Jakie warunki powinny być spełnione, by młodzi ludzie brali udział szkoleniach? Jakie bariery mogą utrudniać im udział w szkoleniach?

2.2.  Motywacja młodych ludzi do udziału w szkoleniach (ok. 35 minut)

  1. Czy i w jakim stopniu młodzi ludzie są zainteresowani udziałem w szkoleniach? Czy występują jakieś różnice w zakresie potrzeb szkoleniowych ze względu na płeć? Z czego one wynikają? W jaki sposób można motywować te dwie grupy młodych osób do podnoszenia swoich kwalifikacji?     
  2. Jak duże jest zainteresowanie szkoleniami e-learningowymi? Czy młodzi ludzie mieli okazję uczestniczyć w tego rodzaju szkoleniach? Jeśli tak, to w jakich?
  3. Jakimi szkoleniami młodzi ludzie są najbardziej zainteresowani – stacjonarnymi, mieszanymi, zdalnymi?

3. KWESTIE SZCZEGÓŁOWE (czas trwania – ok. 70 minut)

 

3.1.  Obszary tematyczne szkoleń – priorytetyzacja (ok. 30 minut)

  1. Proszę wskazać tematykę szkoleń, które powinny być realizowane przez młode osoby w ramach kształcenia stacjonarnego / zdalnego / mieszanego: zakresy oraz obszary tematyczne i konkretne zagadnienia (burza mózgów).
  2. Które z tych szkoleń powinny być realizowane w pierwszej kolejności?

3.2.  Warunki udziału w szkoleniach (ok. 40 minut)

a) Kiedy powinny się odbywać szkolenia? Czy młodzi ludzie będą mieli możliwość udziału w w nich w ciągu dnia? Czy szkolenia stacjonarne powinny odbywać się w systemie wieczorowym lub weekendowym? Gdzie mogą się one odbywać?

b) Czy młodzi ludzie dysponują sprzętem umożliwiającym korzystanie z e‑learningu?

c)  Jak długo powinny trwać zdalne szkolenia (wymiar godzinowy)?

d) Co może utrudniać młodym ludziom udział w kształceniu na odległość?

4. PODSUMOWANIE (czas trwania – ok. 15 minut)

  1. zebranie uzyskanych informacji (ew. doprecyzowanie pewnych kwestii) – wnioski
  2. informacja o sposobie wykorzystania zgromadzonych wyników
  3. podziękowanie za udział w spotkaniu

Źródło: Opracowanie własne

 

3.2.4. Obserwacja

Metoda ta polega na uważnym przyglądaniu się i przysłuchiwaniu badanym osobom oraz sytuacjom (zjawiskom, zdarzeniom). Obserwacja może mieć charakter uczestniczący, częściowo uczestniczący lub nieuczestniczący, w zależności od stopnia zaangażowania badacza, który może występować w roli aktywnego uczestnika obserwowanych przez siebie zdarzeń bądź zewnętrznego, niezaangażowanego obserwatora.
Obserwację można prowadzić w sposób jawny (uczestnicy wiedzą, że są obserwowani), częściowo jawny (o obserwacji wiedzą wybrane osoby, np. trener i/lub organizator szkolenia) lub niejawny (o obserwacji wie jedynie obserwator).

 

WARUNKI STOSOWANIA: jeśli obserwacja ma charakter nieuczestniczący, obserwator nie powinien wchodzić w  kontakt/relacje z obserwowanymi osobami, gdyż niesie to ryzyko braku obiektywizmu w odnotowywaniu i interpretowaniu faktów. 

 

ZALETY:

  • pozyskanie informacji o danym zdarzeniu/procesie w trakcie jego przebiegu,
  • poznanie faktów pozbawionych interpretacji uczestników zdarzeń (badanie rzeczywistych zachowań, a nie subiektywnych relacji bądź deklaracji),
  • ułatwienie  interpretowania badanych zdarzeń,
  • możliwość poznania zjawisk zazwyczaj ukrywanych, niezauważalnych lub niechętnie omawianych.

WADY:

  • ryzyko wpływania badacza na przebieg zdarzeń (świadomość badanych, że są obserwowani może zmieniać ich zachowania),
  • ograniczony zasięg obserwacji, trudność w uzyskaniu dostępu do wszystkich zjawisk,
  • ryzyko subiektywności (badacz może przejąć stereotypy funkcjonujące w danym środowisku, postrzegać i interpretować zdarzenia na korzyść obserwowanej grupy).

 

NARZĘDZIE BADAWCZE: obserwacja może być prowadzona przy użyciu narzędzia badawczego, którym jest arkusz obserwacji. Jego stosowanie ogniskuje uwagę obserwatora na wybranych zagadnieniach oraz umożliwia odnotowywanie istotnych informacji (np. zachowań osób uczestniczących w obserwowanych wydarzeniach), które mogą mieć charakter nie tylko jakościowy, lecz także ilościowy (tzw. check lista).

PRZYKŁADOWY ARKUSZ OBSERWACJI SZKOLENIA

 

3.2.5. Studium przypadku

Jest to pogłębiona analiza danego zagadnienia oparta na informacjach pochodzących z różnorodnych źródeł, zebranych różnymi metodami. Jej wyniki są prezentowane w narracyjnej formie. Analizowanym „przypadkiem” może być nie tylko osoba czy grupa osób,ale także określone działania, projekt, grupa projektów itp. 

Studium przypadku stosuje się, aby:

  • dogłębnie poznać i zrozumieć dane zjawisko wraz z jego kontekstem, przyczynami i konsekwencjami,
  • zilustrować określone zagadnienie za pomocą realistycznego, szczegółowo opisanego  przykładu, 
  • wygenerować hipotezy do dalszych badań,
  • przedstawić oraz przeanalizować najlepsze/najgorsze praktyki, aby zarekomendować co warto, a czego nie należy robić.   

WARUNKI ZASTOSOWANIA: metoda ta wymaga czasu na zebranie i analizę różnorodnych danych dotyczących badanego zjawiska/obiektu, jego kontekstu oraz zachodzących procesów czy mechanizmów. Studium przypadku najlepiej wykorzystywać jako uzupełnienie innych metod badawczych.

 

ZALETY:

  • stanowi źródło wyczerpujących informacji na dany temat,
  • wykorzystuje różne punkty widzenia, dzięki czemu nadaje opisowi i analizie szerszą perspektywę,
  • uwzględnia kontekst badanych zjawisk.

WADY:

  • zazwyczaj wymaga posłużenia się różnymi źródłami informacji, czasem trudno dostępnymi,
  • jest pracochłonna i czasochłonna,
  • w przypadku przedstawienia niepełnych danych można się narazić na zarzut małej wiarygodności.

 

3.2.6. Wywiady kwestionariuszowe prowadzone przez ankieterów

Metody kwestionariuszowe opierają się na standaryzacji, która pozwala zbierać i zliczać dane ilościowe w ujednolicony sposób, a także umożliwia ich analizę statystyczną. Standaryzacja obejmuje:

  • narzędzie badawcze (kwestionariusz wywiadu) – kolejność, treść i formę pytań zadawanych respondentom,
  • sposób zapisu odpowiedzi respondentów poprzez wybór jednej opcji (na skali) lub kilku możliwości do wyboru z zestawu gotowych odpowiedzi,
  • zachowanie ankieterów, którzy są zobowiązani postępować w trakcie wywiadu zgodnie z instrukcjami zawartymi w kwestionariuszu.

Informacje udzielone przez respondentów są zapisywane w bazie danych, a następnie poddawane analizie statystycznej.

Wywiady kwestionariuszowe są realizowane przez przeszkolonych ankieterów, którzy odczytują respondentom pytania z kwestionariusza i zapisują uzyskane odpowiedzi. Wyróżniamy następujące techniki tego rodzaju badań:

  • wywiad bezpośredni przy użyciu kwestionariusza papierowego – PAPI (ang. Paper and Pencil Interview),
  • wywiad bezpośredni wspomagany komputerowo – CAPI (ang. Computer-Assisted Personal Interview),
  • wywiad telefoniczny wspomagany komputerowo – CATI (ang. Computer-Assisted Telephone Interview).

 

3.2.6.1.  Wywiad bezpośredni przy użyciu kwestionariusza papierowego (PAPI) lub elektronicznego (CAPI) 

Obie opisywane tu techniki mają charakter terenowy i są realizowane w bezpośrednim kontakcie respondenta z ankieterem przy użyciu kwestionariusza wywiadu w wersji papierowej (PAPI) lub elektronicznej, wyświetlającej się w laptopie czy na tablecie (CAPI). Ankieter odczytuje pytania zawarte w kwestionariuszu, a następnie zaznacza w nim odpowiedzi udzielone przez respondenta. 

 

WARUNKI STOSOWANIA: szeroki zakres tematyczny oraz wymagane bezpośrednie (F2F) spotkanie ankietera/ki z respondentem/ką. Do przeprowadzenia wywiadu najlepiej nadaje się miejsce odizolowane od hałasów i obecności osób trzecich (w warunkach domowych/ zawodowych należy zadbać o to, by osoby postronne, takie jak członkowie rodziny czy współpracownicy, nie wpływali na odpowiedzi osoby badanej). 

 

ZALETY:

  • bezpośredni, bliski kontakt z badanymi (możliwość obserwowania sygnałów niewerbalnych, reagowania na niezrozumienie pytania czy zmęczenie respondenta),
  • większa gotowość respondentów do odbycia dłuższego wywiadu i odpowiedzi na trudniejsze pytania niż przy wywiadzie telefonicznym (CATI),
  • w przypadku CAPI zaletą jest automatyczne zapisywanie informacji w bazie danych.

WADY:

  • wyższe koszty, obejmujące czas i koszt dojazdu oraz umówienia osobistego spotkania z respondentem,
  • brak poczucia anonimowości u respondenta, 
  • nieświadomy wpływ osoby ankietera na odpowiedzi respondenta (efekt ankieterski), 
  • w przypadku PAPI ankieter musi po zakończeniu wywiadu ręcznie wprowadzić dane z kwestionariusza do bazy danych, co jest czasochłonne, stanowi dodatkowy koszt i wiąże się z ryzykiem pomyłek.

 

3.2.6.2.  Computer-Assisted Telephone Interview (CATI)

Ten wywiad jest realizowany drogą telefoniczną. Ankieter odczytuje respondentowi pytania z ekranu komputera, a następnie zaznacza odpowiedzi w elektronicznym kwestionariuszu. 

 

WARUNKI STOSOWANIA: badanie utrwalonych opinii i postaw, z wykorzystaniem pytań nie wymagających dłuższego namysłu ze względu na krótki czas trwania wywiadu (max. 10-15 minut), a także specyficzny kanał przekazu i odbioru informacji (brak możliwości kilkukrotnego jej przeczytania we własnym tempie).  

 

ZALETY

  • krótszy czas realizacji oraz niższy koszt dotarcia do respondenta w porównaniu z wywiadami bezpośrednimi (PAPI, CAPI),
  • elastyczność czasowa – możliwość dostosowania pory wywiadu do preferencji respondenta oraz przerwania rozmowy i jej późniejszego kontynuowania w dogodnym momencie,
  • łatwość zarządzania i kontroli pracy ankieterów,
  • automatyczne zapisywanie danych w trakcie wywiadu.

WADY:

  • możliwa trudność w uzyskaniu numerów telefonów do osób badanych (ze względu na brak dostępu i/lub ochronę danych osobowych), zaś w przypadku pracodawców – brak spersonalizowanych kontaktów (dysponowanie wyłącznie numerami telefonów recepcji/centrali),
  • czas trwania wywiadu ograniczony do 10-15 minut (ze względu na chwiejną koncentrację i krótkotrwałe zaangażowanie respondentów),
  • skłonność badanych do wybierania skrajnych wartości na skali, bądź początkowych i końcowych odpowiedzi (wynikająca ze specyficznego kanału przekazu informacji, który nasila tzw. efekt pierwszeństwa oraz efekt świeżości). 

 

3.2.7. Badania ankietowe realizowane bez udziału ankietera

Badania ankietowe polegają na tym, że respondent samodzielnie odczytuje pytania i zaznacza odpowiedzi w kwestionariuszu ankiety . 

WARUNKI STOSOWANIA: badania ankietowe mogą być realizowane w formie papierowej lub on-line (tj. ankiety internetowej CAWI, ang. Computer-Assisted Web Interview). W tym drugim przypadku respondenci otrzymują link do strony internetowej z kwestionariuszem ankiety, którą mogą wypełnić na komputerze, tablecie lub smartfonie. Po udzieleniu odpowiedzi dane przesyłane są na serwer, gdzie są automatycznie zapisywane w bazie danych. 

Bardzo efektywnym sposobem zbierania danych ilościowych jest badanie audytoryjne, które polega na wypełnianiu ankiet przez osoby znajdujące się jednocześnie w tym samym pomieszczeniu np. w sali szkoleniowej, konferencyjnej czy w szkole. W przypadku tej techniki badawczej należy zadbać o to, by osoby badane samodzielne wypełniały ankiety (bez udziału innych osób).

ZALETY:

  • krótki czas pozyskania informacji (szczególnie w przypadku ankiety audytoryjnej),
  • niższy koszt realizacji w porównaniu z wywiadami realizowanymi przez ankieterów,
  • poczucie anonimowości u osób wypełniających ankietę,
  • brak efektu ankieterskiego. 

WADY:

  • brak ankietera może zmniejszać motywację respondentów do wypełnienia kwestionariusza, 
  • brak kontroli nad procesem wypełniania ankiety,
  • ryzyko konsultowania odpowiedzi z innymi osobami,
  • skonstruowanie dobrego kwestionariusza ankiety wymaga dużych kompetencji i jest dość pracochłonne (dopracowane instrukcje, objaśnienia i forma graficzna).
WAŻNE

Kwestionariusz ankiety powinien:

  • być krótki, łatwy, i atrakcyjny graficznie, by zachęcić do jego wypełnienia,
  • posiadać niezbędne wskazówki i objaśnienia (które w przypadku innych metod są  udzielane przez ankietera),
  • mieć klarowne reguły przejścia, tj. instrukcje (wersja papierowa) lub algorytmy (w wersji elektronicznej) prowadzące respondenta do  odpowiednich dla niego pytań (na podstawie wcześniejszych odpowiedzi niepasujące pytania są pomijane).

 

PRZYKŁADOWY KWESTIONARIUSZ ANKIETY DLA UCZESTNIKÓW SZKOLEŃ

 

3.2.8 METODY AKTYWNE / WARSZTATOWE W GRUPOWEJ PRACY Z MŁODZIEŻĄ 

Poniżej prezentujemy dodatkowe metody zbierania danych (głównie jakościowych), które ze względu na aktywną formę mogą być szczególnie użyteczne podczas grupowej pracy z młodzieżą, ponieważ angażują, integrują grupę, ułatwiają współpracę oraz wspomagają rozwój kompetencji miękkich.

Metody aktywne to warsztatowe sposoby gromadzenia informacji, które mogą  uzupełniać „klasyczne” metody badań ewaluacyjnych. Pozwalają one na uzyskanie szybkiej informacji zwrotnej na temat danego działania, poznanie ocen, odczuć i wrażeń uczestników, a także wypracowanie rekomendacji. Z metod tych warto korzystać podczas warsztatów,  szkoleń czy konferencji m.in. po to, by uatrakcyjnić spotkanie, poznać uczestników i lepiej dostosować działania projektowe do ich potrzeb. 

 

ZALETY:

  • szybkość (informację zwrotną otrzymujemy podczas danych zajęć/spotkania),
  • swobodna atmosfera,
  • projekcyjny charakter zadań/pytań powoduje, że łatwiej jest formułować krytyczne opinie oraz proponować nowe rozwiązania,
  • możliwość łącznego zbierania danych jakościowych i ilościowych,
  • pobudzenie autorefleksji,
  • korzystny wpływ na samopoczucie uczestników (zaspokojenie potrzeby ekspresji, akceptacji, integracji).

WADY:

  • brak możliwości generalizowania uzyskanych wniosków na szerszą zbiorowość (nie uczestniczącą w spotkaniu),
  • konieczność moderowania/facylitowania przez doświadczonego szkoleniowca/moderatora,
  • brak anonimowości uczestników w przypadku grupowego zgłaszania i dyskutowania opinii (zagrożenie dobrostanu psychicznego i relacji grupowych dla osób szczególnie wrażliwych lub mających słabą pozycję w grupie).

Poniżej przedstawiamy przykłady aktywnych metod realizowanych w formie warsztatowej.

 

SZNUREK NA PRANIE

Jest to wizualna metoda zbierania danych jakościowych, której celem jest poznanie oczekiwań odbiorców projektu.

Każdy uczestnik dostaje rysunki z ubraniami (np. koszula, majtki, spodnie, skarpetki), które symbolizują rodzaj ich oczekiwań wobec projektu – mogą to być np. nadzieje, obawy, potrzeby, propozycje itp. Uczestnikom wyznacza się odpowiednią ilość czasu na zastanowienie i uzupełnienie poszczególnych rysunków (części garderoby). Po zapisaniu pomysłów każdy z nich „wiesza swoje ubrania” na sznurku zawieszonym lub narysowanym w sali. Uczestnicy mogę przeczytać na głos swoje oczekiwania i obejrzeć „pranie” innych.

 

TELEGRAM

Ta metoda powala szybko podsumować część spotkania (warsztatu, szkolenia), by poznać nastroje panujące w grupie.

Uczestników poproś o przemyślenie danego fragmentu zajęć i opisanie swoich refleksji za pomocą trzech słów: pozytywnego, negatywnego i podsumowującego (np. intensywny – zmęczenie – satysfakcja). Każda osoba czyta swoje słowa, co pozwala na wspólne podsumowanie zajęć (można je spisać na samoprzylepnych karteczkach, a następnie przykleić na flipcharcie itp.)

 

RĘCE

Celem tej metody jest poznanie opinii o wybranych aspektach projektu lub jego części (np. szkolenia, stażu), a także podsumowanie przebiegu i efektów danych zajęć. Osoby  biorące udział w warsztacie otrzymują kartki papieru, na których mają odrysować swoją dłoń. Każdemu z palców zostaje przypisana jedna kategoria oceny ocenianego obiektu, np.

·   na kciuku – co było najmocniejszą/najlepszą stroną szkolenia/projektu,

·   na wskazującym – o czym opowiem znajomym,

·   na środkowym – co było najsłabszą stroną szkolenia/ projektu,

·   na serdecznym – co bym zmienił/a (element wymagający poprawy),

·       na małym – czego się nauczyłem/am lub dowiedziałem/am.

Uczestnicy wpisują na każdym z palców swoje opinie zgodnie z powyższymi kategoriami. Ćwiczenie może posłużyć poznaniu opinii pojedynczych osób i/lub zostać wykorzystane do dyskusji grupowej.

 

RÓŻA EWALUACYJNA

Ta metoda służy do zbierania opinii na temat wielu aspektów projektu/działania projektowego jednocześnie. Jest to metoda wizualna, pozwalająca na zbieranie ilościowych danych – opinii nt. różnych aspektów ocenianego obiektu z wykorzystaniem wspólnej skali.

Uczestnicy otrzymują kartki, na których narysowana jest „róża ewaluacyjna”. Rysunek jest inspirowany „różą wiatrów” – zamiast kierunków świata zamieszcza się na nim różne aspekty ocenianego obiektu, które chce się poddać ocenie (np. przydatność danego szkolenia, atrakcyjność sposobu przekazywania treści, odpowiednia ilość czasu przeznaczona na szkolenie). Osie podzielone są na odcinki, którym przypisana jest wybraną wartości (np. skalę 1-6, gdzie 1 jest najsłabszą oceną, a 6 – najlepszą). Uczestników poproś o zaznaczenie swoich opinii na każdej osi “ewaluacyjnej róży”. Następnie można połączyć punkty i uzyskać atrakcyjny wizualnie obraz swoich opinii (efekt finalny przypomina wykres radarowy).

 

GADAJĄCA ŚCIANA

Celem tej metody jest zebranie opinii o wartości danego działania projektowego lub całego projektu. Dzięki jej zastosowaniu uzyskujemy dane jakościowe (rodzaje opinii) oraz ilościowe (ile osób podziela daną opinię).

Na ścianie rozwieś cztery duże arkusze papieru. Na każdym z nich umieść  pytanie  dotyczące przeprowadzonych zajęć, np. 

  • Kartka nr 1: Czego nowego nauczyłeś/aś się podczas szkolenia?
  • Kartka nr 2: Jak wykorzystasz nabytą podczas szkolenia wiedzę?
  • Kartka nr 3: Co Ci się najbardziej podobało podczas zajęć?
  • Kartka nr 4: Co Ci się najmniej podobało podczas zajęć?
  • Kartka nr 5: Co byś zmienił/a w tych zajęciach?

Uczestnicy zapisują swoje odpowiedzi na każdym arkuszu lub – jeśli dana opinia już się na nich znajduje – dodają przy niej plus/kropkę. Na zakończenie prowadzący podsumowuje zapisy i zachęca grupę do dyskusji, dzięki której można wypracować rekomendacje. Taka forma zbierania opinii zachęca do większej otwartości, uczestnicy zyskują poczucie sprawczości oraz przełamują opór przed publicznym wypowiadaniem się.

 

KOSZ I WALIZKA

Dzięki tej metodzie można uzyskać podsumowanie szkolenia lub innej aktywności projektowej. Pozwala ona zebrać informacje, które elementy uczestnicy uznali za uczestników przydatne, zbędne czy brakujące. 

Na tablicy/ flipcharcie narysuj walizkę, kosz i worek. Każdy z rysunków symbolizuje jedną kategorię opinii o ewaluowanym działaniu:

  • walizka: „Co zabieram ze sobą z tych zajęć?” (co mi się przyda, wykorzystam w przyszłości)
  • kosz: „Co było zbędne na szkoleniu?” (co mi się nie przyda, było niepotrzebne),
  • worek: „Czego zabrakło?” (co powinno się pojawić, o co można uzupełnić kolejne szkolenie).

Następnie można prosić uczestników/czki o ustne wypowiedzi lub zapisanie opinii na samoprzylepnych karteczkach czy bezpośrednio na rysunkach na flipcharcie. 

 

PRAKTYCZNE WSKAZÓWKI DOT. PROWADZENIA DZIAŁAŃ GRUPOWYCH

Warto by uczestnicy siedzieli w kole, aby każdy mógł widzieć pozostałe osoby. Dla zwiększenia ich zaangażowania można zaproponować, aby sami wskazywali kolejną osobę, która się ma wypowiedzieć, np. poprzez rzucanie piłeczki (rozwiązanie to można stosować, pod warunkiem, że w grupie nie ma osób dyskryminowanych). Wypowiedzi ustne należy notować – może to robić osoba prowadząca zajęcia w trakcie ich trwania (np. na tablicy, flipcharcie) lub jej pomocnik. 

 

3.3. Jak dobrać odpowiednie metody badawcze?

Metody badawcze muszą być dobrze dopasowane do koncepcji i planu ewaluacji. Aby dokonać trafnego wyboru należy rozważyć, czy dane metody odpowiadają: 

  • celowi, przedmiotowi, zakresowi i rodzajowi ewaluacji, a także przyjętym kryteriom i pytaniom ewaluacyjnym – czy dzięki tym metodom zdobędziesz informacje, które są niezbędne do udzielenia odpowiedzi na pytania ewaluacyjne?
  • źródłom danych, z których planujesz pozyskać informacje – czy  pozwolą na uzyskanie informacji nt. grupy, która weźmie udział w badaniu ewaluacyjnym? 
  • specyfice respondentów – czy metody te uwzględniają liczebność grupy, możliwości percepcyjne, zdolności komunikacyjne, stan zdrowia badanych itp.?
  • okolicznościom zbierania danych – czy w momencie realizacji badania będą dostępni respondenci oraz wszystkie potrzebne dane? Czy wybrana metoda odpowiada miejscu gromadzenia danych?
  • posiadanym zasobom – czy metoda wymaga udziału wykwalifikowanych, niezależnych badaczy i innych zasobów (organizacyjnych, technicznych, finansowych, czasowych)? Czy będziesz w stanie samodzielnie posłużyć się tymi metodami? Czy Twoje zasoby umożliwiają ich wykorzystanie?

Znajomość metod badawczych (ilościowych oraz jakościowych) i związanych z nimi narzędzi pomoże w przygotowaniu drugiej części koncepcji ewaluacji (zob. rozdz. 2.4., narzędzie 4), która zostanie uzupełniona o kwestie metodologiczne, odnoszące się do gromadzenia informacji umożliwiających udzielenie odpowiedzi na pytania ewaluacyjne.

Narzędzie 6. Matryca logiczna badania ewaluacyjnego (KONCEPCJA EWALUACJI CZ.2)

Kryterium

Pod jakim kątem oceniasz ewaluowany projekt?

Przenieś tu kryteria wpisane w tabeli ewaluacji cz. 1 (narzędzie 4)

Pytanie ewaluacyjne

Czego chcesz się dowiedzieć?

 Przenieś tu pytania wpisane w tabeli ewaluacji cz. 1 (narzędzie 4)

Źródło informacji

Kto lub co może być źródłem informacji umożliwiających udzielenie odpowiedzi na pytania ewaluacyjne?

Uwzględnij różne źródła (min. 2-3 do każdego pytania)

Metoda badawcza

W jaki sposób uzyskasz informacje?

Uwzględnij zarówno metody jakościowe, jak i ilościowe

Narzędzie badawcze

Przy pomocy czego zgromadzisz informacje?

Uwzględnij zarówno narzędzia jakościowe, jak i ilościowe

 

 

Adekwatność

 

 

 

W jakim stopniu działania projektowe (takie jak rekrutacja do projektu, szkolenia, doradztwo, staże) były dostosowane do potrzeb uczestników/czek oraz pracodawców? 1. Zespół projektowy

2. Osoby prowadzące rekrutację, szkolenia, doradztwo, staże

3. Odbiorcy projektu (osoby młode)

4. Pracodawcy

5. Raport z diagnozy potrzeb odbiorców projektu

1. FGI – wywiad grupowy

2. IDI – wywiady indywidualne

3. FGI/ IDI z wybranymi osobami oraz sondaż (CAWI – ankieta internetowa)

4. Sondaż (CATI – ankieta telefoniczna)

5.Analiza dokumentacji 

1. Scenariusz FGI

2. Scenariusz IDI

3. Scenariusz FGI/IDI + kwestionariusz ankiety CAWI

4. Kwestionariusz wywiadu CATI

5. –

 

 

Skuteczność

 

 

 

 

 

W jakim stopniu zostały osiągnięte założone cele i rezultaty (twarde, miękkie) projektu?

Czy jakichś założeń nie udało się zrealizować i dlaczego tak się stało?

1. Dokumenty projektowe (diagnozy, zaświadczenia, wyniki badania przyrostu kompetencji)  

2. Zespół projektowy

3. Trenerzy, psycholog, doradca zawodowy

4. Odbiorcy projektu

5. Pracodawcy

1. Analiza dokumentacji

2. FGI

3. IDI

4. FGI/ IDI z wybranymi osobami oraz sondaż (CAWI – ankieta internetowa) + obserwacja wybranych zajęć

5. CATI – ankieta telefoniczna

1. Dyspozycje do analizy dokumentów

2. Scenariusz FGI

3. Scenariusz IDI

4. Scenariusz FGI/ IDI, kwestionariusz ankiety CAWI, arkusz obserwacji

5. Kwestionariusz wywiadu CATI

 

 

Efektywność

 

 

 

 

 

Czy uzyskane efekty odpowiadają poniesionym nakładom? Czy można było osiągnąć takie same efekty przy wykorzystaniu mniejszych zasobów? 1. Zespół projektowy

2. Dokumentacja finansowa

3. Eksperci ds. rozliczeń w innych projektach

4. Koordynatorzy analogicznych projektów

1. FGI

2. Analiza dokumentacji

3. FGI/ IDI

4. Jw.

1. Scenariusz IDI

2. Dyspozycje do analizy dokumentacji

3. Scenariusz FGI/ IDI

4. Jw.

 

Użyteczność

 

 

 

 

W jakim stopniu wypracowane rezultaty projektu są przydatne dla jego odbiorców, tj. osób młodych oraz pracodawców? Czy i jak można zwiększyć tę przydatność? 1. Zespół projektowy

2. Kadra projektu prowadząca dane zajęcia

3. Odbiorcy projektu (osoby młode)

4. Pracodawcy

1. FGI 

2. IDI 

3. FGI/ IDI z wybranymi osobami, studium przypadku oraz CAWI 

4. CATI

1. Scenariusz FGI

2. Scenariusz IDI

3. Scenariusz FGI/IDI + kwestionariusz ankiety CAWI

4. Kwestionariusz wywiadu CATI

Trwałość Czy wypracowane efekty utrzymują się w czasie po zakończeniu finansowania projektu? Jakie czynniki sprzyjają trwałości wypracowanych rezultatów? 1. Odbiorcy projektu (osoby młode)

2. Otoczenie odbiorców (rodzina, bliscy)

3. Pracodawcy

4. Zespół projektowy

 

1. FGI/ IDI z wybranymi osobami oraz sondaż (CAWI)

2. FGI/IDI, studium przypadku + ankieta telefoniczna

3. Sondaż (CATI)

4. FGI

1. Scenariusz FGI/IDI + kwestionariusz ankiety CAWI

2. Scenariusz FGI/IDI + kwestionariusz wywiadu CATI

3. Kwestionariusz wywiadu CATI

4. Scenariusz FGI

Oddziaływanie

 

W jakim stopniu realizacja projektu wpłynęła na poziom aktywności zawodowej i społecznej osób młodych na terenie objętym działaniami projektowymi?

Czy efekty projektu wykraczają poza jego bezpośrednich odbiorców, a jeśli tak to na czym to zjawisko polega i jakie mechanizmy je powodują?

1. Dane lokalnego urzędu pracy

2. Pracownik lokalnego urzędu pracy

3. Eksperci ds. rynku pracy

4. Odbiorcy projektu

5. Otoczenie społeczne odbiorców projektu (rodzina, bliscy)

6. Pracodawcy

1. Analiza dokumentacji

2. IDI

3. FGI/ IDI

4. FGI/IDI, studium przypadku + CAWI

5. FGI/ IDI + CATI

6. CATI

1. –

2. Scenariusz IDI

3. Scenariusz FGI/ IDI

4. Scenariusz FGI/ IDI + kwestionariusz ankiety CAWI

5. Scenariusz FGI/ IDI + kwestionariusz wywiadu CATI

6. Kwestionariusz wywiadu CATI

Inne Jakie elementy ułatwiały a jakie utrudniały wdrażanie projektu z punktu widzenia jego realizatorów (zespołu projektowego i kadry prowadzącej dane działania)?

Jakie elementy ułatwiały/ utrudniały beneficjentom udział w projekcie?

1. Zespół projektowy

2. Osoby prowadzące rekrutację, szkolenia, doradztwo, staże

3. Odbiorcy projektu (osoby młode)

4. Pracodawcy

5. Otoczenie społeczne odbiorców projektu (rodzina, bliscy)

1. FGI – wywiad grupowy

2. IDI – wywiady indywidualne

3. FGI/ IDI z wybranymi osobami + sondaż (CAWI – ankieta internetowa)

4. Sondaż (CATI – ankieta telefoniczna)

5. 3. FGI/ IDI z wybranymi osobami + sondaż (CATI – ankieta telefoniczna) 

1. Scenariusz FGI

2. Scenariusz IDI

3. Scenariusz FGI/IDI + kwestionariusz ankiety CAWI

4. Kwestionariusz wywiadu CATI

5. Scenariusz FGI/IDI + kwestionariusz wywiadu CATI

Źródło: Opracowanie własne

 

3.4. Jak konstruować narzędzia badawcze?

Często popełnianym błędem jest rozpoczynanie ewaluacji od tworzenia narzędzi badawczych, np. ankiety dla odbiorców projektu. Warto pamiętać o tym, że nie da się wybrać właściwych metod badawczych ani przygotować trafnych narzędzi pomiaru (np. scenariuszy, kwestionariuszy, arkuszy obserwacji) w oderwaniu od całościowej koncepcji ewaluacji. Dlatego do konstruowania narzędzi badawczych przystąp po określeniu: 

    • przedmiotu, zakresu i celu ewaluacji, 
    • kryteriów oraz pytań ewaluacyjnych, 
    • badanych zbiorowości oraz metod badawczych. 

Bez odniesienia się do powyższych elementów nie jesteś w stanie stworzyć poprawnego narzędzia badawczego, ponieważ umieścisz w nim pytania niezwiązane z celem badania, uniemożliwiające udzielenie odpowiedzi na pytania badawcze czy ustosunkowanie się wobec przyjętych kryteriów ewaluacyjnych. Nnarzędzia opracowane w oderwaniu od koncepcji ewaluacji zawierają nieprzydatne pytania, są przeładowane, nie wnoszą istotnych informacji i nie pozwalają na sformułowanie sensownych rekomendacji. 

Pytania zamieszczone w narzędziach badawczych stanowią uszczegółowienie pytań ewaluacyjnych, które ewaluatorzy zadają sobie samym, a nie respondentom! Nie należy mylić tych dwóch rodzajów pytań, ponieważ są one formułowane w językach dostosowanych do potrzeb:

  • ewaluatorów / interesariuszy ewaluacji → pytania ewaluacyjne,
  • badanych grup osób (ankietowani, respondenci) → pytania w narzędziach badawczych.

Jeśli nie masz pewności, czy dane pytanie należy zadać osobom badanym, spróbuj rozważyć, czy będą one w stanie udzielić odpowiedzi i informacja, którą uzyskasz, pozwoli Ci odpowiedzieć na pytania ewaluacyjne lub sformułować przydatne rekomendacje. 

 

JAK ZADAWAĆ PYTANIA OSOBOM BADANYM?

  • Liczba pytań zamieszczonych w narzędziach badawczych musi być adekwatna do celu, przyjętej metody badawczej oraz czasu trwania badania. 
  • Narzędzia badawcze powinny mieć przejrzystą strukturę, z wyodrębnionymi głównymi zagadnieniami (np. „powody przystąpienia do projektu”, „ocena różnych rodzajów wsparcia”, „efekty udziału w projekcie”). Poszczególne zagadnienia tematyczne należy pogrupować (np. kwestie organizacyjne).
  • Pytania powinny być zadawane w określonym porządku. Na początku narzędzia umieść pytania wstępne (stosunkowo łatwe), po nich pytania wprowadzające w dany temat (niezbyt trudne), a następnie pytania zasadnicze (kluczowe dla celu badania). Najtrudniejsze pytania należy umieścić w środku narzędzia. Na końcu zadaj pytania podsumowujące i zamykające. 
  • Pytania powinny być zadawane w logicznej kolejności, która nie może zaskakiwać czy wprawiać osoby badanej w zakłopotanie. Każde pytanie powinno wypływać z poprzedniego lub – w przypadku wywiadu – nawiązywać do wypowiedzi rozmówcy.
  • Należy posługiwać się językiem zrozumiałym dla osób badanych – używaj możliwie krótkich zdań, bez specjalistycznych terminów, skrótów, żargonu projektowego.
  • Pytania trzeba formułować precyzyjnie – np. nie powinno być wątpliwości, jakiego okresu one dotyczą (nie pytaj „czy w ostatnim czasie…”, ale „czy w ciągu ostatniego tygodnia/ miesiąca/roku…”).
  • Nie należy pytać o kilka spraw naraz („jakie są silne i słabe strony projektu?”) ani stosować pytań w formie negacji („czy nie należy…”, „czy nie wolisz…”). Każdy z tych błędów utrudnia zrozumienie pytań i interpretację uzyskanych odpowiedzi. 
  • Pytania nie powinny mieć drażliwego charakteru, ponieważ mogłyby prowadzić do ujawniania traumatycznych przeżyć lub deklarowania zachowań/przekonań sprzecznych z prawem czy moralnością. Gdy nie jesteś w stanie zapewnić badanym pełnej anonimowości, nie pytaj ich o stan majątkowy, sprawy rodzinne czy zdrowotne.
  • Nie zadawaj pytań sugerujących odpowiedź nie przedstawiaj żadnej z opcji jako zgodnej z prawem czy moralnością, nie powołuj się na autorytety ani na opinię większości. 

 

PRZYKŁAD PRZEŁOŻENIA KRYTERIUM I PYTANIA EWALUACYJNEGO NA PYTANIA W NARZĘDZIU BADAWCZYM

I. Kryterium: UŻYTECZNOŚĆ

(perspektywa: punkt widzenia odbiorców; cel ewaluacji: doskonalenie działań projektowych)

II. Pytanie badawcze: W jakim stopniu szkolenie było użyteczne dla uczestników/czek?

III. Przykładowe pytania scenariusza IDI z trenerem:

1)  Jakie elementy szkolenia były Pani/Pana zdaniem najbardziej, a jakie najmniej przydatne dla kursantów i dlaczego?

2) Czy to szkolenie mogłoby być bardziej przydatne dla jego uczestników/czek? Co należałoby zmienić, żeby tak było? Dlaczego sądzi Pan(i), że dzięki tej zmianie kurs będzie bardziej przydatny?

IV. Przykładowe pytania ankiety dla odbiorców szkolenia:

1) Proszę wskazać elementy szkolenia, które były dla Pani/ Pana najbardziej przydatne (kafeteria: X, Y, Z)

2) Proszę wskazać elementy szkolenia, które były dla Pani/Pana najmniej przydatne (kafeteria: X, Y, Z)

3) Czy to szkolenie mogłoby być dla Pani/Pana bardziej przydatne? (kafeteria: tak; nie; nie wiem)

+ pytanie otwarte dla osób, które na powyższe odpowiedziały „tak” – Co należałoby zmienić w tym szkoleniu, żeby było ono dla Pani/ Pana bardziej przydatne? (miejsce na wpisanie odpowiedzi……………………………)

Źródło: Opracowanie własne

Różnice pomiędzy ilościowymi i jakościowymi narzędziami badawczymi, struktura / budowa scenariuszy i kwestionariuszy oraz najczęściej popełniane błędy w ich tworzeniu zostały omówione w zdalnym kursie, w Module III . 

IV. Co należy wziąć pod uwagę podczas ewaluacji projektów skierowanych do młodzieży w wieku 15–24 lata?

 

IV. Co należy wziąć pod uwagę podczas ewaluacji projektów skierowanych do młodzieży w wieku 15–24 lata?

 

Podejmując się ewaluacji projektów adresowanych do młodzieży w wieku 15–24 lata, powinniśmy wziąć pod uwagę, że osoby w tym wieku różnią się od dorosłych, przede wszystkim ze względu na sytuację prawną, uwarunkowania bytowe i technologiczne oraz potrzeby psychologiczne i społeczne związane z intensywnymi procesami rozwojowymi na pograniczu dzieciństwa i dorosłości. 

 

4.1. Jakie są standardy prowadzenia badań wśród młodzieży? 

Międzynarodowa konwencja o prawach dziecka i wiele dodatkowych przepisów w poszczególnych krajach gwarantują szczególną ochronę prawną osób niepełnoletnich. Zgodnie z prawem, osoba poniżej 18. roku życia jest dzieckiem. Choć w większości krajów już od 15. roku nabywa się uprawnienia do podejmowania niektórych decyzji (np. w zakresie wyboru miejsca edukacji czy możliwości podejmowania pracy), to nadal udział osoby niepełnoletniej w projektach aktywizacyjnych, jak też w różnego rodzaju badaniach wymaga zgody rodzica lub opiekuna prawnego takiej osoby. 

 

4.1.1. Zgoda na udział osoby niepełnoletniej w badaniach ewaluacyjnych

  • Zgoda na udział w badaniach ewaluacyjnych uzyskana zarówno od niepełnoletniej osoby badanej, jak i od jej rodzica czy opiekuna prawnego musi odnosić się do wskazanego konkretnie badania (nazwa badania lub ewaluowanego projektu i prowadzącego je podmiotu lub podmiotów). 
  • Osoba udzielająca zgody na udział w badaniu powinna otrzymać od badacza niezbędne informacje, takie jak:
    1. cel badania i sposób wykorzystania wyników, 
    2. zakres i sposób zbierania informacji, jakie mają być pozyskane od uczestnika badania, w tym m.in. to, czy metoda badania zakłada wielokrotny kontakt z osobą badaną, zwłaszcza kontakt po dłuższym czasie od pierwszego badania,
    3. zapewnienie anonimowości i ochrony poufności danych pozyskanych o uczestniku badania,
    4. informacja o prawie do odmowy udziału w badaniu i do odstąpienia od udziału na każdym jego etapie. 
  • Należy też pamiętać, że w krajach UE konieczne jest uzyskanie zgody na przetwarzanie i przechowywanie danych osobowych.
  • W przypadku, gdy planowane jest wykorzystywanie urządzeń rejestrujących dźwięk i obraz – należy uzyskać na to wyraźną zgodę.
  • Przykłady dokumentów służących do pozyskiwania i utrwalania zgody na udział w badaniach znajdują się w Aneksie (załączniki 1 i 2).

Warto zadbać o uzyskanie tego rodzaju zgody już na początku ewaluowanego projektu, ponieważ można ją wówczas uzyskać w ramach jednocześnie z ogólną zgodą na udział młodego człowieka w projekcie (np. w tym samym dokumencie).

 

4.1.2. Zasady ochrony osób niepełnoletnich w kodeksach etycznych środowiska profesjonalnych badaczy społecznych

Podstawą prowadzenia badań wśród osób poniżej 18. roku życia są:

  • uzyskanie opisanej powyżej zgody na udział w badaniu od osoby niepełnoletniej i jej opiekuna prawnego,
  • zapewnienie poczucia bezpieczeństwa osobom badanym ze strony personelu badawczego (np. badacz ankieter nie podejmuje próby pierwszego kontaktu z badanymi poniżej 18. roku życia bez obecności osoby dorosłej odpowiedzialnej w danym momencie za dziecko (nauczyciela, opiekuna, rodzica); osoba pozyskująca informacje od osoby młodej jest zaopatrzona w dokumenty potwierdzające jej status badacza; wyszkolenie i doświadczenie osób przeprowadzających badanie gwarantują bezpieczeństwo i odpowiedni do specyfiki osób młodych sposób realizacji badania),
  • zadbanie, aby wszystkie informacje przekazywane w ramach badania, w tym pytania stawiane osobom badanym, były zrozumiałe (pomocne jest w tym zakresie konsultowanie narzędzi ze specjalistami od badań młodzieży oraz testowanie narzędzi ilościowych w małej skali przed ich zastosowaniem),
  • upewnianie się, że zakres lub sposób pozyskiwania informacji od osób młodych nie stanie się bezpośrednią przyczyną szkód materialnych lub niematerialnych, w tym związanych z dobrostanem psychicznym i relacjami społecznymi; dotyczy to w szczególności takich kwestii, jak:
    • sprawy drażliwe, obniżające poczucie autonomii czy własnej wartości,
    • relacje z grupą rówieśniczą i innymi ważnymi osobami.

Ewentualne wątpliwości warto skonsultować ze specjalistami.

  • przestrzeganie ogólnych zasad prowadzenia badań społecznych, w tym szczególnie:
    • zagwarantowanie poufności informacji pozyskanych od osoby badanej zarówno na etapie zbierania danych (brak udziału innych osób poza badaczem i badanym), jak i podczas ich obróbki (anonimizacja) czy publikowania wyników (zbiorcze prezentowanie danych ilościowych, pseudonimizacja danych jakościowych),
    • zapewnienie anonimowości osoby badanej, 
    • zapewnienie bezpieczeństwa i niezakłóconej pracy osobom realizującym badanie.

Standardy prowadzenia badań osób niepełnoletnich zawarte są kodeksach etycznych obowiązujących w środowiskach profesjonalnych badaczy społecznych i rynkowych (np. ESOMAR, Polskie Towarzystwo Ewaluacyjne lub jego odpowiednik w danym kraju).

 

4.2. Jak dostosować metodologię badań ewaluacyjnych do stylu życia młodych 

4.2.1. Główna aktywność – edukacja formalna 

Dominującą aktywnością życiową młodzieży w wieku 15–24 lata jest uczenie się. W Polsce do osiągnięcia 18. roku życia udział w edukacji formalnej jest obowiązkowy, aczkolwiek dopuszczalne jest również kształcenie w formie „przygotowania zawodowego”, połączone z pracą zarobkową. Wyniki Badania Aktywności Ekonomicznej Ludności (BAEL) pokazują jednak, że ogromna większość osób w wieku 18–24 uczestniczy w zorganizowanych formach edukacji. Młodzi ludzie przeważnie uczą się w szkołach i na uczelniach, ale często także w formie kursów i szkoleń. Również wiele projektów aktywizacyjnych ma formę grupowych działań edukacyjnych. Obecni w jednym miejscu i czasie beneficjenci ewaluowanego projektu stanowią atrakcyjną z punktu widzenia dostępności grupę do prowadzenia różnego rodzaju działań związanych z ewaluacją, przede wszystkim do zbierania danych poprzez obserwację, audytoryjne badania ankietowe, wywiady grupowe itp.
Warto pamiętać, że prowadząc badania w miejscu, gdzie odbywają się zajęcia edukacyjne, należy zadbać o odpowiednie warunki zbierania danych takie jak: wyizolowane pomieszczenie, zaplanowanie czasu na badanie (respondenci nie powinni być pod presją czasu).

 

4.2.2. Słaba pozycja młodych na rynku pracy

Pozycja osób młodych na rynku pracy jest jednym z podstawowych elementów warunkujących ich ogólną sytuację, a jednocześnie głównym obszarem oddziaływania projektów aktywizacyjnych. W badaniach poświęconych tej tematyce, odnoszących się do osób młodych, warto pamiętać, że:

  1. w grupie wiekowej 15–24 lata tylko co trzecia osoba wykonuje jakąkolwiek pracę zarobkową (w tym bezpłatną pomoc w pracy zarobkowej członka rodziny) – nie należy więc nigdy zadawać pytań z założeniem, że dana osoba pracuje, czy też że posiada dochody z pracy,
  2. praca osób młodych, a zwłaszcza poniżej 18. roku życia, występuje w mocno zróżnicowanych, nierzadko w nietypowych formach np. jako bezpłatna pomoc w pracy zarobkowej członka najbliższej rodziny, wykonanie pojedynczego zlecenia, praca dorywcza, praca wakacyjna, praca niepełnowymiarowa, praca na zastępstwo, praca „na próbę”, różnego rodzaju staże, praktyki i przygotowanie zawodowe, w których proporcje nauki do pracy oraz zarobki są bardzo zróżnicowane i mogą być albo nie być uznawane za pracę. Chodzi tu o tak zróżnicowane sytuacje jak świadczenie pracy w zamian za mieszkanie, wyżywienie i „kieszonkowe”, promowanie produktów lub usług w mediach społecznościowych w zamian za otrzymywane dobra lub usługi, praca wolontariacka z różnym poziomem pokrycia kosztów własnych, praca wykonywana w ramach różnych umów począwszy od regularnej umowy o pracę, po umowy o dzieło, praca nierejestrowana typu udzielanie korepetycji, uzyskiwanie dochodów za czynności sprzeczne z prawem.

Dlatego w pytaniach dotyczących pracy należy precyzyjnie określić, jakiego rodzaju aktywność uznajemy za pracę i/lub jakie cechy są dla nas decydujące (legalność, rodzaj i wysokość wynagrodzenia, wymiar czasowy, stałość, sprzężenie z obowiązkami edukacyjnymi, forma prawna). 

 

4.2.3. Zwiększona mobilność osób młodych

Młodzież w wieku 15–24 zmienia miejsce zamieszkania zdecydowanie częściej niż osoby od nich starsze. Wykazuje również wyższą niż przeciętna mobilność dzienną. W rezultacie tradycyjne metody zbierania danych opierające się na adresie zamieszkania w przypadku młodzieży się nie sprawdzają – ankieta pocztowa często trafia pod nieaktualny adres, ankieter przychodzi, gdy akurat nikogo nie ma w domu itp. 

Dlatego w przypadku osób młodych jest szczególnie ważne, aby pozyskać ich mobilne dane kontaktowe, takie jak numer telefonu lub nazwa indywidualnego profilu w danym komunikatorze internetowym, a następnie na tych danych kontaktowych opierać strategię zbierania danych narzędziami elektronicznymi. Wyniki niektórych badań prowadzonych po połowie metodą ankiety pocztowej i CAWI pokazują, że stopa zwrotu wypełnionych ankiet (ang. response rate) w przypadku tych ostatnich jest znacznie wyższa, a różnica jest tym większa im niższy wiek respondenta.

 

4.2.4. Dominacja smartfonów w codziennej komunikacji

Młodzi ludzie w większym stopniu niż osoby starsze są skłonni korzystać z technologii elektronicznych niż papierowych. Są w tym także o wiele sprawniejsi i chętniej załatwiają wszystkie sprawy życia codziennego za pomocą smartfona niż komputera. Dlatego warto tworzyć narzędzia badawcze adresowane do młodzieży w formie elektronicznej i dążyć do tego, by były to narzędzia dostosowane do obsłużenia przez smartfona (jedno niezbyt skomplikowane pytanie na ekran, prosta i czytelna forma, niezbyt długa lista odpowiedzi). 

 

4.2.5. Intensywne, przebodźcowane życie

Cechą charakterystyczną współczesnej młodzieży jest jej otwartość na wiele bodźców dostarczanych za pośrednictwem smartfonów, z którymi młodzi ludzie właściwie się nie rozstają. Ponadto nauka, rozwój własnych zainteresowań, a nade wszystko życie towarzyskie często skutkują przebodźcowaniem funkcjonowania osób młodych i zapominaniem o nietypowych lub mniej ważnych zobowiązaniach takich, jak np. wypełnienie ankiety ewaluacyjnej. Aby temu przeciwdziałać, ważne jest regularne wysyłanie komunikatów przypominających o terminach umówionych wywiadów, złożonej uprzednio deklaracji wypełnienia ankiety itp.

 

4.2.6. Powszechne korzystanie z mediów społecznościowych

Powszechne wśród młodych ludzi korzystanie z mediów społecznościowych, w tym obecność w licznych grupach, coraz częściej bywa wykorzystane do celów badawczych. Możliwe jest odnalezienie grup skupiających młodzież z danej miejscowości czy szkoły, jak też osób mających specyficzne zainteresowania muzyczne, ideowe itp. Po wejściu do grupy otwierają się możliwości rekrutowania uczestników badań (np. do grupy porównawczej). Można też rozważyć zwrócenie się jako badacz z jakimś pytaniem do pojedynczych uczestników grupy lub też (jeśli zgodzi się na to administrator grupy) zamieścić post z linkiem do ankiety online lub prośbą o kontakt. Lepiej nie otwierać publicznej dyskusji na poziomie grupy internetowej, gdyż uniemożliwia to zachowanie poufności badania, naraża odpowiadających na ocenę pozostałych członków grupy, a publiczny charakter wypowiedzi obniża ich wiarygodność.
Wzorem agencji badań rynkowych można też rozważyć założenie specjalnej grupy społecznościowej (ang. Market Research Online Communities, MROC), w której zgodziliby się uczestniczyć młodzi beneficjenci projektu. Takie działania wymagają jednak precyzyjnego określenia celu grupy. Jeśli cel miałby być badawczy – wtedy powinna to być grupa krótkotrwała (ang. short-term MROC), a przez ten okres powinna być profesjonalnie moderowana podobnie jak to jest w przypadku zogniskowanych wywiadów grupowych (FGI).

 

4.2.7. Trudności w dotarciu do osób z grupy NEET

Trudności charakterystyczne dla badania osób młodych potęgują się, gdy ewaluowane przedsięwzięcie adresowane jest do młodzieży nieuczącej się i niepracującej (NEET), która nie jest objęta żadną grupującą te osoby formą edukacji, wsparcia czy nadzorem instytucjonalnym. Wówczas dotarcie do takiej młodzieży stanowi poważne wyzwanie zwłaszcza, gdy potrzebne są nam dane do porównań z osobami NEETs, które uczestniczą w ewaluowanym projekcie.
Rozwiązaniem tego typu problemu może być porównywanie grup uczestniczących w różnych projektach z tego samego programu lub porównywanie wyników uzyskanych w grupie objętej projektem z grupą kandydatów, którzy nie stali się jego beneficjentami (oczywiście przy uwzględnieniu wpływu przyczyn niezakwalifikowania do projektu).

 

4.3. Jak radzić sobie w badaniach z psychologicznymi i społecznymi potrzebami młodzieży 

4.3.1 Zwiększona potrzeba zapewnienia poczucia poufności przekazywanych informacji 

Kluczowymi czynnikami psychiczno-społecznymi, które należy brać pod uwagę, gdy planuje się i prowadzi badania z udziałem osób młodych, jest szczególna podatność tej grupy wiekowej na wpływy. Wynika ona zarówno z kształtującej się osobowości, jak też z obaw przed oceną, a nawet sankcjami, jakie mogą spotkać osobę młodą zarówno ze strony grupy rówieśniczej, jak i osób dorosłych, od których młody człowiek jest zależny psychicznie i materialnie. Do grupy tych ostatnich osób może również należeć personel ewaluowanego projektu. Biorąc to pod uwagę wymienione uwarunkowania należy:

  1. poinformować młodego respondenta o zachowaniu poufności przekazywanych przez niego informacji i środkach podejmowanych w tym celu, zarówno poprzez gwarantujące poufność sposoby zbierania danych, jak też ich anonimizacji na etapie analizy danych i wykorzystania wyników,
  2. dopełnić złożonych zapewnień m.in. poprzez prowadzenie wywiadów bezpośrednich (IDI, FGI) bez udziału osób trzecich, tworzenie gwarantujących anonimowość i poufność warunków do wypełniania ankiet, w tym wrzucanie ankiet audytoryjnych do urny,
  3. zapewnić prowadzenie indywidualnych i grupowych wywiadów przez osoby niebędące personelem projektu.

 

4.3.2. Zwiększona potrzeba autonomii i emancypacji 

Zgodnie z ustaleniami psychologii rozwojowej osoby w wieku 15–24 lata są – w związku z kształtowaniem ich tożsamości – szczególnie wrażliwe na kwestie dotyczące poszanowania ich wolności. W związku z tym należy wyraźnie komunikować ich prawo do udziału oraz do odmowy udziału w badaniu oraz dokładnie, ale bez wywierania nacisku, wyjaśniać przyczyny i konsekwencje każdego z dostępnych wyborów. To warunek niezbędny.

Z kolei pozytywną motywację do udziału młodych ludzi w badaniach ewaluacyjnych można tworzyć, odpowiadając na ich potrzeby przejścia z pozycji podległych i wykonawczych do roli osób współdecydujących i współtworzących. Warunkiem prawdziwego zaangażowania osób młodych w badania ewaluacyjne jest więc traktowanie ich jako partnerów pełniących różne, w tym także decyzyjne i konsultacyjne role, zamiast jedynie roli klasycznego obiektu badanego. Można to osiągnąć poprzez włączanie młodych beneficjentów projektu w poszczególne etapy procesu ewaluacji, począwszy od zgłaszania potrzeb informacyjnych, przez współdecydowanie o priorytetach, planowanie, udział w realizacji, a na końcu w konsultowaniu wyników (patrz Podrozdział 2.3).

V. ANALIZA DANYCH

 

5 ANALIZA DANYCH

 

Gdy już zakończysz proces zbierania danych, przejdź do etapu ich analizy. Oznacza to zebranie całego materiału badawczego (informacji pozyskanych różnymi metodami), odpowiedzenie na jego podstawie na pytania ewaluacyjne i ocenienie projektu (czyli przedmiotu ewaluacji), z perspektywy przyjętych kryteriów. Dlatego warto na tym etapie powrócić do koncepcji ewaluacji, która pełni rolę kompasu, prowadzącego badacza przez cały proces badawczy (nie tylko gromadzenie danych, lecz także ich analizę, wnioskowanie na ich podstawie i formułowanie rekomendacji).

Celem analizy danych jest:

  • zestawienie i weryfikacja zebranych informacji,
  • opis, ocena i zestawienie uzyskanych danych ilościowych i jakościowych (sprawdzenie, na ile są one rzetelne i spójne),
  • identyfikacja i wyjaśnienie różnych zależności przyczynowo-skutkowych, które  pozwolą na zrozumienie mechanizmów badanych zjawisk,
  • interpretacja wyników ewaluacji w odniesieniu do szerszej wiedzy nt. przedmiotu ewaluacji,
  • uzyskanie szczegółowych odpowiedzi na pytania badawcze i wiarygodną ocenę przedmiotu ewaluacji z perspektywy przyjętych kryteriów,
  • wyciągnięcie wniosków z zebranych informacji i sformułowanie na tej podstawie użytecznych rekomendacji.

 

W analizie danych należy pamiętać o zasadzie triangulacji, czyli zestawianiu danych uzyskanych np. z różnych źródeł, za pomocą różnych metod badawczych, przez różnych badaczy. Dzięki temu mamy możliwość uzupełnienia, pogłębienia i zweryfikowania poszczególnych informacji, tak by uzyskać pełen obraz ewaluowanego projektu.

 

Choć w czasie analizy danych podejmujemy czynności wspólne dla obu rodzajów danych (ilościowych i jakościowych), takie jak redukcja, prezentacja czy wnioskowanie, w odniesieniu do każdego z nich uzyskujemy wyniki w innej formie. Porównanie tych danych przedstawiono w poniższej tabeli.

 

Tabela 3. Czynności w zakresie analizy danych

CZYNNOŚCI DANE ILOŚCIOWE DANE JAKOŚCIOWE
redukcja danych np. obliczanie procentów, średnich i innych miar selekcja, upraszczanie, uogólnienie, podsumowanie
prezentacja wyników (przedstawienie ich w spójnej formie) tabele, wykresy, rysunki opracowania tekstowe, streszczenia, schematy, matryce, sieci powiązań
wyprowadzanie wniosków i ich weryfikacja statystyczne testowanie hipotez dotyczących związku pomiędzy badanymi zjawiskami dostrzeżenie wzorców, regularności, odstępstw, tworzenie wyjaśnień

   Źródło: Opracowanie własne

 

Przed rozpoczęciem analizy danych należy sprawdzić, czy wszystkie materiały badawcze zostały zanonimizowane, a więc czy nie zawierają danych osobowych (imion, nazwisk, adresów, w tym e-mailowych, numerów telefonów, a także innych informacji umożliwiających identyfikację respondentów/ek itp.). Osobom badanym, które uczestniczyły w jakościowej części ewaluacji (wywiadach indywidualnych czy grupowych), należy nadać pseudonimy, np. uwzględniające istotne dla badacza cechy. Dane osobowe respondentów/ek sondaży należy oddzielić od ich wyników ilościowych.

 

Możemy wyróżnić cztery zasadnicze etapy analizy danych:

1. Selekcja i porządkowanie zgromadzonego materiału badawczego (czynności wstępne) – podczas tego etapu sprawdza się poprawność i kompletność danych, weryfikuje rzetelność poszczególnych informacji (dzięki triangulacji), a także usuwa dane bezużyteczne z punktu widzenia celu ewaluacji. Na tym etapie należy zebrać wszystkie zgromadzone informacje oraz ułatwić ich dalszą analizę – nagrania z wywiadów można dosłownie przepisać (sporządzić transkrypcję) lub opracować zgodnie z wcześniej przygotowanym schematem (w którym zamieszcza się streszczenie wypowiedzi osób badanych). W przypadku sondażu odrzuć ankiety wypełnione w niewielkim stopniu itd.

2. Konstruowanie kategorii analitycznych (wybór rodzaju kodowania oraz zakodowanie danych – ich kategoryzowanie i klasyfikowanie), czyli przypisywanie poszczególnym pozyskanym informacjom kodów/„etykiet”, które reprezentują określone kategorie informacji oraz pozwalają na uporządkowanie materiału badawczego. 

  • W przypadku pytań zamkniętych kody odpowiedzi przyjmują zazwyczaj postać liczbową (np. „kobieta”=1, „mężczyzna”=2), która umożliwia analizowanie uzyskanych wyników przy pomocy programów statystycznych (lub arkuszy kalkulacyjnych). Najpierw należy sporządzić instrukcję kodową, zawierającą nazwy kodów oraz liczbę dopuszczalnych odpowiedzi w danym pytaniu itp. Ankiety papierowe wymagają ręcznego zakodowania – w tym celu należy ponumerować odpowiedzi w ankiecie, zakodować odpowiedzi i wprowadzić te kody do bazy danych. Ankiety elektroniczne są kodowane automatycznie. 
  • W przypadku pytań otwartych i innych danych jakościowych kody odpowiedzi mają postać słowną (np. ocena organizacji szkoleń, przygotowanie trenera). Kody do danych jakościowych można zaplanować przed lub po zapoznaniu się z całością materiału. Ten pierwszy sposób nazywany jest kodowaniem zamkniętym („odgórnym”) – wymaga dobrej znajomości problemu badawczego i/lub oparcia się na konkretnej teorii. Drugi sposób to kodowanie otwarte („oddolne”) – polega na tworzeniu kategorii zidentyfikowanych w zebranym materiale (np. odnoszących się do pytań badawczych). W obu przypadkach należy opracować schemat kodowania, który uporządkuje kody (ustalić hierarchię kodów, kody nadrzędne/zbiorcze i szczegółowe), dzięki czemu będziemy mogli przedstawić zebrane informacje w spójnej formie.

 

Tabela 4. Przykład kodowania jakościowego

Ocena poszczególnych modułów szkoleniowych (kod nadrzędny): Rodzaje odpowiedzi osób badanych objęte poszczególnymi kodami
adekwatność szkoleń
(kod szczegółowy)
Dostosowanie szkoleń do potrzeb respondenta, dostosowanie przekazywanej wiedzy do poziomu jego kompetencji
organizacja szkoleń
(kod szczegółowy)
Czas trwania (za długo/za krótko), ilość przekazywanych informacji (za mało/za dużo), ocena formy prowadzonych zajęć (wykłady, warsztaty), proporcje teoria/ćwiczenia, ilość czasu przeznaczonego na dyskusję i pytania.
ocena osób prowadzących zajęcia (kod szczegółowy) Sposób przekazywania wiedzy, posługiwanie się przykładami, zachęcanie do zadawania pytań, wymiany doświadczeń przez uczestników szkolenia 

Źródło: Opracowanie własne

 

Informacje odpowiadające danym kodom można zestawiać w jednej tabeli, co ułatwia wyszukiwanie elementów podobnych czy wspólnych dla osób badanych, jak i takich, które je różnicują. Pozwala również dostrzec zależności między cechami czy sytuacją badanych a ich wypowiedziami.

 

Narzędzie 7. Tabela podsumowująca informacje pochodzące z wywiadów

osoba 1 osoba 2 osoba 3
Informacje nt. osoby badanej (miejsce zatrudnienia, staż pracy, udział w innych szkoleniach z tej tematyki)
Adekwatność szkoleń do potrzeb badanego (tematyka, poziom, sposób prowadzenia zajęć, ocena materiałów szkoleniowych, brakujące elementy, sposób organizacji)
Wpływ i trwałość efektów szkoleń (przydatność zdobytej wiedzy i umiejętności, ich wpływ na sytuację zawodową i rozwój osobisty)
Podsumowanie (mocne i słabe strony szkoleń, dodatkowe uwagi, rekomendacje – co i w jaki sposób należy zmienić w przyszłości)

Źródło: Opracowanie własne

 

3. Analiza i interpretacja otrzymanych wyników (wyjaśnienie i ocena przez badacza danego zagadnienia/problemu) 

Analiza danych jest istotnym elementem ewaluacji, ponieważ pozwala podsumować wyniki, a także znaleźć wspólne i rozbieżne elementy w zebranych materiałach. Sposób analizy danych warto określić i opisać już na etapie planowania ewaluacji. Dane uzyskane podczas ewaluacji można analizować na szereg sposobów. Najprostszym rozróżnieniem jest podział na: 

  • analizę danych ilościowych (liczb, odpowiedzi na pytania zamknięte) – przy prostych analizach można posłużyć się np. programem MS Excel, zaś do bardziej skomplikowanych służą programy statystyczne np. SPSS czy Statistica, obsługiwane przez specjalistów, z usług których można w razie potrzeby skorzystać.
PRAKTYCZNA WSKAZÓWKA
W przypadku mało licznych grup nie należy przedstawiać danych ilościowych w postaci procentów, czyli np. pisać, że 20% badanych w dziesięcioosobowej grupie ma daną opinię. Lepiej posłużyć się liczbami bezwzględnymi i napisać, że chodzi tu o 2 osoby.
  • analizę danych jakościowych (np. tekstu, wypowiedzi z wywiadu) – przy prostych analizach wystarczy zestawić dane w tabeli/matrycy, zaś przy bardziej obszernym materiale badawczym warto skorzystać z programów ułatwiających analizę, np. QDA Miner, OpenCode, Weft QDA, Atlas.ti.

W poniższej tabeli przedstawiamy krótko kilka z nich:

 

Tabela 5. Opcje analizy danych liczbowych (ilościowych)

Analiza danych ilościowych (takich jak koszt, częstotliwość, cechy fizyczne itd.) Funkcje w Excelu
Tabele częstości: uporządkowanie zebranych wartości danych w porządku rosnącym wraz z odpowiadającymi im częstotliwościami, aby zapewnić wyraźniejszy obraz zestawu danych. CZĘSTOŚĆ

 

Tabele krzyżowe: uzyskanie wskazania częstotliwości występowania dwóch zmiennych (np. płci i częstotliwości uczęszczania do szkoły) występujących jednocześnie. Funkcje tabeli przestawnych
Korelacja: technika statystyczna mająca na celu określenie, jak silnie powiązane są dwie lub więcej zmiennych. WSP.KORELACJI
Miary tendencji centralnej: miara podsumowująca, która opisuje cały zbiór danych za pomocą pojedynczej wartości reprezentującej środek ich rozkładu (tj. średnia arytmetyczna, mediana, dominanta/modalna) ŚREDNIA

MEDIANA

Miary rozproszenia: podsumowująca miara opisująca rozkład wartości wokół wartości centralnej (m.in. odchylenie standardowe, wariancja) ODCH.STANDARDOWE

WARIANCJA

 

Tabela 6. Opcje analizy danych tekstowych (jakościowych)

Analizowanie słów (mówionych lub pisanych), w tym wywiadów, dokumentów czy odpowiedzi na pytania otwarte zawarte w kwestionariuszu. 
Analiza treści: redukcja dużych ilości nieustrukturyzowanych treści tekstowych do danych istotnych dla pytań badawczych (ewaluacyjnych).
Narracje: konstruowanie spójnych narracji o zmianach zachodzących w życiu osoby, społeczności, w zakresie programu lub polityki.
Linie czasu: lista kluczowych zdarzeń uporządkowana chronologicznie.
Kodowanie tematyczne: nagrywanie lub identyfikacja fragmentów tekstu lub obrazów połączonych wspólnym tematem lub ideą, umożliwiające przyporządkowanie fragmentów tekstu do przyjętych kategorii.

Oprac. własne na podstawie: Peersman, G. (2014). Overview: Data Collection and Analysis Methods in Impact Evaluation, Methodological Briefs: Impact Evaluation 10, UNICEF Office of Research, Florence.

 

WAŻNE

Podczas analizy danych niezwykle ważne jest określenie, jakie zmiany zaszły w efekcie realizacji projektu oraz jaką rolę odegrały w nich poszczególne działania. Należy więc odpowiedzieć na pytanie, w jakim stopniu działania projektowe wpłynęły na osiągnięcie założonych wskaźników rezultatów i jaka była rola działań projektowych wśród innych czynników kształtujących oczekiwane zmiany. 

W trakcie analizy danych  warto odwołać się do opisywanej wcześniej teorii zmiany przyjętej w ramach opisu logiki projektu. Przy planowaniu zmiany na początku projektu przyjęto pewne założenia dotyczące warunków, które muszą zostać spełnione (zapewnione zasoby,  zrealizowane działania), żeby można było osiągnąć dane rezultaty, czyli zaplanowano łańcuch przyczynowo-skutkowy. Ewaluacja weryfikuje tę teorię – może ją potwierdzić lub wykazać w niej pewne luki (np. brakujące/ zbędne elementy) i zarekomendować udoskonalenia na przyszłość.

Istnieją trzy ogólne strategie wnioskowania przyczynowego. Zastosowanie kombinacji tych strategii może zwykle pomóc w zwiększeniu wiarygodności wyciągniętych wniosków:

Podejście kontrfaktyczne Oszacowanie tego, co by się stało, gdyby nie było danego projektu; oznacza to użycie metod eksperymentalnych, quasi-eksperymentalnych (czyli także grupy kontrolnej lub porównawczej) czy modelowania statystycznego
Sprawdzenie spójności dowodów ze związkiem przyczynowym Identyfikowanie wzorców spójnych ze związkiem przyczynowym, który zapisany jest w teorii zmiany, a następnie poszukiwanie dowodów potwierdzających i/lub odrzucających ten związek. Jest to m.in.:

  • sprawdzenie osiągnięcia rezultatów pośrednich,
  • porównanie wyników z przewidywaniami ekspertów,
  • sprawdzanie czasu wystąpienia oddziaływania
  • porównawcze studia przypadków,
  • sprawdzanie spójności z istniejącą literaturą
  • opracowywanie alternatywnych hipotez i ich analiza
  • jakościową analizę porównawczą.
Wykluczanie alternatyw Określenie możliwych alternatywnych wyjaśnień przyczynowych, a następnie poszukiwanie informacji w celu ustalenia, czy można je wykluczyć.

Obejmuje m.in.

  • śledzenie procesu,
  • wykluczenie wyjaśnień technicznych
  • modelowanie za pomocą analizy statystycznej
  • identyfikację innych możliwych wyjaśnień, ich weryfikacje i ew. eliminowanie

Oprac. własne na podstawie: Rogers, P. (2014). Overview: Strategies for Causal Attribution, Methodological Briefs: Impact Evaluation 6, UNICEF Office of Research, Florence.

VI. RAPORTOWANIE

 

6 RAPORTOWANIE

 

6.1. Jak wykorzystać wyniki analizy danych?

Po zakończeniu etapu analizy danych jakościowych i ilościowych dysponujesz dużą ilością informacji, które trzeba dobrze i zarazem mądrze wykorzystać. Dane te powinny się przełożyć na wiedzę, która umożliwić Ci podejmowanie trafnych decyzji w zakresie zarządzania projektem (np. jak lepiej dostosować go do potrzeb odbiorców, jak osiągnąć zbliżone efekty przy wykorzystaniu mniejszych zasobów, jak uzyskać możliwie największy wpływ i trwałość wypracowanych rezultatów).

Schemat 3. Zależności między wynikami (rezultatami analizy danych) a ich interpretacją, wnioskami i rekomendacjami. 

pastedGraphic.png

Źródło: Opracowanie własne

W oparciu o wyniki przeprowadzonych analiz wyciągamy wnioski, które odnoszą się do zjawisk czy problemów zidentyfikowanych podczas ewaluacji. Wnioski te dotyczą przede wszystkim tych zagadnień, które obejmowały pytania ewaluacyjne, ale mogą też obejmować kwestie, które zostały dodatkowo zdiagnozowane podczas badania. 

W raporcie ewaluacyjnym przedstawiamy nie tylko wyniki badania ewaluacyjnego, lecz także ich interpretację (czyli odniesienie do szerszej wiedzy nt. badanego zagadnienia), wnioski wypływające z uzyskanych danych oraz towarzyszące im rekomendacje. Powyższy schemat prezentuje zależności zachodzące pomiędzy tymi elementami. Aby ułatwić sobie przejście przez ten proces, możemy się posłużyć pytaniami, które towarzyszą kolejnym etapom (w powyższym schemacie oznaczono je kursywą). 

Z kolei poniżej zamieszczono przykład procesu formułowania wniosków i rekomendacji, dotyczących projektu szkoleniowego skierowanego do NEETs (wyniki odnoszą się do ilościowej części badania).  

 

Narzędzie 8. Porównanie przykładowych wyników, ich interpretacji, wniosków i rekomendacji 

WYNIKI

 

  • Szkolenia zawodowe odpowiadały na potrzeby 71% ich uczestników/czek.
  • Szkolenia z zakresu kompetencji miękkich były przydatne dla 63% ich odbiorców/czyń.
  • 85% osób pozostających bez pracy od 6 do 12 miesięcy chce wziąć udział w szkoleniach zawodowych, a 64% w szkoleniach z kompetencji miękkich.
  • 26% osób bezrobotnych od 6 do 12 msc. i 9% osób długotrwale bezrobotnych (tj. od 3 do 5 lat) wyraziło chęć uczestnictwa w ww. szkoleniach.
INTERPRETACJA WYNIKÓW
  • Badanie potrzeb grupy docelowej umożliwiło dostosowanie oferty szkoleniowej do jej oczekiwań.   
  • Dłuższy czas pozostawania bez zatrudnienia wpływa na obniżenie motywacji odbiorców/czyń projektu do udziału w szkoleniach aktywizujących. Jest to efekt braku wiary w możliwość znalezienia pracy, który nasila się w miarę upływu czasu.
WNIOSKI
  • Obie formy wsparcia o charakterze szkoleniowym, których celem była aktywizacja zawodowa osób bezrobotnych, były użyteczne i adekwatne do potrzeb większości odbiorców. 
  • Osoby, które krócej pozostawały bez pracy były bardziej zainteresowane udziałem w szkoleniach aktywizujących niż długotrwale bezrobotni. 
REKOMENDACJE

 

  • Zwiększenie stopnia adekwatności oferowanych w projekcie form wsparcia do potrzeb osób długotrwale bezrobotnych poprzez np. pogłębione badanie oczekiwań tej grupy odbiorców/czyń, zaoferowanie im doradztwa zawodowego, staży oraz indywidualnego wsparcia trenera pracy, a także kontaktu z osobami, które znalazły zatrudnienie po upływie dłuższego okresu czasu.
  • Zwiększenie stopnia użyteczności prowadzonych szkoleń dzięki zmianom w zakresie ich programu, czasu trwania oraz sposobu prowadzenia polegającym na … (trzeba zaproponować konkretne modyfikacje w tych obszarach, na które np. wskazywały osoby badane).    

Źródło: Opracowanie własne

Należy pamiętać o tym, by podczas formułowania wniosków wziąć pod uwagę różne uwarunkowania związane z badaniem ewaluacyjnym np. zastosowane metody (jakościowe, ilościowe), sposoby doboru prób czy stopień responsywności (poziom zwrotu ankiet), które mogą prowadzić do ograniczeń we wnioskowaniu. 

 

ZASADY FORMUŁOWANIA WNIOSKÓW: 

  • Traktuj swoje wnioski krytycznie i z dystansem, stale poszukując alternatywnych wyjaśnień stwierdzonych zjawisk. Zawsze warto skonsultować sformułowane przez siebie wnioski z inną osobą, najlepiej bardziej doświadczoną, która – dzięki temu, że nie była zaangażowana w prowadzoną ewaluację – spojrzy na nie świeższym okiem niż Ty;
  • Upewnij się, że poprawnie interpretujesz wypowiedzi osób badanych np. poprzez konfrontowanie z nimi sformułowanych wniosków. Jeśli nie masz całkowitej pewności co do danego wniosku, „zmiękcz” go poprzez stosowanie określeń „prawdopodobnie”, „możliwe, że”, „być może”.
  • Nie uogólniaj wniosków na populację (tj. osoby, które nie wzięły udziału w badaniu), jeśli posługiwałeś/aś się metodami jakościowymi lub badana przez Ciebie próba nie była losowa. 
  • O tym, jak unikać błędów we wnioskowaniu, dowiesz się z naszego zdalnego kursu (https://courses.youth-impact.eu/pl). 

JAK DOBRZE FORMUŁOWAĆ REKOMENDACJE?

  • Pogrupuj je tematycznie (np. zarządzanie projektem, współpraca z partnerami, realizowane działania, efekty projektu).    
  • Odnoś je zarówno do słabych, jak i mocnych stron przedmiotu ewaluacji. Nie koncentruj się wyłącznie na negatywach – wskazuj też obszary, które dobrze funkcjonują i nie wymagają zmian. Jeśli natomiast skoncentrujesz się wyłącznie na pozytywach, podważy to wiarygodność oceny.
  • Zadbaj o to, by rekomendacje były szczegółowe, precyzyjne i realistyczne (możliwe do wdrożenia), dzięki czemu będą też praktyczne, trafne i użyteczne. 
  • Każdemu zaleceniu przypisz adresata (z którym zostanie wcześniej uzgodnione), termin realizacji oraz stopień ważności, ponieważ zwiększa to szanse na jego wdrożenie. 

Wnioski i rekomendacje można przedstawić w zwięzłej tabeli jako podsumowanie czy streszczenie raportu bądź w postaci samodzielnego „produktu finalnego” przeprowadzonej ewaluacji. Poniżej znajduje się przykładowa tabela rekomendacji odnosząca się do ewaluacji projektu szkoleniowego:

Narzędzie 9a. Przykładowa tabela rekomendacji

Obszar problemowy: Organizacja szkolenia
Problem/zjawisko Zajęcia są prowadzone do godziny 20:00.
Przyczyna Organizatorzy chcą przeprowadzić szkolenie w ciągu jednego dnia, aby zaoszczędzić na wynajmie sali.
 Skutek Uczestnicy szkolenia są zmęczeni; o tak późnej porze nie są w stanie przyswajać wiedzy.
Skala ważności  Nieznaczny Istotny Kluczowy
Rekomendacje Wcześniejsze rozpoczynanie i kończenie zajęć (najpóźniej o 18.00) lub ich realizacja w ciągu dwóch dni.  
Korzyści Lepsze przyswojenie wiedzy przez uczestników, a także większa satysfakcja z udziału w szkoleniu.  
Adresat rekomendacji Organizator szkolenia (wskazujemy konkretny podmiot)
Termin realizacji Niezwłoczny (jeśli to możliwe warto podać konkretny termin) 

Źródło: Opracowanie własne

W uproszczonej wersji tabela wniosków i rekomendacji może wyglądać tak:

Narzędzie 9b. Uproszczona tabela rekomendacji

 

6.2. Czym charakteryzuje się dobry raport?

Raport jest zwieńczeniem procesu ewaluacji, ponieważ prezentuje jej koncepcję, przebieg i wyniki badania, a także wnioski i rekomendacje, które na nich bazują. 

Diagram 4. Cykl ewaluacji

pastedGraphic_1.png

Podczas procesu ewaluacji mogą powstawać różne rodzaje raportów, np.:

Tabela 8. Typy raportów

Wstępny (metodologiczny) – szczegółowo opisuje koncepcję ewaluacji (przekazywany przed rozpoczęciem badania)  Końcowy – przedstawia koncepcję ewaluacji, wyniki badania oraz wnioski i rekomendacje (przekazywany po zakończeniu badania i przeanalizowaniu jego wyników)
Cząstkowy – obejmuje pewien zakres prowadzonej ewaluacji (np. zadania projektu, które już się zakończyły) Całościowy – obejmuje pełen zakres realizowanej ewaluacji
Okresowy – opracowywany w ramach ewaluacji okresowej Roczny, półroczny, kwartalny – przygotowany w ramach ewaluacji bieżącej (raport z tej ewaluacji nie musi obejmować danego przedziału czasu, a np. kolejne zadania projektowe)
W wersji roboczej – pierwsza wersja jest przekazywana interesariuszom w celu zgłoszenia uwag i naniesienia poprawek W wersji finalnej – kolejna, skorygowana wersja ma zazwyczaj charakter ostateczny  

Źródło: Opracowanie własne

Raport końcowy może zostać sporządzony w różnych formach, które – podobnie jak zakres prezentowanych w nich treści – powinny być dostosowane do potrzeb poszczególnych grup odbiorców (interesariuszy ewaluacji). Do przykładowych sposobów przedstawiania i promowania wyników ewaluacji należą:

    • Raport końcowy w wersji elektronicznej (rzadziej papierowej) rozpowszechniany wśród interesariuszy i/lub zamieszczony w internecie (np. na stronie projektu czy podmiotu zamawiającego ewaluację), 
    • Streszczenia raportów w postaci folderów/ broszur informacyjnych zawierających kluczowe wnioski i rekomendacje,
    • Prezentacja multimedialna podczas konferencji i spotkań np. z interesariuszami, partnerami,
    • Infografika zamieszczona na stronie projektu, przekazana mediom lokalnym, 
    • Postery (wydrukowane plakaty) prezentowane podczas różnych wydarzeń, np. konferencji, pikników,
    • Filmy (video prezentacje) skierowane do licznej widowni, w tym rozproszonej, zamieszczane w internecie,
    • Follow-up – prezentacja efektów wdrożenia rekomendacji.

Raport w wersji rozbudowanego dokumentu tekstowego może mieć następującą strukturę: 

    • Strona tytułowa – nazwa podmiotu zamawiającego ewaluację, nazwa podmiotu realizującego ewaluację (jeśli ewaluacja była zewnętrzna), data opracowania, autorzy, tytuł (np. ewaluacja ex-post projektu X),
    • Streszczenie – główne elementy koncepcji ewaluacji, kluczowe wyniki, wnioski i rekomendacje (konieczne w przypadku obszernych raportów),
    • Spis treści – umożliwiający automatyczne przejście do danej strony raportu,
    • Wykaz skrótów (i ew. definicji specjalistycznych pojęć)
    • Wprowadzenie – informacje nt. instytucji zlecającej, rodzaju i terminu jej realizacji, nazwy ewaluowanego projektu, źródeł jego finansowania, organizacji, która go realizowała
    • Przedmiot i zakres ewaluacji – zwięzły opis ewaluowanego przedsięwzięcia oraz elementów, które uwzględniono w ewaluacji,
    • Cele ewaluacji – wyjaśnienie, czemu ewaluacja miała służyć, czego po niej oczekiwano,
    • Kryteria i pytania ewaluacyjne – wskazanie, pod jakim kątem szacowano wartość przedmiotu ewaluacji / czego chciano się dowiedzieć przy pomocy ewaluacji, jakie informacje zdobyć,
    • Kwestie metodologiczne – opis źródeł informacji i zastosowanych metod badawczych, sposobów doboru prób, przebiegu badania, poziomów responsywności (jaki odsetek osób uczestniczył w badaniu w stosunku do planowanych). Warto opisać problemy, na które natrafiono podczas realizacji badania, a także sposoby i efekty radzenia sobie z nimi,
    • Opis wyników ewaluacji – opis zebranych podczas badania wyników jakościowych i ilościowych wraz z interpretacją, według przyjętego sposobu prezentacji (np. zgodnie z kryteriami / pytaniami ewaluacyjnymi). Wyniki pochodzące z różnych źródeł, uzyskane przy pomocy danych metod należy skonfrontować (triangulacja). W każdym rozdziale warto zamieścić podsumowania cząstkowe,
    • Wnioski i rekomendacje – zwięzła, ale treściwa odpowiedź na pytania ewaluacyjne. Wnioski muszą bazować na wynikach badania, a zalecenia ściśle się do nich odnosić,
    • Załączniki/aneksy (opcjonalnie) – np. wykorzystane narzędzia badawcze, zestawienia tabelaryczne, studia przypadku, itp.

Warto pamiętać, że niezależnie od tego, na jaką formę raportu się zdecydujemy, zarówno w przypadku ewaluacji zewnętrznej, jak i wewnętrznej wszelkie zmiany treści tego dokumentu wymagają zgody ewaluatora. 

  • Jeżeli chcesz dowiedzieć się więcej nt. tabeli uwag do raportu ewaluacyjnego, kliknij TUTAJ.

Dobry raport ewaluacyjny powinien spełniać następujące warunki:

  • jest adekwatny do warunków zamówienia i potrzeb odbiorców, został napisany zrozumiałym dla nich językiem,
  • zawiera wykaz użytych skrótów (i ew. definicji kluczowych pojęć, gdy np. raport ma być prezentowany szerszemu audytorium, które może ich nie znać),
  • ma przejrzystą i czytelną strukturę,
  • ma zwięzłą formę, a jednocześnie wyczerpująco odpowiada na pytania ewaluacyjne (bez tzw. „lania wody”),
  • opiera się na wiarygodnych i rzetelnych wynikach, które zostały poprawnie przeanalizowane,
  • przedstawia nie tylko uzyskane wyniki, lecz także ich interpretację, wskazuje na związek pomiędzy danymi i wypływającymi z nich wnioskami,
  • zawiera uprawnione wnioski i odnoszące się do nich użyteczne rekomendacje,
  • zawiera elementy graficzne (tabele, wykresy, schematy) oraz cytaty z wypowiedzi respondentów, które uatrakcyjniają odbiór treści raportu.

W zweryfikowaniu jakości raportu ewaluacyjnego pomoże poniższa tabela, w której wyszczególnione kryteriami jego oceny. Można samodzielnie dobrać jej skalę (liczbową lub słowną) i ocenić własny lub zlecony raport.

Narzędzie 10. Tabely oceny jakości raportu

 

6.3. Jak dostarczyć odbiorcom ewaluacji to, czego potrzebują

Możliwość wykorzystania wyników ewaluacji jest uzależniona od jej rodzaju, tj. momentu/ cyklu życia projektu, w którym prowadzona jest ona prowadzona. 

Najwięcej możliwości wprowadzenia zmian daje nam ewaluacja ex-ante, realizowana w momencie, gdy ewaluowane przedsięwzięcie/projekt jeszcze się nie rozpoczął. W przypadku ewaluacji okresowej możliwość wykorzystania rekomendacji w celu wprowadzenia określonych zmian jest ograniczona, gdyż projekt jest w trakcie realizacji, poszczególne działania są stopniowo wdrażane. Niemniej jednak niektóre jego elementy mogą być jeszcze modyfikowane, np. po to, by lepiej dostosować prowadzone działania do potrzeb ich odbiorców/czyń, czy zapewnić osiągnięcie zaplanowanych wskaźników na założonym poziomie, bądź dostosować je do zmienionych warunków realizacji projektu. 

Z kolei wyniki ewaluacji ex-post mogą nam jedynie pomóc w planowaniu kolejnych (takich samych lub podobnych) przedsięwzięć, ponieważ ewaluowany projekt został już zakończony.

Czasami wyniki ewaluacji można wykorzystać już w bieżącej pracy, gdy są związane z kwestiami organizacyjnymi czy zarządczymi.

Rozpowszechnienie wyników ewaluacji (najczęściej w postaci wniosków i rekomendacji) wśród jej interesariuszy stanowi bardzo ważny etap.  Przyczynia się do lepszego zrozumienia potrzeby wprowadzenia zmian, wzmocnienia współpracy, zaangażowania oraz motywacji do działania, a także uzyskania wsparcia w tym procesie. 

Udostępnienie wyników ewaluacji innym osobom/podmiotom może świadczyć o zdolności Twojej organizacji do autorefleksji nad wartością i jakością prowadzonych działań oraz gotowości do podjęcia dyskusji nt. różnych aspektów przedmiotu ewaluacji, a także umiejętności oceny jego mocnych i słabych stron oraz chęci rozwoju i doskonalenia we współpracy z innymi interesariuszami.

 

Narzędzie 11. ROZPOWSZECHNIANIE WYNIKÓW EWALUACJI

ODBIORCA WYNIKÓW 

Do kogo adresujesz informacje?

FORMA INFORMACJI

W jakiej formie powinny być zaprezentować wyniki ewaluacji?

CEL

Dlaczego chcesz informować odbiorców? Co chcesz uzyskać?

ZAWARTOŚĆ

Co chcesz zakomunikować? O czym chcesz informować odbiorców?

DEADLINE

Kiedy należy poinformować odbiorców

Nasza organizacja dokument tekstowy wprowadzenie zmian służących  udoskonaleniu projektu napotykane trudności i możliwości usprawnień, wprowadzenie niezbędnych zmian do kolejnej edycji projektu na bieżąco oraz jako podsumowanie projektu
Interesariusz/ Partner  prezentacja multimedialna poprawa współpracy w realizacji projektu  przebieg procesu realizacji projektu, napotykane trudności, możliwości usprawnień okresowo oraz na koniec projektu
Inni odbiorcy np. społeczność lokalna infografika zwiększenie poparcia społecznego dla projektu stopień osiągnięcia założonych rezultatów, dostosowanie projektu do potrzeb odbiorców, jego użytecznosć na zakończenie projektu

Źródło: Opracowanie własne

Gratulacje!

 

Congratulations

 

Jeśli czytasz te strony, prawdopodobnie wiesz już jak i po co przeprowadzić ewaluację swoich projektów, zwłaszcza jeśli są to projekty dotyczące zatrudnienia młodzieży, a nawet – jeśli interesuje Cię ocena ich wpływu (netto) na rzeczywistość.

Dzięki partycypacyjnemu podejściu do ewaluacji uzyskujesz informacje, które są istotne przy podejmowaniu kluczowych decyzji dotyczących projektu, a także bardzo ważne dla interesariuszy, w tym darczyńców. Dzięki włączeniu w ewaluację podbudowujesz beneficjentów i zespół projektowy – są lepiej poinformowany i bardziej zmotywowani. Wreszcie, jesteś na drodze do bardziej dopasowanego, efektywniejszego, trwalszego, skuteczniejszego, po prostu lepszego projektu!

W przygotowaniu ewaluacji pomogą Ci szablony narzędzi. Aby jeszcze lepiej zrozumieć ewaluację – weź udział w kursie on-line i działaniach networkingowych projektu Youth Impact. Więcej informacji znajdziesz na stronie internetowej: www.youth-impact.eu.

 

Dowiedz się więcej

Do wartościowych źródeł online, z których można dowiedzieć się więcej o ewaluacji należą m.in.:

Bibliografia

 

Bibliografia

 

  • Babbie E. (1st edition in 1975) The Practice of Social Research
  • Babbie E. (1st edition in 1999) The Basics of Social Research.
  • Bartosiewicz-Niziołek M., Marcinkowska-Bachlińska M., et al (2014) Zaproszenie do ewaluacji, zaproszenie do rozwoju [Invitation to evaluation, invitation to development], KOWEZiU, Warszawa www.koweziu.edu.pl/download.php?plik=zaproszenie-do-ewaluacji-zaproszenie-do-rozwoju.pdf (s.69-85)
  • Bartosiewicz-Niziołek M. (2012) Ewaluacja programów i przedsięwzięć społecznych – katalog dobrych praktyk [Evaluation of social programs and undertakings – catalog of good practices], ROPS, Kraków http://www.rops.krakow.pl/publikacje/inne-wydawnictwa/ewaluacja-programow-i-przedsiewziec-spolecznych-katalog-dobrych-praktyk-123.html
  • Bienias S., Gapski T., Jąkalski J. (2012) Ewaluacja. Poradnik dla pracowników administracji publicznej [Evaluation. A guide for public administration employees] Ministerstwo Rozwoju Regionalnego, Warszawa
  • Blalock H. (1st edition in 1960) Social Statistics.
  • Checkoway, B., Richards-Schuster, K. Participatory evaluation with young people, W.G. Kellogg Foundation
  • Ferguson G. A., Takane Y. (1st edition in 1971) Statistical analysis in psychology and education.
  • Flick, U. (1st edition in 2007). Designing Qualitative Research.
  • Flick, U. (1st edition in 2007). Managing the Quality of Qualitative Research.
  • Gibbs, Graham R. (2009) Analyzing Qualitative Data.
  • Kloosterman, P., Giebel, K., Senyuva, O., (2007) T-Kit 10: Educational Evaluation in Youth Work, Council of Europe Publishing, https://pjp-eu.coe.int/documents/42128013/47261233/T-Kit_10.pdf/ 
  • Kvale S. (2007) Doing Interviews.
  • Lisowski G., Haman J., Jasiński, M (2008) Podstawy statystyki dla socjologów [Basics of statistics for sociologists], Warszawa
  • Maziarz M., Piekot T., Poprawa M., i inni (2012) Jak napisać raport ewaluacyjny [How to write an evaluation report], Ministerstwo rozwoju Regionalnego, Warszawa
  • Maziarz M., Piekot T., Poprawa M., i inni (2012) Język raportów ewaluacyjnych [Language of evaluation reports]. Ministerstwo rozwoju Regionalnego, Warszawa
  • Miles, M. B., Huberman, A. M. (1st edition in 1983) Qualitative Data Analysis.
  • Nikodemska-Wołowik A., M. (1999). Jakościowe badania marketingowe [Qualitative marketing research], Polskie Wydawnictwo Ekonomiczne, Warszawa
  • Peersman, G. (2014). Overview: Data Collection and Analysis Methods in Impact Evaluation, Methodological Briefs: Impact Evaluation 10, UNICEF Office of Research, Florence. www.unicef-irc.org/publications/pdf/brief_10_data_collection_analysis_eng.pdf 
  • Rapley T. (2007) Doing Conversation, Discourse and Document Analysis.
  • Rogers, P. (2014). Overview: Strategies for Causal Attribution, Methodological Briefs: Impact Evaluation 6, UNICEF Office of Research, Florence. www.unicef-irc.org/publications/pdf/brief_10_data_collection_analysis_eng.pdf
  • Silverman, D. (1st edition 1993) Interpreting Qualitative Data.
  • Wieczorkowska G., Kochański, P., Eljaszuk, M. (2005) Statystyka. Wprowadzenie do analizy danych sondażowych i eksperymentalnych [Statistics. Introduction to the analysis of survey and experimental data], Wyd. Naukowe Scholar, Warszawa
  • Woodhouse, E i in. (2016) Evaluating the impacts of conservation interventions on human wellbeing. Guidance for practitioners. IIED, London, https://pubs.iied.org/14667IIED 
  • W.K. Kellogg Foundation (2004) Logic Model, https://www.wkkf.org/resource-directory/resources/2004/01/logic-model-development-guide
Empty tab. Edit page to add content here.
Empty tab. Edit page to add content here.