Wyobraź sobie taką sytuację: masz poprowadzić dwudniowe szkolenie w jednej z lokalnych firm. Tematyka jest Ci znana, przygotowujesz się, dobierając treści do grupy docelowej. Na końcu rozdajesz kwestionariusze ankiety. Wychodzą dobrze, nie zawierają jednak żadnych konkretnych rozwiązań.
Dlaczego? Spójrzmy prawdzie w oczy, nikt nie lubi rozpisywać się w ankietach na końcu spotkania, uczestnicy myślami są już poza salą szkoleniową, w domu, z dziećmi czy na spacerze z psem.
Ponadto, jak wskazuje Daniel Rydel, problemy z ankietowaniem często wynikają z tego, iż:
- robimy badania dla samych siebie,
- nie dajemy informacji zwrotnej,
- wysyłamy błędnie stworzoną ankietę,
- nie szanujemy czasu odbiorcy, wielokrotnie pytamy o tę samą informację,
- przeprowadzamy badanie w nieodpowiednim czasie,
- nie jesteśmy uczciwi w stosunku do respondentów (D. Rydel, www.)
Wróćmy jednak do przykładu
Niedługo otrzymujesz kolejne zlecenie. Prowadzisz szkolenie, znów ankieta – odpowiedzi podobne. Nie dowiadujesz się niczego nowego, najważniejsze jednak, że wciąż jesteś odbierany pozytywnie.
Aż w końcu prowadzisz szkolenie i trafiasz na grupę, która już po pierwszym dniu sygnalizuje Ci (sama z siebie) swoje niezadowolenie. Zastanawiasz się, co się dzieje, jak zareagować na krytyczny feedback, tym bardziej, że zdarza się on po raz pierwszy, a Ty wciąż wszystko robisz wg sprawdzonego już schematu. Co poszło nie tak? Czy to specyfika grupy? Czy tej sytuacji można było uniknąć?
O efektach kolejności słów kilka
Okazuje się, że tak. I chociaż ankiety nadal są bardzo popularne na końcu szkoleń czy zajęć to jednak mogą nie dawać pełnego obrazu. Ponadto często nie pozwalają na wskazanie wszystkich poszczególnych elementów (tych na plus, jak i na minus), gdyż po prostu ich nie pamiętamy1. Według badań, w pamięci pozostają nam ostatnie zajęcia (czy ich część końcowa), mające miejsce bezpośrednio przed ankietowaniem (efekt świeżości) bądź te pierwsze, które cechują się większą siłą oddziaływania w stosunku do pozostałych informacji (efekt pierwszeństwa). Efekty kolejności są popularną techniką perswazyjną, analizowaną już od lat 20. XX wieku i choć wielu badaczy próbowało rozstrzygnąć spór na temat wyższości jednego z nich to, jak zauważa T. Wanat: „problem okazał się niemożliwy do rozstrzygnięcia bez uwzględnienia warunków, w jakich pojawia się przekaz” [2].
Pojawia się zatem pytanie, czy jeśli się postarasz i wywołasz efekt wow (na początku bądź na końcu), a Twoja ocena będzie wyróżniająca, to czy taką jest naprawdę? Ocenie może zostać poddany jedynie pewien wycinek, często niewiele mający wspólnego z realizacją wszystkich treści w całym procesie. Oczywiście jest to pewnego rodzaju uproszczony schemat wartościowania odbieranych treści2, jednakże pokazuje istotę perswazji w wielu dziedzinach życia.
W przypadku każdej informacji zwrotnej najważniejszym pozostaje pytanie o zasadność. Jaki jest cel wypytywania naszych odbiorców/klientów?
[1] Z drugiej jednak strony, jeśli zależy nam na potwierdzonej (pisemnie) ocenie całości to ten sposób uzyskania informacji zwrotnej może okazać się korzystny. Wiele zależy bowiem od celu przeprowadzonego badania i tego, by nie przeprowadzać go jedynie dla samego faktu wykonania.
[2] Analizując odbiór treści, warto wziąć pod uwagę również inne psychologiczne i społeczne aspekty [3, 4, 8].
Jak zatem pytać o feedback?
A co by było, gdybyś po pierwszym dniu szkoleniowym zapytał o feedback? Być może już wtedy usłyszałbyś o kilku rzeczach, które warto zmienić, poznałbyś też te elementy, które są ciekawe dla Twych odbiorców. Pozostaje jednak pytanie: jak to zrobić? Oczywiście możesz rozdać ankietę, jednakże lepiej sprawdzi się ona podczas podsumowania całokształtu Twej działalności. Możesz także zapytać, jednak jest bardzo prawdopodobne, że większość skryje się za opinią jednej czy dwóch odważniejszych osób. Najczęściej też usłyszysz opinie pozytywne bądź neutralne, rzadziej krytyczne. Nie pokaże to zatem realnego odbioru Twojej pracy. Jeśli zatem zależy Ci na szybkiej, konstruktywnej informacji zwrotnej, warto byś zapoznał się z ROTI.
ROTI w teorii
ROTI, czyli z ang. Return on Time Invested (dosł. zwrot z zainwestowanego czasu) to nic innego jak jedna z metod uzyskiwania informacji zwrotnej, która ma wskazać odpowiedź na kluczowe dla odbiorcy pytanie:
Czy spotkanie było dobrą inwestycją Twojego czasu?
Używając prostej numerycznej skali, każdy z uczestników ocenia korzyści w zestawieniu z poświęconym czasem. Sam pomiar ROTI pochodzi z metodologii Agile i funkcjonuje w kilku odmianach, a jego zastosowanie można zauważyć między innymi po: zajęciach, warsztatach, szkoleniach, spotkaniach, konferencjach.
Przykład wykorzystania ROTI w praktyce
Pod koniec spotkania/szkolenia poproś uczestników, aby ocenili spotkanie w skali od ZERA do CZTERECH. Oceny oznaczają:
0 – dla tego członka zespołu spotkanie było całkowitą stratą czasu – nie otrzymał on żadnej wartości,
1 – spotkanie nie było za bardzo przydatne w porównaniu do poświęconego czasu; na przykład, podczas gdy 30% czasu spotkania było przydatne, aż 70% nie,
2 – równy podział (50/50) wartości i czasu; czasami jest to utożsamiane z przeciętnością spotkania,
3 – wynik powyżej średniej; uzyskano większą wartość niż czas spotkania,
4 – bardzo duża wartość; oznaczało to, że spotkanie miało kluczowe znaczenie dla dalszego rozwoju, więc inwestycja czasu była tego warta. [7]
W praktyce można spotkać się także ze stosowaniem skali 1-5.
Podczas spotkań face to face, lider spotkania może poprosić ludzi, aby podnieśli ręce, pokazując kilka palców, oceniając tym samym spotkanie. Istotne jest, aby wcześniej wyjaśnić przebieg oceny i by nastąpiła ona równocześnie.
Wariacje na temat ROTI
W jaki sposób wykorzystać ROTI w praktyce? Istnieje kilka sposobów na wykorzystanie ROTI, jak na przykład stworzenie wykresu zwrotu z zainwestowanego czasu bądź skorzystanie z gotowych już narzędzi w przypadku spotkań online.
Rysunek 1. ROTI (zwrot z zainwestowanego czasu). Źródło: M. Loeffler, Agile. Retrospektywy w zarządzaniu standardami, HELION, Gliwice 2018, s. 31.
Niezależnie jednak do wybranej wariacji (werbalnej bądź niewerbalnej) można wskazać na kilka wspólnych elementów.
Oto kilka uniwersalnych wskazówek dla osób chcących wykorzystać ROTI w praktyce:
- Na początku wskaż uczestnikom cel feedbacku. Pamiętaj, że w tym przypadku celem nadrzędnym jest ewaluacja, ciągłe doskonalenie.
- Kolejno jasno przedstaw zasady (doprecyzuj, co ma zostać ocenione).
- Poproś o informację zwrotną poprzez pokazanie odpowiedniej liczby.
- Następnie rozejrzyj się po sali, zbadaj górną granicę – pozytywną, by kolejno poznać dolną – negatywną. Ważne, by ułatwić osobom odpowiedzi, precyzując pytania (np. Czego się nauczyłeś? Jak zamierzasz wykorzystać to, co usłyszałeś?/ Co podczas spotkania poszło nie tak?, Co należy zmienić, byś wyżej ocenił następne spotkanie?). [5] Należy pamiętać, że nie jest to czas dyskusję, a na wypowiedzi uczestników.
- Wysłuchaj informacji zwrotnych i postaraj się ulepszyć Twe działania, by proces nie okazał się marnowaniem czasu.
Jak w takim razie racjonalnie podejść do ocen?
Powiedzmy, że jest kilka zer bądź jedynek (w zależności od skali) – nie załamuj się! Niekoniecznie musi to oznaczać, że wykonałeś złą pracę. Może wśród oceniających znalazł się ktoś, kto nie był zainteresowany poruszaną przez Ciebie tematyką. Po prostu – dopytaj!
A co, jeśli jest kilka dwójek i trójek? Poproś, by uczestnicy spotkania wskazali, co możesz zrobić, by następnym razem osiągnęli wyższą wartość? To czas na refleksję i poprawę. Idealnym rozwiązaniem byłoby ponowne spotkanie z tym samym zespołem, wówczas zobaczyłbyś, czy wprowadzone przez Ciebie zmiany przynoszą korzyść.
Czas na najbardziej optymistyczny scenariusz. Większość wyników to czwórki i piątki. Gratulacje! Jest to sukces i z całą pewnością możesz być z siebie dumny! [6]
Po raz ostatni wróćmy już do naszego przykładu.
Czy gdybyś po pierwszym spotkaniu wykorzystał Return on Time Invested, uzyskałbyś pełniejszy obraz Twojej oceny? Sądzę, że tak, ale o tym najlepiej przekonasz się, próbując zastosować ROTI w praktyce.
Warto zajrzeć:
- D. Rydel, Dlaczego nie lubimy wypełniać ankiet? I jak temu zaradzić…, https://www.linkedin.com/pulse/dlaczego-nie-lubimy-wype%C5%82nia%C4%87-ankiet-i-jak-temu-zaradzi%C4%87-daniel-rydel/?originalSubdomain=pl (dostęp: 10.01.2022).
- T. Wanat, Rola efektu pierwszeństwa w publikacjach prasowych, „Ruch prawniczy, ekonomiczny i socjologiczny”, 1/2006.
- E. Koźniewska, B. Kalinowska, Psychologiczne i społeczne aspekty procesu oceniania, „Trendy”, nr 2/2012.
- J. M. Karapuda, Samospełniające się proroctwo oraz inne mechanizmy psychologiczne w postrzeganiu i ocenianiu zachowania uczniów w edukacji wczesnoszkolnej, „Nauczyciel i Szkoła”, nr 67, 108/3.
- S. M. Smith, Measure ROTI, https://stevenmsmith.com/measure-roti/ (dostęp: 10.01.2022) -5
- M. Darbyshire, Return on Time Invested (ROTI) in agile meetings, https://www.teamretro.com/return-on-time-invested/ (dostęp: 10.01.2022).
- Ch. Higgins, 2 Fast and Easy Ways to Get Meeting Feedback, https://blog.lucidmeetings.com/blog/2-fast-easy-ways-get-meeting-feedback (dostęp: 10.01.2022).
- T. Tyszka, Psychologiczne pułapki oceniania i podejmowania decyzji, Gdańskie Wydawnictwo Pedagogiczne, Gdańsk 1999.