Trable se studentskými pracemi
Velkou bolestí učitelů, a to zejména těch, co vedou kurzy s desítkami či stovkami účastníků, je opravování samostatných prací studentů. Psaní nejrůznějších seminárních prací, esejí, odborných statí je přitom těžko nahraditelnou aktivitou, jejíž přínos pro studenty byl mnohokrát prokázán. Výsledkem je pak situace, kdy učitel obětuje desítky hodin svého času (nebo času svých doktorandů), aby studenti dostali smysluplnou zpětnou vazbu. V horším případě díla studentů končí v koši bez toho, aby je někdo doopravdy poctivě pročetl.
Našim cílem je vyvinout postup, který učiteli umožní získat férová a dostatečně přesná hodnocení studentských prací bez hodin strávených jejich pročítáním. Kdo místo něj práce ohodnotí? Ti nejvíc motivovaní hodnotitelé – studenti sami.
Jak to funguje
Studenti odevzdají své práce elektronicky. Po skončení období, kdy lze práce odevzdávat, každý student dostane k ohodnocení několik prací svých spolužáků. Práce jsou přidělovány anonymně, hodnotitelé tedy neví, čí práce hodnotí. Po skončení hodnocení počítačový algoritmus přepočítá obdržená hodnocení na celkový počet bodů, který jednotlivé práce dostaly. Učitel samozřejmě může mezi studentská hodnocení přidat i své vlastní hodnocení, případně hodnocení udělená studenty zcela přepsat.
Přesná a férová hodnocení
Každý student je jiný – jeden přísný, jiný benevolentní, jeden precizní, jiný popletený. Lze z výpovědí takových hodnotitelů poctivě odhadnout kvalitu hodnocené práce? S pomoci sofistikovaného postupu toto je možné. Algoritmus, který kombinuje jednotlivá hodnocení, vychází z teorie odpovědi na položku (IRT). IRT je psychometrické paradigma používané k psychologickému a pedagogickému testování v situacích, kdy výsledek testu má závažné důsledky pro testovaného. Tento postup umožňuje férově srovnat jedince, kteří byli testování různými verzemi testů, například u přijímacích zkoušek.
V našem případě IRT používáme k tomu, abychom mohli srovnat kvalitu esejí bez ohledu na to, jak moc přísné a přesné hodnotitele si student pro svou práci vylosoval. Jelikož každý hodnotitel hodnotí více prací, statistický model má k dispozici informaci o tom, jak si daný hodnotitel v rámci jednotlivých komisí vedl. A tuto informaci maximálně efektivně vytěží – rozdíly v přísnosti zkoriguje a názory popleteného hodnotitele nebude brát až tak vážně.
Cíle projektu
Popisovaná metoda vzájemného hodnocení studentských prací byla vyvinuta v roce 2019 na Katedře psychologie FF UPOL, kde byla opakovaně testována na studentech prvního ročníku bakalářského studia. Našim cílem je připravit plug-in do systému Moodle umožňující využít vzájemná hodnocení v tomto prostředí a ten distribuovat za hranice Univerzity Palackého. Než tento krok uděláme, potřebujeme ověřit, že navržené řešení je robustní a užitečné v rozmanitých kontextech. Když navržený systém využijete ve svém kurzu, poskytnete nám cenné informace o jeho silných a slabých stránkách. Na konci semestru realizujeme dotazníkové šetření mezi studenty a provedeme s Vámi případně vybranými studenty několik rozhovorů s jejichž pomocí získáme zpětnou vazbu.
Časté otázky
Jak budou studenti hodnotit odevzdané práce?
Hodnocení se realizuje na ordinální škále. Nám se osvědčilo 5 stupňů, ale může jich být méně (např. jen splňuje – nesplňuje) nebo více. Každá práce nicméně může být hodnocena na základě více kritérií (například kvalita myšlenek, práce s literaturou…), ty si můžete nastavit dle svých potřeb. Jednotlivá kriteria se pak přes zadané váhy sčítají do jediného čísla.
Není zde riziko, že se studenti domluví a dají si maximální počet bodů?
Vhodným opatřením je nastavit limit, kolikrát může student v rámci daného kritéria udělit jednotlivá bodová ohodnocení. Pokud třeba každý student hodnotí pět prací na stupnici 1 až 5, a dostane limit, že každý stupeň může udělit maximálně dvakrát, tak i kdyby se mu na první pohled práce zdály velmi kvalitní, je nucen v nejlepším případě udělit hodnocení 5,5,4,4,3.
Co když některý student nedá přiděleným pracím hodnocení?
Pravidla můžete nastavit Vy. Od možnosti, že za svou práci nedostane žádné body až po variantu, že vyvázne bez následků. Dobrá zpráva však je, že pokud je některá práce hodnocena méně hodnotiteli než jiná, tak její autor není nijak poškozen – počet bodů mu v průměru nestoupne ani neklesne, jen se o něco sníží přesnost celkového hodnocení.
V čem je nabízený systém lepší než aktivita Workshop, která je již v Moodle implementovaná?
Výpočet celkového hodnocení z odpovědí jednotlivých hodnotitelů realizujeme s pomocí teorie odpovědi na položku. Ta je schopna vytvořit férová hodnocení, ač každou páci hodnotí jiná skupina studentů. Nad to kromě výsledného hodnocení použitý statistický model poskytuje i informaci o tom, jak dobře se hodnotitelé (po zohlednění jejich individuálních hodnotících stylů) spolu shodují. Učitel tak může snadno přidat své vlastní hodnocení k pracím, kde je výsledek potenciálně nepřesný. Díky těmto vlastnostem jsme schopni dosáhnout dostatečné spolehlivosti, aby učitel výsledkům mohl věřit a na základě udělených hodnocení mohl například rozdávat známky i tam, kde na výsledku opravdu záleží.
Zapojte se
Ve školním roce 2022/2023 a 2023/2024 jsme systém testovali v rámci několika desítek předmětů z různých oborů na Univerzitě Palackého. Vyvíjený nástroj se osvědčil. V tuto chvíli další testy tohoto druhu již potřeba nejsou, ale v případě, že učíte v zimním semestru 2024/2025 kurz, a máte o vzájemná studentská hodnocení zájem, můžete jej využít.
V testovacím provozu náš systém nemá administrátorské rozhraní pro zadávání úkolů. Důvod je ten, že jeho příprava by byla pracnější než, když dle vašich instrukcí vložíme zadání úkolů do databáze dle vašich instrukcí sami. Stáhněte si proto následující dokument, do kterého nám vše potřebné vepíšete. O všechno ostatní se postaráme my.
Formulář podkladů pro zadání úkolů
Jak to bude vypadat?
Pořád si nedokážete představit, jak bude práce studentů vypadat? V následujícím videu vás seznámíme se systémem z pohledu studenta.
Možná ještě zajímavější je následující video, které ukazuje, jak se pracuje s webem z pohledu učitele. Toto video využijete zejména poté, co studenti rozdají pracím svá hodnocení. Váš úkol totiž bude tato hodnocení s pomocí několika šikovných nástrojů přetavit ve férové a přesné výsledky. Tyto nástroje si zde představíme.
Chcete vědět ještě víc?
Zajímají Vás detaily a nebojíte se trochy technikálií? Pojďme se podívat, v čem je systém vzájemných hodnocení lepší, než podobné produkty, co nabízí konkurence.
Silný statistický model
Teorie odpovědi na položku (IRT), též nazývaná silná či moderní testová teorie, je v současnosti nejpřesnější postup, který lze použít k vyhodnocení rozmanitých testů. Používá se v psychologii (například při měření IQ moderními testy), ve vzdělávání (např. k vyhodnocení testů SAT v USA) i jinde (třeba k vyhodnocení testů v autoškole v řadě západních zemí). Obecně jde o postup, který umožňuje z řady nepřesných kategoriálních odpovědí co nejpřesněji odhadnout hodnotu nějaké měřené skryté vlastnosti. V našem případě jsou těmito nepřesnými vstupy hodnocení, která poskytují jednotliví hodnotitelé prací, a tou skrytou vlastností je kvalita odevzdaného díla s ohledem na stanovené kritérium, dle kterého hodnocení probíhalo.
Řada systémů vzájemného hodnocení používá různá „kutilská“ řešení, jak vícero dílčích hodnocení převést na jediný výsledek. My dáváme přednost řešení, které je zkoumáno již po dekády a které má v odborných kruzích obrovskou podporu. Nemusíme si proto lámat hlavu třeba s tím, jak kompenzovat různou přísnost nebo přesnost jednotlivých hodnotitelů, nebo třeba, jak poznat práci, která vzbudila největší kontroverze – toto všechno již bylo objeveno, zdůvodněno a dokázáno nespočtem odborníků v oblasti psychometriky.
Učitel má situaci pevně ve svých rukou
Jeden z důvodů, proč mají někteří učitelé pochybnosti o vzájemném studentském hodnocení, je obava z nepříjemného překvapení. Co když na sebe studenti budou příliš přísní? Nebo příliš mírní? Nebo budou všechny výsledky velmi podobné? S tímto problémem se u nás nesetkáte.
Finální hodnocení studentovy práce nevzniká jako nějaký průměr udělených dílčích hodnocení. Statistický model převádí dílčí hodnocení na spojitou škálu. Je pak na učiteli, jak tuto škálu rozdělní do jednotlivých stupňů finálního hodnocení. O přísnosti či rozmanitosti výsledků rozhoduje učitel až ve chvíli, kdy má k dispozici všechny výsledky. Výhodou je také to, že celkový výsledek může mít jinou podobu, než mají stupnice, které používali hodnotitelé. Celý proces ilustruje následující schéma.
Není to však jízda zdarma
Kolik úsilí učitel věnuje práci se studenty, je vždy jeho volba bez ohledu na to, jaké aktivity volí. To platí i pro systém vzájemného hodnocení. Pokud Vás však láká představa zredukovat svou práci jen na zadání úkolu a po čase kliknutí na tlačítko zveřejnit výsledky, tak možná ještě jednou svou volbu přehodnoťte. Jeden z poznatků, který přineslo pilotní testování systému vzájemných hodnocení, je fakt, že studenti potřebují vnímat přítomnost učitele a jeho aktivní zapojení. Věnujte čas tomu, abyste studenty naučili podávat konstruktivní zpětnou vazbu, pracujte s nejlépe hodnocenými pracemi jako s dobrými příklady, část prací (třeba ty velmi dobré a naopak i ty velmi špatné) ohodnoťte sami. Naším cílem není to, aby učitel nemusel dělat svou práci. Naopak, aby svou práci dělal, ale jen tu smysluplnou. Tedy ne hodnocení stohů odevzdaných esejí.