Zapojte svůj kurz do našeho výzkumu a získejte přesná a férová hodnocení prací svých studentů. Nezáleží na tom, jestli jich je několik desítek nebo třeba stovky!
Velkou bolestí učitelů, a to zejména těch, co vedou kurzy s desítkami či stovkami účastníků, je opravování samostatných prací studentů. Psaní nejrůznějších seminárních prací, esejí, odborných statí je přitom těžko nahraditelnou aktivitou, jejíž přínos pro studenty byl mnohokrát prokázán. Výsledkem je pak situace, kdy učitel obětuje desítky hodin svého času (nebo času svých doktorandů), aby studenti dostali smysluplnou zpětnou vazbu. V horším případě díla studentů končí v koši bez toho, aby je někdo doopravdy poctivě pročetl.
Našim cílem je vyvinout postup, který učiteli umožní získat férová a dostatečně přesná hodnocení studentských prací bez hodin strávených jejich pročítáním. Kdo místo něj práce ohodnotí? Ti nejvíc motivovaní hodnotitelé – studenti sami.
Studenti odevzdají své práce elektronicky. Po skončení období, kdy lze práce odevzdávat, každý student dostane k ohodnocení několik prací svých spolužáků. Práce jsou přidělovány anonymně, hodnotitelé tedy neví, čí práce hodnotí. Po skončení hodnocení počítačový algoritmus přepočítá obdržená hodnocení na celkový počet bodů, který jednotlivé práce dostaly. Učitel samozřejmě může mezi studentská hodnocení přidat i své vlastní hodnocení, případně hodnocení udělená studenty zcela přepsat.
Každý student je jiný – jeden přísný, jiný benevolentní, jeden precizní, jiný popletený. Lze z výpovědí takových hodnotitelů poctivě odhadnout kvalitu hodnocené práce? S pomoci sofistikovaného postupu toto je možné. Algoritmus, který kombinuje jednotlivá hodnocení, vychází z teorie odpovědi na položku (IRT). IRT je psychometrické paradigma používané k psychologickému a pedagogickému testování v situacích, kdy výsledek testu má závažné důsledky pro testovaného. Tento postup umožňuje férově srovnat jedince, kteří byli testování různými verzemi testů, například u přijímacích zkoušek.
V našem případě IRT používáme k tomu, abychom mohli srovnat kvalitu esejí bez ohledu na to, jak moc přísné a přesné hodnotitele si student pro svou práci vylosoval. Jelikož každý hodnotitel hodnotí více prací, statistický model má k dispozici informaci o tom, jak si daný hodnotitel v rámci jednotlivých komisí vedl. A tuto informaci maximálně efektivně vytěží – rozdíly v přísnosti zkoriguje a názory popleteného hodnotitele nebude brát až tak vážně.
Popisovaná metoda vzájemného hodnocení studentských prací byla vyvinuta v roce 2019 na Katedře psychologie FF UPOL, kde byla opakovaně testována na studentech prvního ročníku bakalářského studia. Našim cílem je připravit plug-in do systému Moodle umožňující využít vzájemná hodnocení v tomto prostředí a ten distribuovat za hranice Univerzity Palackého. Než tento krok uděláme, potřebujeme ověřit, že navržené řešení je robustní a užitečné v rozmanitých kontextech. Když navržený systém využijete ve svém kurzu, poskytnete nám cenné informace o jeho silných a slabých stránkách. Na konci semestru realizujeme dotazníkové šetření mezi studenty a provedeme s Vámi případně vybranými studenty několik rozhovorů s jejichž pomocí získáme zpětnou vazbu.
Hodnocení se realizuje na ordinální škále. Nám se osvědčilo 5 stupňů, ale může jich být méně (např. jen splňuje – nesplňuje) nebo více. Každá práce nicméně může být hodnocena na základě více kritérií (například kvalita myšlenek, práce s literaturou…), ty si můžete nastavit dle svých potřeb. Jednotlivá kriteria se pak přes zadané váhy sčítají do jediného čísla.
Vhodným opatřením je nastavit limit, kolikrát může student v rámci daného kritéria udělit jednotlivá bodová ohodnocení. Pokud třeba každý student hodnotí pět prací na stupnici 1 až 5, a dostane limit, že každý stupeň může udělit maximálně dvakrát, tak i kdyby se mu na první pohled práce zdály velmi kvalitní, je nucen v nejlepším případě udělit hodnocení 5,5,4,4,3.
Pravidla můžete nastavit Vy. Od možnosti, že za svou práci nedostane žádné body až po variantu, že vyvázne bez následků. Dobrá zpráva však je, že pokud je některá práce hodnocena méně hodnotiteli než jiná, tak její autor není nijak poškozen – počet bodů mu v průměru nestoupne ani neklesne, jen se o něco sníží přesnost celkového hodnocení.
Výpočet celkového hodnocení z odpovědí jednotlivých hodnotitelů realizujeme s pomocí teorie odpovědi na položku. Ta je schopna vytvořit férová hodnocení, ač každou páci hodnotí jiná skupina studentů. Nad to kromě výsledného hodnocení použitý statistický model poskytuje i informaci o tom, jak dobře se hodnotitelé (po zohlednění jejich individuálních hodnotících stylů) spolu shodují. Učitel tak může snadno přidat své vlastní hodnocení k pracím, kde je výsledek potenciálně nepřesný. Díky těmto vlastnostem jsme schopni dosáhnout dostatečné spolehlivosti, aby učitel výsledkům mohl věřit a na základě udělených hodnocení mohl například rozdávat známky i tam, kde na výsledku opravdu záleží.
Učíte v zimním semestru 2023/2024 kurz, ve kterém náš systém využijete? Pak právě Vás hledáme.
Náš systém nemá administrátorské rozhraní pro zadávání úkolů. Důvod je ten, že jeho příprava by byla pracnější než, když dle vašich instrukcí vložíme zadání úkolů do databáze dle vašich instrukcí sami. Stáhněte si proto následující dokument, do kterého nám vše potřebné vepíšete.
Formulář podkladů pro zadání úkolů
Pořád si nedokážete představit, jak bude práce studentů vypadat? V následujícím videu vás seznámíme se systémem z pohledu studenta.
Možná ještě zajímavější je následující video, které ukazuje, jak se pracuje s webem z pohledu učitele. Toto video využijete zejména poté, co studenti rozdají pracím svá hodnocení. Váš úkol totiž bude tato hodnocení s pomocí několika šikovných nástrojů přetavit ve férové a přesné výsledky. Tyto nástroje si zde představíme.