Kategoriarkiv: Reflektion

Tidsbegränsning av digitala tester

Man bör alltid tidsbegränsa digitala tester. Även i de fall då man i realiteten vill att de testande ska få obegränsat med tid är det i praktiken nödvändigt att begränsa tiden. Utan tidsbegränsning kan användare ligga kvar i systemet oändligt länge. Det skapar en osäkerhet för administratörerna som man vill undvika, vid exempelvis nedstängning för underhåll eller vid avslut av ett test. De som fortfarande är registrerade som aktiva, håller de faktiskt på att göra testet eller har dom bara stängt ner webbläsaren för att aldrig återvända?

Vill man att de testande inte ska påverkas negativt av tidsbrist är det bättre att sätta en extra lång tid för att slutföra testet. En enkel tumregel är att man bedömer den maximala tiden det tar att göra testet och lägger till 50% till den tiden.

Tidsbegränsningar bör alltid vara centralt baserade, det vill säga bestämmas från servern. Anledningen till att man aldrig ska lägga in tidsbegränsningar lokalt hos användaren är för att det är mycket lätt att kringgå tidsbegränsningen. Exempelvis kan användaren under testets gång ändra i sin dators tidsinställningar eller lägga in ett skript som påverkar webbläsarens interna tidshantering.

Ibland använder man sig av en tekniska lösningar som inte kommunicerar mot en central server. Det kan till exempel vara appar där frågor och svar finns sparade lokalt för att man ska kunna utföra testerna utan att behöva vara uppkopplad. I dessa fall är det viktigt att tidshanteringen sker inom appen och inte genom enhetens tidshantering, eftersom den kan manipuleras.

Det finns tre huvudsakliga sätt att tidsbegränsa tester. Det vanligaste är att man har en bestämd totaltid som begränsar tiden för hela testet. Anledningen till att majoriteten av test använder sig av en bestämd totaltid beror på att det är lätt att administrera och lätt att förstå för samtliga inblandade: beställare, testande såväl som konstruktörer.

Ett alternativ tidsbegränsning är för varje fråga. Fördelarna med uppdelad tidsbegränsning är att man minimerar de fel som uppstår i och med att testande förmåga att prioritera tiden är olika. Dessutom innebär en uppdelad tidsbegränsning att man hindrar testande från att fastna på tidiga frågor och därför få ett missvisande resultat på frågor som kommer senare i testet.

Den tredje typen av tidsbegränsning är relativt öppen. Det finns en väl tilltagen totaltid för testet. Dock, den slutgiltiga tiden för användaren läggs till testresultatet. Metoden kan med fördel användas då man förväntar sig att en stor del av de testande kommer att placera sig på samma nivå. Detta gäller till exempel programmering där flera personer klarar de ålagda uppgifterna och man vill använda tidsaspekten för att att skilja dem åt.

Den viktigaste frågan vid själva testkonstruktionen är: Vilken grad av tidsbegränsning ska man använda sig av? Svaret beror huvudsakligen på tre saker.

Vad är det man testar? Om man testar färdigheter vill man ha en snävare tidsbegränsning, eftersom den extra pressen leder till en bättre spridning av de testandes resultat. Om man däremot utför personlighetstest vill man generellt sett använda sig av en vidare tidsbegränsning.

Vad testar man för? Ett test som syftar till att hitta personer som ska utföra enkla uppgifter utan strategiskt tänkande bör ha en snävare tidsbegränsning. Till exempel test för juniora programmerare som ska utveckla enskilda funktioner och objekt i stället för verka som arkitekter bör vara hårt tidsbegränsade, eftersom snabbheten är mycket viktig i det fallet. Å andra sidan, när man testar för mer komplexa uppgifter där kreativitet och analytisk förmåga är en viktig del i beslutsfattandet är det viktigt att man skapar vida tidsbegränsningar eftersom alltför smala tidsbegränsningar har en negativ effekt på dessa färdigheter.

Var vill man ha den största spridningen av resultaten? När det är viktigare att särskilja på en grundläggande nivå ska man erbjuda en vid tidsbegränsning. Fast oftast vid tillsättningar av tjänster vill man skapa ett urval bland toppskiktet. Då passar det bättre med en snäv tidsbegränsning som ger en bättre åtskillnad på de högre nivåerna.

Sammanfattningsvis bör man alltid ha en tidsbegränsning för digitala test. Om det är tekniskt möjligt ska man alltid utgå ifrån serverns tidshantering. Omfattningen av tidsbegränsningen bör man justera utifrån vad man testar, vad man testar för och på vilken nivå man vill att testet ska vara mest utslagsgivande.

Testning och internet

Vid obevakad digital testning har de testande fullständig tillgång till internet. Det finns ingen anledning att försöka begränsa denna tillgång med tekniska metoder. De testande kan lätt kringgå sådana lösningar genom att koppla upp sig på andra enheter. Så oavsett vilka frågor vi ställer kommer de testande att lätta kunna göra sökningar på internet.

Man kan visserligen införa snäva tidsramar så att de rent praktiskt inte hinner söka efter information utanför testets ramar. Men detta är inte nödvändigt.

Det är faktiskt en fördel att testarna har fri tillgång till internet. Det tvingar nämligen testkonstruktörerna att skapa bättre test. Om frågorna lätt kan besvaras med en enkel internetsökning är dom inte välformulerade, om man nu inte testar internetsökning som färdighet.

I och med den digitala revolutionen och den konstanta tillgången till internet har ytlig detaljkunskap devalverats i värde. På grund av dess lättillgänglighet är det inte längre nödvändigt för oss att upprätthålla detaljkunskap i stor utsträckning. Vi kan använda vår kognitiva kapacitet till mer komplexa uppgifter i stället. Det här har förändrat samhället i grunden och i alla yrkesroller efterfrågas numera en djupare förståelse som inte går att få tag på med några enkla knapptryck.

Som testkonstruktör bör man se de testandes tillgång till internet som en tillgång i stället för börda. Det tvingar dig att konstruera bättre testfrågor vilket skapar bättre test. Dessutom gör tillgången till internet det lätt för dig att testa dina egna frågor. Gör det till en vana att kontrollera dina frågor med några snabba sökningar för att se ifall de snabbt kan besvaras eller inte. Då märker du på en gång ifall den frågan är överflödig eller inte.

Sett från ett längre perspektiv är det här blogginlägget onödigt. Vi befinner oss i övergången till ett internetbaserat samhälle. I takt med att internet inlemmas i samhället blir det här tänket allt mer naturligt. Om några decennier när internetrevolutionen har slagit igenom fullt ut kommer närvaron av internet att accepteras i många fler sammanhang. I takt med att fler och fler övergår till att låta detaljkunskapen finnas i molnet kommer såväl pedagogisk verksamhet och testning att förändras till högre acceptans för internet. Då kommer det att vara en självklarhet.

Vänta inte några decennier. Anpassa dina test till närvaron av internet redan nu.

Testning och inlärning

När det handlar om testning och inlärning finns det huvudsakligen två inriktningar: traditionell och progressiv. Den traditionella synen på testning och inlärning är linjär. Först lär man sig kunskapen som sedan testas. Den progressiva synen på testning och inlärning är strukturell. Testning är inte bara någonting man gör efter att inlärningen har slutat, enkom för att testa kunskaperna. Testning i sig är ett värdefull verktyg för inlärning.

Jag förespråkar testning som inlärning.

Vad är testning? Kortfattat är testning simulering. Vi testar individer innan vi låter dem agera i verkligheten. Själva testet är en simulering av verkligheten för att pröva den testandes kunskaper och färdigheter.

Upprepning är all inlärnings moder. Genom att upprepa kunskap lär vi oss den. Dessvärre räcker det inte att besitta kunskap. Man måste även kunna hämta den från sin kunskapsbank när det behövs. Här kommer testning in.

Testning innebär att vi ställer frågor till den testande för att bedöma ifall hens responser är korrekta eller inte. Frågorna är sticken till de testande. Med frågorna ställer vi upp parametrar för de testande för att se om de kan hämta adekvata kunskaper och färdigheter för att besvara frågan. Därför innebär testning att man tränar den testande på att hämta korrekt kunskap vid rätt tillfälle.

Hur kan vi då praktiskt använda oss av detta i verkligheten?

Speciellt när vi arbetar med digital testning finns det ett intressant användningsområde. Anta att vi har en mängd kunskap inom ett område som vi vill testa hos en specifik grupp. Vi gör det vi kan för att representera denna kunskap med en uppsättning frågor. Kunskapsområdets omfattning är så stort och antalet frågor är så många att det inte är rimligt att ställa samtliga frågor till de testande.

Vi behöver dock inte ställa samtliga frågor till de testande. Har vi bara ett tillräckligt stort slumpmässigt urval av frågorna, eller ett manuellt urval som väl representerar det totala mängden frågor kommer den testandes procentuella resultat med en viss marginal väl representera motsvarande resultat för den totala kunskapsmängden.

Ovanstående resonemang är ingenting konstigt, utan enbart grundläggande statistik. Men det har en viktig implikation för digital testning. När man bygger ett digitalt test är ovanstående metod den vanligast förekommande. Man extraherar en total mängd av frågor för att så väl som möjligt täcka den totala kunskapsmängden som ska testas. Sedan testar man de testande med ett randomiserat eller manuellt urval av dessa frågor.

Utför man en testning har man skapat mjukvara och för området anpassade frågor. I och med detta har man på en och samma gång byggt en perfekt plattform för inlärning av samma kunskap.

Låter man de testande vid upprepade tillfällen göra testet skapar man en inlärningssituation. Inte bara lär sig de testande kunskapen genom upprepningen, utan även att applicera den i samband med frågor och eventuella situationer som frågorna kan måla upp. Genom att låta de testande att testa sig upprepade gånger lär de sig alltså även att hämta kunskapen de har lärt sig i rätt sammanhang. Dessutom finns det ytterligare positiva effekter av att de lär sig testsituationen och programvaran så att den innebär ett minimalt hinder för korrekt prestation vid själva testningen.

Här brukar de traditionella pedagogerna bryta in med att man inte vill att de testande ska lära sig testet, utan den underliggande kunskapen. Mitt svar på det är: Ja, naturligtvis är det så. Därför är det viktigt att formulera testfrågorna så att de adekvat återspeglar den underliggande kunskapen. Därför är det viktigt att vi låter våra skarpaste och mest ambitiösa pedagoger tackla uppgiften att skapa och upprätthålla relevanta testfrågor. Digitala tester är skalbara och kan nå ett i princip oändligt antal testande på ett sätt som en pedagog i ett klassrum aldrig kan göra.

Har man skapat en plattform för testning har man samtidigt skapat en plattform för lärande och givetvis bör man använda denna möjlighet för att de testande snabbare ska kunna lära sig erforderlig kunskap. Därför är det av yttersta vikt att vi har testkonstruktörer som kan skapa frågor som väl motsvarar den efterfrågade kunskapen.

Mata inte troll, fråga dem i stället

Jag har hittat det perfekta botemedlet mot internettroll: att ställa frågor.

Internettroll försöker uppväcka emotioner och reaktioner (oftast negativa) hos andra genom att komma med falska uttalanden. Ju större reaktioner de lyckas uppväcka, desto nöjdare blir trollen.

Vanligtvis ger man rådet: ”Mata inte trollet”. Konsensus har länge varit att det enda sättet att hantera troll på är genom att ignorera dem. Men att ställa frågor är ett avsevärt mycket bättre sätt att hantera dem på.

Att ställa frågor till ett troll är att svälta det i dubbel bemärkelse. Trollet får väldigt lite input samtidigt som det tvingar trollet närmare dess agenda, någonting trollet inte vill avslöja eftersom det skulle försvåra trollets möjligheter att uppnå den.

När du ställer frågor flyttas diskussionens fokus över från dig och dina reaktioner till trollets perspektiv. Trollet får helt enkelt inte det input den vill ha, nämligen din frustration och upprördhet, och tvingas i stället att bidra med mer och mer själv.

Efter bara några frågor kommer de flesta troll att ge upp. Visserligen kommer trollet att försöka reta upp dig genom att attackera med en eller flera subbar, men fortsätt bara att ställa frågor till dem också.

Det bästa av allt är att du kommer att må bättre ifall du ställer frågor till trollet i stället för att bara lägga locket på. Det är vanligt att känna någon slags frustration efter en trollattack. Slutar du att kommunicera med trollet kommer din frustration att ligga kvar och vara skadlig för dig. Men om du ställer frågor till trollet ventileras din frustration bort för varje fråga när du märker att trollet slingrar sig för att till slut tystna.

Dessutom behöver du inte fundera på ifall den du diskuterar med är ett troll eller inte. Ställer du frågor till någon som inte är ett troll, gör du den personen en tjänst. Att ställa frågor till en vanlig människa är positivt! Ställer du frågor till ett troll, gör du trollet en otjänst.

Icketroll vill försöka lösa eventuella konfrontationer på ett bra sätt. De svarar ärligt på dina frågor. Troll undviker att svara på frågor eller svarar med fler absurditeter.

Du kan i princip ställa vilka frågor som helst, så länge du undviker att vara defensiv. Sträva efter att fokusera på trollet i så stor utsträckning som möjligt: Varför tycker du så? Hur har du kommit fram till det? Vad tycker du om att det förhåller sig på det sättet?

Nästa gång du råkar ut för ett internettroll, fråga. Du kommer inte att bli besviken.

Förräderi i spel

Häromdagen frågade jag en kompis om han ville vara med på en spelkväll då vi skulle spela världens bästa spel, The Resistance: Avalon.

Jag förklarade lätt om vad spelet gick ut på. Alla spelare är med i en och samma grupp som ska åka ut på uppdrag. Gruppen som helhet vill att uppdragen ska lyckas, men det finns förrädare i gruppen som vill det motsatta. De goda spelarna vet inte vilka de onda spelarna är, men de onda spelarna känner till varandra (för det mesta).

Min kompis frågade då: Det finns alltså goda möjligheter för spelarna att bli ovänner?

Svaret är nej. Jag har spelat Avalon åtskilliga gånger och stämningen har aldrig blivit dålig. Tvärtom har stämningen alltid blivit synnerligen god av att spela Avalon.

Läs mer