Förr i tiden, innan det digitala genombrottet, var man hänvisad till en specifik ordning av frågor och svarsalternativ när man använde pappersbaserade test. Ville man ha någon form av randomisering av tester var man hänvisad till muntlig testning, ett både dyrare och mindre tillförlitligt alternativ.

I dag ser det annorlunda ut. Tack vare digitala tester kan vi med enkelhet slumpa ordningen på såväl frågorna som svarsalternativen. Är det alltid bättre att låta sannolikheten ha sin gång? Svaret är ett entydigt nej. Ett genomtänkt test gynnas så gott som alltid av att ha en bestämd ordning på frågor och svarsalternativ.

När man skapar ett test vill man kunna åtskilja de testande på flera nivåer. Har man bara lätta frågor får man en sämre urskiljning på de högre nivåerna. Med bara svåra frågor får man en sämre urskiljning på de lägre nivåerna. Ett välkonstruerat test innehåller frågor på flera olika svårighetsnivåer.

När man skapar ett test med frågor av olika svårighetsgrad, bör man alltid inleda med de lätta frågorna. Dels får man en uppvärmningsfunktion, så att de testande lättare kommer in i en gynnsam sinnesstämning för de svårare frågorna. Dels skapar vi ett inlärningsmoment av testsituationen. Dessutom skapar vi en känsla av trygghet och mildrar nervositet för de testande. Men vi undviker också risken att de testande ”fastnar” på alltför svåra frågor i början och därför får ett missvisande resultat för att missar frågor som de skulle ha klarat och får ett sämre resultat än deras kunskapsnivå.

Ibland vill man varva lätta och svåra frågor. Detta gäller framförallt då man testar olika områden vid ett och samma testtillfälle. Vid dessa fall är fördelen större att testa område för område för att underlätta så mycket som möjligt för de testande i testsituationen. Det innebär att man inom varje enskilt område har en stigande svårighetsgrad på frågorna. När man konstruerar sådana typer av test är det viktigt att man sätter specifika tidsbegränsningar på varje fråga, för att i största möjliga mån undvika att de testande fastnar i för svåra sektioner för att missa lättare.

Det främsta skälet till att behålla samma ordning på svarsalternativen vid flervalsfrågor är för att skapa så lika testförhållanden som möjligt mellan de testande. Ordningen av svarsalternativ har störst betydelse när de innehåller en ”teaser”, det vill säga ett felaktigt svarsalternativ som man lätt kan missta för det riktiga. Ligger det felaktiga svarsalternativ före det rätta, kommer en större andel av de testande att välja det felaktiga än när det ligger efter. Därför får vi lägre reliabilitet om ordningen av dessa svarsalternativ är olika för olika testande.

Dock, väljer man att konstruera sitt test med en vald ordning av svarsalternativen är det viktigt att förstå och anpassa sig till en psykologisk faktor som återfinns hos såväl de testande som dig som testkreatör. Människor är dåliga på att uppfatta och skapa ett randomiserat utfall. Man växlar i större utsträckning än slumpen.

Låt mig ta ett exempel. Låt en person skapa ett slumpmässig utfall av slantsinglingar 100 gånger, alltså utan att faktiskt singla slanten. Låt sedan en annan person singla en slant 100 gånger. Väntevärdet är 50% att slanten kommer att ändra värde från en singling till en annan. Men den person som hittade på sitt slumpmässiga utfall kommer med stor sannolikhet att växla mellan krona och klave i större utsträckning än så. Dessutom, ser man på den längsta sammanhållna serien med samma resultat, så kommer en riktigt randomisering skapa längre längsta serie än den påhittade i en överväldigande majoritet av fallen.

Intuitivt likställer människor slumpmässighet med förändring av utfall i högre grad än vad som är statistiskt försvarbart. Man har svårt att acceptera att slumpmässighet kan innebära att samma utfall upprepas.

Det är viktigt att känna till denna missuppfattning och att utgå ifrån den när man konstruerar svarsalternativ. Genom att medvetet bygga in samma position av svarsalternativ i grupp och låta något eller några svarsalternativ representeras i högre utsträckning skapar man en större sannolikhet att personer som inte vet eller inte är säkra på det rätta svarsalternativet svarar fel i högre utsträckning. Genom att överrepresentera något eller några svarsalternativ, såväl i rad som totalt för testet får man en högre reliabilitet i resultatet.

Det finns dock tillfällen då man tjänar på att införa slumpmässig ordning på frågor och svarsalternativ. Exempelvis när man lider av extrem tidsbrist är risken större att man som testkonstruktör misslyckas att upptäcka sin egen uppfattning av slumpmässighet och växlar för mycket mellan olika svarsalternativ. Det är dock en klar fördel att du slumpar svarsalternativen en gång och låter samtliga testande använda samma ordning.

Slumpmässig ordning är också att föredra när de testande gör samma test flera gånger. Anledningen är att testande lär sig saker av testet, speciellt om du ger omedelbar feedback på rätta svarsalternativ. Men du vill inte att de ska lära sig själva testet, det vill säga på vilken fråga de ska välja vilken svarsposition. Anledningen till att använda samma test flera gånger är att de testande ska lära sig den underliggande kunskapen. Därför är slumpmässig ordning på frågor och svarsalternativ att föredra, även i de fall då man använder sig av skiftande svårighetsgrad på frågorna.

Sammanfattningsvis bör man oftast bestämma ordningen på frågor och svarsalternativ utifrån grundläggande principer för testkonstruktion. Däremot, lider man av tidsbrist eller låter användarna testa sig flera gånger är det en fördel att lotta ordningen på frågor och svarsalternativ