CODAS (Univ. Leiden)

[MiriamvL]

Ik hoop dat er mensen zijn die met mij het gebruik van CODAS ter correctie/ beoordeling van digitale tentamens aan de kaak willen stellen.

CODAS is/ wordt gebruikt ter beoordeling van de tussentoetsen van Inleiding Strafprocesrecht (Universiteit Leiden).

De werking van het programma is ongeveer als volgt:
er worden een aantal tentamens met de hand nagekeken, per opgave wordt er dan met een goed of een slecht (+ of -) beoordeelt, de overige tentamens worden hiermee vergeleken, aan de hand van de mate van overeenkomst krijg je een + of - voor je opgave, aan de hand van het aantal minnetjes val je in een bepaalde categorie, namelijk de categorie met het cijfer 10, 8, 6 of 4. Zie http://platform.leidenuniv.nl/content_docs/verslagen/ppp_Noortwijk/present.htm voor een uitgebreide werking van CODAS.

Ik ben benieuwd wat jullie mening is over deze methode van becijfering!

[Chang, Steven]

Er zijn voordelen en nadelen te noemen, het grootste voordeel voor de docenten natuurlijk is dat zij minder tijd hoeven te besteden aan het nakijken en dus meer open vraag toetsen kunnen geven in plaats van gesloten vraag toetsen. Maar gezien mijn achtergrond in ICT, denk ik dat het systeem niet erg nauwkeurig kan zijn. Gezien dat "kunstmatige intelligentie" een academische opleiding is, dat toch wel erg ingewikkeld is en diep ingaat op het maken van dit soort systemen, (systemen die "intelligent" zijn en het werk van mensen kan afnemen) dat toch veel mensen er niet ingeslaagd zijn om echt "intelligente" systemen te bouwen (zoals vertaalprogramma's), denk ik dat het niet mogelijk zal zijn om in nederland zo een systeem te bouwen voor het nakijken tenzij er echt een echt groot wetenschapper van de kunstmatige intelligentie eraan te pas komt. Het nakijken is gebaseerd op algoritmen, die computerberekeningen maken om de cijfer erop te baseren. Omdat het maken van een goed werkend algoritme moeilijk is, denk ik toch dat het toekomstmuziek is om toetsen na te laten kijken door een computer. Het gebruiken van een computer voor de ondersteuning van het nakijken lijkt me echter wel een goed plan.

[MiriamvL]

Ter verduidelijking: ik pleit niet voor afschaffing van het systeem, maar tegen de manier waarop het in dit geval gebruikt is, het is tenslotte heel vreemd dat je allen een 10, 8, 6 of 4 kunt behalen..

Mijn inziens moet het mogelijk zijn het systeem zo te gebruiken dat er per opdracht een categorie wordt toegekend (bijv. 20 pnt, 15 pnt, 10 pnt, 5 pnt of 0 pnt), gekoppeld aan bijvoorbeeld steekwoorden, termen o.i.d. noem je alle 5 = 20 punten, slechts 3 = 15 punten, niks of volstrekte onzin = 0 punten, in die trant. Het is dan een kwestie van punten optellen en delen door 10, dan heeft iedereen precies het cijfer wat hij behoort te krijgen, in plaats van slechts een categorie.

Ik ben gewoon heel erg tegen hoe het nu is toegespast, omdat het heel onnauwkeurig is....

[HS]

eerlijk gezegd pleit ik wel voor het afschaffen van het nakijken van tentamens met de computer. Deze kan nooit nauwkeurig zijn en het argument van 'makkelijker voor de docent' vind ik een slecht argument. Zelf ben ik ook docent en tentamens etc nakijken is inherent aan de functie. Overigens: het departement kan andere oplossingen bedenken als men het nakijken te veel werk vindt. Zeker nu blijkt dat door ziekte van een docent geen adequate opvang was

[Blizzard]

Een computer kan niet denken. Mensen en dieren kunnen denken. Het denken van een computer is een programma. Het is een leuk idee maar dan voor mc vragen en niet voor open vragen. Wat als je andere woorden gebruikt of zinsopbouw of een spellingsfout? En hardstikke leuk dat het zoveel tijd scheelt maar tentamineer dan anders of zet er meer mensen op.

[Floefloe]

Aha, nu snap ik waarom ik zo'n laag cijfer had. Ik dacht dat dit programma alleen gebruikt werd om te controleren op fraude, maar het wordt dus gebruikt om e.a. geheel na te kijken. Daar ben ik op tegen.

Wel, nu eerst maar eens tussententamen 2 maken.

[Lotte]

Een veel gehoord excuus van de docenten in Leiden: zoveel studenten, dus zoveel tentamens nakijken, kost zoveel tijd.
En inderdaad rechten heeft veel studenten, en dat betekend veel nakijken. Maar krijgt de universiteit voor die veelheid aan studenten ook niet veel meer geld, dan een kleine studie... Ik bedoel maar.

Ik vind het echt belachelijk dat zo'n systeem toegepast wordt. En zeker als je alleen maar even cijfers kan halen... Wat er precies aan verandert moet worden weet ik eerlijk gezegd niet. Daarvoor weet ik niet goed genoeg hoe het systeem de antwoorden precies vergelijkt. Aan de hand van trefwoorden? (wat gebeurd er met spelfouten?) Dat betekend dus dat je bij de vraag gewoon een heel rijtje met woorden kan opnoemen, en hopen dat er een paar goed zijn. Of wordt er toch ook gekeken naar de zinsopbouw en relevantie van het stukje?

Ik zou zeggen allemaal naar de nabespreking. Dan moeten die docenten alsnog alles met de hand nakijken...

[Chang, Steven]

moeten jullie dit eens zien van teletop (Leiden Universiteit):

Vraag: De tijd was inderdaad weer krap en daarom ben ik niet meer in de gelegenheid geweest om bij elk antwoord het aantal woorden te tellen. Rekent het nakijk systeem de antwoorden die net onder het minimum aantal woorden zitten nog wel mee, of worden die automatisch eruit gegooid? Of was het alleen maar als een indicatie bedoeld? Anders moet ik me volgend jaar van wat meer "de", "er", "een", "echter" etc. bedienen. Dank alvast voor uw antwoord, CB

Antwoord: Het minimumaantal woorden is van belang voor een goede differentiatie van de kwaliteit van de antwoorden voor het nakijksysteem. Vriendelijke groet, Ard Schoep

Vraag: Geachte Ard,
Alereerst dank voor de snelle reactie op mijn vraag, alleen begrijp ik het antwoord nog niet. Tellen de antwoorden met minder woorden nu wel of niet mee, dank alvast en vriendelijke groet, Colet Bouman

Volgens mij weet Ard Schoep zelf niet PRECIES wat het systeem doet, of het minimumaantal woorden inderdaad als veel slechter berekend wordt of niet. Vandaar het antwoord. (ik kan trouwens als ICT'er wel begrijpen dat je een minimum aantal woorden nodig hebt, want anders kan het systeem niet goed werken, want dan krijgen antwoorden die zeer kort zijn ten onrechte altijd een slechte beoordeling)

[MiriamvL]

Ik vind het wel een strak antwoord Blijkbaar moet je zoveel mogelijk schrijven, want dan heb je meer kans op dat het goedgerekend wordt... En ik moet zeggen dat 150 woorden er veel is, dat is bijna 15 regels... en dat was het minimum!!

[Floefloe]

We zullen zien, bij 1 vraag waarbij ik gene idee had heb ik maar wat termen neergegooid ...

[anonieme getuige]

Ik vind dit hele gedoe een enorme aanfluiting. Hoewel de docenten op teletop nog steeds niet duidelijk willen toegeven hoe het nakijken in zijn werk is gegaan, lijkt het er sterk op dat dit volledig door een computer is gebeurd, met steekproefsgewijze menselijke correcties om de computerberekening te calibreren.

Het CODAS systeem is van Van Noortwijk en De Mulder, die via http://www.gradiation.com/ met een automatisch "fraud finder" en "open form grader" systeem adverteren. Ik mag wel aannemen dat het om vrijwel hetzelfde systeem gaat. De website geeft aan dat de werking van het systeem strikt geheim is! De docenten in Leiden weten dus zelf ook niet hoe het systeem werkt, en ze hebben ook geen mogelijkheid om 'in' het systeem te kijken. Wel plaatsen ze kennelijk hun handtekening onder de resultaten van deze computerberekening.

Ernstiger nog is dat het gewoon niet goed werkt. Het kan ook niet werken: computers zijn helemaal niet in staat om natuurlijke taal op een intelligente manier te analyseren. Het is niet eens mogelijk om perfect op grammaticale correctheid te testen, laat staan dat een computer de betekenis van een zin kan bevatten en aan andere zinnen kan relateren.

Het is ook principieel oneerlijk: van sommigen worden de antwoorden wel door een menselijke geest nagekeken, en die personen krijgen wel punten voor argumentaties die voor de computer te subtiel waren.

De reden van de tussententamenexercitie is dat men studenten de kans wil geven om op het formuleren van antwoorden te oefenen ipv alleen via multiple choice te tentamineren. Dat zou kennelijk niet kunnen als men alle antwoorden met de hand zou moeten nakijken wegens het grote aantal eerstejaars (al dacht ik dat een faculteit met veel eerstejaars ook veel geld kreeg). Maar op deze manier worden studenten gewoon geschoffeerd: men kijkt niet eens naar (het grootste deel van) de antwoorden. Hoe kun je daar nou iets van leren?

[anonieme getuige]

[Aart]

Ik vond toevallig een paar weken terug dit artikel op het web (ondertussen al wat aan de oude kant, maar toch wel relevant met vandaag de dag):

http://www.leidenuniv.nl/mare/2003/27/0901.html

[MiriamvL]

[mr. crowley]

Als ik dit zo lees ben ik blij dat ik afgestudeerd ben. Wat een gedoe zeg. Maar vroeger was het ook niet beter. Ik weet nog dat er de mogelijkheid kwam om een tentamen dat je in december had gemaakt en niet had gehaald, in januari van het volgende jaar over mocht doen, in plaats van in de zomer. Het is toen voorgemkomen dat je het cijfer van het tentamen uit december te horen kreeg na de datum van herkansing in januari. Ook toen was het excuus te weinig mensen om de vele tentamens na te kijken.