Investeren in beoordelen

Onderzoek naar de percepties van docenten bij het beoordelen van praktijkgericht onderzoek, uitgevoerd door HBO-studenten, bij de opleiding Bedrijfskunde MER
Barge, Ans ten (2015)

Inleiding en Samenvatting

Door de verschuiving van de industriële economie naar een kenniseconomie en het daarmee samenhangende belang van de toepassing van kennis, neemt ook het belang van praktijkgericht onderzoek bacheloropleidingen toe. De laatste jaren is er veel bezorgdheid en kritiek geuit met betrekking tot de kwaliteit en het niveau van praktijkgericht onderzoek binnen het Hoger Beroepsonderwijs, zowel qua uitvoering als beoordeling. Dit heeft geleid tot een grote druk en verantwoordelijkheid bij docenten met betrekking tot beoordelen van praktijkonderzoek omdat de kwaliteit van de beoordelaar mede de kwaliteit van het onderwijs bepaalt (De Bruïne, Harink, Hinzen, Van Huijgenvoort, Van Swet, & Van der Ven, 2010). De centrale vraag van het onderzoek is: Wat zijn de percepties (positief en negatief) van docenten ten aanzien van het beoordelen van praktijkgericht onderzoek, uitgevoerd door studenten? Achterliggend doel van het onderzoek is om met de verkregen inzichten de begeleidings- en professionaliseringsbehoefte van docenten vast te stellen om door middel van betere begeleiding en professionalisering de kwaliteit van het onderwijs te verhogen.

De centrale vraag is onderzocht met een kwalitatief explorerend onderzoek bestaande uit:

Literatuuronderzoek. De resultaten hebben als uitgangspunt gediend voor de interviews bij docenten.
Semi-gestructureerde interviews bij docenten (N5), de interne deskundige (N1) en de externe deskundige (N1) waarin de resultaten als uitgangspunt hebben gediend bij de groepsdiscussies.
Groepsdiscussies met docenten (N14)

De resultaten van het onderzoek geven inzicht in de percepties van docenten. De belangrijkste opvatting is: Beoordelen is een verantwoordelijke en complexe taak die van een beoordelaar ervaring, deskundigheid, kwaliteit en professionaliteit vraagt. Daarnaast is de behoefte en ervaren noodzaak vastgesteld, om samen te werken, en in intervisie en scholing te leren van elkaar en met elkaar. Uit het onderzoek, literatuurstudie, interviews en groepsdiscussies, valt tevens af te leiden dat er een aantal vraagtekens/discussiepunten bij docenten zijn ontstaan die vragen om vervolgonderzoek.

Suggesties voor vervolgonderzoek:

Effecten van het al dan niet scheiden van de rollen van beoordelaar en begeleider.
Een definiëring welke kennis, ervaring, professionaliteit en kwaliteit nodig is voor docenten voor het beoordelen van praktijkgericht onderzoek.

Theoretische verkenning

Praktijkgericht onderzoek is een kernonderdeel binnen het HBO-onderwijs geworden. In de notitie van de minister van onderwijs (2007) is de opvatting dat praktijkgericht onderzoek zich richt op de wisselwerking tussen onderwijs, praktijk en kennis waarin verbeteren, ontwikkelen en innovatie van en in de praktijk centraal staat.

Voor de beoordeling van het praktijkgericht onderzoek wordt gebruik gemaakt van de summatieve beoordeling omdat het gaat om de kwalificerende functie van beoordelen. Het beoordelen is meer dan een neutrale inschatting (Hofstee, 1999) en in dit licht is het onderscheid dat gemaakt wordt door Van Berkel en Bax (2006) in de thema’s; meten, waarderen en beslissen, verhelderend. De aspecten van deze drie thema’s zijn door middel van literatuurstudie vervat in tabel 1.

Het beoordelen is een wezenlijk onderdeel van de taken van de docent geworden waarbij uit onderzoek naar voren komt dat dat docenten onder grote druk staan omdat ze verschillende petten op hebben en verschillende rollen moeten vervullen (Harlen, 2004). Op basis van een literatuurstudie geeft Spijker (2012), een samenvatting van eisen die aan een beoordelaar gesteld worden: “is vakbekwaam en didactisch bekwaam, heeft kennis van de inhoud van de opleiding, is eerlijk, objectief en precies, kan mondeling en schriftelijk argumenteren en kan samenwerken” (p. 8). Het professionele gedrag van de beoordelende docent komt tot uiting in zijn manier van beoordelen (Sluijsmans, 2013). Hofstee (1999) noemt beoordelen een ambt en in zijn visie is de beoordelaar een ambtsdrager waarbij het praktiseren van beoordelen wordt gezien als een vorm van professionele deskundigheid.

Op basis van het literatuuronderzoek zijn de thema’s en aspecten van beoordelen te onderscheiden.
Tabel 1: Thema’s en aspecten van beoordelen

Opzet van het onderzoek

Het onderzoek is gericht op (het boven tafel krijgen van) de percepties van docenten over hun rol als beoordelaar. Het literatuuronderzoek was erop gericht de belangrijkste thema’s met de daarbij behorende aspecten van beoordelen te kunnen onderscheiden. De resultaten van het literatuuronderzoek zijn als uitgangspunt voor het praktijkonderzoek gebruikt.

Het praktijkonderzoek was er op gericht om, op deze te onderscheiden thema’s met bijbehorende aspecten, inzicht te krijgen in de percepties van beoordelende docenten. Door middel van semi-gestructureerde interviews met beoordelende docenten (N=5), een interne- (N=1)en een externe expert (N=1) zijn de te onderscheiden thema’s en bijbehorende aspecten van beoordelen verkend. De interviews zijn gestart met drie gesloten vragen op het gebied van functie, opleiding en ervaring. De focus van de interviews lag op de thema’s, welke als resultaten van het literatuuronderzoek naar voren zijn gekomen. De onderliggende items op deze thema’s zijn gebruikt voor de samenstelling van een topiclijst ten behoeve van de interviews. Van de interviews is een transcipt gemaakt en deze is gebruikt voor het axiaal coderen. De resultaten van deze interviews zijn in een mindmap vervat en hebben gediend als uitgangspunt voor de groepsgesprekken. De groepsgesprekken zijn gehouden met alle docenten die gekwalificeerd zijn als beoordelaar (N=14).

Tabel 2: rondes groepsdiscussie

Van elke groepsdiscussie is een samenvatting gemaakt en voorgelegd aan de deelnemers ter verifiëring. De samenvatting is geanalyseerd met axiaal coderen.

Resultaten

Hoe ervaren beoordelende docenten de huidige praktijk van beoordelen, op de te onderscheiden thema’s met bijbehorende aspecten van beoordelen (tabel 1), van studentprestaties met betrekking tot praktijkgericht onderzoek?

Thema’s; Meten, waarderen en beslissen

Het sturen van het leerproces van studenten en het vergelijken van hun rapporten over hun praktijkgericht onderzoek wordt door docent / beoordelaars als belangrijkste functie gezien met betrekking tot het beoordelen. Docenten ervaren dat het hebben en hanteren van een beoordelingsprocedure, het beoordelingsdossier (een samengesteld document waarin alle onderdelen van de te beoordelen stukken zijn samengevoegd) en de beoordelingsgrid (een matrix met items waarop beoordeeld wordt met de verschillende niveaus van beoordelen) een bepaalde mate van objectiviteit en validiteit borgen mits er goede indicatoren zijn. De mate van gedetailleerdheid in het beoordelingsdossier en -grid kan belemmerend werken, onzekerheid in de hand werken en maakt het meten niet meer betrouwbaar en valide. In de groepsdiscussie wordt aangegeven dat het hebben van kennis en ervaring met onderzoeksmethodologie belangrijk is en dat een eerste inschatting met betrekking tot beoordelen wordt gemaakt op basis van ervaring, persoonlijke kwaliteit, professionaliteit en kennis. De subjectiviteit van de waardering komt doordat elke beoordelaar zijn eigen “stokpaardjes” heeft. Het werken met een 2^e beoordelaar, het met elkaar in discussie gaan, het vergelijken van rapporten met elkaar en ervaringen in beoordelen delen om een gemeenschappelijk norm te ontwikkelen en het zo veel mogelijk borgen van de objectiviteit, worden in de groepsdiscussie aangegeven als belangrijke aspecten in het beoordelen. Tot op zekere hoogte moet rekening gehouden worden met de persoonlijke omstandigheden van de student en de bedrijfscontext. Bij het meespelen van verschillende belangen zijn verantwoordelijkheidsgevoel, accreditatie en de context van het bedrijf als belangrijkste aspecten genoemd door docenten. Het belang van verantwoorden (schriftelijk en mondeling) wordt als belangrijk ervaren waarbij naar voren kwam dat verantwoorden op hoofdlijnen goed genoeg zou moeten zijn. De tijdspanne wordt door docenten als belemmerend ervaren. Meten, waarderen en beslissen wordt door docenten als belangrijke en verantwoordelijk taak ervaren.

Thema; Beoordelaarscompetenties

Docenten geven aan dat de belangrijkste competenties van een beoordelaar zijn: deskundigheid over het onderwerp, deskundigheid in onderzoek, ervaringsdeskundigheid, vertrouwen in jezelf, affiniteit met het onderwerp, ervaring in het werkveld en ervaring in onderzoek. Uit het onderzoek bij docenten komt niet eenduidig naar voren in welke mate de beoordelaar moet beschikken over de competenties. De kwaliteit van beoordelaars wordt door docenten als wisselend ervaren. Men vindt zichzelf voldoende bekwaam en voldoende kwaliteit hebben om te kunnen beoordelen. Er wordt door docenten verschillend gedacht over hoeveel kennis van zaken de beoordelaar moet hebben om als beoordelaar ingezet te kunnen worden. De argumenten die gegeven worden door de docenten zijn tegengesteld aan elkaar, zowel in positieve als negatieve zin. Het scheiden van de rollen: begeleider en beoordelaar, zijn in belangrijke mate zowel positief als negatief gepositioneerd door de docenten. De samenwerking is belangrijk maar tegelijkertijd wordt het als belemmerend ervaren door docenten. Docenten geven aan dat de mate van objectiviteit, eerlijkheid en precisie van de beoordelaar altijd een bepaalde mate van subjectiviteit in zich heeft en dat het inherent aan beoordelen is. Het belang van afstemming en discussie over normbepaling, waardering en dilemma’s om op die manier te komen tot een zo objectief mogelijke beoordeling wordt door docenten algemeen onderkent. Het leren van elkaar door intervisie en scholing wordt door docenten erg belangrijk gevonden om interpretatieverschillen op te lossen, onzekerheden kenbaar te maken aan elkaar, dilemma’s te bespreken, afstemming en normen te bepalen om het zelfvertrouwen te vergroten en de objectiviteit en kwaliteit meer te borgen.

Conclusie en discussie

Uit het literatuuronderzoek komt naar voren dat beoordelen onderscheiden kan worden in de thema’s: meten, waarderen en beslissen en dat daarnaast de beoordelaarscompetenties een rol spelen. Binnen de te onderscheiden thema’s kunnen er aspecten onderscheiden worden. Deze hoeveelheid aan thema’s en aspecten maken het beoordelen tot een verantwoordelijke en complexe taak van docenten.

Zowel in de interviews als in de groepsdiscussie komt naar voren dat docenten verschillende positieve en negatieve ervaringen hebben met betrekking tot het beoordelen.

Zowel in de interviews met docenten als in de groepsdiscussie komt naar voren dat het het beoordelingsgrid en de beoordelingsprocedure een belangrijk kader is waar (over het algemeen positief) mee gewerkt wordt.

De gedetailleerdheid in de hoeveelheid indicatoren gaat belemmerend werken en doet denken aan het “waslijstsyndroom”. Het werken met een 2^e (meerdere) beoordelaars is essentieel waarbij afstemming noodzakelijk is.

In de groepsdiscussie wordt aangegeven dat kennis, ervaring, professionaliteit en kwaliteit van de beoordelaar/begeleider essentieel bij beoordelen maar er is geen eenduidige conclusie te geven over de mate waarin beoordelaars over deze kennis, ervaring, professionaliteit en kwaliteit zouden moeten beschikken.

In de groepsdiscussie komt naar voren dat docenten onderlinge afstemming en samenwerking willen.om van elkaar leren en daarmee de professionaliteit met betrekking tot beoordelen en de kwaliteit van beoordelaars willen vergroten.

In de groepsdiscussie geven docenten aan dat de tijdsfacilitering onvoldoende is afgestemd op de complexe taak van beoordelen en begeleiden, met name daar waar het gaat om de schriftelijk verantwoording.

Er wordt door docenten aangegeven dat er een duidelijke behoefte is naar intervisie en scholing als onderdeel van de professionalisering.

Discussie
Beoordelen wordt gezien als een onlosmakelijke taak binnen het onderwijs (Minister van onderwijs, 2007). Er wordt zowel in de literatuur als door docenten aangegeven dat ervaring, kennis, professionaliteit en kwaliteit aanwezig moet zijn bij beoordelaars, maar de mate waarin en op welk vlak dit zou moeten zijn wordt niet duidelijk. Om de objectiviteit en kwaliteit te borgen worden een reeks procedures en formats ontworpen die ogenschijnlijk zeer helpend zijn, maar in werkelijkheid belemmerend werken en een schijnzekerheid geven om de objectiviteit en kwaliteit te borgen. In de groepsdiscussie met docenten wordt dit nogmaals onderstreept. Sluijsmans (2013) geeft in haar betoog aan dat er meer geïnvesteerd zou moeten worden in de kwaliteit van beoordelaars en dan met name op het gedrag en niet alleen op de instrumentele kant. Intervisie en scholing/training is noodzakelijk en wordt ook onderstreept vanuit docenten en de literatuur. De dialoog aangaan over eigen onzekerheden, je kwetsbaar opstellen en samen de discussie aangaan over dilemma’s en de visie op het beoordelen is echter niet een vanzelfsprekende zaak in het onderwijs, laat staan dat intervisie een bepaalde methodiek in zich heeft die vaardigheid van de begeleider en van docenten vraagt. Als beoordelen de kwaliteit van de opleiding bepaalt, en het wordt belangrijk gevonden dat beoordelen zorgvuldig gebeurd, betekent het dat er geïnvesteerd moet worden. Uit het onderzoek komt naar voren dat er een wil, behoefte en een noodzaak is om met elkaar, van elkaar en door elkaar te leren.

Literatuurlijst/Bronnen

- Berkel, H.J.M. van., & Bax, A.E (1993). Beoordelen in het onderwijs. Houten/Zaventem: Bohn Stafleu Van Loghum.
- Birenbaum, M., Breuer, K., Cascallar, E., Dochy, F., Dori,Y., Ridway, J. & Wiesemes, R. (zd). A Learning Integrated Assesment System. EARLI series of Position papers.
- Bruine, E. de., Harinck, F., Hinzen, E., Huijgevoort, H. van., Swet, J. van., & Ven, A, van de. (2010). Praktijkgericht onderzoek in de master SEN opleidingen van WOSO. Notitie. Hogeschool Windesheim, Fontys Hogeschool, Hogeschool Utrecht.
- Harlen, W. (2004). A systematic review of the evidence of reliability and validity of assessment by teachers used for summative purposes. Bristol: Graduate School of Education University of Bristol.
- Hofstee, W. (1999). Principes van beoordeling. Methodiek en Ethiek van selectie, examinering en evaluatie. Lisse: Swets & Zeitlinger B.V.
- Minister van Onderwijs. (2007) Bijlage bij de brief van minister Plaskerk aan de Tweede Kamer over de notitie “Het Nederlandse wetenschapssysteem, institutioneel overzicht”.
- Sluijsmans, D. (2013). Verankerd in leren. Vijf bouwstenen voor professioneel beoordelen in het hoger beroepsonderwijs. (lectorale rede). Heerlen: Zuyd Hogeschool.
- Spijker, J.G.M. van ’t. (2012). De praktijkopleider als beoordelaar. De bereidheid van betrokkenen tot inzet van de praktijkopleider als beoordelaar bij summatieve beoordeling in de beroepspraktijk. Universiteit Utrecht: Utrecht.

Auteur

Ans ten Barge is als docent, studieadviseur en teamleider verbonden aan de opleiding Bedrijfskunde MER bij Hogeschool Windesheim. In 2014 is zij afgestudeerd als Master Learning and Innovation bij Hogeschool Windesheim. E-mailadres: a.ten.barge@windesheim.nl