Actieve betrokkenheid bij een praktijkonderzoek: noodzakelijk draagvlak en enthousiasmering versus kwaliteitsvervuiling

Actieve betrokkenheid bij een praktijkonderzoek: noodzakelijk draagvlak en enthousiasmering versus kwaliteitsvervuiling
Jos Louwe (2017)

In de afgelopen decennia is de vraag aan onderwijsprofessionals, hoe op systematische wijze kwalitatief goede kennis verzameld en gebruikt kan worden om vraagstukken in de dagelijkse schoolpraktijk te analyseren en aan te pakken, steeds dringender geworden. De in wetenschappelijk onderzoek verzamelde kennis mag dan van hoge kwaliteit zijn, zij is (naar het oordeel van de praktijkwerkers) doorgaans te algemeen om situatiespecifieke problemen effectief aan te pakken. Kleinschalig, vaak door direct betrokkenen opgezet en uitgevoerd onderzoek wordt daarom steeds meer beschouwd als een alternatieve strategie voor wetenschappelijk onderzoek, of ten minste als een aanvulling daarop, om die praktijkproblemen te analyseren en aan te pakken.

Dat roept echter wel vragen op naar de kwaliteit (externe en interne validiteit) van de op deze wijze te vergaren kennis: welke mechanismen gaan er een rol spelen als de onderzoeker zelf deel uitmaakt van de te onderzoeken situatie? In hoeverre zijn deze te vermijden? Hoe kan hiermee worden omgegaan in de onderzoeksopzet, -uitvoering en -rapportage?

Dit artikel bespreekt een aantal kwaliteitsvraagstukken bij praktijkonderzoek en nodigt uit tot verdere discussie en doordenking.

Fundamenteel versus praktijkgericht onderzoek
Onderwijskunde en pedagogiek zijn praktijkwetenschappen, wetenschappen die hun oorsprong en hun bestaansrecht ontlenen aan de dagelijkse praktijk van opvoeding en onderwijs. Veranderingen in de maatschappij vinden onder andere hun weerslag in de opvoeding van alledag, waardoor nieuwe pedagogische vraagstukken ontstaan of bestaande vraagstukken steeds vanuit nieuwe perspectieven moeten worden bezien. Elke onderwijskundige of pedagogische probleemsituatie zou dan ook wetenschappelijk onderzocht moeten worden, wat een belangrijke bijdrage zou moeten leveren tot de oplossing ervan. Toch bestaat er een forse kloof tussen het traditioneel universitaire, fundamenteel-wetenschappelijk onderzoek en de zoektocht naar oplossingen voor de problemen die in de dagelijkse praktijk van opvoeding en onderwijs worden ervaren (Commissie Nationaal Plan Toekomst Onderwijswetenschappen, 2011; Onderwijsraad, 2011). Het wetenschappelijk onderzoek zoals dat aan de universiteit wordt verricht, heeft als primaire doelstelling theorieontwikkeling: het beschrijven van de pedagogische werkelijkheid in objectief waarneembare processen, het ontwikkelen van breed toepasbare verklaringsmodellen en interventies en het identificeren van omstandigheden die hier een positieve dan wel negatieve invloed op hebben. Het wordt bij voorkeur grootschalig en zuiver experimenteel opgezet, zodat het onderzoek eenduidige, valide en zoveel mogelijk algemeen geldige verklaringen en aanpakstrategieën oplevert. De sterk gecontroleerde omstandigheden staan echter ver af van de realiteit in onderwijssituaties. De Society for Prevention Research (2004) stelde in dit verband daarom dat, na uitvoering van zuiver experimenteel onderzoek naar de positieve relatie tussen een interventie en de vermindering van een probleem (efficacy), er vervolgens uitgebreid quasi-experimenteel onderzoek naar de effectiviteit van die interventie in de praktijk (effectiveness) moeten worden uitgevoerd, waarbij de onderzoeksomstandigheden zoveel mogelijk moeten gelijken op de realiteit in de dagelijkse praktijk. Bij dergelijk meer praktijkgericht onderzoek staat de oplossing van het praktijkprobleem veel meer voorop, maar het houdt wel de functie van theorietoetsing en -bijstelling.

Er kan echter ook wetenschappelijk onderzoek verricht worden op vraag van de onderwijspraktijk naar de ‘brede’ vragen die daar leven. Voor dergelijk, meestal gesubsidieerd onderzoek wordt dan een universiteit, hogeschool of een extern onderzoeksbureau benaderd. Na realisatie van de financiering wordt dit praktijkgericht onderzoek uitgevoerd door externe onderzoekers. Zij analyseren het specifieke praktijkprobleem eerst op basis van de vigerende regelgeving, eerder onderzoek en wetenschappelijk gefundeerde theorie(en). Geïnspireerd door de daarop gebaseerde en bij voorkeur evidence based interventies wordt vervolgens nagegaan of en in hoeverre een eerder beproefde aanpak in deze situatie effectief kan zijn. Ook hier wordt gestreefd naar een zo ‘objectief’ mogelijk beeld van de problematiek en een zo breed mogelijk toepasbare en aantoonbaar effectieve aanpak in de praktijksituaties van de gezamenlijke aanvragers.

Voor diegenen die in die dagelijkse praktijk werkzaam zijn, speelt hun persoonlijke beleving van het probleem, de ‘subjectiviteit’ ervan, echter een doorslaggevende rol. Een voorbeeld: Of het percentage en de ernst van gedragsproblemen van de leerlingpopulatie in hun school de afgelopen decennia nu ‘objectief’ gezien inderdaad is toegenomen of dat dat te wijten is aan de kloof tussen het oordeelsvermogen van het ouder wordende lerarenteam en de ‘normaal’ in de tijd verschuivende normen en waarden van jongere generaties, is voor de direct betrokkenen een academische discussie. Wat theoretisch relevante informatie is, is niet automatisch relevant in de dagelijkse praktijk van het onderwijs. Voor de onderwijsgevenden zijn de gedragsproblemen realiteit en daar moet, liefst zo snel mogelijk, wat aan gedaan worden; hun beleving van de situatie moet serieus genomen worden. Er moet een oplossing komen die in hun specifieke situatie, naar hun oordeel, succesvol is; of de verklaring van de problemen en de daarbij behorende aanpak ook in andere situaties geldig en toepasbaar is (generalisatie en transfer), is in hun optiek van veel minder of geen belang. Er is daarmee in de afgelopen twintig jaar een groeiende behoefte ontstaan aan nog kleinschaliger onderzoek. Onderzoek waar de eigen praktijksituatie centraal staat, de betrokkenen zich dus medeverantwoordelijk voor voelen, en wat organisatorisch en financieel beheersbaar is. Actieve betrokkenheid van de leraren zelf bij de opzet, uitvoering, interpretatie en evaluatie van onderzoek in de eigen praktijk kan dan tevens betekenen dat de professionaliteit van de leraren wordt gestimuleerd (de ‘onderzoekende houding’; Bruggink & Harinck, 2012; Kaldewaij & Beishuizen, 2016).

Sinds de jaren negentig in de vorige eeuw wordt in het onderwijs de term ‘praktijkgericht onderzoek’ gehanteerd voor al het onderzoek dat in de onderwijspraktijk wordt uitgevoerd en voor de onderwijspraktijk bedoeld is. Soms ook voor kleinschalig onderzoek dat door de professionals uit die praktijk zelf (i.c. de leraren) wordt geïnitieerd, opgezet en uitgevoerd (zie bij voorbeeld De Lange, Schuman & Montesano Montessori, 2010; Van Peet & Everaert, 2014). Anderen, zoals Harinck (2007) en Van der Steen en Peters (2014) hanteren hiervoor echter de term ‘praktijkonderzoek’, ter onderscheid van het hierboven beschreven wetenschappelijk praktijkgericht onderzoek. In dit artikel sluit ik mij aan bij dit onderscheid in terminologie. Als primair doel van dit praktijkonderzoek in het onderwijs wordt dan, in verschillende bewoordingen, geformuleerd: het, in samenwerking met de betrokkenen, systematisch identificeren, analyseren en genereren van concrete oplossingen voor specifieke problemen in de praktijk en daarmee het onderwijs in die specifieke situaties verbeteren en onderbouwen (De Bruïne, Harinck, Hinzen, Van Huijgevoort, Van Swet, & Van de Ven, 2010; Leeman & Wardekker, 2010; Onderwijsraad, 2011; Tavecchio & Gerrebrands, 2012; Van der Donk & Van Lanen, 2016; Van der Steen & Peters, 2014).

Van de praktijkrelevantie van dergelijk kleinschalig onderzoek, dat nadrukkelijk oog heeft voor de beleving van de betrokkenen en voor de situatiespecifieke omstandigheden en dat vaak wordt uitgevoerd door direct betrokkenen, wordt door de voorvechters hiervan veel meer verwacht dan van het fundamenteel-wetenschappelijk onderzoek en van het wetenschappelijk praktijkgericht onderzoek. Er wordt zelfs wel gesteld dat grootschalig, generaliseerbaar onderzoek ten principale niet kan leiden tot inzichten en interventies met een hoge praktijkrelevantie. De pedagogische werkelijkheid zou namelijk uniek zijn, met specifieke persoons-, context- en tijdgebonden aspecten die elkaar voortdurend beïnvloeden en zich niet of slechts zeer ten dele laten ‘vangen’ in algemene theorieën en aanpakstrategieën.

Gemeenschappelijke kenmerken versus unieke kenmerken van praktijksituaties
Naar mijn mening echter kunnen beide invalshoeken (de werkelijkheid wordt vooral gekenmerkt door generalistische dan wel door unieke aspecten en processen) om de pedagogische werkelijkheid te beschouwen elkaar aanvullen, in plaats van dat ze elkaar uitsluiten. Probleemsituaties zijn namelijk nooit volledig, voor honderd procent uniek, in die zin dat elke gebeurtenis (een interventie, een onderzoek, …) leidt tot een volledig nieuwe, onvergelijkbare situatie. In dat geval zou iedere uitkomst van elk onderzoek direct na afloop van dat onderzoek al niet meer geldig zijn: de kennis en ervaring die het doen van onderzoek oplevert, verandert immers het denken en handelen van alle betrokkenen en daarmee de situatie. Onderzoek in een specifieke groep kinderen, door een specifieke onderzoeker op een specifiek moment, zou dan alleen wat kunnen zeggen over die situatie tijdens dat onderzoek en niets meer over de situatie direct daarna. Behalve dat dit een sterk overtrokken beeld schetst van de invloed van uniciteit, zou dit tevens betekenen dat geen enkel onderzoek enige praktijkrelevantie zou hebben… Natuurlijk is een pedagogische situatie tot op zekere hoogte uniek en daarmee maar deels voorspelbaar en beïnvloedbaar. Maar de in een praktijkonderzoek in een specifieke groep gevonden verbanden, inzichten, een min of meer werkzame aanpak in de onderzochte situatie zijn wel degelijk in diezelfde groep toepasbaar in een periode na dat onderzoek; en wellicht ook in andere groepen op diezelfde school en wellicht zelfs op andere scholen die zich in min of meer vergelijkbare omstandigheden bevinden. Wel moet de onderzoeker steeds reflecteren en verantwoording afleggen over de invloed van het doen van onderzoek en van de kennis die dat oplevert op het denken en handelen bij alle betrokkenen en daarmee over de mate waarin de onderzochte situatie mogelijk is veranderd. De externe validiteit van een praktijkonderzoek is echter niet per definitie nihil; en is daarmee ook een aspect dat in de onderzoeksopzet en -rapportage terdege overdacht moet worden.

Situaties zijn dus deels uniek, maar kunnen, in verschillende mate, ook erg op elkaar gelijken en er spelen zich daardoor ook processen af die in algemeen-geldende verklaringen kunnen worden beschreven en die met algemene interventies kunnen worden beïnvloed. De wetenschappelijke ontwikkeling heeft in de afgelopen decennia vele algemene analyse- en verklaringsmodellen en aanpakstrategieën ontwikkeld die in de onderwijspraktijk wel degelijk breed bruikbaar zijn gebleken, ook al is er nooit een een-op-een match tussen de onderzochte situaties en de praktijk van alledag. De vraag is echter wel of verder wetenschappelijk onderzoek, theorieontwikkeling en toetsing van daaruit voortvloeiende interventies ook in de toekomst meer praktijkrelevante kennis zal kunnen opleveren. Martens (2012) wijst in dit verband op het principe van het fundamenteel wetenschappelijk onderzoek om de complexe onderwijsrealiteit te simplificeren tot relaties tussen slechts enkele, tot kwantificeerbare eenheden te herleiden variabelen, die tezamen een algemeen geldend model en een objectieve, verklarende theorie kunnen vormen van de ‘gemiddelde’ werkelijkheid. Dit lange-termijndoel van het wetenschappelijk onderzoek verschilt wezenlijk van het korte-termijndoel van het praktijkonderzoek: het systematisch oplossen van een concreet praktijkprobleem. Bij een dergelijk onderzoek moet dan expliciet aandacht worden besteed aan de complexiteit van de specifieke situatie en waarbij situatiespecifieke omstandigheden, de interactie tussen betrokkenen, de wijze waarop zij de situatie ervaren en de voortdurende dynamiek tussen al deze aspecten een doorslaggevende invloed kunnen hebben op de oplossing van het praktijkprobleem. En waar de kwaliteit en waarde van een theoriegericht onderzoek beoordeeld wordt door het ‘wetenschappelijk forum’ van vakgenoten, wordt de kwaliteit en waarde van een praktijk(gericht) onderzoek tevens en zelfs vooral beoordeeld door de direct betrokkenen, met als belangrijkste criterium: levert dit onderzoek een wezenlijke bijdrage aan de oplossing van het door iedereen gevoelde praktijkprobleem? Zoals Tavecchio en Gerrebrands (2012) het verwoorden: “Harde objectiviteit maakt dan (…) plaats voor zachte intersubjectieve consensus over een bepaald perspectief op de werkelijkheid” (p.15). Een door het schoolteam gedeelde interpretatie van de eigen praktijksituatie kan worden onderzocht op haar waarde om het door hen gesignaleerde probleem te verhelderen en – waar mogelijk – op te lossen; en zo nodig worden bijgesteld. Castelijns, Koster en Vermeulen (2009), Kunneman (2008) en Stevens en Van der Wolf (2001) onderscheiden in dit verband drie verschillende typen kennis die een rol spelen bij dit nadenken over en reflecteren op de dagelijkse werkelijkheid:

Op wetenschappelijke wijze verkregen, ‘objectieve’, algemeen geldende kennis (Modus 1-kennis);
Situatiespecifieke en deels subjectieve toepassingskennis van praktijkwerkers, hun ‘vakmanschap’ (Modus 2-kennis);
Kennis over de keuzes die de desbetreffende leraren in hun praktijk maken, hun daaraan ten grondslag liggende al dan niet logische en emotionele interpretaties van de werkelijkheid, hun afwegingen, hun vaak impliciete pedagogische doelstellingen en hun persoonlijke existentiële en morele uitdagingen (Modus 3-kennis).

Kleinschalig praktijkonderzoek zou zich dan niet uitsluitend moeten richten op de toepassing van algemene en objectieve kennis voor de verklaring en de aanpak van het praktijkprobleem, maar zich ook moeten richten op het identificeren van de modus-2 en modus-3 kennis in die specifieke probleemsituatie. Daarbij kunnen alle direct betrokkenen in een open dialoog met elkaar gedeelde, intersubjectieve interpretaties van de werkelijkheid ontwikkelen, gaandeweg een gezamenlijk standpunt innemen en een oplossingsrichting kiezen die past bij de eigen beleving en pedagogische doelstellingen.

Het hierboven beschreven verschil in focus tussen theoriegericht en praktijk(gericht) onderzoek heeft consequenties voor de gehanteerde onderzoeksmethoden en de eisen die daaraan gesteld worden. Dit betekent echter niet dat beide typen onderzoek volledig gescheiden systemen moeten zijn. Integendeel, zowel bij de keuze van analysemodellen, interventies en onderzoeksmethoden als bij de kwaliteitsbewaking van een praktijkonderzoek kan de kennis die wetenschappelijk onderzoek heeft opgeleverd meegenomen worden. En kan de kennis die praktijkonderzoek oplevert, naast het oplossen of reduceren van het situatiespecifieke praktijkprobleem, in het algemeen bijdragen om de waarde van wetenschappelijk onderzoek te nuanceren en zelfs impulsen te geven aan nieuwe theoretische inzichten en empirisch wetenschappelijk onderzoek. Tavecchio en Gerrebrands (2012) pleiten in dit verband voor een eclectische benadering om de professionele praktijk niet alleen in specifieke omstandigheden, maar ook in het algemeen te kunnen verbeteren.

Kwaliteitseisen
Fundamenteel-wetenschappelijk onderzoek, praktijkgericht wetenschappelijk onderzoek en praktijkonderzoek kunnen elkaar dus aanvullen en inspireren. Mits ook het praktijkonderzoek van een goede kwaliteit is, dat wil zeggen voldoet aan algemene criteria voor onderzoek, en volgens een aantal auteurs (Andriessen, 2014; Van der Donk & Van Lanen, 2016; Verschuren, 2009) tevens aan praktijkonderzoek-specifieke kwaliteitscriteria. Zo moet het onderzoek naar en de aanpak van het praktijkprobleem door de betrokkenen belangrijk gevonden worden; ook de opzet en de uitvoering van het onderzoek moeten draagvlak hebben; het onderzoek moet expliciet aandacht besteden aan de (interpersoonlijke) dynamiek en het procesgericht karakter van de probleemsituatie; het onderzoek moet de betrokkenen meer inzicht geven in hun beroepspraktijk; het moet leiden tot een voor de betrokkenen aanvaardbare en bruikbare oplossing of wijze om met het probleem om te gaan en een praktijkonderzoek moet ten slotte kritisch gevolgd kunnen worden door derden (transparantie). Op welke wijze deze specifieke eisen vertaald zouden moeten worden in concrete handvatten voor de opzet en uitvoering van praktijkonderzoek is echter door de genoemde auteurs (nog) niet uitgewerkt (Simon, 2016). Wel is duidelijk dat actieve betrokkenheid van de probleemeigenaars bij praktijkonderzoek een belangrijk aspect is. Praktijkonderzoek brengt met haar eisen van praktische relevantie voor alle betrokkenen en hun actieve participatie echter lastige afwegingen met zich mee, meer nog dan bij het theoretisch-wetenschappelijk onderzoek. De eisen met betrekking tot de methodische grondigheid staan vaak zelfs haaks op de eisen vanuit de praktische relevantie (Andriessen, 2014; Tavecchio & Gerrebrands, 2012).

De algemeen-methodische eisen waaraan elk type onderzoek moet voldoen met betrekking tot de interne en de externe validiteit zijn uitgebreid beschreven in diverse methodologie-handboeken, die doorgaans geschreven zijn vanuit het wetenschappelijk perspectief om te komen tot ‘objectieve’ kennis. In hoofdlijnen: Het ‘klassieke’ onderzoek moet onafhankelijk zijn van invloeden vanuit belanghebbenden, weerlegbaar, repliceerbaar, openbaar, betrouwbaar (resultaten moeten vrij zijn van ‘toevallige’ fouten), informatief zijn, generaliseerbaar zijn en intern en extern valide zijn. Bij de interne validiteit gaat het om de mate waarin de conclusies van het onderzoek geldig zijn voor het onderzochte onderwerp. Het betreft hier de kwaliteit van het onderzoek zelf: in hoeverre is in de onderzoeksopzet en -uitvoering de invloed van storende invloeden (bias) op de te onderzoeken verschijnselen geminimaliseerd? De externe validiteit betreft de mate waarin de resultaten van het onderzoek te generaliseren zijn. Idealiter: of ze geldig zijn voor de gehele populatie. De onderzoeksgroep moet daarvoor een goede afspiegeling zijn van de populatie waarover men uitspraken wil doen. Door middel van statistische toetsing kan men, afhankelijk van het aantal onderzochte cases of proefpersonen, tevens nagaan in hoeverre een onderzoeksresultaat mogelijk het gevolg kan zijn van toeval (de mate van significantie).

Onderzoek doen in realistische omstandigheden betekent echter vaak concessies doen aan de onderzoekskwaliteit. Los daarvan is er de neiging om, zodra er een breed gedeeld praktijkprobleem is gedefinieerd, direct te denken aan een mogelijke oplossing ervan. Te gemakkelijk wordt de (wezenlijke) fase van de probleemanalyse overgeslagen en wordt direct gedacht aan een door de direct betrokkenen vooraf bedachte oplossing dan wel de klakkeloze toepassing van een evidence based intervention. Daarbij is nauwelijks aandacht meer voor de vraag in hoeverre die ‘oplossing’ aansluit bij de situatiespecifieke aspecten van het praktijkprobleem en bij de (expliciete, maar ook impliciete) interpretaties, verwachtingen en doelstellingen van de betrokkenen (zie ook Verschuren, 2015). Niet alleen de pedagogisch-didactische modellen, maar ook de interactie tussen alle direct betrokkenen, de persoonlijkheid van de leraar en het teamfunctioneren zijn immers in hoge mate bepalend voor de effectiviteit van een interventie. Ontwikkelt men na een zorgvuldige probleemanalyse echter wel een context-specifieke aanpak, dan zal nagegaan moeten worden hoe effectief deze is. Naast monitoring van de mate waarin alle betrokkenen tevreden zijn en blijven over de (gezamenlijk) verrichte analyse of de gekozen aanpak, kan ook worden getracht hardere gegevens over de situatie of over de effectiviteit van de uit te voeren interventie te verzamelen. Gezien de beperkingen van onderzoek in een specifieke situatie is het echter doorgaans niet mogelijk om een experimentele onderzoeksopzet te realiseren. Een niet-experimentele onderzoeksopzet heeft, zoals bekend, consequenties voor de interne en de externe validiteit (voor een overzicht, zie bij voorbeeld Van Peet & Everaert, 2014). En: hoe kleinschaliger het onderzoek, hoe minder het mogelijk is om de significantie van de uitkomsten ervan (de kans dat de resultaten op ‘toeval’ berusten) middels statistische verwerking vast te stellen. De kans dat de onderzoeksresultaten daardoor vooral toegeschreven moeten worden aan toeval is door het relatief geringe aantal deelnemers of waarnemingen niet alleen groot, maar vooral ook onbekend. Bij de interpretatie van de kwantitatieve onderzoeksresultaten, met name in het licht van de consequenties ervan voor de aanbevelingen hoe het praktijkprobleem op te lossen, moet hiermee expliciet rekening worden gehouden. Als verantwoording over de methodische eisen waaraan ook praktijkonderzoek zo goed mogelijk moet voldoen, moet de praktijkonderzoeker in zijn onderzoeksrapport daarom uitgebreid rekenschap afleggen over de keuzes die hij, gezien de specifieke omstandigheden, heeft gemaakt in de vormgeving, de uitvoering en de interpretatie van de onderzoeksresultaten en welke consequenties dat voor de toepassing van zijn onderzoek in de praktijk heeft.

Zoals hierboven al gememoreerd (Andriessen, 2014; Van der Donk & Van Lanen, 2016; Verschuren, 2009; Simon, 2016), zal ook als (deels) gekozen is voor kwalitatief onderzoek naar het situatiespecifieke praktijkprobleem en de oplossing ervan, dat onderzoek aan algemeen-methodische eisen moeten voldoen; zij het dat de invulling en de terminologie dan enigszins moeten worden aangepast. Transparantie van gemaakte keuzes en navolgbaarheid zijn zo vergelijkbaar met ‘klassieke’ eisen zoals openbaarheid en repliceerbaarheid; de kwaliteit van de onderzoeksprocedure en de gehanteerde middelen moeten verantwoord worden (interne validiteit) evenals de mate waarin de vergaarde kennis en inzichten toepasbaar zijn in andere situaties. Ook al is de externe validiteit van praktijkonderzoek, met name door de nadruk op situatiespecifieke omstandigheden en eventueel het identificeren en hanteren van Modus-2 en Modus-3 kennis bij de oplossing van het praktijkprobleem per definitie laag, toch is het van belang te beschrijven in hoeverre de onderzoeksresultaten en aanbevelingen bij het voortschrijden van de tijd in de onderzochte onderwijssituatie geldig blijven. Immers, door het onderzoek en eventueel andere ontwikkelingen verandert de situatie. Tevens kan in de onderzoeksrapportage aandacht worden besteed aan de kwestie in hoeverre de gekozen onderzoeksaanpak wellicht ook nuttig is voor andere scholen die een vergelijkbaar praktijkprobleem hebben.

De ‘klassieke’ eis van objectiviteit verdient in dit kader dan ook bijzondere aandacht. Immers, kenmerkend voor praktijkonderzoek is juist de aandacht voor de beleving van de probleemsituatie door alle betrokkenen. Een herformulering van ‘objectiviteit’ naar ‘verifieerbaarheid’, de mate waarin de betrokkenen intersubjectieve overeenstemming hebben over analyse en conclusies, ondervangt dit slechts zeer ten dele. Want ook de positie en het gedrag van een onderzoeker die deel uitmaakt van de probleemsituatie, en de rol van alle andere betrokkenen die actief betrokken worden bij het onderzoek hebben invloed op de interne validiteit van het onderzoek: In hoeverre worden de situatieanalyse, het gedrag van alle direct betrokkenen en de te trekken onderzoeksconclusies, vaak onbewust, beïnvloed door interactieprocessen? Deze bedreiging van de onderzoekskwaliteit zal in de volgende paragraaf worden uitgewerkt.

Actieve betrokkenheid als bron van bias
De mate waarin leraren, de schoolleiding, de leerlingen, hun ouders, maar ook de onderzoeker zelf emotioneel betrokken is of zelfs belang heeft bij de uitkomsten van het onderzoek kan grote gevolgen hebben voor de interne validiteit ervan. In de klassieke onderzoeksmethodologie, de basis van wetenschappelijk onderzoek, spreekt men dan van expectancy (Tuckman & Harper, 2012): betrokkenen hebben of ontwikkelen verwachtingen over het onderzoek en dat beïnvloedt, bewust of onbewust, hun gedrag tijdens het onderzoek. In het sociaal-wetenschappelijk onderzoek zijn dergelijke systematische fouten, die in de opzet, de uitvoering en de interpretatie ervan tot een forse vertekening (bias) in de onderzoeksresultaten kunnen leiden, al lang bekend en in de methodologische standaardwerken uitgebreid beschreven:

Het ‘Hawthorne effect’: het besef dat men bij een onderzoek wordt betrokken en er daardoor aandacht wordt besteed aan de inbreng van medewerkers bij het oplossen (of juist het veroorzaken) van een probleem, heeft een positieve (of soms een negatieve!) invloed op het denken en op het gedrag van de onderzochten.
Het placebo-effect: vertrouwen in de deskundigheid van de ontwikkelaars en het geloof in de inhoud van de interventie dragen in hoge mate bij aan een optimale uitvoering ervan en daarmee aan de effectiviteit van een interventie. Onbekend is dan in hoeverre de effectiviteit van de interventie moet worden toegeschreven aan de inhoud ervan dan wel aan het geloof in de werking ervan.
Confirmation bias (selectieve waarneming en interpretatie): ieder mens schenkt meer aandacht en hecht meer waarde aan gebeurtenissen en nieuwe gegevens die de eigen overtuiging staven, dan aan gegevens die daar niet mee overeenkomen of deze tegenspreken. Deze laatste worden (vaak onbewust) uit de perceptie weggedrukt of zelfs in het eigen denken veranderd en in het geheugen vertekend opgeslagen; nieuwe data en gebeurtenissen worden conform de eigen mening geïnterpreteerd. Vooral bij diepgewortelde overtuigingen of emotioneel sterk geladen ideeën roepen feiten die hiermee niet in overeenstemming zijn onbewust veel weerstand en gevoelens van stress op (cognitieve dissonantie): mensen willen namelijk consistent en dus betrouwbaar zijn in hun meningen en in hun gedrag.
Sociale wenselijkheid en groepsdruk: Als iemand deel uitmaakt of wil uitmaken van een sociale groep, dan heeft hij (al dan niet bewust) de neiging om het gedrag van de meerderheid te imiteren en de meningen in die groep, en vooral van de ‘leider’ in die groep, over te nemen (going native; UvAWiki, 2010). Het evenwicht tussen afstand en betrokkenheid bij de onderzoeker raakt verstoord; Hoe groter de sociale en de emotionele overeenkomsten zijn tussen die persoon en de groep of de leider in die groep, hoe sterker die neiging is; tevens is bekend dat hoe onzekerder die persoon over de eigen mening en gedrag is, hoe sterker de neiging tot aanpassing aan de ander(en) is.

Niet alleen het observeerbare gedrag maar ook de interpretatie van de werkelijkheid door de betrokkenen (Modus-2 en -3 kennis), weerspiegeld in de beantwoording van vragen in enquêtes, scoringslijsten en in interviews, kunnen dus door expectancy zijn beïnvloed en zijn daarom in de fases van onderzoeksopzet en de analyse van de onderzoeksresultaten een nadere beschouwing waard.

Hoe is bias door expectancy te voorkomen?
In het fundamenteel wetenschappelijk onderzoek ondervangt men deze vorm van bias door gebruik te maken van grootschalige experimenten, waarbij de proefpersonen at random over onderzoeks- en controlegroep verdeeld worden, er gebruik gemaakt wordt van een voor- en een nameting en de onderzoeker volkomen los staat van het onderzoeksthema en de te onderzoeken personen.

In het praktijkgericht wetenschappelijk onderzoek, waar men eveneens op zoek is naar zo ‘objectief’ mogelijke kennis, is een dergelijk onderzoeksdesign vaak al niet meer realiseerbaar en maakt men gebruik van quasi-experimentele onderzoeksvormen of zelfs non-design onderzoek; met als gevolg dat validiteitsproblemen als expectancy vooraf onderkend en zo goed mogelijk ondervangen moeten worden, dan wel in de conclusies en aanbevelingen besproken moeten worden.

Zo maakt men in dit type onderzoek bij voorbeeld eveneens gebruik van onafhankelijke onderzoekers. Ook houdt men de informatie die aan de betrokkenen wordt verstrekt zo neutraal mogelijk, zodat zij niet exact op de hoogte zijn van het doel of de inrichting van het onderzoek. Bij onderzoek naar de effectiviteit van interventies wordt bij voorkeur een ‘double-blind’ procedure gehanteerd, waarbij noch de proefpersonen, noch de begeleiders en data-verzamelaars weten wat precies de experimentele dan wel de controlegroep-interventie inhoudt en welke personen of groepen deze toebedeeld hebben gekregen. Data worden liefst verzameld met behulp van gestandaardiseerde of in ieder geval elders ontwikkelde meetinstrumenten waarvan de validiteit beargumenteerd of bij voorkeur in ander onderzoek aangetoond is. Of de dataverzameling geschiedt niet door de onderzoeker zelf, maar door studenten die (op dat moment nog) onbekend zijn met het onderzoek en die geen relatie hebben met de te onderzoeken situatie. In de onderzoeksopzet en in de onderzoeksrapportage moet deze scheiding van rollen en informatiestromen expliciet doordacht c.q. verantwoord worden. In het onderwijs zijn dergelijke oplossingen echter vaak al moeilijker realiseerbaar. Doorgaans worden de scholen of de leraren bij de werving van deelnemers voor een onderzoek al uitgebreid geïnformeerd wat het onderzoeksonderwerp en -doel is of zijn de scholen mede-aanvrager van het onderzoek, en kan expectancy dus al een rol gaan spelen. Zeker wanneer de leraren en/of ouders ook dataleveranciers zijn om een probleem in kaart te brengen of om het effect van een aanpak te meten, vertekent een positieve (of juist negatieve) verwachting hun interpretatie van feiten, omstandigheden en waargenomen gedrag, hun rapportage is daarmee nog subjectiever. De keuze van context-onafhankelijke, valide meetinstrumenten wordt daarmee van groot belang voor de interne validiteit van het onderzoek.

Bij een dergelijk wetenschappelijk effectonderzoek hoopt iedere school of leraar die zijn medewerking toezegt in de experimentele groep terecht te komen: zo kan je met een (naar verwachting) effectieve aanpak aan de gang gaan om het probleem op te lossen! Terechtkomen in de controlegroep kan dan een teleurstelling zijn; zelfs als er gewerkt wordt met een zogenaamde wachtlijstconstructie zal dat een negatieve invloed hebben op de motivatie van de betrokkenen in de controlegroep gedurende de eerste periode van het experiment. Degenen die in de experimentele groep terechtkomen zijn daarentegen extra gemotiveerd en verwachten dat de aanpak die zij gaan hanteren de beste resultaten gaan opleveren. Die negatieve dan wel positieve verwachting van de betrokkenen beïnvloedt hun gedrag bij de uitvoering van de interventie; dat vertekent de uitkomst van het onderzoek en heeft een negatieve invloed op de interne validiteit. Het wordt dan een punt van discussie of een positief effect van een aanpak toe te schrijven is aan de inhoud van de theoretisch onderbouwde interventie of (geheel dan wel ten dele) aan het enthousiasme van alle betrokkenen. Voor de transfer van de gevonden aanpak of strategie in de tijd direct na het onderzoek naar andere groepen in de school of naar andere leraren, is het van belang dat hierover enige analyse plaatsvindt voordat er wordt aanbevolen dat de gevonden en beproefde aanpak verder kan worden toegepast en breder kan worden ingevoerd.

Omdat bij praktijkonderzoek, in vergelijking met het wetenschappelijk praktijkgericht onderzoek, de onderzoeker en de andere actief betrokkenen per definitie minder afstand hebben tot het onderzoeksonderwerp ligt het gevaar van expectancy daar voortdurend op de loer. De vraag is of en in hoeverre dat te voorkomen is, dan wel hoe hiermee in de analyses, conclusies, aanbevelingen en verslaggeving mee moet worden omgegaan. In het onderwijs, waar de onderzoeker (meestal met een master-graad dan wel daarvoor studerend) doorgaans deel uitmaakt van het schoolteam en er onderzoek gedaan wordt naar een gezamenlijk praktijkprobleem waar schooldirectie en team het belang van de aanpak ervan onderschrijven, zijn bovenbeschreven bedreigingen voor de interne validiteit van het onderzoek levensgroot aanwezig. Een onderzoeksstrategie als ‘triangulatie’ (het gebruik van meerdere bronnen, onderzoeksmethoden, beoordelaars en/of onderzoekers om onderzoekdata te verkrijgen, te analyseren, te vergelijken en te interpreteren) vermindert dan wel de afhankelijkheid van één, wellicht minder valide bron, maar deze strategie is niet altijd in de praktijk realiseerbaar en neemt eveneens de bedreiging van expectancy niet volledig weg. De praktijkonderzoeker moet voortdurend voor ogen houden wat hij wil onderzoeken, c.q. onderzocht heeft en hierover op een consistente wijze rapporteren. Wil hij een zo objectief mogelijk beeld van het praktijkprobleem schetsen (en kan dat?) en van de (mogelijke) oplossing hiervan? Of gaat het er om een goed beeld te schetsen van de wijze waarop de betrokkenen de situatie ervaren en hoe zij er naar hun persoonlijke beleving beter mee kunnen omgaan? Is het praktijkprobleem hiermee voor iedereen (leraren, ouders, leerlingen, vervolgonderwijs, maatschappij, …) dan ook opgelost? Afhankelijk daarvan moet goed worden doordacht welke conclusies er uit het onderzoek getrokken kunnen worden over het praktijkprobleem en de mogelijke aanpak ervan. En moet er, voorafgaand aan het onderzoek, tijdens en na afloop ervan, geanalyseerd worden welke invloed de actieve betrokkenheid van de onderzoeker en van de andere betrokkenen heeft (gehad) op de perceptie van ieder, en daarmee mogelijk op het onderzoek.

Het opzetten, uitvoeren en evalueren van een praktijkonderzoek in de eigen werksituatie vraagt daarmee niet alleen methodologische kennis en ervaring van de onderzoeker, maar ook het zich bewust zijn van de eigen verantwoordelijkheden als onderzoeker en een onafhankelijke instelling ten opzichte van collega’s en leidinggevenden. Wil de aanpak van een praktijkprobleem niet voornamelijk gebaseerd worden op persoonlijke interpretaties van enkele betrokkenen met formele of informele macht, op al dan niet bewuste manipulaties en cirkelredeneringen, dan is een doordenking van een praktijk(gericht) onderzoek vooraf en achteraf dus van groot belang. Allereerst op de onderzoeksvolgorde (eerst analyseren van situatie en doelstellingen, voordat een oplossing wordt gekozen en onderzocht). Vervolgens op de onderzoeksopzet, -uitvoering en de gevolgen daarvan op de interpretatie van de onderzoeksresultaten. Maar ook op de rol als onderzoeker die tegelijkertijd betrokkene is in die probleemsituatie, zijn positie in het schoolteam, zijn invloed op de situatie en dus op het onderzoek, en hoe daarmee zo goed mogelijk kan worden omgegaan. De communicatie met alle betrokkenen gedurende het gehele onderzoeksproces moet vooraf goed worden doordacht: wat vertel je wel en niet en tegen wie, op welk moment, hoeveel ‘inspraak’ hebben de overige betrokkenen, hoe communiceer je en via welke kanalen; welke invloed heeft dat? Allemaal aspecten die in één keer ‘goed’ moeten gaan en van doorslaggevend belang zijn om als praktijkonderzoeker serieus genomen te worden en te blijven. In die communicatie moet onderscheid gemaakt worden tussen de groepen waar de onderzoeker zich op richt. Voor mede-praktijkonderzoekers, buiten de eigen schoolsituatie, is het van belang dat rekenschap wordt afgelegd over de wijze waarop de interne validiteit van het onderzoek zo goed mogelijk is gegarandeerd, dus over de dilemma’s waar de onderzoeker is voor komen te staan, welke keuzes hij gemaakt heeft en wat de consequenties daarvan zijn. De communicatie met zijn collega’s in het schoolteam dient echter een ander doel, namelijk hen actief betrekken bij de verbetering van het onderwijs, en kan tegelijkertijd van grote negatieve invloed zijn op de interne validiteit van het onderzoek. De informatie die aan collega’s wordt verstrekt verschilt dus volledig in vorm en inhoud van het eerstgenoemde onderzoeksrapport.

Besluit
Gezamenlijke erkenning van het probleem in de eigen werksituatie en van de noodzaak dit aan te pakken is enerzijds hét kenmerk en startpunt van praktijkonderzoek. Anderzijds leidt deze betrokkenheid vrijwel onontkoombaar tot beïnvloeding van alle aspecten van het onderzoek. Soms zelfs in die mate dat de kwaliteit van een uit te voeren praktijkonderzoek van ondergeschikt belang lijkt te worden. De praktijkonderzoeker moet steeds de lastige afweging maken wat de gewenste, maar ook de ongewenste effecten zijn van de betrokkenheid van zichzelf en van teamleden, leidinggevenden, ouders en leerlingen op de onderzoekskwaliteit en hierin keuzes maken: Welke mate van actieve betrokkenheid is wenselijk dan wel minimaal noodzakelijk; welke opties zijn er voor de vormgeving van het onderzoek; welke gevolgen hebben keuzes hierin voor de interne validiteit ervan; welke consequenties heeft dat voor de onderzoeksresultaten en -conclusies en: hoe rapporteer ik hierover? Welke informatie moet er dan dus vooraf, tijdens en na afloop van het onderzoek naar de diverse betrokkenen; wie verzorgt dat en wat zijn dan de expliciete en impliciete boodschappen die daarmee worden uitgezonden? Een kritische blik (ontwikkelen) op al deze aspecten is inherent aan de ‘onderzoekende houding’ van de leraar die op masterniveau de eigen schoolpraktijk wil (gaan) onderzoeken. Bij een aantal praktijkonderzoeken moet men zich zelfs afvragen of het niet voldoende zou zijn (geweest) om uitsluitend het gezamenlijk enthousiasme en een grote inzet van alle betrokkenen systematisch te bevorderen, in plaats van te investeren in geld, tijd en moeite voor een onderzoek waarvan de uitkomst vooraf al vaststaat. Staat het initiëren van een praktijkonderzoek met daarop aansluitend een aanpak van een probleem waar belangrijke sleutelfiguren in de school al een uitgesproken mening over hebben, niet gelijk aan het realiseren van een selffulfilling prophecy? Het besluit om een praktijkonderzoek te (laten) doen lijkt soms slechts een legitimering te zijn van reeds eerder voorgenomen schoolbeleid en deel uit te maken van de invoeringsstrategie.

Samenvattend: goed praktijkonderzoek veronderstelt van de onderzoeker inzicht in de complexiteit van dit type onderzoek, gedegen kennis van de methodologie van zowel kwantitatief als kwalitatief onderzoek, van de invloed van de diverse meetfouten op de onderzoekskwaliteit, van de ontwikkeling en interpretatie van kwalitatief goede meetinstrumenten en de data die zij opleveren en van beschrijvende statistiek. Daar bovenop moet de praktijkonderzoeker goed psychologisch inzicht hebben in teamfunctioneren, en teamontwikkeling, een onafhankelijke persoonlijkheid zijn, sociale vaardigheden bezitten om de diverse sociale processen te begeleiden, reflectief vermogen, mondeling en schriftelijk vaardig zijn et cetera. Er moeten dan ook vraagtekens gezet worden bij die opleidingen in het hoger beroepsonderwijs, waarin van masterstudenten (met nauwelijks of geen onderzoekservaring) wordt geëist om in één à twee jaar zowel de theoretische kennis van het onderzoekswerk te verwerven als in de eigen werksituatie relatief zelfstandig een praktijkonderzoek uit te voeren. En die dan ook nog worden gecoacht door docenten die zelf nauwelijks onderzoekservaring hebben (Verschuren, 2015). In navolging van Everaert (2015) pleit ik daarom om master-studenten hun onderzoek bij voorkeur te laten baseren op gegevens die al in hun eigen praktijk beschikbaar zijn. Daarbij kan vooral gedacht worden aan gegevens uit het leerlingvolgsysteem en CITO- of andere toetsen, die in het kader van opbrengstgericht werken geanalyseerd moeten worden en op basis waarvan een doordachte en te verantwoorden aanpak gerealiseerd kan worden om de kwaliteit van de eigen school te verbeteren (de leraar als reflective practitioner). De zo gewenste kritische, onderzoekende houding kan waarschijnlijk beter bevorderd worden door meer tijd te reserveren voor basale methodologische en statistische vaardigheden en het kritisch beschouwen van praktijk(gerichte) onderzoeksverslagen van anderen, dan door het zelf, voor het eerst, moeten uitvoeren van een praktijkonderzoek op basis van zelf-verzamelde data met zelf-ontwikkelde meetinstrumenten in de eigen complexe werksituatie. Verreweg de meeste master-studenten zullen na afloop van hun studie nooit meer een uitgebreid praktijkonderzoek uitvoeren; wel zullen zij in hun team een voorbeeld kunnen zijn hoe je in de schoolpraktijk de effecten van je onderwijs systematisch en gestructureerd evalueert en het pedagogisch-didactisch handelen op basis van die gegevens kunt verbeteren. Voor diegenen die wèl praktijkonderzoeker willen worden, zou dan een post-master scholingsaanbod moeten worden ontwikkeld.
Kortom: Praktijkonderzoek? Bezint eer ge begint, reflecteer nog eens een keer en beidt uw tijd!

Literatuur

Andriessen, D. (2014). Praktisch relevant en methodisch grondig? Dimensies van onderzoek in het hbo. Openbare les. Utrecht: HU. Download d.d. 24 aug. 2016 van www.onderzoek .hu.nl/~/‌media/LLL/Docs/Openbare%20lessen/ Openbare% 20les%20Daan %20Andriessen.pdf
Bruggink, M. & Harinck, F. (2012). De onderzoekende houding van leraren: wat wordt daaronder verstaan? Tijdschrift voor Lerarenopleider, 33(3), 46-53. Download oktober 2017 van www.lerarenopleider.nl/velon/ledensite/files/2012/09/33_3_8BrugginkHarinck.pdf
Bruïne, E. de, Harinck, F., Hinzen, E., Huijgevoort, H. van, Swet, J. van, & Ven, A. van de. (2010). Praktijkgericht onderzoek in de master SEN opleidingen van WOSO; kaders en uitgangspunten. Z.p.: Fontys, Hogeschool Utrecht en Windesheim. Download d.d. 05 november 2014 van www.leoz.nl/Portals/2/2010%20kader%20praktijkgericht%20 onderzoek%20woso.pdf
Castelijns, J., Koster, B. & Vermeulen, M. (2009). Vitaliteit in processen van collectief leren; samen kennis creëren in basisscholen en lerarenopleidingen. Antwerpen/Apeldoorn: Garant.
Commissie Nationaal Plan Toekomst Onderwijswetenschappen. (2011). Nationaal Plan Onderwijs / leerwetenschappen. Download oktober 2017 van www.nro.nl/wp-content/uploads/2014/02/Nationaal-Plan-Onderwijs-Leerwetenschappen-2011.pdf
Donk, C. van der & Lanen, B. van. (2016). Praktijkonderzoek in de school. 3^e druk. Bussum: Coutinho.
Everaert, H. (2015). Reflecties van een hogeschoolhoofddocent op praktijkgericht onderzoek. Nieuw Meesterschap; Praktijkgericht onderzoek in onderwijs en opvoeding, 5(3-4), 25-31.
Harinck, F. (2007). Basisprincipes praktijkonderzoek. Derde, gewijzigde druk. Antwerpen/Apeldoorn: Garant.
Kaldewaij, J. & Beishuizen, J. (2016). De infrastructuur van onderwijsonderzoek in relatie tot de opleiding van leraren. In: J. Dengerink & M. Snoek. Kennisbasis Lerarenopleiders. Katern 2: De context van het opleiden van leraren. VELON, pp. 105-117. Download van http://www.lerarenopleider.nl/velon/wp-content/uploads/2016/12/Katern2Compleet.pdf
Kunneman, H. (2008). Belang van modus-drie-leerprocessen in het onderwijs. In: L. Stevens (red.). Leraar, wie ben je? Antwerpen/Apeldoorn: Garant.
Lange, R. de, Schuman, H., & Montesano Montessori, N. (2010). Praktijkgericht onderzoek voor reflectieve professionals. Antwerpen/Apeldoorn: Garant.
Leeman, Y., & Wardekker, W. (2010). Verbetert onderzoek het onderwijs? Tijdschrift voor lerarenopleiders, 31(1), 19-22.
Martens, R. (2012). Praktijkgericht wetenschappelijk onderwijsonderzoek. In: Zwart, R., Veen, K. van, & Meirink, J. (Red.). Onderzoek in de school ter discussie: doelen, criteria en dilemma’s. Leiden: RUL/Iclon/Expertisecentrum Leren van Docenten. Download oktober 2017 van https://www.yumpu.com/nl/document/view/11201953/onderzoek-in-de-school-ter-discussie-doelen-criteria-en-dilemmas
Onderwijsraad. (2011). Ruim baan voor stapsgewijze verbeteringen. Den Haag: auteur.
Peet, A. J. M. van, & Everaert, H. A. M. (2014). Lessen in onderzoek; onderzoek in de onderwijspraktijk. 4^e druk. Amersfoort: Agiel.
Simon, F. (2016). Het duivelse dilemma van praktijkgericht onderzoek. Onderwijsinnovatie, 2, 26-29. Download d.d. 5 sept. 2016 van http://www.zuyd.nl/~/media/Files/Onderzoek/Kenniskring‌%20‌‌Professionalisering% 20van%20het%20onderwijs/OI_2016_2_duivelsdilemma%20F%20Simon.pdf
Society for Prevention Research. (2004). Standards of Evidence. Criteria for efficacy, effectiveness and dissemination. Download van http://www.preventionresearch.org
Steen, J. van der, & Peters, M. (2014). Onderzoekend handelen in de dagelijkse praktijk van leraren en docenten. Tijdschrift voor Lerarenopleiders, 35(1), 71-83.
Stevens, L.M. & Van der Wolf, J.C. (2001). Kennisproductie in de Nederlandse Orthopedagogiek; proeve van een probleemnstelling. Pedagogiek, 21(4), 313-328.
Tavecchio, L., & Gerrebrands, M. (2012). Bewijsvoering binnen praktijkgericht onderzoek. Den Haag: Boom Lemma uitgevers.
Tuckman, B. W., & Harper, B. E. (2012). Conducting Educational Research. Lanham MD: Rowman & Littlefield Publishers.
UvAWiki (2010). Going native. Download d.d. 08-09-2017 van http://wiki.uva.nl/kwamcowiki/ index.php/Going_native
Verschuren, P.J.M. (2009). Praktijkgericht onderzoek. Ontwerp van organisatie- en beleidsonderzoek. Den Haag: Boom Lemma
Verschuren, P.J.M. (2015). Praktijkgericht onderzoek; over luchtkastelen en modderpoelen. Nieuw Meesterschap 3(4), 66-72.

Auteur

Dr. Jos J. Louwe is orthopedagoog-ontwikkelingspsycholoog en was tot 1 december 2017 als hoofddocent verbonden aan de Hogeschool Utrecht – Seminarium voor Orthopedagogiek. Hij gaf les, deed onderzoek en publiceerde over leerlingen en volwassenen met psychosociale problematiek en en over de realisatie van Passend Onderwijs.