De gewoonte om vragenlijsten af te nemen bij patiënten/cliënten-ervaringsonderzoek lijkt onuitroeibaar. Ik kwam er in 2007 bij gelegenheid van de publicatie van de Consumer Quality Index (CQ-index) al tegen in opstand. Ik stelde toen dat vragenlijsten-als-meetinstrument niet voldoen aan eisen van betrouwbaarheid en validiteit en pleitte voor een fundamenteel andere methode van onderzoek. Dit keer schrijf ik naar aanleiding van de hulpvraag van een koepelorganisatie (VGN): Hoe om te gaan met het gemopper in het veld over het werken met vragenlijsten? Het moet eenvoudiger, met meer zeggingskracht en minder administratieve lasten. Dergelijke eisen lijken mij gerechtvaardigd, maar hoe eraan te voldoen?
Eerst het begrip ‘vragenlijst’. Met die term doel ik op een meetinstrument. Dit bestaat uit een lijst met vraagzinnen die door een interviewer van een respondent wordt afgenomen of aan hem wordt voorgelegd. De vragen zijn gesloten of open geformuleerd of in de vorm van een stelling geponeerd. Elke vraag betreft een aspect van het te onderzoeken onderwerp, dat vooraf door de onderzoeker is bepaald (aspectmethode). Op de lijst staan bij elke vraag of stelling de antwoordcategorieën voorgedrukt, zoals: ‘ja/neen’, ‘nooit – altijd’, ‘zeer tevreden – zeer ontevreden’ en ‘onvoldoende – zeer goed’ en ‘zeer mee eens – zeer mee oneens’. Een dergelijke vragenlijst-als-meetinstrument ligt hier onder vuur; buiten kijf blijven nut en noodzaak van ervaringsonderzoek als middel tot verbeteren en verantwoorden.
Alternatieve meetinstrumenten
Mijn boodschap is tweeledig. Van ervaringsonderzoek uitgevoerd met behulp van vragenlijsten, zijn de uitkomsten onbetrouwbaar en niet valide en het werken met vragenlijsten voldoet niet aan eisen van integriteit, uitvoerbaarheid en responsiviteit. Net als bij het vorige artikel lever ik dus kritiek, maar ik kom ook met alternatieve meetinstrumenten. Het uitgangspunt daarbij is steeds hetzelfde en simpel: een lijst met vraagzinnen (die wordt afgenomen) is wezenlijk iets anders dan een lijst met aandachtspunten (waaruit kan worden geput). Wie zich hieraan houdt, geeft direct al gehoor aan de roep tot vereenvoudiging.
Betrouwbaarheid
Ervaringsonderzoek is betrouwbaar als het qua uitkomst geen verschil maakt op welk moment het plaatsvindt of door wie het wordt uitgevoerd. Maar kunnen we op betrouwbaarheid rekenen? Van moment tot moment doen patiënten/cliënten nieuwe ervaringen op en de ene interviewer is geduldiger, empatischer, behulpzamer dan de andere. De uitkomsten zullen dan verschillen. Op grond van deze argumenten durfde ik al eerder te stellen dat het afnemen van vragenlijsten niet voldoet aan de eis van betrouwbaarheid. Na mijn vorige publicatie in 2007 heb ik nog een ander argument gevonden.
Beïnvloedende factoren
Dit argument put ik uit eigen ervaring. Het betreft een factor die sterk bepalend is voor de uitkomsten verkregen door middel van vragenlijsten, maar die bij mijn weten geen aandacht krijgt in de literatuur. Wat is het geval? Eind 2010 onderging ik een openhartoperatie (zes bypasses) en kreeg tijdens en na het verblijf in twee ziekenhuizen maar liefst negen vragenlijsten voorgelegd. Hoe ging ik daar nu zelf mee om? Misschien is het niet het juiste woord, maar ik heb ze een beetje balorig ingevuld. Waarom? Ik raakte steeds meer geïrriteerd. Over de Intensive Care kon ik geen zinnig woord zeggen omdat ik toen vrijwel buiten bewustzijn was, mijn ontevredenheid over Fysiotherapie kon ik niet uiten omdat vragen daarover ontbraken en vragen over de Verpleegafdeling Cardiologie moest ik beantwoorden op een zeven-puntsschaal, die dan misschien wel wetenschappelijk verantwoord is, maar een onding voor praktisch gebruik. Ik was al met al bepaald niet in de stemming om ook die nog eens serieus in te vullen. Deze en andere van mijn eigen reacties op vragenlijsten maakten mij nieuwsgierig. Hoe werkt dit bij anderen? Wat zegt de literatuur op dit punt?
Conclusie: Alvorens iets zinvols te kunnen zeggen over de betrouwbaarheid van een vragenlijst-als-meetinstrument voor de kwaliteit van zorg, zou moeten worden bepaald wat de invloed is van de stemming waarin de patiënt/cliënt verkeert op de nauwkeurigheid, juistheid en volledigheid van de uitkomsten van het onderzoek.
Validiteit
Ervaringsonderzoek met behulp van een vragenlijst is valide als ook werkelijk wordt onderzocht wat men wil onderzoeken. Bij de CQ-index gaat het bij veel vragen om de frequentie van het optreden van een bepaalde gebeurtenis over een voorbije periode. Box 1 geeft een voorbeeld.
| Box 1. Validiteit van ervaringsonderzoek naar aspecten (i.c. frequentie versus emotie)
‘Hoe vaak in de afgelopen twaalf maanden heeft uw huisarts u informatie verteld die tegenstrijdig is met informatie van andere zorgverleners?’ (D. Delnoij, Klantervaringen in de zorg meten met CQ Index, Kwaliteit in Beeld, 2006, nr. 6.) Commentaar De hier geciteerde vraag gaat over ‘tegenstrijdige informatie vertellen’. Dit lijkt me inderdaad iets om (on)tevreden over te zijn, maar is de frequentie daarvan (‘nooit, soms, meestal, altijd’) voor de patiënt/cliënt een juiste, waarachtige, geldige, kortom valide maat? En wat is de zeggingskracht van een ‘frequentie’? |
Wat leert echter common sense? Als mensen worden bevraagd over hun ervaringen met gebeurtenissen, of als ze daarover spontaan iets vertellen, hangen ze hun antwoord of verhaal niet zozeer op aan de frequentie van het optreden van een gebeurtenis, maar aan de emotie die erdoor werd opgeroepen. Een valide uitkomst bestaat dus eerder uit verhalen of gezegden (kwaliteiten), dan uit in maat en getal uitgedrukte antwoorden (kwantiteiten).
Als mensen worden bevraagd over hun ervaringen met gebeurtenissen, of als ze daarover spontaan iets vertellen, hangen ze hun antwoord of verhaal niet zozeer op aan de frequentie van het optreden van een gebeurtenis, maar aan de emotie die erdoor werd opgeroepen.
Daar komt, op het punt van validiteit, nog iets bij. Bij het werken met vragenlijsten bepaalt de onderzoeker het wat en hoe van het onderzoek. Hij kiest de onderwerpen (items), formuleert daarover de vragen, kiest de woorden. Maar hebben die ook dezelfde betekenis voor de patiënt/cliënt? Waar heeft de vraag betrekking op, waar gaat het over? Box 2 geeft nog een voorbeeld.
| Box 2. Validiteit van objecten van onderzoek (dingen versus handelingen)
Observatie (video-opname, voorjaar 2011) In het kader van de jaarlijkse evaluatie wordt de cliënt geïnterviewd door de begeleider van zijn eigen groep gehandicapten. Ze zitten samen aan tafel en de begeleider begint na een korte inleiding met het hardop voorlezen van vraag 1 van de vragenlijst die voor hem ligt: ‘Hoe vind je het eten?’ Er valt een stilte, en als het antwoord op zich laat wachten, komt de begeleider met de vervolgvraag: ‘Vind je het lekker?’ Na enige aarzeling zegt de cliënt: ‘Nou, eh, op maandag komt het eten altijd te laat, dan moet ik voetballen.’ Commentaar Het begrip ‘eten’ wordt verschillend geïnterpreteerd. Voor de één slaat het op ‘voedsel’ (ding, zelfstandig naamwoord), voor de ander op ‘activiteit’ (handeling, werkwoord). Het antwoord komt uit een ander referentiekader dan de vraag. Bij het maken van de voorgedrukte antwoordcategorieën is hiermee geen rekening gehouden. |
Conclusie: Uitkomsten verkregen door middel van een vragenlijst zijn niet valide indien in de vraagzinnen of stellingen termen voorkomen die door de patiënt/cliënt anders worden geïnterpreteerd dan door de onderzoeker bedoeld.
Integriteit
Het werken met vragenlijsten bij ervaringsonderzoek is integer als de woorden en uitdrukkingen van de patiënt/cliënt worden weergegeven in de uitkomsten en daarbij niet wordt gemanipuleerd. Antwoorden op vragen mogen niet in de mond worden gelegd. Maar het gevaar dat dit toch gebeurt, is inherent aan de meetmethode.
In mijn eerdere publicatie (2007) wees ik er al op: achter de vragenlijst als meetinstrument schuilt een methode die afkomstig is uit de natuurwetenschappen. Bij die methode voert de onderzoeker de regie. Hij bepaalt welke aspecten in welke volgorde worden onderzocht. Daarmee staat deze methode (aspectmethode), en daarmee ook de vragenlijstals-meetinstrument, op gespannen voet met een hedendaags beleidsuitgangspunt in de zorg: ‘de cliënt voert de regie over zijn eigen bestaan’.
Conclusie: Ervaringsonderzoek is niet integer als het bestaat uit het afnemen van vragenlijsten.
Kan het anders? Zeker, maar dit vergt wel een bepaalde houding en vaardigheid van de onderzoeker/interviewer. Ik wijs hierbij op ‘Niet sturende communicatie’ (NSC), een vorm van communicatie waarbij tijdens het gesprek met de patiënt/cliënt zo min mogelijk richting wordt gegeven of gestuurd door de onderzoeker/interviewer (Ries van den Nieuwenhuizen; zie box 3).
| Box 3. Een alternatief voor het afnemen van een vragenlijst: Niet-sturende communicatie (NSC)
Belangrijkste kenmerken:
Bron en informatie: rvdnie@gmail.com |
Uitvoerbaarheid
Ervaringsonderzoek met behulp van vragenlijsten is beter uitvoerbaar naarmate het aantal onderwerpen (items) kleiner is, de administratieve last beter draagbaar en het tijdsbeslag per patiënt/cliënt geringer.
Minder onderwerpen
Dit is te bereiken door per patiënt/cliënt een beperkt aantal onderwerpen aan te roeren. Als de keuze daarvan aan hen wordt overgelaten, komt dit ten goede aan de zeggingskracht van de uitkomsten. De patiënt/cliënt heeft het echter niet alleen voor het zeggen. Andere partijen willen, in het kader van verantwoording en voorlichting, over ‘hun’ onderwerpen worden geïnformeerd. Denk daarbij aan inspecteurs, zorgverzekeraars, patiëntenorganisaties, beroepsverenigingen, bestuurders en politici.
Administratieve last verlichten?
Die andere partijen stellen hun eigen eisen aan de uitkomsten, waaronder die van vergelijkbaarheid. Zij willen weten – op meso- en macroniveau – hoe de kwaliteit van zorg van vandaag zich verhoudt tot die uit het verleden en die van andere instellingen. Het is vooral om die reden dat onderzoeksuitkomsten in kwantitatieve termen moeten worden weergegeven. Er moet worden gescoord op (prestatie-)indicatoren. Dit vraagt, zowel voor als tijdens en na het onderzoek, gecompliceerde vertaalslagen, die veel tijd en energie kosten. Bij elke vraag die aan respondenten wordt gesteld, moet een tegennatuurlijk kunstje worden opgevoerd: van ervaringen die patiënten/cliënten uitdrukken in kwalitatieve termen (verhalen met zeggingskracht), moeten uitkomsten worden gegenereerd in kwantitatieve termen (onbetrouwbare cijfers). Hier ligt ook een bron van gemopper. De vertaalslag wordt als onwaarachtig ervaren en doet de patiënt/cliënt geen recht.
Geringer tijdsbeslag
Per patiënt/cliënt is de tijd te beperken door het gesprek toe te spitsen op zijn ervaringen met de momentane zorg, in het hier en nu. ‘Je moet meten op het product’, adviseerde ooit Niek van Omme (kwaliteitsfunctionaris van NS en in de jaren negentig hoogleraar kwaliteitsmanagement aan de RUG). Je moet niet afgaan op oude ervaringen en verhalen die spelen in het verleden. Niet alleen zijn herinneringen onbetrouwbaar, ze zouden ook betrekking hebben op oude zorg, zoals die ooit was en inmiddels veranderd kan zijn.
Hier en nu … dit is iets anders dan het ‘daar en straks’ van het jaarlijkse evaluatiegesprek. Daarover werd ooit door een zorgverzekeraar het volgende opgemerkt: ‘Het is toch niet waar dat jullie eens per jaar een gesprek voeren met de cliënt over zijn ervaringen met de kwaliteit van zorg. Dat doe je toch doorlopend, tussen de bedrijven door? Anders loop je toch altijd achter de feiten aan?’
In plaats van een regulier gesprek te plannen, kunnen ook tussentijds gelegenheden worden aangegrepen. Ik doel daarbij vooral op incidenten die de gemoederen in beweging brengen, zoals ruzie aan tafel, geschreeuw op de gang, vieze groente of een defecte lift. Na een kort gesprek daarover kan een aantekening worden gemaakt in het individueel zorg- en ondersteuningsplan en kunnen ervaringen met zorg en leven worden opgetekend. Die aantekeningen (op microniveau) kunnen worden geaggregeerd tot een concreet, nauwkeurig, en actueel beeld (op meso- en macroniveau). Jaarlijks herhaald geeft dit de vereiste verantwoordings- en verbeterinformatie.
Conclusie: Bij ervaringsonderzoek door middel van vragenlijsten moet een onwaarachtige draai worden gemaakt van verhalen over ervaringen (kwaliteiten) naar cijfers over aspecten (kwantiteiten). Het geringe effect van die beweging staat niet in verhouding tot de inspanning die zij vergt.
Responsiviteit
Ervaringsonderzoek voldoet aan de eis van responsiviteit indien de uitkomsten gerichte impulsen en aanwijzingen geven voor het verbeteren en verantwoorden van zorg. Maar gebeurt dit ook? Of stapelen de ingevulde vragenlijsten zich op en kijkt niemand ernaar? Dit overkwam ooit Jos Kimenai, kwaliteitsfunctionaris bij het Elisabeth Ziekenhuis in Tilburg. Hij besloot het voortaan anders te doen (box 4).
| Box 4. Een alternatieve werkwijze ter verhoging van de responsiviteit
Met willekeurige patiënten die het ziekenhuis verlieten, knoopte Kimenai een gesprekje aan. ‘Uw hoofd staat er nu niet naar, maar als ik u de volgende week woensdag bel, om een uur of elf, wilt u me dan vertellen wat u goed vond in het ziekenhuis en wat u niet zo goed vond?’ Hij had goede ervaring met deze werkwijze. ‘Zet de recorder maar aan en draai hem af in het werkoverleg van de betreffende afdeling. Naar aanleiding hiervan werd in ons ziekenhuis het ontslagprotocol nog eens tegen het licht gehouden en aangepast.’ |
Conclusie: Twee open vragen op een geschikt ogenblik gesteld vormen een praktisch alternatief voor een hele lijst die op een gepland moment wordt afgenomen.
Slot
Onderzoek met behulp van vragenlijsten (aspectmethode) voldoet niet aan de eisen die redelijkerwijs aan ervaringsonderzoek kunnen worden gesteld. In dit artikel zijn suggesties gedaan voor een alternatief (incidentmethode) en voor andere meetinstrumenten, waaronder – heel eenvoudig – het hanteren van een aandachtspuntenlijst in plaats van een vragenlijst.
Al met al is er materiaal aangereikt om het gemopper in het veld over vragenlijsten-als-meetinstrument te reduceren. Inspecteurs, zorgverzekeraars en patiëntenverenigingen kunnen
bijdragen aan het vergroten van de eenvoud van het onderzoek en het verminderen van de administratieve last door bij onderzoekers aan te dringen op een accentverschuiving van aspectmethode naar incidentmethode. Het effect zal zichtbaar zijn in de responsiviteit van het ervaringsonderzoek.
Literatuur
Vinkenburg, H.H.M., ’Waarom toch altijd die vragenlijst?’ Kwaliteit in Beeld, 2007, nr. 3, 18-23.
Dr.ir. Huub H.M. Vinkenburg is zelfstandig adviseur, coach en docent.
Bron: Sigma, nr. 6, december 2011
