Met enige regelmaat begint een sector, branche of beroepsorganisatie met intercollegiale toetsing, ook wel peer review genoemd. Hoe gaat peer review in zijn werk? Gaat het om controleren, coachen, of iets anders? Is het een vorm van certificering, of juist niet? Volgens Peter Noordhoek zou peer review zich moeten ontwikkelen van een deductieve naar een meer inductieve benadering. Van expertmodel naar collegiaal model.
Lange tijd was het de gewoonte dat binnen sectoren en verenigingen beroepsgenoten elkaar in het oog hielden. Als het nodig was, gingen een of meer collega’s namens de vereniging op bezoek bij het lid dat wel eens de grenzen overtreden zou kunnen hebben. Het was eigenlijk meer sociale controle dan een objectieve vaststelling van overtredingen.
Auditexplosie
Door globalisering en de opkomst van het managementdenken was dat al snel niet toereikend meer. Private regulering, geïnspireerd door (delen van het) kwaliteitsdenken, leidde tot een dominantie van certificeringsschema’s, inclusief professionalisering van de manier waarop dat getoetst werd. We noemen dat nu de ‘auditexplosie’, maar dat klinkt te negatief: een stevige beoordeling van producten en diensten is op zich van groot economisch belang.
Het is dan ook logischer dat het auditeren zelf onderwerp is geworden van normstelling. Bekend is de ISO 17000 norm voor ‘conformiteitsbeoordeling’, maar de wijze van auditeren en certificeren zit in veel meer normen verwerkt. Zoals de International Professional Practices Framework (IPPF) voor onderzoeken die in het kader van de accountants- en controllersfunctie worden gedaan.
Het opmerkelijke is dat ook in sectoren waarin om statusredenen peer review eigenlijk de enige optie is – de medische en wetenschappelijke wereld – de objectivering via protocollering verder is doorontwikkeld dan waar ook. Feitelijk heeft daarmee het ‘expert’-model het ‘collegiale’ model overvleugeld.
Integrale blik
Een reactie hierop kennen we als het INK-model (EFQM). Het nadeel van certificeringsschema’s is de vaak eenzijdige focus op het productieproces, of in het geval van keurmerken, op de producteisen. We moesten leren dat de ‘totale kwaliteit’ om veel meer gaat. Het moest leiden tot een integrale blik op zaken die vaak moeizaam meetbaar zijn, zoals leiderschap.
Om dat te beoordelen werd een scoremethodiek ontwikkeld die bewust ‘intersubjectief’ van aard zou zijn. Gemengde teams van experts en collega’s geven dan als juryleden een score. Geoefende juryleden kunnen in hun oordeel zeer dicht bij elkaar komen (tot 5 punten op een schaal van 1000).
Verandering in schaalgrootte
Toch wordt deze wijze van beoordelen niet zo vaak meer toegepast. Op zich is dat jammer, maar om verschillende redenen wel verklaarbaar. Een van de minder genoemde redenen is een heel fundamentele: er is door de globalisering een tweedeling gekomen in de schaalgrootte van bedrijven en instellingen: in veel branche- en beroepsgroepen is er een verdeling gekomen tussen een paar grote en complexe leden en vele, vele kleinere bedrijven of zelfstandigen. Het aantal leden kan daardoor groeien, maar omdat in de praktijk de vertegenwoordigers van middelgrote leden vaak de vereniging trekken, is de spankracht feitelijk verminderd. Een vereniging besturen is altijd al een evenwichtsact geweest en dat is nu nog ingewikkelder geworden. Als daar dan nog eens een crisis overheen komt, die niet alleen geldgebrek met zich meebrengt maar ook een toename aan incidenten die de media halen, dan zijn de rapen gaar. Het alternatief van meer overheidstoezicht is zelden aantrekkelijk.
Peer review
De Britse term ‘peer review’ krijgt hier de voorkeur boven het Nederlandstalige ‘intercollegiale toetsing’ om twee redenen. De eerste is dat kwaliteitstoetsing steeds meer een internationaal karakter heeft gekregen. De tweede is dat het woord ‘toetsing’ onvoldoende de lading dekt van wat zou moeten worden beoogd en ‘review’ neutraler is.
Peer review
Eigenlijk is dan de enige optie die van peer review. Daarbinnen zijn meerdere varianten mogelijk, maar de meest logische is de variant waarbij elk lid gedurende een dag wordt bezocht door een ander lid. Bij de grotere leden kan een groter team geformeerd worden. We maken een onderscheid tussen deductief en inductief peer review.
Deductief peer review
Bij elke nieuwe keuze voor een sector- of branchebrede aanpak zou je zeggen: doordenk die even goed. Wat heb je nu echt nodig? In werkelijkheid is daar zelden ruimte voor en wordt gekozen voor bestaande modellen. In de praktijk gaan die uit van een deductieve aanpak: er zijn normen en regels die samen de ‘dominante theorie’ vormen en worden toegepast op de praktijk van de leden. Bij conformiteit volgt een positief oordeel (keurmerk, certificaat, prijs), bij non-conformiteit niet – en is er de fictie dat het lid verdwijnt.
De deductieve aanpak: er zijn normen en regels die samen de ‘dominante theorie’ vormen en worden toegepast op de praktijk van de leden.
In deze benadering is kennis van de ‘dominante theorie’ leidend. Bij de ‘peers’ wordt kennis van de praktijk van de collega’s bekend verondersteld (scheelt in training). In de kern is het expertmodel weer leidend: audits worden geacht binnen de kaders die de theorie aangeeft plaats te vinden. Kalibratie van oordelen is moeilijk, maar zeker niet onmogelijk. De uitkomsten ervan zouden door de buitenwereld moeten kunnen worden beschouwd als ‘valide’. Dat is belangrijk, want in de kern ligt de meerwaarde in de validering naar de buitenwereld toe: ‘Ook volgens de (wettelijke) normen zijn wij te vertrouwen’.
Nadelen van deductief peer review
Helaas, er blijken toch de nodige nadelen aan het deductieve model verbonden te zijn. Of anders gezegd: de voordelen zijn niet groot genoeg. Ten opzichte van overheidstoezicht en expert toezicht is de legitimerende kracht uiteindelijk genoeg: er blijft toch snel de geur aan hangen van ‘de slager die zijn eigen vlees keurt’.
De deductieve benadering is misschien nog wel het meest problematisch voor de leden.
De deductieve benadering is misschien nog wel het meest problematisch voor de leden. De dominante theorie is er een van regels en procedures. Peer review wordt daarmee doorgaans de laatste in een lange reeks van andere toetsingen te zijn, alle gericht op de handhaving van regels en procedures. Meer ‘bureaucratie’ is dan het begrijpelijke verwijt. De oplossing: de peer review een meer coachende doelstelling meegeven: het gaat om het ‘verbeteren’ of het ‘waarderen’, niet om het ‘controleren’. Ze hebben een punt. Maar er zijn genoeg leden die vinden dat er juist te weinig wordt gecontroleerd en dat bijvoorbeeld het intern tuchtrecht te weinig betekent als het gaat om het verwijderen van de ‘rotte appels en peren’. En ook zij hebben een punt, al was het maar omdat juist al die al bestaande vormen van toezicht het de leden makkelijk heeft gemaakt om tot een soort onderlinge non-interventie te komen: de vereniging moet zorgen voor de discipline. ‘Ten slotte’, zegt het lid, ‘ik ben goed bezig, maar vereniging, kijk eens, mijn collega niet. Er harder op graag.’
Het paradoxale effect kan zijn dat de leden elkaar (nog) minder direct gaan aanspreken op het gedrag. En zo komt de vereniging, voor je het weet, in de deductieve benadering vast te zitten tussen coachen en controleren.
Van deductief naar meer inductief
Een alternatief is mogelijk een inductieve benadering. Hierbij zijn de waarnemingen het startpunt. Deze leiden vervolgens naar een al dan niet dominante theorie. Vertaald naar een audit in het kader van peer review, zou de situatie van het lid en diens bedrijf of organisatie leidend zijn voor het oordeel. In de rugzak van de auditor(s) zitten dus geen normen of regels. Als er al gelet wordt op normen en regels, dan die zoals ze gehanteerd worden door het lid zelf. Belangrijker zou dan kunnen zijn wat het lid van zichzelf en de vereniging verwacht. Een oordeel? Dat is iets waar auditor en lid wellicht samen toe komen.
De inductieve benadering: de waarnemingen zijn het startpunt, de situatie van het lid en diens bedrijf of organisatie zijn leidend voor het oordeel.
Dat is nogal een conceptuele sprong. Laat ik duidelijk zijn: een volledig inductieve benadering zie ik in het kader van peer review nog niet direct gebeuren. Wellicht wel in het kader van intervisie, maar dat is een ander verhaal, waarin de verhoudingen anders zijn.
Wat ik wel, ook in de praktijk, zie gebeuren, is een soort ‘conditioneel’ inductieve benadering. De auditee, het lid dat bezoek krijgt van de collega, krijgt op voorhand een zeker krediet en er wordt bewust gebruik gemaakt van het eerste oordeel dat de auditor/collega heeft van de opstelling en werkwijze van een lid. Er is een basis beschikbaar op grond waarvan normatief kan worden geoordeeld. Zowel interne regelgeving als regelgeving vanuit de overheid zijn gewoon van toepassing, maar de basis (dat kan bijvoorbeeld een afgelegde eed of gelofte zijn) wordt alleen ingezet als dat nodig is. Het helpt ook als de auditor/collega zich voorafgaand aan een audit al een beeld kan vormen van dat lid via openbare en/of voor leden beschikbare informatie over de activiteiten van dat lid. Maar het belangrijkste is wellicht nog de feitelijke start van de audit, het welkom.
Drie manieren van binnenkomen
Hier worden drie manieren van binnenkomen geschetst, verlopend van meer inductief naar meer deductief.
Maximaal inductief
Bij de eerste manier van binnenkomen is er sprake is van een prima welkom tussen de collega’s. Al snel begint het gesprek en al snel is er een uitwisseling van ervaringen. Er is herkenning: wij zijn collega’s. Daarbij merkt de collega/auditor al snel dat dit een kantoor is dat overwegend zijn zaken op orde heeft: het lid/de auditee is ‘bewust bekwaam’ en heeft een duidelijke visie op waar hij naartoe wil.
Maximaal inductief: de auditee heeft na afloop het beeld dat hij zijn toekomstvisie heeft kunnen aanscherpen; de auditor dat hij zelf veel heeft geleerd.
Elke toekomstvisie houdt keuzes in, dus dat zijn de dilemma’s waar in de audit op kan worden aangesloten. Het gaat minder over de te controleren elementen. Dat wordt overigens wel degelijk gedaan na het startgesprek, maar de scope daarvan kan beperkter zijn en meer gericht op de dilemma’s van het lid. In het slotgesprek moet de collega/auditor een goede sparringpartner zijn, ondertussen niet vergetend ook de mindere zaken te benoemen. Maar het blijft niet steken in de details. Het lid/de auditee heeft na afloop het beeld dat hij zijn toekomstvisie goed heeft kunnen aanscherpen. De collega/auditor heeft het beeld dat hij zelf veel heeft geleerd. Beiden hebben primair het gevoel met een gewaardeerde collega te hebben gesproken en pas secundair met een auditor/auditee te maken hebben gehad.
Zo inductief mogelijk
De tweede manier van binnenkomen is meer onderzoekend. Vooraf heeft de auditor/collega onderzoek gedaan naar het publieke beeld van het lid en bij de start wordt dat naar de auditee/collega toe gespiegeld met de vraag: ‘wat is jouw verhaal bij deze informatie?’ Dat kan vervolgens leiden tot een vruchtbaar gesprek over de toekomst van de auditee/het lid, maar duidelijk is dat deze eerder reactief in zijn omgeving zit dan met een expliciete koers. Dat mag uiteraard, maar het betekent wel dat de auditor relatief iets meer tijd zal besteden aan het feitenonderzoek.
Er bestaat een grotere kans dat er zaken worden aangetroffen die niet bij eigen of externe regelgeving passen. Ook dit deel hoeft niet alleen maar controlerend te verlopen (collegiale tips kunnen best), maar het is wel eerder constaterend dan coachend.
Voordat na het onderzoek tot een slotgesprek wordt overgegaan, moet de auditor/collega een weging maken, zeker als er sprake is van meerdere tekortkomingen. Is dit incidenteel of structureel? Kan de auditee/het lid snel herstellen of is het daar te veel voor?
In het slotgesprek geeft de auditor/collega de bevindingen terug, ervoor wakend dat het een echt gesprek tussen collega’s blijft. In dat gesprek kan in beginsel alles aan de orde komen wat helderheid kan geven aan de auditee/het lid over de eigen toekomst en wat hem of haar concreet te doen staat om op een hoger niveau te komen.
Aan het einde van de audit heeft de auditor/collega het gevoel dat hij een collega heeft kunnen helpen met het leggen van een steviger fundament onder zijn of haar werkwijze, inclusief wat vingerwijzingen voor de toekomst. De auditee/het lid heeft heel veel om over na te denken, maar omdat de benadering eerder meedenkend dan oordelend is geweest, kan hij of zij vrede hebben met een afloop die extra werk met zich meebrengt. Misschien beseft hij of zij het niet, maar het is belangrijk dat de eenzaamheid even is doorbroken. Beiden hebben het gevoel dat dit een audit was die alleen maar in het vertrouwde verenigingsverband zo kan gebeuren en dat voelt goed.
Deductief
De derde manier van (niet) binnenkomen, is als duidelijk wordt dat er ofwel sprake is van uitgesproken weerstand, ofwel dat het lid de eigen zaken duidelijk niet onder controle heeft.
Bij weerstand gaat de auditorrol domineren. Na uiteraard eerst geprobeerd te hebben die weerstand te doorbreken, wordt de aanpak verder deductief. Bij nader onderzoek wordt de basis aan regelgeving aangeboord en worden waar nodig constateringen gedaan. Bij extreme weerstand wordt de audit eerder afgebroken dan tot een eventuele heraudit gekomen. Snel ingrijpen is dan het meest belangrijk.
Ook de situatie van volledig falen komt voor. Ook dan heeft het geen zin om alle details te bespreken. In deze situatie kan wel de collegiale verhouding weer erg belangrijk worden. Is er een hulpvraag? Zo ja, dan gaat op aangeven van de auditor de vereniging als het kan in actie komen. Belangrijk is daarbij de vraag: kan het lid niet, of wil het lid niet? In dat laatste geval heeft de auditor een rotte appel te pakken en moet er een signaal naar de vereniging gaan. In het geval van niet kunnen, is het logisch dat de vereniging om het lid heen gaat staan en gaat helpen.
Meer dan een expert
Zo ziet de overgang van inductief naar deductief er uit. Je begint als het even kan als collega en wordt alleen die strenge auditor als dat niet anders kan. Er valt nog veel meer over te zeggen: hoe hou je het zuiver? (voor zover na te gaan, niet moeilijker dan bij expert audits). Kun je nog kalibreren? (ja) Heeft het voldoende effect? (aantoonbaar ja, vooral in combinatie met een beperkte mate van verticaal toezicht).
Een ‘peer’ kan en moet veel verder gaan dan een expert. De expert moet binnen het kader blijven, de ‘peer’ heeft de vrijheid daarbuiten te treden.
Een ‘peer’ kan en moet aanmerkelijk verder gaan dan een expert. De expert moet namelijk binnen het meegegeven kader blijven, de ‘peer’ heeft de vrijheid om daarbuiten te treden. Daarin ligt ook in belangrijke mate diens meerwaarde. Zeker bij kleine organisaties en eenmanskantoren loopt vaak alles door elkaar: het zakelijke en het persoonlijke, de buitenwereld en de binnenwereld. Naar buiten toe doet men zich daarbij vaak groter voor dan men is. Zoals al even gememoreerd: er is veel eenzaamheid onder de concullega’s. Simpele kwesties als een zieke secretaresse kunnen de continuïteit direct bedreigen. De collega/auditor moet daar niet naar op zoek gaan, maar het ook niet uit de weg gaan: daar ben je collega’s voor. Je herkent elkaars problemen, dus mag je het erover hebben.
De expertrol voelt voor een auditor vaak veiliger dan de rol van collega. Dat is meer dan jammer: het is een gemiste kans.
De expertrol voelt voor een auditor vaak veiliger dan de rol van collega. Dat is meer dan jammer: het is een gemiste kans. Als trainer ga ik daarover de discussie aan en bij de coaching van audits let ik erop of de auditor de veiligheid van de regelgeving durft te verlaten voor meer essentiële gespreksstof. Concepties vooraf van een ‘coachende’ of ‘controlerende’ audit zijn alleen maar lastig, want ze veronderstellen een superieure positie. Een positie die er binnen collegiale verhoudingen juist niet hoort te zijn. Peer review is peer review als het een ontmoeting tussen peers wordt – en dan is het goud waard.
Peter Noordhoek is directeur van Northedge BV. Hij promoveert najaar 2018 op onderzoek naar onder meer verschillende vormen van peer review en de besluitvorming daaromheen.
