Effectwaarden

Wanneer is het effect dat in een onderzoek is aangetoond de moeite waard? Drie factoren zijn belangrijk bij het beantwoorden van die vraag: de statistische significantie, de klinische significantie en de effectgrootte.

Statistische significantie
Tot voor kort werd het effect van een interventie vooral uitgedrukt in een statistisch significant verschil tussen een voor- en een nameting of tussen een nameting in een experimentele en een controlegroep. Een verschil is statistisch significant als de kans klein is dat het door toeval is ontstaan. In een onderzoeksrapport staat bijvoorbeeld dat na de interventie de gemiddelde risicoscore van de interventiegroep 21 punten lager is dan die van de controlegroep en dat dit verschil een significantie heeft van p=0.05. 'P' staat voor 'probability', ofwel waarschijnlijkheid. Bij p=1 is het waarschijnlijk dat het gevonden verschil op toeval berust. Hoe dichter p uitkomt bij 0, hoe groter de kans dat het verschil een gevolg is van de interventie. Onderzoekers gebruiken vaak p=0.05 als grens: als p kleiner is dan 0.05 is het verschil significant.
Een probleem bij deze aanpak is dat grote verschilscores in kleine groepen vaak statistisch niet significant zijn. En bij grote groepen kunnen kleine verschillen weliswaar als significant uit de bus komen, maar praktisch gezien weinig waarde hebben.

Klinische significantie
Omdat de statistische significantie van een verschil niet altijd relevant is, kijken onderzoekers vaak ook naar de klinische significantie. Ze gaan na bij hoeveel cliënt na de interventie het risico is verdwenen, het probleem is opgelost of de situatie weer normaal is. Hoe meer cliënten na een interventie 'genezen' zijn, hoe effectiever de interventie. 

Effectgrootte
De laatste jaren rapporteren onderzoekers vaak ook de zogeheten effectgrootte, ofwel 'effectsize' (ES), in hun onderzoeken en metastudies. De effectgrootte is een indexcijfer dat aangeeft in hoeverre het gevonden verschil afwijkt van de waarde 0, waarbij er geen verschil is.
 
Toepassing effectgrootte
Het indexcijfer voor effectgrootte wordt in het algemeen op twee manieren toegepast:

• De eerste manier gaat uit van een vergelijking tussen een interventie- en een controlegroep bij de voor- en de nameting. Bij de voormeting moet het verschil tussen de twee groepen nul zijn. Als de interventiegroep vervolgens bij de nameting veel beter scoort dan de controlegroep,  is dat een aanwijzing voor de effectiviteit van de interventie.
• De tweede toepassing vindt plaats als er geen controlegroep is. Dan wordt bij de interventiegroep het verschil berekend tussen de scores op de voor- en de nameting en eventueel de zogenaamde follow-up, een aantal maanden na de interventie. De effectgrootte zegt dan alleen iets over de winst die bij de interventiegroep is geboekt. Het is de vraag of dat effect ook was opgetreden als er geen interventie was toegepast. Bij risico's of problemen die zonder interventie doorgaans blijven bestaan of verergeren, zoals ADHD in combinatie met gedragsproblemen, levert de index een eerste aanwijzing of de interventie de problematiek helpt te doorbreken. In alle overige gevallen is bij deze toepassing van de index voorzichtigheid geboden.

De verwachting is dat ook in de praktijk van de jeugdzorg de effectgrootte een steeds belangrijkere maatstaf zal worden. Daarom vindt u hier een gedetailleerde uitleg over de effectgrootte.

Overigens zijn voor het beoordelen van een interventie niet alleen de factoren statistische significantie, klinische significantie en effectgrootte belangrijk, maar ook de kosteneffectiviteit. Elders in dit dossier vindt u meer informatie over kosteneffectiviteit.

Verder lezen:

• Effectgrootte