Het aantal publicaties over de gecomputeriseerde en online psychotherapie is de laatste jaren sterk toegenomen. Hoewel er over een aantal klachtgebieden literatuurstudies verschenen (bijvoorbeeld: Copeland & Martin, 2004; Spek et al., 2007), ontbreekt het aan een totaaloverzicht. Isaac Marks, Kate Cavanagh en Linda Gega beogen deze lacune op te vullen met hun boek Hands-on Help: Computer-aided Psychotherapy.
De auteurs zijn bekende pioniers in de eMental Health die hun strepen verdienden met programma’s als FearFighter (voor angstklachten) en Beating the Blues (voor depressie). Zij worden daarbij alom geroemd om hun streng empirische aanpak. Wij keken daarom uit naar het boek waar we als onderzoekers bij de internetbehandelingen via Interapy zeer veel belangstelling voor hadden. We waren van plan het boek in te zetten bij het onderwijs, maar wij zien daarvan af. Hands-on Help is teleurstellend. Het boek hinkt qua vorm op twee gedachten, wat leidt tot een verzameling moeilijk leesbare, incomplete beschrijvingen. Erger is dat Hands-on Help evidente fouten en slordigheden bevat. Die waren voor ons zeer opvallend voor de studies waar wij zicht op hebben, zoals die betreffende Interapy. Er is geen reden om aan te nemen dat het voor andere in het boek genoemde studies anders ligt.
Het boek beoogt een narrative review te zijn: een verhalend, kwalitatief overzicht van de literatuur. Marks c.s. traceerden 175 publicaties over 97 verschillende systemen. Zij deelden deze in naar acht klachtgebieden en voorzagen het resultaat van een inleiding en twee afsluitende hoofdstukken. De auteurs willen met het boek beargumenteren dat er grote verschillen zijn tussen de door hen in kaart gebrachte systemen. Daarom is volgens hen de vraag ‘is computerondersteunde psychotherapie effectief?’ net zo onzinnig als de vraag: ‘zijn medicijnen effectief?’ Welk medicijn? Voor welk probleem? In welke situatie? En voor wie? Door de systemen en de onderzoeken gedetailleerd te beschrijven proberen de auteurs deze vragen te beantwoorden. Hiermee is niets mis. Integendeel, het is een loffelijk doel. De auteurs hinken in de uitvoering echter op twee gedachten. Ze willen een kwalitatief overzicht geven, maar daarin blijven ze in gebreke door een overdreven nadruk op de kwantitatieve en onderzoekstechnische aspecten van het besproken onderzoek. Bovendien krijgt de lezer geen adequaat overzicht van deze kwantitatieve aspecten, omdat de auteurs dat niet nodig vonden in een kwalitatief overzicht. Het uiteindelijke resultaat is moeilijk te lezen en incompleet.
Het gaat echt te ver om het predicaat ‘verhalend’ te geven aan 180 pagina’s vol met onleesbare zinnen als:
‘At six months (and 12 months in italics) both groups had cut alcohol consumption, and DL improved clinically and statistically more than information only: on both primary measures – not exceeding the weekly guideline limit (31% vs. 8%; 23% vs. 12%) and not drinking hazardously (42% vs. 20%; 36% vs. 18%) and on secondary measures – were no longer problem drinkers (20% vs. 5%; 16% vs. 5%), cut weekly drinking from 43 units by more (to 39 vs. 29 units; 35 vs. 31 units; between group effect size in favour of DL = 0.37, 0.03 at 12 months)’.
Het is nog erger in de tabellen waarin de onderzoeken nog eens kort worden samengevat:
‘3m after netNAPFD, netNAPFD-only ↓ drinking. NetNAPFD + book > netNAPFD-only on ↓ drinking and alcohol-related consequences. Repliers drank less at start than nonrepliers.’
In de tabellen zijn de auteurs dan weer te weinig kwantitatief. Gewoonlijk staan in dit soort tabellen de gestandaardiseerde effectgrootten van de interventies. Dat geeft een indicatie van de relatieve werkzaamheid. Het is de taak van de schrijver van een review om deze effectgrootten te achterhalen, maar om onduidelijke redenen geven Marks c.s. in de tabellen deze effectgrootten de ene keer wel en de andere keer niet. Zij geven overal effectgrootten wanneer het hun eigen werk betreft, maar bij andere onderzoeken laten zij deze vaak weg, ook wanneer de effectgrootten in de originele publicaties zijn terug te vinden. Het gevolg is dat het moeilijk is om de onderzoeken met elkaar te vergelijken.
Ook de interpretaties van de cijfers zijn verbazend. In de samenvattingen kan men zinnen aantreffen als ‘de effecten zijn onduidelijk’, terwijl de cijfers grote effecten (d> 1.0 of zelfs> 1,5) laten zien (blz. 70). Omgekeerd treft men conclusies aan met de strekking ‘de behandeling is redelijk effectief’ waar het gaat om een effectgrootte van d= .03 (zeg maar geen enkel effect; blz. 161).
Het ergste is echter dat het boek flagrante fouten bevat. Wij zochten en vonden het onderzoek van Interapy en de Universiteit van Amsterdam. Daar weten wij immers veel van. De fouten zijn groot.
We beperken ons tot de meest ernstige. In de beschrijving van de Interapy-PTSS-behandeling herkennen we ons eigen werk bijna niet. Interapy zou cliënten het behandelprotocol mailen. Nee: de cliënten werken in een webapplicatie die automatisch zowel hun als de behandelaars opdrachten aanbiedt op basis van een door de computer uitgevoerd protocol. In de behandeling zouden de behandelaars volgens Marks c.s. drie keer feedback geven (nee: zeven keer), en dat zou de behandelaars in totaal elf uur kosten per behandeling (nee: daar zijn nooit gegevens over gepubliceerd). Verder wordt verwezen naar een publicatie waarin volgens hen follow-up resultaten na achttien maanden worden gepresenteerd. Nee: dit betreft een follow-up van een onderzoek over face-to-face behandeling van PTSS. Het heeft niets met Interapy te maken, behalve dan dat Alfred Lange aan de publicatie heeft meegewerkt. De follow-up was trouwens twee jaar na behandeling uitgevoerd en niet na achttien maanden.
Wanneer Marks c.s. ten slotte de studie van Lange et al. in het Journal of Consulting and Clinical Psychology (2003) bespreken, maken ze het helemaal bont. Volgens Marks c.s. betreft het een onderzoek onder dertig studenten, zonder follow-up. In werkelijkheid gaat het hier om de resultaten van een gerandomiseerd gecontroleerd onderzoek onder 101 ernstig getraumatiseerde patiënten, met een follow-up na zes weken. Deze fout is natuurlijk cruciaal. De auteurs stellen bovendien dat ze op basis van de literatuur de effectiviteit van deze behandeling onvoldoende konden vaststellen. Een onbegrijpelijke conclusie voor iedereen die de publicatie heeft gelezen.
Marks c.s. lijken niet goed op de hoogte van de ontwikkelingen rond Interapy. Ze melden dat twee door henzelf ontwikkelde programma’s in 2006 werden aanbevolen door het National Institute for Health and Clinical Excellence, een belangrijk adviesorgaan binnen de Engelse gezondheidszorg. Trots stellen zij dat dit waarschijnlijk de eerste officiële aanbeveling van gecomputeriseerde therapie ter wereld is. For the record: Interapy werd in 2004 door de Inspectie voor de Gezondheidszorg bezocht en gecomplimenteerd, en in 2005 toegelaten tot de AWBZ. Marks c.s. stellen verder dat onduidelijk is of de Interapy-behandelingen toegankelijk zijn. Zoals de lezer misschien weet, draait de Interapy-kliniek op volle toeren, zeker nu Interapy wordt vergoed.
Bovendien wordt alleen de Interapy-PTSS-behandeling besproken, terwijl Interapy inmiddels over de behandeling van vier stoornissen heeft gepubliceerd (een behandeling van bulimia nervosa wordt op dit moment gevalideerd). In een uithoek van het boek geven de auteurs daar ook rekenschap van: zij noemen daar ook de burnoutbehandeling en de depressiebehandeling. Wel worden publicaties over het Interapy-burnoutprotocol en de Interapy-paniekbehandeling gebruikt als referenties voor de PTSS-behandeling. Dat klopt dus ook al niet.
De slordigheden in het boek beperken zich trouwens niet tot Interapy. Wanneer de auteurs bijvoorbeeld het werk van een Zweedse onderzoeksgroep bespreken, is het originele artikel volgens hen de ene keer in 2003 gepubliceerd (blz. 74), de andere keer in 2006 (blz. 78). Uiteindelijk blijkt het artikel met wat moeite in de literatuurlijst terug te vinden onder het jaar waarin het daadwerkelijk gepubliceerd is, namelijk in 2007.
Dit soort fouten hoort niet. Het is onbegrijpelijk dat Hands-on Help ermee vol zit.
Tijdens het productieproces van deze recensie bleek dat Marks het voornemen heeft een brief te sturen naar een vaktijdschrift, waarin hij de fouten ten aanzien van de Interapy-studies zal rechtzetten. Het is ons niet bekend of er correcties ten aanzien van andere studies komen.
Referenties
Copeland, J. & Martin, G. (2004). Web-based interventions for substance use disorders: a qualitative review. Journal of Substance Abuse Treatment, 26(2), 109-116.
Lange, A., Rietdijk, D., Hudcovicova, M., Ven, J.-P. van de, Schrieken, B., & Emmelkamp, P.M. (2003). Interapy: a controlled randomized trial of the standardized treatment of posttraumatic stress through the internet. Journal of Consulting and Clinical Psychology, 71(5), 901-909.
Spek, V., Cuijpers, P., Nyklicek, I., Riper, H., Keyzer, J., & Pop, V. (2007). Internet-based cognitive behaviour therapy for symptoms of depression and anxiety: a meta-analysis. Psychological Medicine, 37(3), 319-328.