DT-17-2-145.pdf 620.29 KB 334 downloads
Indicatiestelling, protocollering en resultaat ...Samenvatting
In deze notitie wordt meer aandacht bepleit voor geprotocolleerde diagnostiek, indicatiestelling en behandeling van psychiatrische stoornissen. Vervolgens worden de in 1996 uitgebrachte ‘Nota Indicatiestelling’ van de Nederlandse Vereniging voor Psychotherapie en de in 1996 door de Nederlandse Vereniging van Psychotherapie uitgebrachte ‘Richtlijnen voor psychotherapie bij depressie’ kritisch beschouwd. Analyse van beide stukken leidt tot de conclusie dat het nog zorgwekkend gesteld is met de wetenschappelijke onderbouwing van dergelijke richtlijnen, die door de Nederlandse Vereniging voor Psychotherapie zijn voorgesteld. Tot slot worden enige aanbevelingen gegeven.
Inleiding
Er bestaan vele theorieën over het ontstaan van psychische stoornissen. Op grond daarvan zijn vele behandelingsstrategieën ontwikkeld waarbij ervan werd uitgegaan dat deze strategieën op grond van de onderliggende theoretische overwegingen effectief zouden zijn. Dit is niet het geval. Slechts van een enkele benadering is de effectiviteit wetenschappelijk vastgesteld. Dit dient vanzelfsprekend gevolgen te hebben voor de dagelijkse praktijk. Immers, behandelingen waarvan het nut niet is aangetoond, kunnen niet langer worden toegelaten wanneer door gecontroleerd onderzoek is aangetoond dat een andere behandeling succesvol is. Anders gezegd: het behandelbeleid kan niet gebaseerd zijn op een bepaald theoretisch model, maar zal zijn effectiviteit moeten bewijzen op grond van empirische gegevens.
In deze notitie wordt ingegaan op de consequenties van deze gedachte, waarbij speciale aandacht wordt gegeven aan de rechten van de patiënt en het beleid van de Nederlandse Vereniging voor Psychotherapie in dezen. De rechten van de patiënt laten zich eenvoudig samenvatten: de patiënt heeft recht op die behandeling waarvan, gelet op de huidige stand van zaken in de wetenschap, aannemelijk is dat die voor hem of voor haar het beste resultaat oplevert.
Over de indicatiestelling
Het is niet eenvoudig om te voorspellen welke patiënt baat heeft bij een bepaalde behandeling en welke niet. Een grote farmaceutische industrie in Nederland bekende dat, ondanks het feit dat de gegevens van vele miljoenen depressieve patiënten, behandeld met antidepressiva, voorhanden waren, zij nog steeds niet – zelfs niet in enige mate – in staat waren voor een individuele patiënt de kans op succes te voorspellen. Dat geldt niet alleen voor depressieve stoornissen maar ook voor andere goed onderzochte stoornissen, zoals voor patiënten met een dwangneurose (Hoogduin & Duivenvoorden, 1988; Keijsers, 1994), paniekstoornis (Keijsers, 1994), of een sociale fobie (Scholing, 1993). Voor stoornissen die niet goed zijn onderzocht geldt deze geringe voorspelbaarheid in nog sterkere mate. Het merkwaardige fenomeen doet zich voor dat ‘indicatieteams’, bestaande uit psychiaters en psychotherapeuten van allerhande herkomst, menen hiertoe wel in staat te zijn. Een indicatiestelling voor een bepaalde behandeling betekent dat de indicatiesteller verwacht dat deze actie tot een goed therapieresultaat leidt. Op welke gronden deze afweging plaatsvinden is onduidelijk, maar dat er geen wetenschappelijke grond is, is wel duidelijk. De criteria waarop patiënten geselecteerd worden voor psychotherapie zijn ronduit verrassend. Wanneer de patiënten, die geïndiceerd worden voor psychotherapie, worden vergeleken met de patiënten die worden afgewezen, zijn bijzonder interessante verschillen gevonden. Uit onderzoek van Konings (1987) bleken patiënten, geïndiceerd voor klinische psychotherapie, intelligente, zogenaamde ik–sterke personen te zijn met een goed introspectief vermogen, gewetensvol en gemotiveerd voor het uitvoeren van de taken des levens (Hoogduin & Van den Brand, 1993; Konings, 1987). Het is wel vreemd dat zo welhaast volmaakte mensen zich aanmelden voor psychotherapie. Wat moet er aan hen nog worden verbeterd? Ook het onderzoek van De Waal (1988) is in dit kader van belang. Hij vergeleek de patiënten, die door de OEP (Organisatorische Eenheid voor Psychotherapie, voorheen IMP) van een RIAGG voor behandeling waren afgewezen, met patiënten die voor behandeling waren aangenomen. De intakecommissies bleken de in behandeling genomen patiënten in vergelijking met de afgewezen patiënten te beschrijven als aardig, volgzaam en aantrekkelijk van uiterlijk; zij vertoonden meer inzicht in de problemen, waren meer gemotiveerd, hadden minder lichamelijke klachten; zij werden slimmer en actiever geacht; zij werden geacht over meer zogenaamde ‘gezonde gebieden’ te beschikken, meer te kunnen leren van inzichten en beter opgewassen te zijn tegen tegenslag. De afgewezen patiënten voldeden minder aan de normen en idealen van de therapeut: ze waren ouder en bleken langduriger en/of intensievere behandelingen achter de rug te hebben. Dit laatste zou erop kunnen wijzen dat de afgewezen patiënten relatief ernstiger klachten hadden. Een en ander ontlokte aan een van de opponenten tijdens de promotie van De Waal de opmerking dat dit ervoor pleitte om vooral voort te gaan met dit beleid, maar om voortaan de geaccepteerde patiënten af te wijzen en de afgewezen patiënten in behandeling te nemen, daar aangenomen kon worden dat voor de laatste categorie behandeling veel meer nodig was. De conclusie is duidelijk: bij psychotherapie wordt niet zozeer geïndiceerd als geselecteerd op kenmerken die met de te behandelen stoornis weinig of niets te maken hebben.
Met deze gegevens in gedachten is het interessant de recent uitgebrachte ‘Nota Indicatiestelling’ van de Nederlandse Vereniging voor Psychotherapie (1996), zoals goedgekeurd door de ledenraad van maart 1996, aan een kritisch onderzoek te onderwerpen (Nota Indicatiestelling, 1996).
De nota is uitgebracht door een werkgroep die de volgende opdracht van de Vereniging had gekregen: ‘Verslag uitbrengen aan het bestuur over de vigerende, c.q. gewenste praktijk van de indicatiestelling, de bestaande opvattingen daarover en, indien mogelijk, te adviseren aangaande een algemeen te hanteren formule voor de indicatiestelling voor psychotherapie’ (NVP, 1996). De vereniging heeft niet gevraagd naar een wetenschappelijke onderbouwing van de nota. De commissie heeft zich daarmee dan ook niet beziggehouden. Wanneer we de literatuur raadplegen waarnaar de samenstellers van de nota refereren is de conclusie kort en krachtig: geen van de bronnen stijgt uit boven een algemeen beschouwelijk niveau; in geen van de stukken wordt gerapporteerd over wetenschappelijk onderzoek op het gebied van de indicatiestelling of te verwachten resultaat.
In de nota wordt het proces van de indicatiestelling in vier fasen beschreven:
- Moet de behandeling door de GGZ plaatsvinden?
- Algemene indicatiestelling: bepaling behandelvorm en doelstelling.
- Specifieke doelstelling: welk psychotherapeutisch aanbod is het meest geschikt?
- Toetsing door derde, bijvoorbeeld een indicatiecommissie. Hierna volgt fiattering. Onduidelijk is door wie, maar wel duidelijk is dat pas nu de zorgverzekeraar zal gaan betalen. Dit proces neemt twee tot drie gesprekken in beslag.
Ook wie in de nota zoekt naar richtlijnen om tot een verantwoorde afwikkeling van bovengenoemde fasen te komen, zoekt tevergeefs. Van de indicatiesteller wordt verwacht dat deze de taxatie van de ernst van het klinisch syndroom, onderzoek naar het klinisch syndroom, persoonlijkheidsonderzoek, intelligentiebepaling, een onderzoek naar zelfredzaamheid, motivatieonderzoek, bepaling van de focus van behandeling, zoals gemeld in twee of drie gesprekken doet.
Hoe dit alles dient plaats te vinden, wordt niet vermeld. Een semi–gestructureerd interview naar stoornissen op As 1 en As 2 van de DSM–IV neemt al gauw drie tot vier uur in beslag. Het is maar goed dat de nota niet vermeldt op welke wijze dit dient plaats te vinden want het kan niet plaatsvinden in dit tijdsbestek. Men lijkt ervan uit te gaan dat de indicatiesteller het wel zonder diagnostisch instrumentarium kan.
Het geheel, aldus de nota, dient in twee of drie zittingen afgewerkt te zijn. Het is blijkbaar de ‘klinische blik’ die redding moet brengen, al is inmiddels tot vervelens toe aangetoond dat de ‘klinische blik’ het moet afleggen tegen systematisch onderzoek. Waarom twee of drie zittingen, waarom niet in een middag? Zou dat te maken hebben met de honoreringsstructuur? Het is niet te hopen dat de zorgverzekeraar door die structuur (één zitting van drie kwartier per dag wordt slechts vergoed) de patiënt dwingt driemaal zijn werkzaamheden te onderbreken om de tocht naar de hulpverlener te maken in plaats van eenmaal en dan meteen goed.
In de nota komt de zorgverzekeraar nogal eens aan bod. Waarom toch? Er is een gouden vuistregel: mensen verzekeren zich tegen pech en ziekte; wanneer hun dat overkomt betaalt de verzekeraar de schade. Deze regel geldt voor alles, behalve voor geestelijke nood. Zorgverzekeraars bepalen in hun pakket dat in de eerstelijnspsychologie wel tien zittingen zijn toegestaan, in de psychotherapie niet, de psychiater mag het wel en opname mag ook. Psychotherapeuten lijken de dupe te zijn. Hoe zou dit komen?
Als een patiënt een paniekstoornis heeft, die met vijftien zittingen cognitieve gedragstherapie adequaat kan worden behandeld (zie Keijsers, 1994), dan heeft de zorgverzekeraar maar te betalen. De patiënt heeft zijn premie betaald en heeft dus recht op een adequate therapie. De zorgverzekeraar heeft daar verder niets mee te maken. Als een patiënt zijn ziekenfondspremie betaalt en hij krijgt een maagzweer, dan heeft hij recht op behandeling. De zorgverzekeraar gaat dan niet besluiten of deze maag wel of niet moet worden behandeld. Het gaat hier om onvoldoende waardering voor de psychotherapie. Een reden is misschien dat te lang behandelingen van lange duur werden gegeven, zonder dat aannemelijk gemaakt kon worden dat deze enig nut hadden. Psychotherapeuten dienen natuurlijk duidelijk te maken dat hun werk zin heeft. Dat kan alleen als er is vastgesteld dat een bepaalde behandeling effectief, dus noodzakelijk is. Wanneer de effectiviteit van een bepaalde behandeling bij een bepaalde stoornis niet is aangetoond, moet er gesmeekt en gezeurd worden bij de zorgverzekeraar of hij alstublieft wat wil betalen, want anders heeft de therapeut niet te eten.
Nergens in de nota is er iets te vinden over wetenschap, gecontroleerd onderzoek, over diagnostische instrumenten. De nota maakt enigszins duidelijk waarom zorgverzekeraars dergelijke producten niet willen inkopen.
Over protocollering van behandelingen
Protocollen hebben tot doel duidelijkheid te scheppen over de meest gewenste handelwijze in een bepaalde situatie (Hovingh, 1992). Een protocol bestaat uit een samenhangend geheel van gestandaardiseerde richtlijnen voor de aanpak van een welomschreven stoornis bij een welomschreven patiëntenpopulatie. De protocollen moeten systematisch worden geëvalueerd en daarna, of als het wetenschappelijk onderzoek daar aanleiding toe geeft, worden bijgesteld (Hovingh, 1992).
Gestandaardiseerde behandelingen worden niet alleen toegepast bij gedragstherapie en cognitieve therapie, maar ook bij experiëntiële en psychoanalytische therapie, bijvoorbeeld voor de behandeling van verslaafden en patiënten met een borderline persoonlijkheidsstoornis (Lambert & Bergin, 1994). Ook bij farmacotherapie bestaan dergelijke protocollen (Nolen & Hoogduin, 1992).
Het is een gegeven dat psychiaters en psychotherapeuten weinig voelen voor het gebruik van protocollen. Bij de toepassing van psychofarmaca ontbreken voor dit standpunt argumenten. Bij de behandeling van depressies bijvoorbeeld zijn er nauwelijks argumenten om niet een stapsgewijs programma te volgen, waarin moderne en klassieke antidepressiva, MAO–remmers, lithium en ten slotte ook elektroconvulsietherapie hun plaats hebben.
Lambert en Bergin (1994) noemen de volgende voordelen van protocollaire behandelingen:
- goede interne validiteit van vergelijkbaar resultaatonderzoek;
- een goede leidraad voor opleiding;
- goede mogelijkheid van beoordeling, ‘integrity of treatment’;
- mogelijkheid de kwaliteit van de therapeut te beoordelen;
- replicatiemogelijkheden van een succesvolle behandeling door derden;
- de behandelingen zijn eenvoudig te leren. Zo was het bijvoorbeeld mogelijk vierdejaars psychologiestudenten na het uitvoeren van een protocollaire behandeling bij patiënten met een dwangneurose een therapieresultaat te laten bereiken dat niet onderdeed voor de resultaten van gespecialiseerde centra (Schaap et al., 1991). De kritiek op protocollen bestaat globaal uit de volgende punten (zie Wilson, 1996):
- de protocollen zijn conceptueel in strijd met de theorie;
- een ideografische patiëntbenadering wordt uitgesloten;
- het gaat meer om een kunde dan een kunst – therapeuten worden minder geïnspireerd;
- de patiënten die profiteren van deze behandeling zijn geen ‘echte’ patiënten;
- de protocollen bevoordelen therapierichtlijnen die daarvoor geschikt zijn.
In een kritisch artikel slaagt Wilson erin de meeste tegenwerpingen met behulp van onderzoeksgegevens te ontzenuwen (Wilson, 1996). Dat therapeuten minder geïnspireerd worden, lijkt minder goed weerlegbaar. Lambert en Bergin concluderen na een bestudering van het bestaande onderzoek dat de therapeutische relatie minder goed wordt gewaardeerd en dat de therapeut als minder stimulerend, minder ondersteunend en minder optimistisch wordt beleefd. Bovendien zou de therapeut als meer autoritair worden ervaren (Lambert & Bergin, 1994; zie ook Schulte et al., 1992).
Bij diverse stoornissen zijn onderzoeksgegevens beschikbaar waarmee de uitspraak dat de individuele patiënt bij een gestandaardiseerde behandeling te kort zou komen, is te ontkrachten.
Schulte et al. (1992) hebben deze vraag onderzocht op een wijze die zeker ethische vragen opwerpt, maar waarvan de resultaten zeer opmerkelijk zijn. De vraagstelling van het onderzoek luidde of een op maat gesneden behandeling een beter resultaat te zien geeft dan een standaardbehandeling die volgens een protocol wordt uitgevoerd. Zij voerden het onderzoek uit bij 120 fobische patiënten. De patiënten werden in drie groepen verdeeld. De eerste groep kreeg de behandeling volgens het protocol (exposure in vivo). De tweede groep kreeg een van tevoren op grond van diagnostisch onderzoek op maat gesneden gedragstherapie, en de derde groep kreeg een op maat van een patiënt uit groep twee gesneden behandeling. De resultaten waren opmerkelijk: de groep die was behandeld met de geprotocolleerde behandeling boekte een beter resultaat dan de andere twee groepen.
Emmelkamp, Bouman & Blauw (1994) vergeleken het effect van geïndividualiseerde gedragstherapie met een standaardbehandeling (exposure in vivo). Beide behandelingen bleken effectief op diverse maten. Er kon geen verschil in effectiviteit worden vastgesteld (Emmelkamp et al., 1994).
Dit resultaat wordt niet alleen gevonden bij patiënten met fobische stoornissen of een dwangstoornis, maar ook bij patiënten met een depressie, sociale fobie of relatieproblemen (zie Emmelkamp et al., 1994).
De conclusie lijkt gerechtvaardigd dat het zinvol is over te gaan op protocollaire behandeling, tenzij er ‘wetenschappelijke’ of ethische argumenten zijn dit na te laten.
Recent heeft ook de Nederlandse Vereniging voor Psychotherapie, door een speciaal hiertoe in het leven geroepen werkgroep, richtlijnen uitgebracht voor de psychotherapie bij depressie (Poell, 1996):
Dit behandelplan bestaat uit een kortdurend psychotherapeutisch programma van maximaal 20 zittingen, waarin werkzame principes en procedures uit de interpersoonlijke psychotherapie en de cognitieve therapie gecombineerd kunnen worden. Tevens wordt er ruimte gelaten om per specifieke casus andere accenten toe te voegen,
bijvoorbeeld door middel van een partner/relatietherapie. Deze psychotherapeutische behandeling kan eventueel gecombineerd worden met medicatie. De behandeltijd is maximaal zes maanden waarna er herbeoordeling van de depressie plaatsvindt.
Nu dient deze richtlijn nog te worden getoetst door een stuurgroep, maar stelt Poell: ‘Gezien het feit dat stuur– en werkgroep goeddeels uit dezelfde personen bestaan, lijkt de toetsing slechts een formele kwestie. We gaan er dus maar van uit dat dit de richtlijnen zullen worden.’
Ook nu blijkt dat de vereniging het vak dat zij vertegenwoordigt, niet serieus neemt. Het mag bekend worden verondersteld dat een robuuste werking van cognitieve thereapie bij depressies is aangetoond. In iets minder mate geldt dit voor interpersoonlijke psychotherapie (Person, Thase & Crits–Christoph, 1996). In de bovenstaande richtlijnen wordt echter niet voor een van de twee werkzame kortdurende geprotocolleerde behandelingen gekozen, nee, hier wordt gekozen voor de werkzame elementen uit beide behandelingen. Wat precies de werkzame elementen zijn, is helaas
niet bekend. Zodra men uit een geprotocolleerde behandeling enige elementen wegneemt, wordt onduidelijk of dit gehandicapte protocol nog effectief is. Dit zou toch te begrijpen moeten zijn voor mensen die de middelbare school hebben bezocht. Ook wil men partner/relatietherapie toevoegen. Waarom? De werking ervan staat in het geheel niet vast.
Een andere richtlijn is de psychotherapie eventueel te combineren met medicatie. Deze richtlijn mist iedere empirische basis. Uit onderzoek is gebleken dat de combinatie van farmaca en cognitieve therapie of interpersoonlijke psychotherapie niet effectiever is dan psychotherapie alleen. Waarom dan de combinatie (soms) aanbevelen (Persons et al., 1996)? Er zijn wel aanwijzingen dat bij bepaalde depressieve beelden cognitieve gedragstherapie minder effectief is, namelijk bij patiënten met een zeer ernstige depressie (zie bijvoorbeeld Thase, Simons & Reynolds, 1996). In die gevallen zou een combinatie geïndiceerd zijn, mogelijk zelfs psychofarmaca alleen.
Hierover wordt niets gemeld. Wel moet de ernst van de depressie na zes maanden opnieuw gemeten worden! Nee, leden van de Vereniging voor Psychotherapie, de ernst van de depressie moet tijdens iedere zitting netjes worden gemeten en indien na zes weken psychotherapie geen verbetering optreedt, dienen antidepressiva aan de behandeling te worden toegevoegd (Persons et al., 1996). Ook valt op dat twee reeds bestaande redelijke Amerikaanse richtlijnen voor de behandeling met depressies niet worden gevolgd: noch de richtlijnen van de American Psychiatric Association, noch die van het Depression Guideline Panel van de Agency for Health Care Policy, beide in 1993 gepubliceerd (zie Persons et al., 1996). Ook op deze richtlijnen is kritiek mogelijk, maar ze zijn goeddeels gebaseerd op empirisch onderzoek, met hier en daar ook politieke argumenten.
Het is maar goed dat zorgverzekeraars de psychotherapieverstrekkingen eerst willen fiatteren. Behandelingen van depressies volgens de richtlijnen van de Nederlandse Vereniging voor Psychotherapie behoren door het ontbreken van voldoende kennis niet gefiatteerd te worden.
Aanbevelingen
Geprotocolleerde diagnostiek: de diagnostiek dient aan te sluiten bij de wetenschappelijke traditie. Anders gezegd: de wijze waarop de diagnostiek plaatsvindt in de dagelijkse praktijk dient gebaseerd te worden op de diagnostische procedures, zoals toegepast in gecontroleerde studies.
Afwijken van behandelingsprotocollen is in bepaalde gevallen toegestaan, soms zelfs noodzakelijk. Deze afwijkingen dienen goed gedocumenteerd te worden met de redenen (bijv. bijwerking van het geneesmiddel) en het resultaat.
Patiënten krijgen de behandeling waarop zij recht hebben . Wanneer een patiënt een bepaalde stoornis heeft waarvoor behandelingsstrategieën bestaan waarvan het positieve resultaat op grond van wetenschappelijk onderzoek vaststaat, dient de patiënt deze behandeling te krijgen. Het indiceren voor een andere behandeling is dus verwijtbaar fout.
Indicatiestellers dienen op de hoogte te zijn van de resultaten van wetenschappelijk onderzoek. Verenigingen, zoals de Nederlandse Vereniging voor Psychotherapie, dienen door gerichte bijscholing hun leden de kennis te laten verwerven die nodig is om te voorkomen dat niet–werkzame behandelingen worden toegepast. Zij dienen zich ook te verzetten tegen de ontwikkeling van opleidingen in een bepaalde therapierichting waarvan de werkzaamheid in het geheel niet is aangetoond.
Maak gebruik van bestaande richtlijnen. Wanneer er, zoals voor de behandeling van depressies, diverse wetenschappelijke richtlijnen bestaan, doet men er goed aan deze richtlijnen bij de ontwikkeling van nieuwe richtlijnen als uitgangspunt te nemen. Ook die richtlijnen, bijvoorbeeld van de Amerikaanse wetenschappelijke beroepsverenigingen, zijn gebaseerd op dezelfde wetenschappelijke basis als de richtlijnen voor de Nederlandse bevolking.
Geen onderhandelingen meer met zorgverzekeraars. Zoals eerder opgemerkt betalen patiënten premie om wanneer zij ziek zijn een adequate behandeling vergoed te krijgen. Wanneer een zorgverzekeraar dat niet doet, blijft hij in gebreke. Dit is een probleem dat niet met gesmeek maar met juridische middelen dient te worden opgelost. De zorgverzekeraar moet natuurlijk wel de zekerheid hebben dat het om een zo goed mogelijke behandeling gaat en niet om een project om goedwillende psychotherapeuten in hun levensonderhoud te voorzien.
Tot slot: wanneer men tegenwoordig een schoonmaakbedrijf heeft, dient men, wil een bedrijf overleven, gecertificeerd te zijn overeenkomstig de ISO 9000–1–normen (International Organisation for Standardisation). Dit houdt in dat de gehele werkwijze wordt beschreven, tot de gebruikte reinigingsmiddelen en afvalverwerking toe. Een onafhankelijke organisatie controleert vervolgens regelmatig of het bedrijf zich inderdaad aan de procedures houdt.
Het lijkt hoog tijd dat ook voor psychotherapie een dergelijke certificering wordt geregeld.
Summary
This article draws attention to the need for a protocol to govern the diagnosis, indications for treatment and treatment of psychiatric disorders. The ‘Memorandum on the Determination of Treatment Indications’ and the ‘Guidelines for Psychotherapy in the Treatment of Depression’, both published in 1996 by the Netherlands Society for Psychotherapy, are subjected to critical analysis. The conclusion arrived at as a result of this is that the guidelines suggested by the Netherlands Society for Psychotherapy are in urgent need of a scientific base.
Referenties
Emmelkamp, P.M.G., Bouman, T.K., & Blaauw, E. (1994). Individualized versus standardized therapy: A comparative evaluation with obsessive–compulsive patients. Clinical Psychology & Psychotherapy, 1, 95–100.
Hoogduin, C.A.L., & Brand, M. van den (1993). Klinische psychotherapie onderzocht. In H.H.C. Schacht & A.J. Uyterlinde (Red.), Ontwikkeling in de psychotherapie (pp. 93–103). Roozendaal: VKP.
Hoogduin, C.A.L., & Duivenvoorden, H.J. (1988). A decision model in the treatment of obsessive–compulsive neuroses. British Journal of Psychiatry, 152, 516–521.
Hovingh, M.H. (1992). Protocollering en behandelingsstrategieën. In W.A. Nolen, C.A.L. Hoogduin & P. Moleman (red.), Behandelingsstrategieën bij depressie (pp. 1–8). Houten/Zaventem: Bohn Stafleu Van Loghum.
Keijsers, G.P.J. (1994). Prognostic factors in the treatment of anxiety disorders; Studies on treatment success and failure in behaviour therapy. Nijmegen: Academisch proefschrift.
Konings, R.F. (1987). Wikken en wegen. Noordwijkerhout: Academisch proefschrift.
Lambert, M.J., & Bergin. A.E. (1994). The effectiveness of psychotherapy. In A.E. Bergin & S.L. Garfield (Eds.), Handbook of psychotherapy and behavior change (pp. 143–189). New York: John Wiley & Sons, Inc.
Nolen, W.A., & Hoogduin, C.A.L. (1992). Beslisbomen en behandelingsstrategieën. In W.A. Nolen, C.A.L. Hoogduin & P. Moleman (Red.), Behandelingsstrategieën bij depressie. Houten/Zaventem: Bohn Stafleu Van Loghum.
Nota Indicatiestelling (1996). Utrecht: Nederlandse Vereniging voor Psychotherapie.
Persons, J.N.B., Thase, M.E., & Crits–Christoph, P. (1996). The role of psychotherapy in the treatment of depression: Review of two practice guidelines. Archives of General Psychiatry, 53, 283–290.
Poell, J. (1996). Stand van zaken. Stuurgroep consensus en protocollering psychotherapie. Nieuws voor Psychotherapeuten, 4, 30–32.
Schaap, C.P.D.R., Cuisinier, M.C.J., Hoogduin, C.A.L., Keijsers, G.P.J., Limpers, B., & Kladler, A. (1991). Behandeling van dwangstoornissen door stagiaires. Maandblad voor Geestelijke Volksgezondheid, 3, 281–293.
Scholing, H.A. (1993). Social phobia: Cognitive and behavioural treatment. Groningen: Academisch proefschrift.
Thase, M.E., Simons, A.D., & Reynolds, C.F. (1996). Abnormal electroencephalographic sleep profiles in major depression: Association with response to cognitive behavior therapy. Archives of General Psychiatry, 53, 99–108.
Waal, W.J. de (1988). De drempel van de instituutspsychotherapie . Nijmegen: Academisch proefschrift.
Wilson, G.T. (1996). Manual–based treatments: The clinical application of research findings. Behaviour Research & Therapy, 34, 295–314.