ArticlePDF Available

Red ROM als kwaliteitsinstrument

Authors:
  • Radboud University Nijmegen, Pro Persona, Indigo Service Organisatie
  • University Medical Centers Amsterdam
TIJDSCHRIFT VOOR PSYCHIATRIE | JAARGANG 59 | APRIL 2017
242
Red ROM als kwaliteitsinstrument
K. DE JONG, B. TIEMENS, M.J.P.M. VERBRAAK E.A.1
opinie
In het recent verschenen rapport over de bekostiging van
de curatieve ggz concludeert de Algemene Rekenkamer
(2017): informatie die met rom [routine outcome monito-
ring] wordt verkregen, heeft beperkingen en is van onvoldoende
kwaliteit om te dienen als sturingsinformatie bij de zorginkoop
(p. 14). Dit rapport is door een groep psychiaters en psycho-
logen aangegrepen om de petitie ‘Stop benchmark met
ROM (www.stoprom.com) in het leven te roepen, die
inmiddels door ruim 6000 mensen getekend is. In dit arti-
kel reageren wij op deze petitie. Wij onderschrijven dat ROM
geen basis mag zijn voor zorginkoop, maar vinden dat ROM
en benchmarking van grote waarde kunnen zijn voor het
verbeteren van de kwaliteit van de behandeling en pleiten
daarom voor inhoudelijke doorontwikkeling van bench-
marking in plaats van deze te stoppen.
ROM in de behandeling
Hoewel de initiatiefnemers van de Stop ROM-petitie niet
tegen het gebruik van ROM in de behandeling zijn, wordt in
de media een veel bredere aanklacht tegen ROM gedaan, ook
door de initiatiefnemers zelf (zie bijv. #stopROM op Twitter).
In de opmerkingen van ondertekenaars van de petitie is te
zien dat een deel van hen ook vrij negatief denkt over het
gebruik van ROM in de behandeling. Mogelijk is deze
mening ontstaan doordat ROM nog niet overal op een zin-
volle manier ingezet wordt in de behandeling. Wij vinden
dat een gemiste kans en gaan er hier graag op in.
Meta-analyses laten zien dat wanneer men ROM als feed-
backinstrument in de behandeling inzet, en gedurende de
behandeling regelmatig meet en bespreekt of en hoe de
patiënt vooruitgaat, dit de behandelresultaten in de klini-
sche praktijk verbetert. Dit geldt vooral bij patiënten die
niet goed vooruitgaan (Kendrick e.a. 2016; Shimokawa e.a.
2010). ROM kan tijdens de behandeling een signaal afgeven
aan behandelaar en patiënt dat bijsturing noodzakelijk is
en zo mogelijk negatieve behandelresultaten voorkomen.
Patiënten waarderen ROM doorgaans (Lutz e.a. 2015) en ROM
kan bijdragen aan gedeelde besluitvorming, waarbij de
patiënt meer regie in de behandeling krijgt (Metz e.a. 2015)
en de uitval vermindert (Raes e.a. 2011).
ROM is nodig als onafhankelijke meting op basis van de
mening van de patiënt, omdat behandelaars doorgaans te
positief zijn over hun behandelresultaten. Zij onderschat-
ten de kans op negatieve uitkomsten en uitval (Hannan e.a.
2005; Parker & Waller 2015). Hoewel dit optimisme
belangrijk is om ook bij moeizaam verlopende behande-
lingen gemotiveerd te blijven, zorgt het er eveneens voor
dat te laat gesignaleerd wordt wanneer een behandeling op
een negatief resultaat afstevent.
Recent onderzoek heeft verder laten zien dat er aanzien-
lijke variatie in behandelresultaten bestaat tussen behan-
delaars en dat opleiding en ervaring geen invloed hebben
op de behandelresultaten (Goldberg e.a. 2016). Er is dus
voldoende reden om niet uitsluitend te vertrouwen op het
klinisch oordeel, de opleiding en de ervaring van behande-
laars wanneer we goede resultaten willen behalen. Het is
belangrijk om ROM te integreren in het behandelproces om
behandelingen waar nodig tijdig te kunnen bijsturen.
ROM en benchmarking
Benchmarking is oorspronkelijk bedoeld als kwaliteitsin-
strument en heeft tot doel om van gelijksoortige anderen
te leren (Oudejans e.a. 2011). Wij onderschrijven dat bench-
marking op basis van ROM-data beperkingen heeft, die mis-
schien wel nooit helemaal opgelost zullen worden (zie o.a.
Vermeiren e.a. 2011). Bij een passend gebruik van ROM-data
hoeft dit benchmarken echter niet in de weg te staan.
Het vergelijken van hele instellingen of praktijken zal
altijd van beperkte waarde zijn, zelfs na correctie voor de
casemix (Warmerdam e.a. 2017). Wanneer men echter
instellingen op subgroepniveau vergelijkt, wordt vergelij-
ken relevanter. Uit de cijfers van sbg over zorgtrajecten bij
stemmings-, angst- en somatoforme stoornissen (sbg 2016)
blijkt dat er aanzienlijke variatie bestaat tussen de instel-
lingen in behandelresultaten. We kunnen wellicht niet
stellig zeggen dat de instelling op de 1ste plaats beter is dan
die op de 30ste plaats, maar het is op zijn minst relevant
om een verklaring te zoeken voor de verschillen. Het is
daarbij zinvol te kijken naar opvallend hoge of lage resul-
taten. Hoe komt het bijvoorbeeld dat bij de instelling op de
77ste plaats 15% van de patiënten (betrouwbaar) verslech-
tert, terwijl het gemiddelde over alle instellingen 5% is?
Het is belangrijk hiervoor een verklaring te vinden en te
onderzoeken of er ruimte is voor verbetering.
Er zijn goede voorbeelden van hoe benchmarking resulta-
ten kan verbeteren. Bij de Benchmark Leefstijltraining
artikel
243
TIJDSCHRIFT VOOR PSYCHIATRIE | JAARGANG 59 | APRIL 2017 RED ROM ALS KWALITEITSINSTRUMENT
Verslavingszorg daalde het aantal patiënten met overmatig
middelengebruik mede dankzij benchmarking (Oudejans
e.a. 2012). Bij het Dutch Institute for Clinical Auditing
(dica; www.dica.nl), binnen de somatische zorg, leidde
benchmarking bijvoorbeeld tot 55% minder sterfte na
maagkankeroperaties. Ook vanuit de ROM-benchmark zijn
goede voorbeelden te melden. Zo vertelt Jeroen Muller
(voorzitter raad van bestuur Arkin) in de nieuwjaarsvideo
van sbg hoe Arkin haar behandeling voor depressie heeft
verbeterd door samen te werken met een instelling die
betere resultaten behaalde voor deze doelgroep (https://
youtu.be/y4nc0u05NjA?t=79). In de benchmarkpilots van
sbg vinden vergelijkingen op teamniveau plaats, zowel
binnen als tussen instellingen, met als doel van elkaar te
leren en de behandelingen te verbeteren.
Verantwoorden en afrekenen
De curatieve ggz kost jaarlijks vier miljard euro (Algemene
Rekenkamer 2017). Het is ondenkbaar dat hiervoor geen
indicatie van effectiviteit gevraagd wordt. We hebben een
maatschappelijke verantwoordelijkheid om als sector een
gedegen kwaliteitsbeleid te voeren, waarbinnen gegevens
over behandelresultaten onmisbaar zijn. Dat is ook zo
afgesproken met alle beroepsverenigingen en patiëntenor-
ganisaties in de toekomstagenda voor de ggz. Stoppen met
benchmarken betekent een streep door deze gezamenlijke
agenda, wat grote problemen voor de geloofwaardigheid
van de ggz met zich meebrengt. Patiënten willen eveneens
informatie over de behandelresultaten (Makking & Kits
2011). Voor hen zijn vergelijkingen vooral zinvol tussen
homogene groepen. Een patiënt wil weten hoe een ggz-in-
stelling scoort op de behandeling van zijn of haar stoornis,
niet hoe de hele instelling scoort.
Zorgverzekeraars kijken grofmazig en gaan een stap verder
door bij zorginkoop al te kijken naar ROM-gegevens. De
Algemene Rekenkamer concludeert terecht dat ROM-gege-
vens voorlopig niet geschikt zijn voor dit doeleinde. Het is
ook de vraag of dit punt uiteindelijk bereikt gaat worden
of dat de nieuwe prestatiebekostiging een combinatie
moet worden van meerdere parameters, waaronder zorg-
standaarden. Wanneer ROM-gegevens namelijk voor zorg-
inkoop ingezet gaan worden, ontstaat er een perverse
prikkel, waardoor de gegevens snel niet meer geschikt zijn
om van te leren, omdat ggz-instellingen dan een financieel
belang hebben bij goede resultaten. Dit werkt patiëntselec-
tie, selectieve uitval van metingen en beïnvloeding van
scores in de hand.
Wat de huidige situatie ingewikkeld maakt, is dat zorgver-
zekeraars een dubbel signaal afgeven: enerzijds stimuleren
ze leren van elkaar, anderzijds staan ze in de startblokken
om ROM te gebruiken voor zorginkoop. Achmea financierde
bijvoorbeeld de eerste benchmarkpilot van sbg, die gericht
AUTEUR S
KIM DE JONG, universitair docent Klinische psychologie,
Universiteit Leiden.
BEA TIEMENS, bijzonder hoogleraar Evidence based
practice in mental health care, Radboud Universiteit,
Nijmegen.
MARC VERBRAAK, bijzonder hoogleraar Gezondheidszorg-
psychologie, Radboud Universiteit, Nijmegen.
A.T.F. BEEKMAN, C.L.H. BOCKTING, T.K. BOUMAN,
S. CASTELEIN, R. VAN DYCK, P.M.G. EMMELKAMP, C.M. VAN
DER FELTZ-CORNELIS, M. VAN DER GAAG, M.J.H. HU IBERS,
G.J.M. HUTSCHEMAEKERS, A. DE KEIJSER, G.P.J. KEIJSERS,
B. KOEKKOEK, K. KORRELBOOM, A. VAN MINNEN,
P.C. VAN OPPEN, S.C.C. OUDEJANS, R.C. OUDE VOSHAAR,
G.M. SCHIPPERS, A. SCHOLING, J. SPIJKER, PH. SPINHOVEN,
A. VAN STRATEN, R.R.J.M. VERMEIREN, F.G. ZITMAN,
CORRESPONDENTIEADRES
Dr. K. de Jong, Universiteit Leiden, Instituut Psychologie,
Wassenaarseweg 52, kamer 2B31, 2333 AK Leiden.
E-mail: KJong@fsw.leidenuniv.nl
Strijdige belangen: De Jong vertaalde en valideerde de OQ-45 in
het Nederlands; zij ontvangt geen compensatie voor gebruik van
de OQ-45 door anderen.
Oudejans ontving persoonlijke honoraria van SBG, van diverse
ggz-aanbieders en vrijgevestigden (i.s.m. Reflectum), en grants
van Resultaten Scoren en van Kwaliteit Forensische Zorg (KFZ).
Verbraak en Vermeiren waren bestuurslid van SBG en Oude
Voshaar en Van Dyck waren lid van de wetenschappelijke
adviesraad van SBG.
Het artikel werd voor publicatie geaccepteerd op 9-3-2017.
TITLE IN ENGLISH
Save ROM as instrument for quality improvement
was op leren van elkaar, maar sloot ook een voorkeurscon-
tract af met vijf instellingen voor de behandeling van
depressie (http://nieuws.zilverenkruis.nl/depressie). Daar-
bij werden de contractgesprekken mede geleid door
‘meetbare informatie’ over hoe goed de instelling was. Als
verzekeraars ROM-gegevens gebruiken voor oneigenlijke
doeleinden, dan is het begrijpelijk dat men vanuit het veld
reageert met wantrouwen en angst om afgerekend te
worden op ongewogen resultaten.
Red de ROM
Al sinds de (verplichte) invoering van ROM in 2010 is er veel
discussie over het nut, de uitvoerbaarheid en toegevoegde
waarde van ROM en benchmarking voor de ggz. De druk op
TIJDSCHRIFT VOOR PSYCHIATRIE | JAARGANG 59 | APRIL 2017
244
K. DE JONG, B TIEMENS, M.J.P.M. VERBRAAK E.A.
aanlevering voor benchmarking heeft er enerzijds voor
gezorgd dat ROM breed ingevoerd is. Anderzijds staat wat
nodig is voor benchmarking soms op gespannen voet met
wat er nodig is voor zinvol gebruik in de behandeling. Wat
de petitie ‘Stop benchmark met ROMvooral laat zien, is dat
er de nodige onvrede is over de implementatie van ROM.
Er zijn diverse punten waarop ROM verbeterd kan worden,
zowel voor gebruik in de behandeling, als voor leren en
verantwoorden door benchmarking. Wij willen het veld
oproepen om in plaats van te klagen en het werk van de
afgelopen jaren weg te gooien zelf de regie te nemen over
ROM en aan de slag te gaan met het verbeteren ervan.
Gebruik de verplichte instrumenten zo dat ze behandeling
wél ondersteunen. Op de website van de Doorbraakprojec-
ten ROM van het Trimbos-instituut staan hiervan diverse
voorbeelden (https://doorbraakrom.trimbos.nl/bereikte-
resultaten-van-doorbraak-rom). Of voeg instrumenten toe
aan het verplichte instrument, als u die nodig hebt voor
uw specifieke behandelingen.
Benchmarking op het niveau van de hele instelling is
weinig zinvol. Het vergelijken van homogenere groepen
patiënten kan wél bijdragen aan het verbeteren van behan-
delresultaten. Wij denken dat door te vergelijken ook de
methode verder verfijnd zal worden, waardoor we wellicht
ook nieuwe casemixvariabelen zullen vinden (bijv. chro-
niciteit en betaald werk) en we uiteindelijk beter zullen
begrijpen waarom er verschillen zijn in resultaten tussen
patiënten, therapievormen, behandelaars en instellingen.
Daar zijn alle partijen bij gebaat.
We ontkomen er als sector niet aan dat we een vorm van
verantwoording moeten afleggen over onze behandelin-
gen. Patiënten vinden dit ook belangrijk. Tot op zekere
hoogte kunnen ROM-gegevens voor dat doeleinde gebruikt
worden, bijvoorbeeld in combinatie met patiënttevreden-
heidsonderzoek.
Waar we echter tegen zijn, is gebruik van ROM-gegevens
voor afrekening. Ook hier moeten we de regie terugnemen
in de gesprekken met zorgverzekeraars. We moeten de ROM
als kwaliteitsinstrument terugvorderen en naar onze hand
zetten. Uiteindelijk zijn zowel de ggz als de verzekeraars
erbij gebaat om te begrijpen hoe een instelling zich kan
verbeteren. Deze verbeteracties kunnen dan weer via ROM
geëvalueerd worden. Dat vraagt een langeretermijnvisie
op het evalueren en verbeteren van de zorg, en de rol van
ROM daarin.
NOOT
1 Namens alle in de adresnoot genoemde auteurs.
LITERATUUR
Algemene Rekenkamer. Bekostiging van de curatieve geestelijke
gezondheidszorg. Den Haag: Algemene Rekenkamer; 2017.
www.rekenkamer.nl/Publicaties/Onderzoeksrapporten/
Introducties/2017/01/Bekostiging_van_de_curatieve_
geestelijke_gezondheid.
Goldberg SB, Rousmaniere T, Miller SD, Whipple J, Nielsen SL,
Hoyt WT, e.a. Do psychotherapists improve with time and
experience? A longitudinal analysis of outcomes in a clinical
setting. J Couns Psychol 2016; 63: 1-11.
Hannan C, Lambert MJ, Harmon C, Nielsen SL, Smart DW,
Shimokawa K, e.a. A lab test and algorithms for identifying
clients at risk for treatment failure. J Clin Psychol 2005; 61: 155-
63.
Kendrick T, El-Gohary M, Stuart B, Gilbody S, Churchill R, Aiken L,
e.a. Routine use of patient reported outcome measures (PROMs)
for improving treatment of common mental health disorders in
adults. Cochrane Database Syst Rev 2016; 7: CD011119.
Lutz W, Rubel J, Schiefele A-K, Zimmermann D, Böhnke JR,
Wittmann WW. Feedback and therapist effects in the context of
treatment outcome and treatment length. Psychoth Res 2015;
25: 647-60.
Makking S, Kits L. Cliënten – herstellen doe je zelf. In: van Hees S,
van der Vlist P, Mulder N, red. Van meten naar weten: ROM in de
ggz. Amsterdam: Boom; 2011. p. 35-44.
Metz MJ, Franx GC, Veerbeek MA. Shared decision making in
mental health care using routine outcome monitoring as a
source of information: a cluster randomised controlled trial.
BMC Psychiatry 2015; 15: 313.
Oudejans S, Spits M, Schippers G. Leren van uitkomsten - van
taseki naar jiseki. In: van Hees S, van der Vlist P, Mulder N, red.
Van meten naar weten: ROM in de ggz. Amsterdam: Boom, 2011,
p. 35-44.
Oudejans SCC, Schippers GM, Spits ME, Stollenga M, van
den Brink W. Vijf jaar routine outcome management in de
ambulante verslavingszorg. Tijdschr Psychiatr 2012; 54: 185-90.
Parker ZJ, Waller G. Factors related to psychotherapists’ self-
assessment when treating anxiety and other disorders. Beh Res
Ther 2015; 66: 1-7.
Shimokawa K, Lambert MJ, Smart DW. Enhancing treatment
outcome of patients at risk of treatment failure: Meta-analytic
and mega-analytic review of a psychotherapy quality assurance
system. J Cons Clin Psychol 2010; 78: 298-311.
Stichting Benchmark GGZ. Praktijkvariatie in uitkomst
van GGZ behandelingen, 2016. https://www.zorgvisie.nl/
PageFiles/92627/Stichting%20Benchmark%20GGZ%20bijlage.
pdf
Vermeiren R, Noom M, Carlier I, Markus M, Zitman F.
Methodologie – de kunst van het benchmarken. In: van Hees S,
van der Vlist P, Mulder N, red. Van meten naar weten: ROM in de
ggz. Amsterdam: Boom; 2011. p. 207-18.
Warmerdam EH, Barendrecht M, de Beurs E. Risk adjustment of
self-reported clinical outcomes in Dutch mental health care. J
Public Health 2017; doi: 10.1007/s10389-017-0785-4.
... Men denkt zelfs dat het openbaar maken van dergelijk informatie op zichzelf al leidt tot kwaliteitsverbetering, hoewel de wetenschappelijke aanwijzingen daarvoor nogal wisselend zijn (Berger et al. 2013). Op de manier waarop daaraan in de huidige opzet in de Nederlandse ggz vormgegeven wordt, is onderwerp van veel discussie en kritiek (Jong et al. 2017;Schoevers en Beekman 2017;). ...
... Samen met de vele doelen die aan ROM werden toegeschreven én een gebrek aan consensus en kennis over wat benchmarking nu precies inhoudt en gaat opleveren (Barendregt 2015(Barendregt , 2017, heeft dit gezorgd voor een behoorlijk verdeeld veld. Enerzijds is er een verdere ontwikkeling van en toegenomen interesse in ROM én benchmarking (Groot et al. 2017;Jong et al. 2017;Verbraak et al. 2015), anderzijds is er kritiek op en zijn er vraagtekens gezet bij de opzet en methodologie waarmee ROM en benchmarking met elkaar verbonden zijn (Hafkenscheid en Os 2014;Oudejans 2009;Oudejans en Schippers 2013;Os et al. 2012). ...
... Er is geen hulpverlener die niet goed wil zijn of beter wil worden (Linssen 2016). Hoewel de wetenschappelijke bevindingen met betrekking tot leren van feedback van geaggregeerde uitkomsten aan de bescheiden kant zijn -hoofdzakelijk omdat er nog niet erg veel en goed onderzoek naar gedaan is -, zijn er praktijkvoorbeelden waaruit blijkt dat verbeteren door vergelijken wel degelijk rendement kan hebben (Jong et al. 2017;Oudejans 2009). In het verlengde daarvan scheppen kwalitatief goede uitkomstgegevens kansen voor wetenschappelijk of beleidsonderzoek om innovaties of veranderingen te onderzoeken. ...
Book
Full-text available
Dit boek helpt professionals om Routine Outcome Monitoring (ROM) op een effectieve manier in te zetten. Het laat zien hoe je met behulp van ROM tot betere én kortere behandelingen komt, iets waar elke cliënt recht op heeft. Snel succes met ROM biedt heldere nationale en internationale praktijkvoorbeelden, wetenschappelijke onderbouwing en handreikingen in toegankelijke taal. Voor wie meteen aan de slag wil bevat het boek een gespreksleidraad voor het introduceren en terugkoppelen van behandeluitkomsten met behulp van motiverende gespreksvoering. Snel succes met ROM bestaat uit elf hoofdstukken. De eerste hoofdstukken onderbouwen de inzet van ROM bij psychiatrische en psychologische behandelingen, waarna de volgende ingaan op de praktische gevolgen voor de behandelpraktijk, zoals vragenlijsten, beschikbare software en verplichtingen en vrijheden. Belangrijke leidraad is het gesprek met de cliënt over ROM: wat draagt het bij aan de behandeling, hoe ga je om met weerstand en hoe maak je getallen begrijpelijk voor de leefwereld van cliënten? Het boek wordt afgesloten met een gespreksleidraad voor het introduceren en terugkoppelen van ROM-resultaten aan de cliënt op basis van Motiverende gespreksvoering waarmee professionals meteen aan de slag kunnen. Daarmee is Snel succes met ROM het handboek voor professionals die cliënten behandelen in de GGZ. Tegelijkertijd kunnen ook managers, onderzoekers en projectleiders profiteren van de informatie en handreikingen uit dit boek. Over de auteurs Suzan Oudejans is onderzoeker en adviseur op het gebied van ROM en effectiviteit. In 2009 rondde ze haar proefschrift over leren van ROM in de verslavingszorg af. Ze is auteur van een aantal hoofdstukken en publicaties over ROM en benchmarken. Hiernaast is ze gespecialiseerd in methodologie, statistiek en vragenlijstconstructie. Masha Spits is onderzoeker en adviseur op het gebied van ROM en effectiviteit. Zij was projectmedewerker bij één van de eerste Nederlandse ROM-projecten in de verslavingszorg. Hiernaast is ze gespecialiseerd in opinieonderzoek over de GGZ, stigmatisering en preventie. In 2010 richtten Suzan en Masha onderzoeksbureau Mark Bench op. Het bureau is gespecialiseerd in ROM en benchmarking in de GGZ.
... Men denkt zelfs dat het openbaar maken van dergelijk informatie op zichzelf al leidt tot kwaliteitsverbetering, hoewel de wetenschappelijke aanwijzingen daarvoor nogal wisselend zijn (Berger et al. 2013). Op de manier waarop daaraan in de huidige opzet in de Nederlandse ggz vormgegeven wordt, is onderwerp van veel discussie en kritiek (Jong et al. 2017;Schoevers en Beekman 2017;). ...
... Samen met de vele doelen die aan ROM werden toegeschreven én een gebrek aan consensus en kennis over wat benchmarking nu precies inhoudt en gaat opleveren (Barendregt 2015(Barendregt , 2017, heeft dit gezorgd voor een behoorlijk verdeeld veld. Enerzijds is er een verdere ontwikkeling van en toegenomen interesse in ROM én benchmarking (Groot et al. 2017;Jong et al. 2017;Verbraak et al. 2015), anderzijds is er kritiek op en zijn er vraagtekens gezet bij de opzet en methodologie waarmee ROM en benchmarking met elkaar verbonden zijn (Hafkenscheid en Os 2014;Oudejans 2009;Oudejans en Schippers 2013;Os et al. 2012). ...
... Er is geen hulpverlener die niet goed wil zijn of beter wil worden (Linssen 2016). Hoewel de wetenschappelijke bevindingen met betrekking tot leren van feedback van geaggregeerde uitkomsten aan de bescheiden kant zijn -hoofdzakelijk omdat er nog niet erg veel en goed onderzoek naar gedaan is -, zijn er praktijkvoorbeelden waaruit blijkt dat verbeteren door vergelijken wel degelijk rendement kan hebben (Jong et al. 2017;Oudejans 2009). In het verlengde daarvan scheppen kwalitatief goede uitkomstgegevens kansen voor wetenschappelijk of beleidsonderzoek om innovaties of veranderingen te onderzoeken. ...
Chapter
ROM is geen instrument, maar een methodiek: ‘de ROM’ bestaat dan ook niet. Binnen de methodiek worden wél instrumenten gebruikt. Welke instrumenten kunnen dat zijn? Sommige worden – in het kader van benchmarking – voorgeschreven voor de begin- en eindmeting. Er zijn generieke instrumenten – die algemene klachten meten – en diagnosespecifieke. Die zijn expliciet bedoeld om uitkomsten te meten bij cliënten met bepaalde diagnoses. Welk instrument je zou moeten gebruiken heeft te maken met het doel waarvoor je de uitkomsten wilt gebruiken. Is dat de ernst van de klachten, wil je een meer algemeen beeld, en wil je de uitkomsten (ook) gebruiken voor benchmarking? En wat kun je allemaal met die generieke instrumenten? Dit hoofdstuk geeft een handreiking.
Article
Full-text available
Psychotherapy researchers have long questioned whether increased therapist experience is linked to improved outcomes. Despite numerous cross-sectional studies examining this question, no large-scale longitudinal study has assessed within-therapist changes in outcomes over time. Method: The present study examined changes in psychotherapists' outcomes over time using a large, longitudinal, naturalistic psychotherapy data set. The sample included 6,591 patients seen in individual psychotherapy by 170 therapists who had on average 4.73 years of data in the data set (range = 0.44 to 17.93 years). Patient-level outcomes were examined using the Outcome Questionnaire-45 and a standardized metric of change (prepost d). Two-level multilevel models (patients nested within therapist) were used to examine the relationship between therapist experience and patient prepost d and early termination. Experience was examined both as chronological time and cumulative patients seen. Results: Therapists achieved outcomes comparable with benchmarks from clinical trials. However, a very small but statistically significant change in outcome was detected indicating that on the whole, therapists' patient prepost d tended to diminish as experience (time or cases) increases. This small reduction remained when controlling for several patient-level, caseload-level, and therapist-level characteristics, as well as when excluding several types of outliers. Further, therapists were shown to vary significantly across time, with some therapists showing improvement despite the overall tendency for outcomes to decline. In contrast, therapists showed lower rates of early termination as experience increased. Conclusions: Implications of these findings for the development of expertise in psychotherapy are explored.
Article
Full-text available
Aim A meaningful comparison of clinical outcomes of mental health care providers requires risk adjustment of case mix variables that affect treatment outcome. The first goal of the present study was to describe the risk adjustment method we applied to routine outcome monitoring data in The Netherlands. Second, the consequences of risk adjustment for the ranking of providers were investigated. Subject and methods Using an observational study design, pre- and posttest self-report assessments of symptoms were obtained for 31,849 adults with common mental health problems, such as mood and anxiety disorders. Regression analyses were performed to predict the posttest symptom level using socio-demographics and clinical characteristics as predictors. Results Results showed that the posttest level of symptoms was best predicted by the symptom level at baseline, followed by the baseline level of functioning, age, socioeconomic status and some diagnoses. For the majority of the providers, risk adjustment did not markedly change their ranking. Conclusion The baseline level of symptoms is the best predictor of the posttest level. The other investigated case mix variables only have a modest influence on the performance of providers. Risk adjustment is particularly necessary when consequences are related to the performance of an individual provider. These results contribute to the limited literature on risk adjustment in mental health care by using a large national data set.
Article
Full-text available
Background: Routine outcome monitoring of common mental health disorders (CMHDs), using patient reported outcome measures (PROMs), has been promoted across primary care, psychological therapy and multidisciplinary mental health care settings, but is likely to be costly, given the high prevalence of CMHDs. There has been no systematic review of the use of PROMs in routine outcome monitoring of CMHDs across these three settings. Objectives: To assess the effects of routine measurement and feedback of the results of PROMs during the management of CMHDs in 1) improving the outcome of CMHDs; and 2) in changing the management of CMHDs. Search methods: We searched the Cochrane Depression Anxiety and Neurosis group specialised controlled trials register (CCDANCTR-Studies and CCDANCTR-References), the Oxford University PROMS Bibliography (2002-5), Ovid PsycINFO, Web of Science, The Cochrane Library, and International trial registries, initially to 30 May 2014, and updated to 18 May 2015. Selection criteria: We selected cluster and individually randomised controlled trials (RCTs) including participants with CMHDs aged 18 years and over, in which the results of PROMs were fed back to treating clinicians, or both clinicians and patients. We excluded RCTs in child and adolescent treatment settings, and those in which more than 10% of participants had diagnoses of eating disorders, psychoses, substance use disorders, learning disorders or dementia. Data collection and analysis: At least two authors independently identified eligible trials, assessed trial quality, and extracted data. We conducted meta-analysis across studies, pooling outcome measures which were sufficiently similar to each other to justify pooling. Main results: We included 17 studies involving 8787 participants: nine in multidisciplinary mental health care, six in psychological therapy settings, and two in primary care. Pooling of outcome data to provide a summary estimate of effect across studies was possible only for those studies using the compound Outcome Questionnaire (OQ-45) or Outcome Rating System (ORS) PROMs, which were all conducted in multidisciplinary mental health care or psychological therapy settings, because both primary care studies identified used single symptom outcome measures, which were not directly comparable to the OQ-45 or ORS.Meta-analysis of 12 studies including 3696 participants using these PROMs found no evidence of a difference in outcome in terms of symptoms, between feedback and no-feedback groups (standardised mean difference (SMD) -0.07, 95% confidence interval (CI) -0.16 to 0.01; P value = 0.10). The evidence for this comparison was graded as low quality however, as all included studies were considered at high risk of bias, in most cases due to inadequate blinding of assessors and significant attrition at follow-up.Quality of life was reported in only two studies, social functioning in one, and costs in none. Information on adverse events (thoughts of self-harm or suicide) was collected in one study, but differences between arms were not reported.It was not possible to pool data on changes in drug treatment or referrals as only two studies reported these. Meta-analysis of seven studies including 2608 participants found no evidence of a difference in management of CMHDs between feedback and no-feedback groups, in terms of the number of treatment sessions received (mean difference (MD) -0.02 sessions, 95% CI -0.42 to 0.39; P value = 0.93). However, the evidence for this comparison was also graded as low quality. Authors' conclusions: We found insufficient evidence to support the use of routine outcome monitoring using PROMs in the treatment of CMHDs, in terms of improving patient outcomes or in improving management. The findings are subject to considerable uncertainty however, due to the high risk of bias in the large majority of trials meeting the inclusion criteria, which means further research is very likely to have an important impact on the estimate of effect and is likely to change the estimate. More research of better quality is therefore required, particularly in primary care where most CMHDs are treated.Future research should address issues of blinding of assessors and attrition, and measure a range of relevant symptom outcomes, as well as possible harmful effects of monitoring, health-related quality of life, social functioning, and costs. Studies should include people treated with drugs as well as psychological therapies, and should follow them up for longer than six months.
Article
Full-text available
Background: Shared Decision Making (SDM) is a way to empower patients when decisions are made about treatment. In order to be effective agents in this process, patients need access to information of good quality. Routine Outcome Monitoring (ROM) may provide such information and therefore may be a key element in SDM. This trial tests the effectiveness of SDM using ROM, primarily aiming to diminish decisional conflict of the patient while making decisions about treatment. The degree of decisional conflict, the primary outcome of this study, encompasses personal certainty about choosing an appropriate treatment, information about options, clarification of patient values, support from others and patients experience of an effective decision making process. Secondary outcomes of the study focus on the working alliance between patient and clinician, adherence to treatment, and clinical outcome and quality of life. Methods/design: This article presents the study protocol of a multi-centre two-arm cluster randomised controlled trial (RCT). The research is conducted in Dutch specialised mental health care teams participating in the ROM Quality Improvement Collaborative (QIC), which aims to implement ROM in daily clinical practice. In the intervention teams, ROM is used as a source of information during the SDM process between the patient and clinician. Control teams receive no specific SDM or ROM instructions and apply decision making as usual. Randomisation is conducted at the level of the participating teams within the mental health organisations. A total of 12 teams from 4 organisations and 364 patients participate in the study. Prior to data collection, the intervention teams are trained to use ROM during the SDM process. Data collection will be at baseline, and at 3 and 6 months after inclusion of the patient. Control teams will implement the SDM and ROM model after completion of the study. Discussion: This study will provide useful information about the effectiveness of ROM within a SDM framework. Furthermore, with practical guidelines this study may contribute to the implementation of SDM using ROM in mental health care. Reporting of the results is expected from December 2016 onwards. Trial registration: Dutch trial register: TC5262 Trial registration date: 24th of June 2015.
Article
Full-text available
This study estimates feedback and therapist effects and tests the predictive value of therapists' and patient attitudes toward psychometric feedback for treatment outcome and length. Data of 349 outpatients and 44 therapists in private practices were used. Separate multilevel analyses were conducted to estimate predictors and feedback and therapist effects. Around 5.88% of the variability in treatment outcome and 8.89% in treatment length were attributed to therapists. There was no relationship between the average effectiveness of therapists and the average length of their treatments. Initial impairment, early alliance, number of diagnoses, feedback as well as therapists' and patients' attitudes toward feedback were significant predictors of treatment outcome. Treatments tended to be longer for patients with a higher number of approved sessions by the insurance company, with higher levels of interpersonal distress at intake, and for those who developed negatively (negative feedback) over the course of their treatment. Therapist effects on treatment outcome and treatment length in routine care seem to be relevant predictors in the context of feedback studies. Therapists' attitudes toward and use of feedback as well as patients' attitudes toward feedback should be further investigated in future research on psychometric feedback.
Article
Full-text available
Outcome research has documented worsening among a minority of the patient population (5% to 10%). In this study, we conducted a meta-analytic and mega-analytic review of a psychotherapy quality assurance system intended to enhance outcomes in patients at risk of treatment failure. Original data from six major studies conducted at a large university counseling center and a hospital outpatient setting (N = 6,151, mean age = 23.3 years, female = 63.2%, Caucasian = 85%) were reanalyzed to examine the effects of progress feedback on patient outcome. In this quality assurance system, the Outcome Questionnaire-45 was routinely administered to patients to monitor their therapeutic progress and was utilized as part of an early alert system to identify patients at risk of treatment failure. Patient progress feedback based on this alert system was provided to clinicians so that they could intervene before treatment failure occurred. Meta-analytic and mega-analytic approaches were applied in intent-to-treat and efficacy analyses of the effects of feedback interventions. Three forms of feedback interventions-integral elements of this quality assurance system-were effective in enhancing treatment outcome, especially for signal alarm patients. Two of the three feedback interventions were also effective in preventing treatment failure (clinical support tools and the provision of patient progress feedback to therapists). The current state of evidence appears to support the efficacy and effectiveness of feedback interventions in enhancing treatment outcome.
Article
Full-text available
Many branches of medicine rely heavily on lab tests to monitor client treatment response and use this information to modify their treatment. By contrast, those who offer psychological interventions seldom rely on formal assessments (lab tests) to monitor their clients' response to treatment. Data are presented that demonstrate that clinicians rarely accurately predict who will not benefit from psychotherapy. This finding is contrasted with the use of a questionnaire (lab test data) and decision rules on the basis of a client's expected progress. Results have indicated that formal methods of monitoring were able to identify 100% of the patients whose condition had deteriorated at termination, and 85% by the time they had attended three treatment sessions. Practitioners are encouraged to consider formal methods of identifying the deteriorating client.
Article
The aim of the study was to replicate and extend recent findings regarding therapists' self-assessment biases. This study examined clinicians' estimates of their abilities when working with general clinical groups and with anxious patients, and of the recovery/improvement rates of their clients. It also considered what clinician personality traits and clinical practice elements were associated with such estimates. A total of 195 out 801 clinicians completed a survey regarding self-ratings, team ratings, therapy outcomes for their clients, and their own personality traits. The great majority of clinicians rated themselves and their teams as being better clinicians than their peers, though not to as extreme a level as in the previous study. They also reported exceptionally positive therapy outcomes. Due to the large proportion of non-responders, it is possible that these findings do not reflect actual self-assessment bias, but a greater willingness to participate among clinicians who are more skilled and with particular personality styles. However, the data suggest that perceptions of skill and therapy outcome might be associated with clinician personality characteristics, though not with other clinical practice variables. These interpretations should be treated with caution due to the limited response rate. Different possible explanations for these patterns of self-assessment are outlined, including conscious and unconscious processes. Methods for enhancing accurate skill perception are discussed, including self-monitoring and supervision.
Vijf jaar routine outcome management in de ambulante verslavingszorg
  • Scc Oudejans
  • G M Schippers
  • M E Spits
  • M Stollenga
  • W Van Den Brink
• Oudejans SCC, Schippers GM, Spits ME, Stollenga M, van den Brink W. Vijf jaar routine outcome management in de ambulante verslavingszorg. Tijdschr Psychiatr 2012; 54: 185-90.