Over cherry-picking, appels met peren vergelijken en oliebollen

oliebollen

Wat hebben ranglijsten in de zorg en oliebollen met elkaar gemeen? Dat ze niets zeggen over wat ze pretenderen aan te geven. De rangorde op dergelijke lijsten berust zogenaamd op het meten van kwaliteit. De moeilijkheid is echter wat je onder kwaliteit verstaat en wat de validiteit is van de gehanteerde methodiek. Voor de somatische zorg presenteren het Algemeen Dagblad en Elsevier al jaren jaarlijks ranglijsten van ziekenhuizen. Voor de geestelijke gezondheidszorg(GGZ) verzamelt de Stichting Benchmark GGZ(SBG) Routine Outcome MonitoringROM)-data en pretendeert daarmee een rangorde van GGZ-instellingen te kunnen maken. Al dat soort lijsten zijn te manipuleren. Is het niet door subjectieve keuzen bij het opstellen van protocollen dan wel door het toepassen van selectie. Het vermakelijke is ook dat bij het vergelijken van rangordelijsten van ziekenhuizen door de tijd dat er weinig tot geen consistentie in het resultaat door de jaren heen is. Ook zijn er grote verschillen tussen de ranglijsten van onderzoeksbureaus in hetzelfde jaar.  In de GGZ speelt naast het feit dat ROM-data niet bedoeld en geschikt zijn voor benchmarken ook dat door het kiezen binnen de behandelpopulatie en de behandelduur door een bepaalde instelling de uitkomst sterk beïnvloed kan worden.

Rangorde SBG

Op 23 september j.l. liet ik in een artikel zien dat U-Center, een nogal commercieel ogende GGZ-behandelinstantie, door selectie op het gebied van de diagnose, financiën, intellect en lengte van behandeling de rangorde zelf sterk kan beïnvloeden. In een recente uitzending van Nieuwsuur over het gebruik van ROM-data in de GGZ figureerde de oprichter en directeur, Jan Willem Poot van een even commercieel ogende organisatie,  de Yes We Can Clinic. Deze kliniek behandelt jeugd van 13 tot en met 23 jaar en heeft  een evident commerciële uitstraling. Hij bleek in de uitzending een warm voorstander van het gebruik van ROM-data voor benchmarking. In krantenartikelen maar ook in het eigen jaarverslag steekt de heer Poot niet onder stoelen of banken dat zijn instelling in 2017  een hoge plaats op de SBG-ranglijst heeft. Hij meldt in januari 2018 in het Brabants Dagblad dat hij op de vierde plaats van 130 GGZ-instellingen staat

Cherry-picking

De Yes We Can Clinic doet aan een duidelijke selectie aan de poort. Uitsluitingscriteria worden genoemd. Kort na behandelingen in de GGZ is er vaak een positief effect van de bemoeienis aan de patiënt te merken. De behandeling van de Yes We Can Clinic is standaard 10 weken intern met daarna 10 weken niet klinische nazorg.  Langer durende zorg kent men niet. Door de gekozen behandelperiode van 10 plus 10 weken is er eigenlijk alleen zicht op een korte termijn effect en geen duidelijk beeld van lange termijn effecten van de zorg. Zo zijn milde depressies binnen drie tot zes maanden meestal self-limiting.  Chronische zorg ontbreekt bij Yes we Can. Ook zorg voor de psychotische jeugdige.

Appels en peren

Het vergelijken van GGZ-instellingen in een rangorde, met een niet-valide instrument als de ROM-Delta-T-score, komt overeen met het vergelijken van appels en peren. Instellingen die zeer complexe zorg aan chronische patiënten leveren zullen om eerder genoemde redenen nooit hoog in de rangorde kunnen eindigen. Er zijn ook geen grote aantallen instellingen met hetzelfde  aanbod als Yes We Can waardoor het onderling vergelijken zeer moeilijk, zo niet onmogelijk is.

Zeer commercieel

Het bieden van kortdurende zorg met een geselecteerde populatie in behandelcentra als U-Center en de Yes We Can Clinics lijkt commercieel aantrekkelijk. Het concept van de beide zorgaanbieders ademt dat aan alle kanten. Kwistig strooit men in het jaarverslag met hoge scores van SBG, GGZ Thermometer 18 min en Zorgkaart Nederland(aanbeveling: 99%)(pagina 2 van 22). Die laatste score is al onwaarschijnlijk hoog. Nog aparter is het bij het aantal waarderingen dat gegeven is. Nu op 6 januari 2019 vermeldt Zorgkaart Nederland  915 waarderingen met een gemiddeld rapportcijfer van 8,5. Als je het vergelijkt met een zeer groot en gerenommeerd ziekenhuis als het Universitair Medisch Centrum Utrecht dan zie je daar 329 waarderingen met een gemiddeld cijfer 7,8 met 80% aanbevelingen. Dit soort cijfers laat zien dat er een duidelijke sturing is bij het indienen van de waarderingen vanuit de instelling zelf.  Hans Verheul, cardioloog, waarschuwde er in 2016 al voor in Medisch Contact.

WNT

Commercieel gaat het blijkbaar ook zo goed dat de heer Poot al in 2013 en 2014 zich bij een instelling waar toen rond de 200 patiënten per jaar werden behandeld zich respectievelijk  198.230 en 206.478 euro liet uitbetalen. Dat was hoger dan de Balkenende-norm(Wet Normering Topinkomens). Het mocht omdat het contract van 2011 dateerde en onder de overgangsregeling viel. Van na 2014 zijn geen cijfers over honorering van bestuurders te vinden. Het jaarverslag vermeldt slechts goedkeuring van de cijfers  door accountant BDO.

Cynische scherts

Ongetwijfeld had psychiater Menno Oosterhoff op 14 februari 2018 in zijn column op Medisch Contact de situatie rond dit soort klinieken voor ogen toen hij “Ik ga commercieel” schreef. Ik kan het iedere serieuze criticus van het huidige rangorde-circus van harte ter lezing aanbevelen.

W.J. Jongejan, 7 januari 2018

 

3 antwoorden
  1. Marco
    Marco zegt:

    Zo werkt het platform toch? Is het manipuleren als alle patiënten worden gewezen op bet bestaan van zorgkaart? Zoals u het schrijft, lijkt het net alsof Yes We Can vraagt om hoge beoordelingen. Ook het artikel waar u naar verwijst spreekt over een hoog percentage “10” als score. Dat zou het gevolg zijn van manipulatie. Kunt u uitleggen waarom het manipulatie is wanneer mensen worden gewezen op zorgkaart waar ervaringen geplaatst kunnen worden? Dat is toch de reden dat die site bestaat? Ik kende de site niet voordat ik erop gewezen werd maar denk dat deze erg waardevol is. Helemaal als veel mensen een recensie achterlaten. Ik zou zelf ook geen hotel boeken dat door slechts 2 mensen is beoordeeld en het gemiddelde hiervan een 10 is.

  2. Marco
    Marco zegt:

    Mijn dochter is drie jaar geleden behandeld bij Yes We Can Clinics. Van zaken als ROM en SBG heb ik totaal geen verstand, maar het beeld dat u schetst van de organisatie komt totaal niet overeen met mijn ervaring. Mijn dochter was zwaar depressief, verslaafd aan cocaine en had een zeer negatief zelfbeeld. Gelukkig gaat het nu goed met haar. Ik ben de behandelaren van Yes We Can daar eeuwig dankbaar voor. Ik heb ze een 9 gegeven op de site van zorkaart. Gewoon omdat ik vind dat ze dat cijfer verdienen. Ja, wij zijn gevraagd door Yes We Can om een beoordeling te geven, net als andere families die er toen waren. Maar we zijn totaal niet gestuurd in het cijfer dat we gaven of de inhoud van onze recensie. Er staan ook gewoon mindere cijfers tussen de beoordelingen op zorgkaart. Ik vind het zelf belangrijk dat mensen hun ervaring delen op de website. Als je je kind 10 weken aan anderen toevertrouwt, wil je het liefst 10.000 ervaringen van anderen lezen. Ik denk dat de behandelmethode van Yes We Can niet voor iedereen geschikt is, maar voor ons zeker wel. En wat betreft de uitsluitingscriteria: mijn dochter moest alleen laten zien dat ze op zijn minst een heel klein beetje gemotiveerd was om te starten met de behandeling. En dat ze geschikt is om in een groep mee te draaien. Ik vind dat zelf een fijne gedachte, dat ze niet in een groep met allemaal superagressieve jongeren terechtkomen. Met kinderen die anderen iets aandoen of kinderen die zo suicidaal zijn dat ze een gevaar voor zichzelf vormen. Want ook dat zie je bij sommige instellingen.

    My two cents.

    • wjjongejan
      wjjongejan zegt:

      Beste Marco, Goed te vernemen dat uw dochter succesvol behandeld is. U bevestigt in uw verhaal de sturing vanuit de kliniek tot het geven van een reactie. Het aantal recensies is dan ook zeer opvallend hoog.

Reacties zijn gesloten.