Stuitend recyclen belegen persbericht Radboud UMC leidt tot aparte media-aandacht

recyclenHet moet niet veel gekker worden. Het Radboud UMC recyclet een persbericht van een jaar terug over de toepassing van een elektronisch bewakingskastje op twee verpleegafdelingen. Terwijl er een jaar terug nauwelijks aandacht voor was, loopt het nu  opeens storm met de belangstelling van de media. Dat , terwijl de inhoud van de berichtgeving eigenlijk op hetzelfde neerkomt. De plotse mediabelangstelling nu, voor een al wat langer lopende proef komt georkestreerd over. Daardoor alert geworden legde ik beide persberichten eens naast elkaar en vergeleek de inhoud. Daaruit is te concluderen dat het Radboud UMC op een niet bepaald academische wijze omgaat met iets wat ze zelf als nieuws beschouwen en daarbij het herkauwen ervan niet schuwen.

27 mei 2017

Het persbericht van die dag heeft als kop ”Voorspellen is beter dan genezen. Radboud UMC start continue monitoring van vitale functies’. Het beschrijft een proef met een elektronisch apparaatje dat de bloeddruk, hartritme, temperatuur, ademhalingsfrequentie en zuurstofopname van een patiënt continu meet. Daaraan gekoppeld een bewakingssysteem met software dat alarm slaat bij afwijkende waarden of trends. De proef vindt plaats op de afdeling heelkunde en interne geneeskunde. Ik het bericht figureren internist Bas Bredie en de hoogleraar chirurgie Harry van Goor. Zij hebben het over het voorspellen van verslechtering van de gezondheidstoestand door de hard- en software.

Men praat over een 60 tal patiënten op die afdelingen die meedoen, na het afronden van een proef met 110 patiënten. Die proef waarover in een kwalitatief zeer matig wetenschappelijk tijdschrift werd gepubliceerd beschreef ik als “sloppy science”. Testresultaten uit 2014 en 2015 werden in 2017 gepubliceerd. O, ja. De pilot waarover op 17 mei 2017 bericht werd zou in juni 2017 starten en in het najaar 2017 geëvalueerd worden.

5 juli 2018

Het persbericht van deze dag heeft als titel: “Slim voorspellen kan levens redden. Radboud UMC koppelt voorspellende software aan continue monitoring”. U raadt het al. In dit bericht figureren weer internist Bredie en chirurg van Goor. Het gaat weer over de vijf te meten parameters. Nu blijken de patiënten sinds juni 2018 aangesloten te zijn op de kastjes. Het gaat weer over de afdelingen interne geneeskunde en chirurgie. Ook nu wordt uitgebreid stilgestaan bij het registreren en willen kunnen voorspellen van plotse achteruitgang van de gezondheidstoestand. Het gaat dus om precies hetzelfde project waarover in mei 2017 bericht was. Blijkbaar heeft men een vertraging van een jaar opgelopen, maar dat staat dan weer nergens.

Onzichtbaar

Zeer waarschijnlijk heeft die vertraging te maken het verkrijgen van de VisiMobile-kastjes. Als u op het internet, Twitter of Facebook zoekt zult u van de maker van het kastje Sotera Wireless geen recentere berichtgeving vinden dan uit januari 2017. Ook op Facebook lijkt het volkomen stil te staan. Voor een bedrijf en product waarover nu opeens in Nederland gepubliceerd wordt is dat verrassend weinig activiteit. Op 5 juli 2018 komt er toch een actueel teken van leven . Op LinkedIn feliciteert Gay Manning, senior vice-president van Sotera Wireless Lucien Engelen van Reshape Center(Nijmegen) dan met het samen bereikte resultaat.

Berichtgeving 2017

Zoekend op het internet kom je na het persbericht uit 2017 eigenlijk nauwelijks mediabelangstelling tegen voor dit project. Het online magazine ICThealth, MaxMagazine en de reumavereniging Arnhem waren zowat de enigen die er wat over publiceerden. Het bleef verder doodstil.

Berichtgeving 2018

Hoe anders is de berichtgeving over het persbericht van 5 juli 2018. NOS, Telegraaf, RTL Nieuws, BNR, Nu.nl etc . Het kan gewoon niet op. Zelfs in de Belgische kranten Het Laatste Nieuws en De Morgen maakt men melding van wereldschokkende zaken in het Radboud UMC. Hoe anders dan in 2017. In het NRC Handelsblad vertelt verslaggeefster Liza van Lonkhuyzenover het wonderbaarlijke kastje in een artikel dat berust op een heus interview ter plekke na verschijnen van het persbericht.

Orkestratie

Het voorgaande overziende moet er duidelijk sprake zijn geweest van een duidelijke orkestratie van de berichtgeving. Die komt niet alleen vanuit de persafdeling van het Radboud UMC, maar ook uit de koker van het ReShape Center met medewerking van de directeur daarvan Lucien Engelen. Op de dag van publicatie laat hij weten waar het allemaal publicitair gaat verschijnen met een link over het gebeuren op YouTube. Het artikel in de NRC d.d. 4 juli, de dag voor het verschijnen van het persbericht laat zien dat de NRC tevoren nauwkeurig gebriefd is over het kastje. Het heeft niets met zelfstandige nieuwsgaring te maken, maar wel met het inspelen op het sentiment dat toepassing van ICT in de zorg alleen maar goeds brengt.

Schaamteloos

Wat met de recente actie gepusht is vanuit het Radboud UMC is gewoon oud nieuws van een jaar terug. Het is het schaamteloos herhalen van een oud persbericht in een nieuw jasje.  Het is jammer dat een academisch ziekenhuis zich tot dit soort berichtgeving verlaagt. Het toont ook aan hoe weinig kritisch de media zijn die dit soort berichten voor zoete koek aannemen en doorgeven.

W.J. Jongejan, 9 juli 2018

Voor het geval het oudste persbericht offline gehaald wordt hier de tekst in Word:

27 mei 2017

 




Sloppy science met nauwelijks gecertificeerd medisch apparaat in Radboud UMC

kwaliteitscontrole afgewezen

In PLOS ONE, een internationaal, op open access gebaseerd online wetenschappelijk tijdschrift op het gebied van de biologie verscheen op 12 februari 2018 een artikel over het gebruik van een zogenaamd “smart all-in-one device” de CheckMe Pro van de Chinese firma Viatom. De titel was: “A smart all-in-one device to measure vital signs in admitted patients.” Veel vitale functies zou dit apparaat(88x56x13 mm),  kunnen meten. Ik schreef over dit apparaat op 23 januari 2017 al een kritisch artikel. In het nu verschenen artikel beschrijven medewerkers van het ReShape Center van het Radboud Universitair Medisch Centrum(RUMC) en clinici het gebruik van de CheckMe bij opgenomen patiënten met als doel ermee de nauwkeurigheid van zelfmetingen door patiënten te evalueren en te vergelijken met metingen door goed getrainde onderzoekers en door verpleegkundigen. Ondanks het zeer beperkt zijn van het onderzoek, gebreken en onnauwkeurigheden, weet men aan het eind er nog een positief oordeel over te geven. Daarenboven is er sprake van gebruik van een apparaat dat beslist onvoldoende gecertificeerd is voor het beoogde gebruik in een medische instelling.

MEWS

Op ziekenhuisafdelingen wordt om eventuele achteruitgang in de klinische toestand van een patiënt nogal eens de Modified Early Warning Score(MEWS) gebruikt. Deze score berekent men aan de hand van de systolische bloeddruk, ademhalingsfrequentie, lichaamstemperatuur, zuurstofsaturatie, de hoeveelheid toegediende zuurstof en de AVPU-score(Alert, responsive to Verbal stimulation, responsive to Painful stimulation and Unresponsive). Met de CheckMe meet men een simpel cardiogram(één afleiding), hartfrequentie, zuurstofsaturatie en de bloeddruk. De laatste meet men dan zonder manchet maar met een lichtbron in de CheckMe op basis van photoplethysmografie. Zie voor uitleg hier.  De auteurs stellen dat in het doen van de metingen door verleegkundigen, de berekening van de scores en in het invoeren in het elektronische patiënten dossier(EPD) veel tijd gaat zitten en foutenbronnen met zich meebrengt. De CheckMe zou daar, omdat de patiënt zelf in een rap tempo(30 seconden) de metingen  er mee kan doen daar verandering in brengen. De CheckMe berekent die score echter niet en deze zal toch ook ergens centraal op de afdeling door arts of verpleegkundige uitgerekend moeten worden EN ingevoerd in het EPD. Daarnaast moet het meteen al uit de eerste regels van deze alinea duidelijk zijn, dat de CheckMe absoluut niet alle ingrediënten van de MEWS bepaalt en dat de ontbrekende onderdelen toch door personeel alsnog bepaald  en in het EPDS ingevoerd moeten worden.

Bloeddruk

De schrijvers halen in het huidige artikel enkele malen in een noot aan hoe goed de bloeddruk zonder manchet om de arm te meten is. Men schrijft: “BP measurement by the Checkme has been shown to be reliable and accurate in an earlier study [14]. Niets is minder waar. Die publicatie is echter een uiting van uitermate slordige wetenschap(“sloppy science”).  Beschreven staat dat de bloeddruk liggend gemeten werd. Dat kon ook niet anders, omdat de bloeddrukmeting in het eerdere artikel van de schrijvers alleen liggend in de buurt kwam van de met manchet gemeten waarden. De Belg Johan Goris schreef onder het artikel terecht als commentaar, dat beide studies niet gebaseerd zijn op internationale standaarden, die van toepassing zijn op elektronische bloeddrukmeting. Hij schrijft dat de in de artikelen genoemde “gouden standaard”, een andere ambulante bloeddrukmeting als referentie, niet valide is voor valideringsdoeleinden. Geen enkel apparaat dat nu op de markt is dat claimt de systolische ( of diastolische) bloeddruk te meten met photoplethysmografie of andere manchetloze wijze heeft enig bewijs geleverd van slagen bij gebruik van internationale standaarden(IEC-AAMI) of hypertension societies protocols, zoals dat  van de British Hypertension Society of van de European Society of Hypertension. Aldus Goris.

Aantallen

Men heeft in de twee maanden van het onderzoek(in 2016!!) 50 patiënten op de afdeling interne geneeskunde benaderd om mee te werken. Bij 41 lukte het de bloeddrukmeting te kalibreren met als referentie de klassieke bloeddrukmeter. Van die 41 lukte bij 11 de kalibratie pas bij de tweede of derde poging. Uiteindelijk komt men dan tot slechts 68 sets van meetwaarden, nog geen 1,5 per patiënt. Ervaring er mee opdoen door een patiënt was er nauwelijks bij. Ten aanzien van de verwerking blijkt dan ook nog dat van de meetwaardensets die de verpleegkundigen verzamelden er tien afvallen. Ook in meetwaardensets van de patiënten met de CheckMe blijken er uitvallers te zijn. Al met al gaat het nou niet bepaald om indrukwekkende getallen.

Beperkt

Men heeft zich bewust beperkt tot klinisch stabiele mensen. Dan zijn mensen die eigenlijk allemaal een zeer lage MEWS-score hebben, die dicht bij elkaar ligt. Hiermee bouwt men een flinke onderzoeksbias in. De klinische onstabielere mensen zullen mogelijk aanzienlijk slechter de CheckMe kunnen hanteren met negatieve gevolgen voor de meetwaarden. De vergelijking van door zelfmeting of door personeel verkregen metingen is zuiverder als er een veel grotere spreiding is van MEWS-scores.

Certificatie

Apparatuur die in een ziekenhuis gebruikt wordt dient te voldoen aan Europese certificatieregels. Men vermeldt in het artikel een CE-certificatie. Op de CheckMe-website(zie Detailed Technical Specs) is die certificatie niet te vinden, wel dat het apparaat voldoet aan een drietal Europese Directieven: MDD, 93/42/EEC, R&TTE 1999/5/EC en ROHS 2.0, 2011/65/EU. De eerste is een zeer beperkte richtlijn over  de algemene veiligheid van Medical Devices uit 1992. De tweede gaat over de elektronische overdracht van data van het apparaat naar andere apparaten uit 1999 . De laatste gaat over ongewenste afvalstoffen in elektronische componenten uit 2011. Men dient echter niet alleen de veilige werking van het apparaat te certificeren maar ook de functies ervan.

CE0197

De achterzijde van het apparaat laat zien het CE0197 keurmerk zien. Dat wil zeggen dat een Europees certificaat verstrekt is door de Technischer Überwachungsverein(TUV) Rheinland. Het blijkt om een CB-certificaat uit 2014 te gaan dat afgegeven wordt over elektrische apparaten. Geen enkele functie van de CheckMe is nader gespecificeerd en gecertificeerd daarin . De toegepaste richtlijn(IEC 60601-1:2005+Corrigendum 1+Corrigendum 2+A1) zegt eigenlijk alleen wat over de elektrische veiligheid en algemeen werking van het geval. Geen der specifieke functies is dus  gecertificeerd en zeker niet de manchetloze bloeddrukmeting. Die had op zijn minste volgens het British Hypertension Society-protocol gevalideerd moeten zijn. Het lijkt erop dat òf TUV Rheinland heeft zitten slapen, of de fabrikant haar misleid heeft, maar het klopt niet dat er geen afzonderlijke functies gecertificeerd zijn. Het is dus een foute certificatie.

FDA

In de Verenigde Staten is de CheckMe ook ter certificatie aangeboden aan de Food and Drug Administration(FDA) en verkreeg men een certificaat. Daarin is het zeer opvallend dat de manchetloze bloeddrukmeting als functie niet vermeld staat. Deze is dus niet gecertificeerd. Ook staat er nadrukkelijk dat het ECG met de CheckMe niet gebruikt mag worden als vervanging van een diagnostisch ECG dat in een ziekenhuis op de standaardwijze gemaakt wordt en ook niet bij mensen met een pacemaker of geïmplanteerde cardio-defribrillator(ICD).

Sloppy

Het gebruik van een onvoldoende gecertificeerd apparaatje bij een onderzoek, dat aan meerdere kanten rammelt, bewijst de wetenschap geen grote dienst.  Het had gewoon niet gebruikt mogen worden in een ziekenhuis. Het lijkt meer op promotie van een eHealth-gadget. Drijvende kracht daarachter is altijd ReShape geweest met als leider Lucien Engelen. Het is jammer dat clinici van het Radboudziekenhuis zich lieten verleiden tot medewerking hieraan.

W.J. Jongejan

 




Weer sloppy science vanuit Nijmeegs ReShape Center

rubbish

Op 5 juli 2017 verscheen in de mhealth- en uhealth-editie van het Journal of Medical Internet Research een artikel genaamd: “Continuous Monitoring of Vital Signs Using Wearable Devices on the General Ward: Pilot Study”. Het betrof een vergelijking van twee kleine apparaten, de Visi Mobile van Sotera Wireless en de Healthpatch van VitalConnect. Het onderzoek had als doel met deze apparaten vroegtijdig klinische verslechteringen in de gezondheidstoestand te ontdekken bij opgenomen patiënten. Bij lezing van het artikel valt op hoe ondanks allerlei forse onnauwkeurigheden en problemen blijmoedig het gebruik van deze apparatuur gepropageerd wordt als veelbelovend. Kwalitatief stelt dit onderzoek zelfs voor een pilot study weinig voor. Ik wees al eerder op een weinig voorstellende studie vanuit het ReShape Center. Het is zeker niet het eerste artikel vanuit het Radboud Universitair Medisch Centrum dat in voornoemd tijdschrift wordt gepubliceerd. Steevast staat de directeur van het ReShape Center van deze instelling, Lucien Engelen, als co-auteur vermeld. Weinig bekend is dat hij zelf lid is van de editorial board van de mhealth– en uhealth-editie van het JMIR. Het roept de verdenking op dat bij publicaties in dit blad een slager zijn eigen vlees keurt ook al wordt een aangeboden publicatie door een mede-editor behandeld, zoals vermeld onder het huidige artikel. Het ware verstandiger om dit soort situaties te vermijden.

Vreemd

Heel apart is dat het onderzoek gedaan is tussen december 2014 en maart 2015 en dat de publicatie in juli 2017 plaats vindt. Een gat van ruim twee jaar zit er dus tussen. Voor iets wat veelbelovend is in een tijd waarin elektronische ontwikkelingen razend snel gaan is dat heel vreemd. Onder het artikel staat vermeld dat het pas eind 2016 ingediend is bij het JMIR.

Hoe wearable?

Terwijl de Healthpatch nog wel een kleine sensor genoemd kan worden die op de borstkas op de huid geplakt zit, is de Visimobile dat toch echt niet. Het apparaat dat de patiënt op de pols bevestigd krijgt weegt samen met een aan een kabel verbonden bloeddrukmodule om de bovenarm een kwart kilo. Een ademhalingssensor op de borstkas en drie ECG electroden hebben ook kabels lopen naar de polsmodule. Beide apparaten hebben via een wifiverbinding een basisstation nodig dat continu gemonitord moet worden. Bij de specificaties van de Visi Mobile is trouwens ook te zien dat de accu na 12 tot 24 uur leeg is en dan vervangen moet worden. Het bedrijf dat het apparaat maakt, Sotera Wireless, werd in 2016 failliet verklaard mede door een rechtszaak vanwege ongelicenceerd gebruik van andermans technologie. Na een nieuwe kapitaalinjectie van 30 miljoen euro zette het de activiteiten weer voort.

 Opvallend

In de studie werden de metingen van de twee apparaten met de metingen door de verpleging vergeleken. Het gaat om de meting van bloeddruk, hartfrequentie, ademhalingsfrequentie, zuurstofsaturatie en (kern)lichaamstemperatuur. Direct opvallend is dat beide onderzochte apparaten niet dezelfde functionaliteit hebben. Zo meet de Healthpatch geen bloeddruk. Beide apparaten meten de huid-, maar niet de kerntemperatuur van de patiënt. Bijzonder opvallend is het geringe aantal mensen in de studie, namelijk 20. De facto zijn slechts de gegevens van 12 patiënten gebruikt omdat tijdens de studie op onverklaarbare wijze de naar een laptop doorgeseinde data van 8 patiënten verloren gingen. Van de 120 metingen(verpleegkundigen versus appraten) die men wilde vergelijken vielen er 34 af. Aan de kant van de verpleegkundigen waren 9 meetclusters onvolledig, aan de apparatenkant 25. 86 meetclusters van 12 patiënten zijn dus gebruikt. Gemiddeld iets meer dan 7 per patiënt. Dat is bitter weinig als je een studie doet over het monitoren van patiënten.

Spreiding

Bij het zien van de Bland-Altman-plots van de gemeten data valt op dat er forse verschillen en uitschieters waren van de meetwaarden met de apparaten vergeleken met die van de verpleegkundigen.  Ook in de plots van de Modified Early Warning Scores was er een grote spreiding, dus beperkte conformiteit met MEWS-scores van de verpleegkundigen.

Artefacten

De metingen van de Visi Mobile en de Healthpatch werden continu gemonitord door daarvoor getrainde medische studenten. Zij zagen bij de Visi Mobile 306 artefacten( lees: (ver)storingen) in de registratie gedurende 121 uur. Bij de Healthpatch 648 in 135 uur. Dat zijn respectabele aantallen. Het kon variëren van verlies van huidcontact van de elektroden tot problemen met de laptop waarop de data opgeslagen en beoordeeld werden. Ze duurden van 5 minuten tot een uur. Voor het geringe aantal patiënten en het aantal beoordeelbare meetwaarden is het aantal artefacten bijzonder groot te noemen. Indien er geen medisch student de overdracht of opslag van data gevolgd had, zouden de verpleegkundigen zeer frequent geen signaal ontvangen hebben of zeer frequent op een registratiealarm hebben moeten reageren.

Ongefundeeerd techno-optimisme

Ondanks alle problemen komen de schrijvers toch tot de nogal optimistische conclusie dat de Visi Mobile en de Healthpatch veelbelovende apparaten zijn die goed ontvangen werden door patiënten en verpleegkundigen. Bij de conclusies noemt men als eerste het gevoel van geruststelling van de patiënt en verwanten dat deze gemonitord wordt. Dat is nu niet bepaald een wetenschappelijk argument om iets wel of niet toe te passen. De vraag moet zijn of het medisch noodzakelijk is dergelijke apparatuur te gebruiken om gezondheidswinst te bereiken of tenminste gelijkwaardige zorg tegen lagere kosten/moeite te leveren. Als tweede noemt de mogelijke vroegere waarschuwing van verslechtering van functies bij drie patiënten.

Nieuwe proef

Ondanks deze bevindingen gaat het Radboud UMC zonder de naam van de Visi Mobile te noemen binnenkort een proef nemen met alle 60 opgenomen patiënten op de afdeling interne geneeskunde en chirurgie. Aangezien een kastje om de pols gebruikt wordt moet het wel dat apparaat zijn. Eigenlijk wordt op deze wijze een hele afdeling tot een soort hartbewakingseenheid omgetoverd. Blijkens het persbericht houdt een computerprogramma de binnenkomende waarden in de gaten. Ik mag toch hopen dat verpleegkundigen en artsen op de afdelingspost de binnenkomende waarden ook in het oog houden. Alleen al daardoor en door het veelvuldig voorkomen van artefacten, wat bij de uitgebreide bekabeling niet verbazingwekkend is, plus het  binnen een dag moeten vervangen van accu’s betekent dat een  forse verzwaring van de taken van verpleegkundigen op de afdeling. Het lijkt me dan ook een logistieke nachtmerrie.

W.J. Jongejan