Apple “koopt” studie over opsporen atriumfibrilleren met Apple Watch

AppleApple betaalde fors voor onderzoek om met gebruik van de Apple smartwatch een vorm van onregelmatige hartslag, atriumfibrilleren, op te kunnen sporen. Op 14 november 2019 verscheen in het New England Journal Medicine de eindconclusie van de Apple Heart Study onder 419.297 Apple Smartwatch gebruikers. Op 20 maart 2019 schreef ik een artikel over het voorlopige resultaat. Onder het onderzoek staat: funded by Apple. Bij doorlezen van documentatie over eventuele financiële belangenverstrengeling van de auteurs blijkt dat 16 van de 22 auteurs een toelage van Apple kregen dan wel een honorarium. Het is ronduit schokkend om te zien hoeveel auteurs financiële banden hebben met het bedrijf waarvan een product onderzocht wordt. De smartwatch blijkt maar een uiterst beperkte bijdrage te leveren aan het opsporen van atriumfibrilleren. Toch perst men er in de eindconclusie nog uit dat deze studie een basis verschaft voor grootschalige pragmatische studies. Commerciëler kan het eigenlijk niet.    

Disclosure of Potential Conflicts of Interest

Elk zich zelf respecterend wetenschappelijk tijdschrift hanteert de regel dat auteurs een door hen ondertekend formulier dienen in te leveren over belangenverstrengeling. Daarin moet men aangeven welke financiële of andere vormen van belangenverstrengeling er zijn. Daardoor kunnen buitenstaanders een oordeel vellen over de financiële onafhankelijkheid van de auteurs. Bij dit onderzoek is een verzameldocument van die verklaringen gemaakt. Medewerkers van de Stanford University in de staat Californië in de Verenigde Staten verrichtten het onderzoek.

Belangenverstrengelingen(1)

Het disclosures-document laat het volgende zien:

Dr. V.B  : grant(toelage) Apple

Dr. A.B. : personal fee(honorarium) Apple Inc.

Dr. L.C. : personal fee Apple Inc.

Dr. M.D.: grant Apple plus in 36 maanden voorafgaand aan publicatie: Sanofi USA

Dr. S.D. : personal fee Apple Inc.

Dr.T.F.  : personal fee Apple Inc.

Dr. A.G : grant Appple

Dr.C.G. : grant Apple plus in 36 maanden voorafgaand aan publicatie: Akros Pharma Inc.,Astra-Zeneca, FDA, Glaxo-Smith-Kline, Medtronic, Novartis, Armetheon, The Medicine’s Co, Boehringer Ingelheim, Bristol Myers Squibb, Daiichi Sankyo, Janssen, Pfizer

Dr. S.G. : grant Apple

Belangenverstrengelingen(2)

Dr. H.H. : grant Apple, plus in 36 maanden voorafgaand aan publicatie:  Ferring Pharmaceuticals A/S, Merck Sharp & Dohme Corp., Cardiva Medical, Inc, AstraZeneca, CSL Behring LLC, Luitpold Pharmaceuticals, Inc., American Regent, Inc., Bayer

Dr. J.L.:  grant Apple,

Dr. K.M.: grant Apple en tevens 36 maanden voorafgaand aan publicatie van een veelheid van farmaceuten en medisch technische bedrijven.

Dr. D.N: personal fee Apple

Dr. M.P. grant apple, daarnaast personal fee van Apple en Boehringer Ingelheim

Dr. N.T: grant Apple

Dr. M.T: grant Apple, daarnaast grants en personal fees van farmaceuten en med-tech firma’s

Niet onafhankelijk

Uit dit alles blijkt dat de onderzoekers op geen enkele manier onafhankelijk te noemen zijn. Ook bij wetenschappelijk onderzoek gaat het gezegde op dat wie betaalt, bepaalt. In een echt onafhankelijke studie zou men ook wel tot de conclusie gekomen zijn dat de bijdrage van de Apple smartwatch aan het opsporen van atriumfibrilleren erg gering is. Tot die conclusie komt Rutger Hassink, cardioloog in het UMC Utrecht en gespecialiseerd in hartritmestoornissen, ook in een artikel van NRC-Handelsblad op 13 november 2019. Hij vindt het concept van het opsporen van atriumfibrilleren met de smartwatch wel interessant. Tegelijkertijd vraagt hij zich af of er in de praktijk meer patiënten met deze kwaal d.m.v. een smartwatch worden onderschept.

Veel vals-positieven

Het onderzoek liet zien dat er onthutsend veel vals positieven waren. Mensen waarbij de smartwatch aanwijzingen gaf voor atriumfibrilleren, maar er bij nader onderzoek toch een normaal ritme was. Bij 2161 mensen waarbij de smartwatch een onregelmatige hartslag was gevonden stuurde men een plakker op die een elektrocardiogram kon registreren. Van die metingen werd slechts één vijfde teruggestuurd  Daarvan bleek slechts 34 procent atriumfibrilleren te hebben. 66 procent had het dus niet. Dat zijn de vals positieven, die wel ongerust gemaakt zijn door de smartwatch.

Commercie

Wat we hier zien is geen medische research in de Apple Heart Study, maar gewoon keiharde commercie om een stuk elektronica te vermarkten met een medisch sausje. Het wordt tijd dat media die over dit soort onderzoeken berichten eens wakker worden en kritisch kijken naar een onderzoek en naar de resultaten.

W.J. Jongejan,  22 november 2019

Afbeelding van jorono via Pixabay . Uitsnede WJJ




Autocorrectie(Amerikaans-Engels) op iMAC of Macbook verandert medicatie

bananenschilEind december 2017 verscheen op Twitter en op een beperkt aantal websites in de Verenigde Staten(VS) een item dat bij medici de wenkbrauwen zal doen fronsen . Op twitter volgden minstens 12.000 mensen dit item. De autocorrectie-functie van Apple MacBooks en andere machines die gebruik maken van het Mac-Operating System)MacOS blijkt spontaan de naam van een medicament in een andere medicament om te zetten. Het gaat dus niet om iPad’s en iPhones en vindt alleen plaats als gebruik gemaakt wordt van de Amerikaans-Engelse spellingsmodule.  In het beschreven voorbeeld gaat om het medicament “duloxetine” dat na intypen opeens veranderd wordt in “fluoxetine”. Blijkbaar zit er in de Amerikaans-Engelse spellingsmodule iets wat het onderdeel “dulo” vervangt door “fluo”.  Er zijn altijd wel bugs die bij autocorrectie-modules de gebruikers parten spelen, maar deze is toch wel apart omdat het spontane wijziging best wel medische consequenties heeft. Beide middelen mogen dan wel antidepressiva zijn van het type dat serotonine- heropname remt. Duloxetine is echter een niet-selectieve serotonine heropnameremmer(SNRI), terwijl fluoxetine wel selectief werkt(SSRI). In het Farmacotherapeutisch Kompas wordt dit verschil ook benadrukt. Het is overigens niet duidelijk uit de berichtgeving bij welke medicatie nog meer dit probleem speelt.

Nederland

Het ziet er niet naar uit dat dit probleem in Nederland een rol speelt, maar toch is het belangrijk om alert te zijn op zaken die een computer schijnbaar automatisch voor de gebruiker doet. Zeker als die computer voor medische doeleinden gebruikt wordt. Op een Nederlands MacBook met de Nederlandse spellingscontrole plus autocorrectie aan was het probleem door een familielid van mij niet te reproduceren.

Verantwoordelijkheid

Het beschreven probleem heeft geen grote ruchtbaarheid gekregen en is inmiddels bij Apple in het bug-report geregistreerd. Er zal ook te gelegener tijd wel een bug-fix voor komen. Het voordoen van een dergelijke bug roept altijd weer de vraag is wie verantwoordelijk is voor de gevolgen van een zoiets. Het moge duidelijk zijn dat in de Nederlandse verhoudingen de voorschrijver zelf altijd eindverantwoordelijk blijft voor zijn of haar prescriptie en niet blind mag varen op een automatische computerfunctie die het eigen systeem biedt. Belangrijk is dat de arts te allen tijde zich realiseert dat die moet controleren wat hij/zij ingetypt heeft en hoe die tekst er nadien uitziet.

Kritisch blijven

De moraal van het verhaal is dat schijnbaar onschuldige computerfuncties toch onverwachts voor verrassingen kunnen zorgen. Nu is het de autocorrectie, maar op enig ander moment kan het weer iets heel anders zijn. Zo zag ik in een ver verleden bij het starten van berichtenverkeer tussen huisartsenlaboratoria en huisartsen onverwachts problemen ontstaan door niet correct ingesteld zijn  van de decimale komma en punt.

W.J. Jongejan




Sloppy thinking, sloppy statistics, sloppy science bij eHealthpromotie

iWatch en iPhoneHet Nederlandstalige internet magazine Computerworld kwam op 15 maart 2017 met een artikel voorzien van een opzienbarende kop. “Zo redt de Apple Watch levens met deep learning. De Apple Watch ontdekt diabetes en meer aan de hand van hartslag.” Bij kritische lezing van het stuk blijkt de vlag de lading niet te dekken. Aan een elektronisch apparaat en de bijbehorende software worden eigenschappen toegeschreven die in genen dele waar te maken zijn. De bewering dat met een smartwatch van Apple een ziekte als diabetes vastgesteld kan worden, epileptische aanvallen tijdig ontdekt kunnen worden, men vrij nauwkeurig een hoog cholesterolgehalte en slaap-apnoe kan vaststellen wekt zeer grote verwachtingen. De smartwatch zou dat doen op basis van de geregistreerde hartfrequentie en bewegingssensor, waarbij een algoritme kijkt naar verschillen en patronen. Data-analyse, machine learning en deep learning zouden de methodieken zijn waarmee deze afwijkingen vastgesteld kunnen worden. Grote woorden met weinig inhoud.  Met wat basale medische en statistische kennis is dit soort eHealth-propaganda snel te ontzenuwen. Ook blijkt deze berichtgeving mede gebaseerd te zijn op onderzoek dat eerder dit jaar, in januari 2017 gepubliceerd werd door de Stanford University uit de V.S. Die publicatie is gewoonweg “sloppy science”. In de laatste alinea staat er een verwijzing naar. Diagnostische eigenschappen worden daarin toegeschreven aan de zogenaamde wearables, smartwatches en handheld meters, die niet waar te maken zijn.

Nauwkeurigheid

In het artikel van Computerworld laat de auteur de onderzoeker en oprichter van het Cardiogram-project Bradon Ballinger aan het woord. Cardiogram is een app bestemd voor de Apple smartwatch. Hij stelt :

“Het verrassende is hoe nauwkeurig een deep learning-algoritme kan zijn – we hadden een accuratesse van meer dan 80 procent bij veel aandoeningen.” Op een congres zei hij eerder dit jaar dat een neuraal netwerk betere resultaten toonde dan klassiekere methodes van meetbare ziekteprocessen. Abnormale hartritmes worden zelfs meer dan 95 procent correct gemeten.”

Het aardige is dat in deze paar zinnen al duidelijk is dat er een veel hogere nauwkeurigheid is voor hartritme-afwijkingen dan voor andere toepassingen. Dat is op voorhand logisch omdat het vastleggen van de hartfrequentie de manier is om abnormale hartritmes op te sporen. De sensortechniek is geschikt, is specifiek voor die afwijking. Nauwkeurigheden van 80 procent zijn, hoe hoog ze ook lijken, toch absoluut niet voldoende. Bovendien is het alleen praten in termen van nauwkeurigheid geen correcte voorstelling van zaken. Je wilt immers weten of de test niet teveel mensen als ziek aanwijst die het niet zijn, de fout-positieven. Ook wil je niet dat er mensen gemist worden die de ziekte wel hebben, de fout-negatieven.

Sensitiviteit en specificiteit

Bij het vaststellen van een bepaalde ziekte/gezondheidstoestand gaat het er altijd om dat de methodiek nauwkeurig is, correct het wel of niet aanwezig zijn van de ziekte vaststelt.  De sensitiviteit van een geneeskundige test is het percentage terecht positieve uitslagen onder de zieke personen. Hoe hoger de sensitiviteit van een test, hoe groter de kans dat iemand die daadwerkelijk de ziekte heeft, dus een positieve testuitslag krijgt. De specificiteit van een test is het percentage terecht negatieve testuitslagen onder de niet-zieke personen. Beide begrippen worden aangeduid in percentages. Idealiter heeft een volmaakte medische test een sensitiviteit en specificiteit van 100 %. Dat wordt vaak niet bereikt bij een testmethode, maar men dient daar wel zeer dicht in die buurt te komen. 80 procent is te weinig.

Als met bovenstaande vermelding van een nauwkeurigheid van 80 procent gesproken wordt kan het niet anders zijn dan dat men het over de sensitiviteit heeft. Dat betekent dan wel dat er bij gebruik van zo’n test 20 % van de geteste mensen de mededeling krijgt dat ze als ziek gediagnosticeerd zijn zonder dat dat zo is. Loos alarm dus bij 20% van de testgroep. Dat is zeer veel.

Denkfout

Bij de voorbeelden van het vaststellen d.m.v. een smartwatch van diabetes, epileptische aanvallen etc. focust men zich op veranderingen in hartritme- en bewegingspatroonveranderingen die daarbij optreden. Ongetwijfeld zijn die veranderingen er. Maar omgekeerd komen die veranderingen bij een bijzonder groot scala van andere ziektebeelden ook. Het is het verhaal dat een koe een dier met vier poten is, maar niet elk dier met vier poten een koe. Het probleem met het willen gebruiken van niet ziekte-specifieke sensoren is dat nimmer een hoge sensibiliteit en specificiteit gevonden zal worden.  Men vindt correlaties, maar de causaliteit ervan dient men eerst anderszins te bewijzen alvorens uit te gaan van de validiteit van de correlaties. Het is een basisvereiste bij big-data-analyse om die causaliteit met een andersoortige methodiek aan te tonen.

Collateral damage

Door smartwatches te propageren voor diagnostiek op terreinen waar ze a priori niet voor geschikt zijn laat men de verdenking op zich het helemaal niet erg te vinden als een groot aantal mensen ongerust gemaakt worden met een diagnose die ten onrechte gesteld is. Daarnaast neemt men dan ook genoegen met een flink aantal mensen die ten onrechte gerustgesteld worden. Het is niet voor niets dat voor diabetes, een te hoog cholesterolgehalte etc specifieke laboratoriumbepalingen bestaan die gevalideerd zijn en waarvan de sensitiviteit en specificiteit bekend en onomstreden zijn.

eHealth is absoluut niet gebaat met dit soort artikelen die wetenschappelijk geen hout snijden. Het is een soort nep-nieuws. Ze lijken er meer voor te zijn om de geldstroom naar de ontwikkelaars van eHealthtoepassingen in stand te houden.

W.J. Jongejan




Van pieper naar smartphone. Zo zwem je de bigdata-fuik in

trap-819769_640

Op 22 november 2016 verscheen op de website van www.nu.nl  een intrigerend artikel met als titel “Londens ziekenhuis stapt over van pieper op moderne telefonie”. In het artikel refereert de schrijfster, Jantien Kingma, aan de ontwikkelingen in drietal Londense ziekenhuizen, waar men de pieper vaarwel lijkt te zeggen ten faveure van de smartphone. Achter dit verhaal gaat echter veel meer schuil dan alleen een overschakeling naar “moderne” technologie.  Dat blijkt als je wat dieper in de besproken materie duikt. Het heeft namelijk onder andere te maken met de geruchtmakende deal die het bigdata-analyse-bedrijf DeepMind, sinds kort onderdeel van Google, met de betreffende ziekenhuizen van de Royal Free Hospital Trust, sloot.  De overeenkomst die gesloten werd in het kader van het CareData-programma van de National HealthService(NHS) leidde tot grote protesten en veroorzaakte mede het stoppen van het CareData programma dat bedoeld was om zorgdata te kunnen vermarkten. DeepMind ontwerpt een app, Steams genaamd, die zorgaanbieders in het ziekenhuis direct informatie geeft op basis van real-time-analyse van zorgdata. Voor de presentatie van de informatie heeft men dan een smartphone nodig. Het ziet er allemaal erg aanlokkelijk uit maar is onderdeel van een proces waarbij een ongekende afhankelijkheid ontstaat van één “zorgconsultant”, waarbij geen weg terug is zonder functieverlies. Daarnaast is het gebruik van smartphones in zorginstellingen iets wat op andere gronden ook bezwaren heeft.

DeepMind

De overeenkomst die DeepMind sloot met de Royal Free Hospital Trust leek alleen te gaan om het vroegtijdig opsporen van nierbeschadiging, maar uit de stukken bleek dat het ook ging om veel andere diagnoses/ziekten.

“Real time clinical analytiscs, detection, diagnosis en decision support to support treatment and avert clinical deterioration across a range of diagnoses and organ systems.”

Aan het verkrijgen van de data zit een vieze lucht, want patiënten die alleen de beschikking hadden over een opt-out konden die de facto voor een groot deel niet uitoefenen. Deepmind kreeg namelijk behalve toestemming om data één jaar na het sluiten van de overeenkomst te gebruiken ook toestemming om ziekenhuisdata tot vijf jaar terug te gebruiken. De data slaat DeepMind op eigen servers op. De gebruikers krijgen de analyseresultaten te zien via een app op een smartphone. Daarbij haast het ziekenhuisbestuur zich recent om uit te leggen dat het allemaal goed bewaakt wordt.

The partnership will also introduce an unprecedented level of data security and audit. All data access is logged, and subject to review by the Royal Free London as well as DeepMind Health’s nine Independent Reviewers. In addition, DeepMind’s software and data centres will undergo deep technical audits by experts commissioned by its Independent Reviewers.

Pieper

Het oproepen van medewerkers in ziekenhuizen gebeurt met piepers(=beeper=pager) die al dan niet uitgerust zijn met een spraak- en/of tekstvoorziening. Het zijn systemen die tot het ziekenhuis beperkt zijn en daarbuiten geen waarde hebben. Het kenbaar maken van bijzondere uitslagen/ontwikkelingen in de toestand van de patiënt moet hierbij in theorie mogelijk zijn. Daarbij zou de inhoud van de melding in het ziekenhuis-infomatiesysteem als alert dan zichtbaar gemaakt kunnen worden.

Smartphone

Het gebruik van dit moderne communicatiemiddel lijkt niet meer te stuiten, maar kent bij gebruik binnen de zorg en met name binnen ziekenhuizen toch wel forse beperkingen. Onbeveiligde email, zoals met een Gmail-account, is niet geschikt voor de communicatie van medische gegevens. Ook Whatsapp is er ongeschikt voor. In Nederland is er begin dit jaar nog een flinke discussie over geweest.  Er zijn nog meer applicaties die uitnodigen tot gebruik in de zorg, maar privacy-issues veroorzaken. Speciaal ontworpen en beveiligde apps zijn dan nodig. Door alerts van Deepmind’s bigdata-analyses via een smartphone te laten lopen ontstaat een distantie ten opzichte van het ziekenhuissysteem. Ik vermag niet in te zien waarom personeel sneller zou reageren op een smartphone-alert dan op een pieper-alert. Bovendien heeft men voor het vastleggen van nadere acties toch het ziekenhuisinformatiesysteem nodig.

Fuik

In een eerder  artikel schreef ik over de situatie rond Philips dat zich in Nederland als zorgconsultant in de markt zet. Het bedrijf wringt zich tussen patiënt en ziekenhuis, bewerkt data die van de patiënt verkregen zijn en presenteert die aan de zorgaanbieders. Ze doen dat met de programma’s eCareCompanion aan patiëntenzijde en eCareCoordinator aan zorgaanbiederszijde. Daarmee ontstaat een unieke afhankelijkheid van één leverancier die bovendien de onderliggende data beheert. DeepMind doet dit op precies dezelfde manier. Het bedrijf maakt veel werk van acute nierbeschadiging als startpunt maar heeft gezien het contract trek in veel meer. Het gebruik van de smartphone om de data via een app op te presenteren is onderdeel van de afhankelijkheid van DeepMind.

Problemen

Het moge duidelijk zijn dat zowel met DeepMind als met Philips de gekozen partner, maar ook de systematiek de nodige problemen met zich mee kan brengen. In het Verenigd Koninkrijk moet men te allen tijde bedenken dat Google 400 miljoen euro over had om DeepMind op te kopen. Men zal op enigerlei wijze dat bedrag plus winst willen terugverdienen. Kreten als “to make the world a better place” van DeepMind topman Mustafa Suleyman kan men in dat kader als nogal gratuit beschouwen.  Hetzelfde geldt voor Nederland waar Philips een nieuw verdienmodel introduceert onder het slaken van kreten over enorme zorgverbeteringen. Beide grote bedrijven creëren een enorme afhankelijkheid van hen  waarvan het uitermate de vraag is of dat op de langere termijn een goede zaak is voor de zorg. Men zwemt met open ogen een fuik in.

W.J. Jongejan