Apple “koopt” studie over opsporen atriumfibrilleren met Apple Watch

AppleApple betaalde fors voor onderzoek om met gebruik van de Apple smartwatch een vorm van onregelmatige hartslag, atriumfibrilleren, op te kunnen sporen. Op 14 november 2019 verscheen in het New England Journal Medicine de eindconclusie van de Apple Heart Study onder 419.297 Apple Smartwatch gebruikers. Op 20 maart 2019 schreef ik een artikel over het voorlopige resultaat. Onder het onderzoek staat: funded by Apple. Bij doorlezen van documentatie over eventuele financiële belangenverstrengeling van de auteurs blijkt dat 16 van de 22 auteurs een toelage van Apple kregen dan wel een honorarium. Het is ronduit schokkend om te zien hoeveel auteurs financiële banden hebben met het bedrijf waarvan een product onderzocht wordt. De smartwatch blijkt maar een uiterst beperkte bijdrage te leveren aan het opsporen van atriumfibrilleren. Toch perst men er in de eindconclusie nog uit dat deze studie een basis verschaft voor grootschalige pragmatische studies. Commerciëler kan het eigenlijk niet.    

Disclosure of Potential Conflicts of Interest

Elk zich zelf respecterend wetenschappelijk tijdschrift hanteert de regel dat auteurs een door hen ondertekend formulier dienen in te leveren over belangenverstrengeling. Daarin moet men aangeven welke financiële of andere vormen van belangenverstrengeling er zijn. Daardoor kunnen buitenstaanders een oordeel vellen over de financiële onafhankelijkheid van de auteurs. Bij dit onderzoek is een verzameldocument van die verklaringen gemaakt. Medewerkers van de Stanford University in de staat Californië in de Verenigde Staten verrichtten het onderzoek.

Belangenverstrengelingen(1)

Het disclosures-document laat het volgende zien:

Dr. V.B  : grant(toelage) Apple

Dr. A.B. : personal fee(honorarium) Apple Inc.

Dr. L.C. : personal fee Apple Inc.

Dr. M.D.: grant Apple plus in 36 maanden voorafgaand aan publicatie: Sanofi USA

Dr. S.D. : personal fee Apple Inc.

Dr.T.F.  : personal fee Apple Inc.

Dr. A.G : grant Appple

Dr.C.G. : grant Apple plus in 36 maanden voorafgaand aan publicatie: Akros Pharma Inc.,Astra-Zeneca, FDA, Glaxo-Smith-Kline, Medtronic, Novartis, Armetheon, The Medicine’s Co, Boehringer Ingelheim, Bristol Myers Squibb, Daiichi Sankyo, Janssen, Pfizer

Dr. S.G. : grant Apple

Belangenverstrengelingen(2)

Dr. H.H. : grant Apple, plus in 36 maanden voorafgaand aan publicatie:  Ferring Pharmaceuticals A/S, Merck Sharp & Dohme Corp., Cardiva Medical, Inc, AstraZeneca, CSL Behring LLC, Luitpold Pharmaceuticals, Inc., American Regent, Inc., Bayer

Dr. J.L.:  grant Apple,

Dr. K.M.: grant Apple en tevens 36 maanden voorafgaand aan publicatie van een veelheid van farmaceuten en medisch technische bedrijven.

Dr. D.N: personal fee Apple

Dr. M.P. grant apple, daarnaast personal fee van Apple en Boehringer Ingelheim

Dr. N.T: grant Apple

Dr. M.T: grant Apple, daarnaast grants en personal fees van farmaceuten en med-tech firma’s

Niet onafhankelijk

Uit dit alles blijkt dat de onderzoekers op geen enkele manier onafhankelijk te noemen zijn. Ook bij wetenschappelijk onderzoek gaat het gezegde op dat wie betaalt, bepaalt. In een echt onafhankelijke studie zou men ook wel tot de conclusie gekomen zijn dat de bijdrage van de Apple smartwatch aan het opsporen van atriumfibrilleren erg gering is. Tot die conclusie komt Rutger Hassink, cardioloog in het UMC Utrecht en gespecialiseerd in hartritmestoornissen, ook in een artikel van NRC-Handelsblad op 13 november 2019. Hij vindt het concept van het opsporen van atriumfibrilleren met de smartwatch wel interessant. Tegelijkertijd vraagt hij zich af of er in de praktijk meer patiënten met deze kwaal d.m.v. een smartwatch worden onderschept.

Veel vals-positieven

Het onderzoek liet zien dat er onthutsend veel vals positieven waren. Mensen waarbij de smartwatch aanwijzingen gaf voor atriumfibrilleren, maar er bij nader onderzoek toch een normaal ritme was. Bij 2161 mensen waarbij de smartwatch een onregelmatige hartslag was gevonden stuurde men een plakker op die een elektrocardiogram kon registreren. Van die metingen werd slechts één vijfde teruggestuurd  Daarvan bleek slechts 34 procent atriumfibrilleren te hebben. 66 procent had het dus niet. Dat zijn de vals positieven, die wel ongerust gemaakt zijn door de smartwatch.

Commercie

Wat we hier zien is geen medische research in de Apple Heart Study, maar gewoon keiharde commercie om een stuk elektronica te vermarkten met een medisch sausje. Het wordt tijd dat media die over dit soort onderzoeken berichten eens wakker worden en kritisch kijken naar een onderzoek en naar de resultaten.

W.J. Jongejan,  22 november 2019

Afbeelding van jorono via Pixabay . Uitsnede WJJ




Overdreven positivisme over Apple Heart study met smartwatch

smartwatch ECG

Op 16 maart 2019 kwam de Stanford University in de V.S. met de voorlopige resultaten van een in 2017 in samenwerking met Apple opgezette studie. Die gaat over het detecteren van boezemfibrilleren (atriumfibrilleren) met behulp van de Apple smartwatch. De resultaten die men meldt lijken aardig, maar er valt nogal wat op af te dingen. Stanford en Apple brengen het als een doorbraak in het detecteren van atriumfibrilleren(AF) in de populatie. Het is echter maar een beperkt hulpmiddel vanwege de niet al te grote nauwkeurigheid. Dat valt niet direct op door de manier van presenteren van de voorlopige resultaten. Veel media in de USA, maar ook diverse in Nederland doken er dan ook gretig bovenop om het positief te labelen. Het detecteren gaat echter gepaard met nogal wat onnauwkeurigheid. Lang niet alle personen met AF spoort men met de smartwatch op. Afwijkend bevonden smartwatch-meldingen zijn bij lange na niet allemaal terug te vinden met de gouden standaard: het ECG. Bovendien is het onmogelijk om  met de studie na te gaan of mensen die geen afwijkende melding krijgen ook allemaal geen AF hebben.

Onderzoek

Het onderzoek vond plaats met medewerking van 400.000 gebruikers van een Apple Smartwatch type 1, 2 en 3. Deze sporen ritmestoornissen optisch op met behulp van PhotoPlethysmoGrafie(PPG). Daarmee vindt detectie van veranderingen in de vaatdoorstroming plaats door middel van licht. De Apple smartwatch 4 die een éénkanaals ECG kan maken gebruikte men niet  in de studie. De opzet omschrijft men als : a screening, prospective, single-arm pragmatic study. Een dergelijk opzet laat dan ook geen duidelijke conclusies toe over de nauwkeurigheid van de detectiemethode. Uitsluitend dat je iets kunt detecteren. Maar ja, dat wisten we al.

Methodologie

Gebruik maken van optische detectie brengt automatisch met zich mee dat er problemen kunnen spelen bij aanwezigheid van beharing, tatoeages op/rond  de pols en niet  te vergeten de huidskleur. Je kunt door de huidkarakteristieken zeker gevallen  van AF missen. Er kan een overduidelijke selectie van de deelnemers door plaatsvinden omdat een oververtegenwoordiging van mensen met een lichte huidskleur zal plaatsvinden. Door het niet gelijktijdig registreren van een ECG worden die gevallen dan gemist.  Ze vallen dan onder dan onder de zogenaamde fout-negatieven, die door de opzet van het onderzoek nooit gemeld kunnen worden.

Publicatie

Wat staat in het persbericht aan conclusies:

  • Overall, only 0.5 percent of participants received irregular pulse notifications, an important finding given concerns about potential over-notification
  • Comparisons between irregular pulse-detection on Apple Watch and simultaneous electrocardiography patch recordings showed the pulse detection algorithm (indicating a positive tachogram reading) has a 71 percent positive predictive value. Eighty-four percent of the time, participants who received irregular pulse notifications were found to be in atrial fibrillation at the time of the notification.
  • One-third (34 percent) of the participants who received irregular pulse notifications and followed up by using an ECG patch over a week later were found to have atrial fibrillation. Since atrial fibrillation is an intermittent condition, it’s not surprising for it to go undetected in subsequent ECG patch monitoring.
  • Fifty-seven percent of those who received irregular pulse notifications sought medical attention.

2000 gevallen?

Het persbericht meldt dat 0,5% van de deelnemers een melding van een onregelmatige polsslag kreeg van de smartwatch. Men zegt dat zoiets meevalt, omdat er bij critici bezorgdheid was over mogelijk teveel loze meldingen. Kijk je naar het percentage deelnemers dat bij een melding naderhand een ECG liet maken dan blijkt het AF bij slechts 34 % (dus ongeveer 680 en niet 2000 van de 400.000) bevestigd te kunnen worden. Dat is laag en is deels te verklaren door het niet continu voorkomen van AF, waardoor de ECG registratie achteraf het AF kan missen.  Je moet daarbij ook bedenken dat er meer ritmeafwijkingen bestaan dan alleen AF.

Vergelijken

In de tweede conclusie stelt men, dat bij vergelijken van meldingen van een onregelmatige pols met de smartwatch met tegelijk het meten van een ECG een positieve voorspellende waarde van 71% gevonden wordt. Dat is in mijn ogen teleurstellend laag. De positief voorspellende waarde is het deel van de onderzochte personen met een positieve testuitslag die AF ook daadwerkelijk heeft. Idealiter moet dat tegen de 100% zijn. Anders mis je gevallen van AF.  Blijkbaar mist de smartwatch er 29 op de 100. Daarnaast moet je ook weten wat de negatief voorspellende waarde is. Dat is het deel van de onderzochte personen zonder melding van de smartwatch, die het AF ook daadwerkelijk niet heeft. Je wilt immers niet dat mensen ten onrechte niet gewaarschuwd worden. Die waarde geeft men niet op. Hij is trouwens ook niet te bepalen bij de beschreven studieopzet. Het weten ervan is echter wel van wezenlijk belang om een zuiver oordeel over de nauwkeurigheid, dus het nut, van de PPG-metingen te kunnen geven.

Beperkt nut

Het gebruik van de smartwatch voor het detecteren van AF is van beperkt nut. Je detecteert er niet alle gevallen van AF mee. Je weet niet welke mensen je er mee mist, maar ook niet of alle mensen die niet een waarschuwing kregen, het AF niet hadden. Met een beetje kritische blik moet je wel constateren dat deze wijze van opsporen van atriumfibrilleren niets anders is dan met een grove hark door de populatie gaan. Om dan vervolgens te kijken wat er in de hark is blijven hangen. Marketing technisch kan het aardig zijn om de smartwatch voor een dergelijk doel te promoten, maar voor populatiebewaking met betrekking tot een ziekte stelt het niet veel voor. En het bevordert overbodig gepieker bij gezonde gebruikers.

W.J. Jongejan, 20 maart 2019

Al vaker beschreef ik overdreven positieve “wetenschappelijke” studies over de zognaamde “grote” mogelijkheden van smartwatches bij ziektedetectie.

19-06-2017 https://www.zorgictzorgen.nl/onderzoek-wearables-bepaald-vlekkeloos-sloppy-science/

24-11-2017 https://www.zorgictzorgen.nl/sloppy-science-met-apple-watch-samen-met-cardiogram-app/

09-02-2018 https://www.zorgictzorgen.nl/how-to-produce-bullshit-about-diabetes-detection-with-heartrate-sensors-on-smartwatches/

27-03-2018 https://www.zorgictzorgen.nl/apple-watch-bijt-weer-in-het-zand-als-medisch-diagnostisticum/

28-12-2018 https://www.zorgictzorgen.nl/goedgekeurd-door-fda-dekt-bij-ehealth-gadgets-meestal-lading-niet/

 

 

 

 

 

 

 




Apple Watch bijt weer in het zand als medisch diagnostisticum

Apple smartwatch

Twee keer, in 2017 en 2018, publiceerde ik op deze website artikelen over het tevergeefs ziekten proberen vast te stellen  met behulp van smartwatches, in het bijzonder de Apple watch. Uit een zeer recente publicatie op 21 maart 2018 in de Journal of the American Medical Association(JAMA) blijkt dat de genoemde smartwatch in de verste verte niet als betrouwbaar diagnostisch hulpmiddel voor het vaststellen van atriumfibrilleren, een bepaalde vorm van een onregelmatige hartslag, te gebruiken is. De publicatie is weer afkomstig van een onderzoeksgroep aan de University of California, San Francisco(UCSF) met Brandon Ballinger als één van de auteurs. Het falen van de Apple smartwatch voor dit doel is niet direct af te leiden uit de kop en oppervlakkige lezing van de samenvatting van het artikel( “Passive Detection of Atrial Fibrillation Using a Commercially Available Smartwatch”). Pas als men de inhoud tot zich door laat dringen wordt het duidelijk dat de smartwatch jammerlijk faalde om betrouwbaar atriumfibrilleren vast te stellen en dus ten enenmale ongeschikt is om ook deze ziektetoestand vast te stellen.

Cardiogram

Het onderzoek dat nu naar buiten komt is net als de vorige twee waarover ik schreef(zie hierboven) gedaan met behulp van de Apple smartwatch in samenhang met de app Cardiogram, gemaakt door het gelijknamige bedrijf. De baas daarvan is Brandon Ballinger, die net als bij de eerdere publicaties mede-auteur is. De technologie die gebruikt is betreft de photoplethysmografie. Hierbij wordt de doorbloeding van de huid gemeten door middel van uitgezonden en weerkaatst rood licht afkomstig van de smartphone. Per definitie is deze methode al inferieur aan het vastleggen van eventueel atriumfibrilleren met een elektrocardiogram. Die meet de elektrische activiteit die het gevolg is van een hartslag en is éénduidig vast te leggen met elektroden. De methode met licht die de doorbloeding van de huid meet kent evidente foutenbronnen als omgevingslicht, huidskleur, lokale pigmentatie etc en zal dus per definitie onbetrouwbaarder zijn.

Resultaat(1)

Uiteraard bleek dat ook uit het eerste dele van het onderzoek dat in de JAMA gepubliceerd is. In een door hen zo genoemd “extern validatie cohort” werd bij een groep van 51 in bed liggende personen, die in ziekenhuizen opgenomen waren voor cardioversie bekeken hoe nauwkeurig de Apple smartwatch met de Cardiogram-app werkte. Cardioversie is het geven van een elektrische schok om het atriumfibrilleren te behandelen en daarmee een regelmatige hartslag te bereiken. Men gebruikte om de data te analyseren kunstmatige intelligentie in de vorm van een deep neural network. De sensitiviteit van de test met de smartwatch was 98 procent en de specificiteit 90,2 procent. Dat lijkt zeer hoog en zeer fraai, maar omdat het geen 100 % is betekent het wel dat bij mensen waarvan al bekend is dat ze de ziekteconditie hadden door het maken van een elektrocardiogram(ECG), de meting met het ECG niet volledig gerepliceerd kon worden. De smartwatch was dus inferieur is aan het ECG.

Resultaat(2)

Daarnaast heeft men gekeken wat de nauwkeurigheid was als men bij een niet op atriumfibrilleren geselecteerde groep van 1600 ambulante mensen die mee deden aan het onderzoek en de smartwatch dagelijks om hadden, ging kijken. Dan bleek de nauwkeurigheid van de voorspelling dramatisch te dalen tot slechts 8 procent. Het ging dan om mensen die zelf meldden dat ze atriumfibrilleren hadden en het neurale netwerk met de smartwatch-data het atriumfibrilleren “vaststelde”. De sensitiviteit en specificiteit waren dan resp. 67,7 en 67,6 procent en dat is zeer laag. Het betekent dat de methodiek zeer veel fout positieve en fout negatieve uitslagen kent met enerzijds dus ongerust maken van mensen en anderzijds onder-diagnostiek. Eerdere publicaties van de UCSF in samenwerking met Cardiogram lieten hetzelfde beeld zien bij het onderzoek om met smartwatches hypertensie, slaap-apneu en diabetes mellitus vast te stellen. De methode met de smartwatches is gewoonweg niet geschikt om deze ziektecondities betrouwbaar vast te stellen.

Proof of Concept???

Om er toch nog een positief bericht uit persen noemt men het onderzoek een “Proof Of Concept” om daarnaast aan te kondigen dat men de systematiek verder wil verbeteren. Deze opstelling is te karakteriseren als het tegen beter weten in proberen het gebruik van smartwatches voor het opsporen van ziektecondities te blijven promoten. Het is trouwens zeer de vraag of de Amerikaanse Food and Drug Administration ooit haar fiat zou geven voor propageren van de smartwatch als diagnosticum.

Triviaal?

Het lijkt triviaal om je druk te maken over het op slechte wijze propageren van het gebruik van smartwatches voor medisch-diagnostische doeleinden. Men moet echter niet vergeten dat het om zeer grote belangen gaat van producenten van smartwatches, zoals Apple en tevens van bedrijven zoals Apple, Cardiogram en vele anderen. Zij willen grote aantallen data verkrijgen van personen om daarmee hun eigen verdienmodel te ontwikkelen c.q. bevorderen. We staan hiermee ook weer te kijken naar een vorm van data-grabbing/resourcegrabbing. Positieve berichtgeving, hoe geforceerd ook, dient ertoe om de verkoop en het gebruik van smartwatches verder op te stuwen.

Kritisch

Opvallend is hoe verschillend in diverse media om wordt gegaan met de berichtgeving over het laatste onderzoek. Meerdere media in de V.S(A,B,) sluiten geheel of gedeeltelijk hun ogen voor de slechte voorspelbaarheid in een min of meer open onderzoeksgroep, terwijl bijvoorbeeld The Washington Post een behoorlijk kritisch artikel erover publiceerde. Ook in Nederland was het doorgaans wat minder kritische online magazine ICT&Health behoorlijk scherp over het beschreven onderzoek.

De gezondheidszorg is ook niet gebaat het pushen van smartwatches als diagnosticum terwijl er veel betere en betrouwbaardere methoden zijn.

W.J. Jongejan

 




Heart for heart: niet erg waardevolle app om atriumfibrilleren te monitoren

app

Op de website van het online zorgICT-magazine SmartHealth besteedde men op 12 juni 2017 een volledige webpagina aan de app Heart for Heart. Met deze app zou je volgens de omschrijving de gezondheid van je hart kunnen meten met je smartphone. Dat is nogal een claim. Met wat verder lezen kom je er dan achter dat het gaat om iets wat duidelijk meer beperkt is, namelijk of er sprake is van atriumfibrilleren(AF). Dat is een afwijking waarbij er een abnormale, onregelmatige elektrische prikkelvorming in één van de boezems van het hart optreedt waardoor de hartkamers zich ook onregelmatig samentrekken. In het artikel wordt behalve aandacht aan de app ook aandacht besteed aan de wijze waarop het bedrijf dat de app maakt, Happitech, aan de weg timmert. Het vraagt om crowdsourcing, maar dan niet in de vorm van het beschikbaar stellen van geld voor de ontwikkeling van de app, maar om het beschikbaar stellen van het hartritme van mensen die de app installeren in de vorm van een 90-secondenregistratie. Bij het tegen het licht houden van de app valt de waarde ervan bijzonder tegen, zeker in het licht van de pretenties die men ermee heeft. Ook de privacy van de gebruikers is een punt van zorg.

Werking

De app registreert het hartritme als de gebruiker de vinger minstens 90 seconden voor de camera van de smartphone houdt. Het principe waar gebruik van gemaakt wordt is fotoplethysmografie. De weerkaatsing van licht meet men ermee. De mate van reflectie zegt iets over het bloedvolume in de huidvaatjes. Met elke hartslag varieert dat volume door de drukgolf die het gevolg is van het wegpersen van bloed door een samentrekking van de linker hartkamer.. Door de verschillen in lichtabsorptie te analyseren meet de app de verandering van de hartslag.

Grote beperkingen

Het AF is een ongecoördineerde elektrische prikkelvorming, die met een ECG vast te leggen is, in één van de boezems van het hart,. Door het onregelmatig samentrekken van de boezems zullen de hartkamers bij veel samentrekkingen niet goed gevuld zijn. Er is dan sprake van een beperkte tot zeer beperkte drukgolf die vaak perifeer in de hand niet goed aankomt. Bij lichamelijk onderzoek door een arts is er bij AF dan ook vaak sprake van een polsdeficit. Dat wil zeggen dat de arts over de borstkas wel een samentrekking van het hart hoort met de stethoscoop, maar niet al die slagen voelt aan de pols. Dat zal de app dan ook niet goed meten. Ook AF met een hooggradig A-V-blok, zal niet goed geïnterpreteerd worden. Daarbij wordt namelijk ondanks een  onregelmatige boezemfrequentie, de helft tot een kwart van de boezemsamentrekkingen niet door een kamersamentrekking gevolgd. De app zal dus door de aard van de kwaal een aanzienlijke onderrapportage kennen. Bovendien zijn er ook ritmeafwijkingen waarbij extra slagen in de kamers ontstaan, de zogenaamde ventriculaire extrasystolen. Indien die frequent voorkomen lijkt het wel eens op AF zonder dat het zo is.

Gouden standaard

De gouden standaard bij het valideren van apps die atriumfibrilleren(AF) claimen vast te leggen is nog steeds het elektrocardiogram(ECG). Dus metingen van een app één op één vergelijken met een ECG bij dezelfde patiënt is het devies bij het valideren. Door heel veel metingen te doen met de app via het “crowdsourcen” zonder die metingen te vergelijken met een ECG neemt de waarde van de app absoluut niet toe.

Privacy  

De gratis app van het commerciële bedrijf Happitech wil meerdere persoonlijk gegevens hebben. Dat zijn de leeftijd, geslacht, land, gewicht, bekende klachten, roken, lifestyle( actief etc.) naast info over het iPhone-model, systeemversie, hardware en browserversie. Dat is nogal wat. In de gebruiksvoorwaarden van de app staat ook dat de locatie genoteerd wordt. Bij gebruik van de locatiebepaling van de smartphone is daarmee het precieze woonadres bekend. Happitech zegt als maker van de app de data niet te openbaren aan derden. Even verder zegt men dat wel te doen in het geval van een bedrijfsreorganisatie of overname of samenwerking. Dat is een nogal rekbare definitie, waardoor overdracht van data aan derden WEL snel mogelijk is. Het is anders ook niet goed voor te stellen wat het verdienmodel van Happitech is. De privacy is dus gewoon slecht geregeld.

Samenwerking

In het artikel op SmartHealth wordt gewag gemaakt van samenwerking met ziekenhuizen. Het enige artikel dat ik kon vinden was op SmartHealth met de cardioloog Jonas de Jong van het Onze Lieve Vrouwe Gasthuis( OLVG) te Amsterdam. Dat artikel dateert van april 2016 en vermeldt het monitoren van in het ziekenhuis met atriumfibrilleren bekend en behandeld zijnde patiënten. De app die daar gebruikt wordt en die de voorloper moet zijn van de Heart voor Heart app vermeldt in de bijgevoegde informatie ook uitdrukkelijk dat hij bedoeld is voor gebruik bij patiënten van het OLVG. Het zijn mensen die bekend zijn met AF en waarbij elektrocardiografisch al documentatie bestaat. Een duidelijk omschreven en anderszins ook gemonitorde populatie. Die monitoren met een dit soort apps kan zinvol zijn maar heeft ook beperkingen. Het gebruik van de app Heart for Heart in de open populatie met de pretentie AF op te sporen is beslist een brug te ver.

Disclaimer

Tenslotte zegt Happitech zelf in de Terms of Use and Privacy Policy in paragraaf Warranties and Liability op de website heartrateapp.com,  dat de meting met de smartphone geen substituut is voor metingen met medische apparatuur en doktersonderzoek en dat cellphones geen (gevalideerde) medische apparaten zijn. Ook stelt men niet verantwoordelijk te zijn voor verschillen tussen de metingen met de app op de smartphone en gelijksoortige metingen op gevalideerde medische apparatuur.

Wat is dan nog de waarde van deze app die een medisch tintje lijkt te hebben?

W.J. Jongejan