Utah brak in januari de grond af. Het werd de eerste staat die een autonoom AI-systeem toestond om recepten te vernieuwen. De verhuizing testte niet alleen de technologie; het testte de grenzen van medische vergunningen, regelgevende macht en publiek vertrouwen. Nu schreeuwen de American Medical Association, de medische raad van de staat en de FDA allemaal tegen elkaar over wat veilige zorg inhoudt.
Bij de kernovereenkomst zijn Doctronic en het staatsbureau voor kunstmatige-intelligentiebeleid betrokken. Onder deze deal stemde Utah ermee in om de wetten inzake onprofessioneel gedrag tegen het bedrijf af te dwingen. In ruil daarvoor houdt Doctronic zich aan strikte veiligheids- en privacyregels. Deze regelgevende oplossing vormt de kern van de ‘Utah AI-voorschrijfpilot’ – een programma waarmee een machine routinematig medisch onderhoud kan uitvoeren zonder direct toezicht van een arts.
Hoe het Utah AI-receptsysteem feitelijk werkt
Als u een chronische aandoening heeft, is het proces eenvoudig. De AI van Doctronic kan voorraden voor 30, 60 of 90 dagen aanvullen. De kosten bedragen € 4,- per recept. Het omvat ongeveer 190 geneesmiddelen tegen hoge bloeddruk, diabetes en depressie.
Hier is het addertje onder het gras: de AI verwerkt alleen verlengingen van medicijnen die een erkende leverancier al heeft voorgeschreven. Er worden geen nieuwe behandelbeslissingen genomen.
Om in aanmerking te komen, bevestigt een patiënt dat hij zich fysiek in Utah bevindt. Ze beantwoorden klinische vragen. Als het systeem ze wist, gaat de navulling rechtstreeks naar de apotheek. Als de AI aarzelt? Het draagt de zaak over aan een menselijke arts van het telezorgteam van Doctronic.
“Ons werd feitelijk verteld: ‘Ja, dit is aan de hand. En ja, jij hebt er niets over te zeggen.'” — Dr. Alan Smith, Utah Medical Licensing Board
Het klinkt eenvoudig. Maar Michelle Mello van Stanford noemt het ‘een van de eerste implementaties op schaal van een autonoom, agentisch systeem in de geneeskunde’. Dat onderscheid is van belang. In juli was Associated Press al begonnen artsen en advocaten te vragen of we per ongeluk een machine een medische vergunning hadden verleend.
Vroege gegevens: voorzichtigheid over efficiëntie
Het Utah Department of Commerce heeft in mei pilotgegevens vrijgegeven. Vijf maanden resultaat. De bevindingen zijn op zijn zachtst gezegd genuanceerd.
In 72% van de gevallen waarin Doctronic een verlenging aanbeveelde, werd het verzoek doorgestuurd naar een menselijke arts voor definitieve aftekening. Artsen waren het er in 91% van de gevallen mee eens. Voor die resterende 9% vroegen ze om meer informatie. Bijgewerkte laboratoria. Meer context.
De overige 28% van de tijd escaleerde de AI de zaak zelf naar een arts. Het signaleerde complicaties. Het vereiste nieuwe tests. Artsen waren het in 69% van de gevallen met deze escalaties eens. Er bleef een deel van 31% over waarvan artsen dachten dat de AI overdreven voorzichtig was.
Zach Boyd, hoofd van het AI-kantoor in Utah, geeft toe dat Doctronic voorzichtig is. Het legt routinematig oncontroversiële beslissingen aan de mens over. Dit wordt gezien als passend voor een nieuw systeem. Het is ook precies wat het efficiëntieargument ondermijnt. Waarom werk automatiseren als de mens het nog steeds 72% van de tijd moet doen?
Het ontwerp garandeert deze overlap. Een door Utah erkende arts moet persoonlijk de eerste 250 individuele gevallen beoordelen voordat er iets bij de apotheek terechtkomt. Pas nadat het systeem een nauwkeurigheidsdrempel heeft overschreden, zal de menselijke beoordeling afnemen. Voorlopig is de overlap structureel en niet toevallig.
Het horzelnest van arts-pushback
Het doel ligt voor de hand: de administratieve rompslomp van receptvernieuwingen automatiseren. Patiënten bellen of e-mailen het kantoor van hun arts. Er is geen bezoek aan de aanvraag verbonden, dus geen vergoeding voor het personeel dat de aanvraag afhandelt. Medicijnen voor chronische ziekten veranderen zelden van navulling tot navulling. Logica suggereert dat AI dat geluid kan absorberen.
Dr. Adam Oskowitz, medeoprichter van Doctronic, ziet een toekomst voor zich waarin AI routinetaken zoals het bestellen van tests afhandelt. Hij wil dat artsen ‘duizenden meer patiënten behandelen dan ze vandaag de dag kunnen’.
De Utah Medical Licensing Board koopt het niet. Ze hoorden over het programma via de krantenkoppen, niet via overheidsfunctionarissen. In april schreven elf bestuursleden een brief waarin ze schorsing eisten.
Hun argument? Het vernieuwen van medicijnen zonder te controleren op veranderingen in de toestand van een patiënt is riskant. Sommige medicijnen op de Doctronic-lijst bevatten bloedverdunners.
“Als ik mensen na zes maanden zie, merk ik vaak dat hun medische geschiedenis is veranderd,” zei Dr. Smith. “Het feit dat iets eerder werd voorgeschreven, betekent niet dat het nu gepast is.”
De AMA herhaalde dit. Ze waarschuwden dat het verlengen van recepten geen routinematige selectievakjes zijn. Het zijn medische beslissingen.
Public Citizen ging verder met de strijd. In mei steunden ze de oproep van de medische raad tot schorsing. Ze waarschuwden dat piloten onder toezicht van een arts het risico lopen in goedkeuringen te vervallen naarmate het volume groeit.
Twee structurele risico’s: verantwoordelijkheid en reikwijdte
Volgens Michelle Mello liggen er twee opvallende problemen onder de oppervlakte op de loer.
Ten eerste: verantwoording. Het contract tussen Utah en Dothronic is duister. Wie betaalt als een AI-gestuurde fout een patiënt schaadt? De lijnen zijn wazig.
Ten tweede: scope-creep. Zodra de tool van een leverancier via een wettelijke oplossing wordt geïmplementeerd, heeft deze de neiging zich uit te breiden. Het groeit verder dan zijn oorspronkelijke bedoeling zonder te worden geconfronteerd met de kritiek van de eerste lancering. Mello zegt het scherp: “Als het pilotprogramma van Utah de neus van de kameel in de tent is, zal er iemand nodig zijn die de teugels vasthoudt als de kameel tevoorschijn komt.”
Die kameel komt al tevoorschijn. In maart tekende Utah een nieuwe overeenkomst met Legion Health. Deze omvat een gedefinieerde lijst van niet-gecontroleerde psychiatrische onderhoudsmedicijnen: SSRI’s, SNRI’s. Het omvat verplichte escalatie bij suïcidaliteit, manie of ernstige bijwerkingen.
De vangrails zijn strakker. Het vereist een artsenconcordantie van 98% voor de eerste 250 gevallen. Dan 99% voor de volgende 1,0,0.
De kloof in de regelgeving: wie heeft hier een licentie?
Artsen hebben licenties om geneeskunde uit te oefenen. AI niet. Dit binaire getal doorbreekt het huidige wettelijke kader.
Eric Bressman van de Universiteit van Pennsyvlania stelt dat we een drempel hebben overschreden. We verlenen feitelijk een niet-menselijke entiteit een medische vergunning. Hij vergelijkt de huidige lappendeken met het prenationale tijdperk van de Amerikaanse geneeskunde. Hij verwijt Utah dat het te goeder trouw garanties van het bedrijf heeft aanvaard in plaats van gepubliceerde uitkomstgegevens te eisen vóór de lancering.
Het enige beschikbare bewijs is een door het bedrijf geschreven, niet-peer-reviewed onderzoek waaruit bleek dat de diagnoses van Doctronic in 80% van de gevallen overeenkwamen met menselijke artsen in 500 telezorgconsulten.
Dan is er jurisdictie. Medische apparaten vallen onder de federale FDA-regelgeving. De medische praktijk is een zaak op staatsniveau. Doctronic zit in de kloof tussen de twee. Leidinggevenden vertelden de AP dat ze hun hulpmiddel beschouwen als onderdeel van de door de staat gereguleerde geneeskunde. Ze weigerden te bevestigen of ze goedkeuring van de FDA hadden aangevraagd.
De FDA reageerde eenvoudig: ze hebben “geen AI-chatbots geautoriseerd” en nemen momenteel een hands-off houding aan.
Waar gaat de AI-zorgregelgeving vanaf hier?
Utah zal niet lang de uitschieter zijn. Rapporten suggereren dat Texas en Wyoming soortgelijke AI-uitsluitingen in hun regels verweven. Wetgevers in Iowa, Idaho en elders introduceren wetsvoorstellen om formeel licenties te verlenen voor medische diensten op het gebied van AI, waarvan vele een sjabloon van het Cicero Institute gebruiken.
Adam Meier, directeur gezondheidsbeleid van Cicero, vat het verzet in economische termen samen. Wie het eerst gaat, wordt beschoten. Economische belangen. Zorgen over het personeel. Werkzekerheid.
Utah belooft zijn bevindingen te publiceren. Doctronic zegt dat er dit jaar peer-reviewed onderzoeken komen. Of die onderzoeken nu aankomen vóór of nadat het programma stopt, de menselijke beoordelingsfase zal waarschijnlijk alles beslissen.
Bedrijven kunnen hun bedrijfsmodellen uitbreiden door voorbij het huidige bewijsmateriaal te springen. Het is winstgevend op de korte termijn. Het risico brengt, zoals Daniel Aaron tegen de AP zei, het vertrouwen van het publiek in gevaar. Het aanwakkeren van tegenreacties. Op de lange termijn zou dat meer kunnen kosten dan de efficiëntiewinsten ooit waard waren.
