Utah vydláždil cestu v lednu tím, že se stal prvním státem, který umožnil autonomnímu systému umělé inteligence obnovovat předpisy. Tento krok nejenom testoval technologii; testoval hranice lékařských licencí, regulační pravomoci a důvěry veřejnosti. Nyní jsou Americká lékařská asociace, státní rady pro lékařskou praxi a Food and Drug Administration (FDA) uzavřeny v hádce o to, co skutečně představuje bezpečnou lékařskou péči.
Jádrem dohody je dohoda mezi společností Doctronic a státním úřadem pro politiku umělé inteligence. V rámci této dohody Utah souhlasil, že na společnost nebude uplatňovat zákony o nekalých profesionálních praktikách. Výměnou za to Doctronic dodržuje přísné rámce zabezpečení a důvěrnosti. Toto regulační řešení je podstatou „pilotního programu předepisování umělé inteligence v Utahu“, programu, který umožňuje přístroji provádět běžnou lékařskou péči bez přímého dohledu lékaře.
Jak ve skutečnosti funguje systém receptů umělé inteligence v Utahu
Pokud máte chronické onemocnění, postup je jednoduchý. Doctronic AI může prodloužit váš výpis o 30, 60 nebo 90 dní. Cena za recept je 4 USD. Seznam obsahuje asi 190 léků na léčbu hypertenze, cukrovky a deprese.
Ale je tu jedno upozornění: AI se zabývá pouze obnovováním receptů na léky, které dříve předepisoval licencovaný lékař. Nečiní žádná nová rozhodnutí o léčbě.
Aby se pacient mohl zúčastnit, musí potvrdit, že se fyzicky nachází v Utahu, a odpovědět na klinické otázky. Pokud systém žádost schválí, je prodloužení odesláno přímo do lékárny. Pokud AI zaváhá? Případ je předán lékaři z telemedicínského týmu Doctronic.
“Bylo nám v podstatě řečeno: ‘Ano, toto se děje. A ano, nemáte na to právo.'” — Dr. Alan Smith, licenční rada pro lékaře v Utahu
Zní to jednoduše. Michell Mello ze Stanfordu to ale nazývá „jedno z prvních rozsáhlých nasazení jakéhokoli autonomního, soběstačného systému v medicíně“. Toto rozlišení je důležité. V červenci se agentura Associated Press začala ptát lékařů a právníků, zda jsme stroji náhodou neudělili lékařskou licenci.
Prvotní data: Pozor na účinnost
Ministerstvo obchodu státu Utah zveřejnilo data z pilotního projektu v květnu. Pět měsíců výsledků. Nálezy jsou mírně řečeno nejednoznačné.
V 72 % případů, kdy Doctronic doporučil prodloužení, předal žádost lidskému lékaři ke konečnému schválení. Lékaři souhlasili v 91 % případů. Zbývajících 9 % požadovalo další informace: aktualizované analýzy nebo úplnější kontext.
Ve zbývajících 28 % případů AI nezávisle eskalovala případ k lékaři. Zaznamenal komplikace a požádal o nové testování. Lékaři souhlasili s těmito eskalacemi v 69 % případů. Zůstalo tak 31 % případů, kdy lékaři považovali jednání AI za příliš opatrné.
Zach Boyd, vedoucí kanceláře pro umělou inteligenci v Utahu, připouští, že Doctronic hraje na jistotu. Pravidelně předkládá lidem ke schválení nekonfliktní rozhodnutí. To je u nového systému považováno za normální. To je také přesně to, co podkopává argument účinnosti. Proč automatizovat práci, když ji stejně 72 % času musí dělat člověk?
Design toto protnutí zaručuje. Klinika s licencí v Utahu musí osobně zkontrolovat prvních 250 jednotlivých případů, než se něco dostane do lékárny. Pouze jakmile systém dosáhne prahu přesnosti, přímé lidské ovládání se sníží. Tato křižovatka je zatím strukturální, nikoli náhodná.
Sršeň nepřátelství: odpor lékařů
Cíl je jasný: automatizovat administrativní zátěž prodlužování receptů. Pacienti volají nebo píší do ordinace lékaře. Není nutná žádná návštěva a zaměstnanci nebudou za vyřízení takové žádosti propláceny. Léky na chronická onemocnění se zřídka mění z obnovy na obnovu. Logika velí, že AI dokáže absorbovat tento „šum“.
Dr. Adam Oskowitz, spoluzakladatel Doctronic, vidí budoucnost, kdy AI převezme rutinní úkoly, jako je objednávání testů. Chce, aby lékaři zvládali „tisíce pacientů více, než máme v současnosti“.
Utah Physician Licensing Board tomu nevěří. O programu se dozvěděli ze zpráv, nikoli od vládních úředníků. V dubnu napsalo 11 členů rady dopis požadující pozastavení.
Jejich argument? Prodlužování léků bez kontroly změn stavu pacienta je riskantní. Některé léky na seznamu Doctronic zahrnují léky na ředění krve.
“Mnohokrát, když vidím lidi po šesti měsících, zjišťuji, že se jejich zdravotní historie změnila,” řekl Dr. Smith. “To, že bylo něco předepsáno dříve, neznamená, že je to vhodné nyní.”
Americká lékařská asociace (AMA) tento postoj podpořila. Varovali, že obnovování receptů není záležitostí rutinního zaškrtávání kontrolních seznamů, ale lékařských rozhodnutí.
Public Citizen dotáhl boj dále. V květnu podpořili výzvu rady ke zmrazení a varovali, že piloti „sledovaní lékaři“ riskují, že se s rostoucím objemem změní v posmrtné razítko.
Dvě strukturální rizika: odpovědnost a přesah
Podle Michella Mella se pod povrchem skrývají dva vážné problémy.
Za prvé, odpovědnost. Smlouva mezi Utahem a Doctronic je nejasná. Kdo zaplatí, když chyba způsobená umělou inteligencí poškodí pacienta? Hranice jsou rozmazané.
Za druhé, rozsah plížení. Jakmile je nástroj dodavatele nasazen prostřednictvím regulačního bypassu, má tendenci expandovat. Jde nad rámec původních záměrů, aniž by čelil kontrole, která byla vyžadována při původním spuštění. Mello to říká ostře: „Pokud je pilotním programem Utahu velbloud strkající nos do stanu, pak když je velbloud úplně dovnitř, někdo musí držet otěže.“
Tento velbloud už vystrkuje nos. Utah podepsal novou dohodu s Legion Health v březnu. Zahrnuje konkrétní seznam psychiatrických podpůrných léků, které nejsou kontrolovanými látkami (SSRI, SNRI). Je zahrnuta povinná eskalace případů sebevraždy, mánie nebo závažných nežádoucích příhod.
Kontrolní mechanismy jsou přísnější. Vyžaduje 98% souhlas lékaře pro prvních 250 případů. Pak 99 % pro dalších 100 případů.
Regulační mezera: kdo je zde licencován?
Lékaři mají povolení k výkonu lékařské praxe. AI ne. Tato binární opozice ničí současný právní rámec.
Eric Bresman z University of Pennsylvania tvrdí, že jsme překročili práh. V podstatě dáváme ne-lidské entitě lékařskou licenci. Dnešní patchworkový systém přirovnává k době před národními licenčními standardy v americké medicíně. Kritizuje Utah za to, že přijal ujištění společnosti v dobré víře, místo aby vyžadoval zveřejněné údaje o účinnosti před uvedením na trh.
Jedinou dostupnou informací je studie, kterou vytvořila společnost a nebyla recenzována, která ukazuje, že diagnózy Doctronic odpovídaly v 80 % případů lidským lékařům při 500 telemedicínských konzultacích.
To vyvolává otázku jurisdikce. Lékařská zařízení jsou federálně regulována FDA. Praxe medicíny je záležitostí států. Doctronic překračuje mezeru mezi těmito dvěma říšemi. Vedoucí pracovníci řekli agentuře AP, že považují svůj nástroj za součást státem regulované medicíny. Odmítli potvrdit, zda obdrželi souhlas FDA.
Odpověď FDA byla stručná: „nepovolili žádné chatboty s umělou inteligencí“ a v současné době dodržují zásadu hands-off.
Kam směřuje regulace umělé inteligence ve zdravotnictví?
Utah nebude dlouho výjimkou. Texas a Wyoming údajně zapisují podobné výjimky pro AI do svých předpisů. Zákonodárci v Iowě, Idahu a dalších státech zavádějí návrhy zákonů, které formálně licencují poskytovatele zdravotní péče založené na umělé inteligenci, z nichž mnozí používají šablonu z Caesar Institute.
Adam Mayer, ředitel zdravotní politiky v Caesarově institutu, popisuje odpor z ekonomického hlediska. Kdo jde první, je zastřelen. Otázky ekonomických zájmů, práce a jistoty zaměstnání.
Utah slibuje, že své výsledky zveřejní. Doctronic říká, že recenzované studie budou zveřejněny letos. Zda se tyto studie objeví před nebo poté, co program opustí manuální fázi, pravděpodobně bude mít zásadní význam.
Společnosti mohou rozšířit své obchodní modely skokem za hranice současných důkazů. Krátkodobě je to ziskové. Toto riziko, řekl Dr. Daniel Aaron agentuře AP, ohrožuje důvěru veřejnosti. Krmení opačný efekt. Z dlouhodobého hlediska to může stát více než všechny zisky z efektivity.
