Utah utorowało drogę w styczniu, stając się pierwszym stanem, który umożliwił autonomicznemu systemowi sztucznej inteligencji odnawianie recept. To posunięcie nie tylko przetestowało technologię; przetestował granice licencji medycznych, władzy regulacyjnej i zaufania publicznego. Obecnie Amerykańskie Stowarzyszenie Medyczne, stanowe rady praktyk lekarskich oraz Agencja ds. Żywności i Leków (FDA) toczą spór o to, co naprawdę stanowi bezpieczną opiekę medyczną.
Istota porozumienia zawarta jest pomiędzy Doctronic a Państwowym Biurem ds. Polityki Sztucznej Inteligencji. W ramach tej umowy stan Utah zgodził się nie stosować wobec firmy przepisów dotyczących nieuczciwych praktyk zawodowych. W zamian Doctronic przestrzega rygorystycznych ram bezpieczeństwa i poufności. To obejście regulacyjne stanowi istotę „Programu pilotażowego przepisywania leków przez sztuczną inteligencję w stanie Utah”, programu umożliwiającego maszynie wykonywanie rutynowej opieki medycznej bez bezpośredniego nadzoru lekarza.
Jak faktycznie działa system receptur AI w stanie Utah
Jeśli cierpisz na chorobę przewlekłą, proces jest prosty. Doctronic AI może przedłużyć Twoje oświadczenie o 30, 60 lub 90 dni. Koszt jednej recepty wynosi 4 dolary. Na liście znajduje się około 190 leków stosowanych w leczeniu nadciśnienia, cukrzycy i depresji.
Jest jednak jedno zastrzeżenie: sztuczna inteligencja zajmuje się wyłącznie odnawianiem recept na leki przepisane wcześniej przez licencjonowanego lekarza. Nie podejmuje nowych decyzji terapeutycznych.
Aby wziąć udział, pacjent musi potwierdzić, że fizycznie przebywa w stanie Utah i odpowiedzieć na pytania kliniczne. Jeżeli system zatwierdzi wniosek, odnowienie zostanie wysłane bezpośrednio do apteki. Jeśli AI się waha? Sprawa zostaje przekazana lekarzowi z zespołu telemedycznego Doctronic.
„Zasadniczo powiedziano nam: «Tak, to się dzieje. I tak, nie masz do tego prawa»” — Dr. Alan Smith, Rada ds. Licencjonowania Lekarzy Utah
Brzmi prosto. Jednak Michell Mello ze Stanford nazywa to „jednym z pierwszych wdrożeń na dużą skalę jakiegokolwiek autonomicznego, samowystarczalnego systemu w medycynie”. To rozróżnienie jest ważne. W lipcu Associated Press zaczęła pytać lekarzy i prawników, czy przypadkowo przyznaliśmy maszynie licencję medyczną.
Wczesne dane: ostrożność w stosunku do wydajności
Departament Handlu stanu Utah opublikował w maju dane z projektu pilotażowego. Pięć miesięcy wyników. Wyniki są, delikatnie mówiąc, niejednoznaczne.
W 72% przypadków, w których firma Doctronic zaleciła przedłużenie, przekazała tę prośbę lekarzowi w celu ostatecznego zatwierdzenia. Lekarze zgodzili się z tym w 91% przypadków. Pozostałe 9% poprosiło o dodatkowe informacje: zaktualizowane analizy lub pełniejszy kontekst.
W pozostałych 28% przypadków sztuczna inteligencja samodzielnie przekazała sprawę lekarzowi. Zauważył komplikacje i zażądał nowych badań. Lekarze zgodzili się z tą eskalacją w 69% przypadków. Oznacza to, że w 31% przypadków lekarze uznali działania sztucznej inteligencji za zbyt ostrożne.
Zach Boyd, szef biura AI w Utah, przyznaje, że Doctronic gra ostrożnie. Regularnie przedkłada decyzje niekonfliktowe ludziom do zatwierdzenia. Jest to uważane za normalne w przypadku nowego systemu. To właśnie podważa argument dotyczący efektywności. Po co automatyzować pracę, jeśli i tak w 72% przypadków musi ją wykonywać człowiek?
Projekt gwarantuje to skrzyżowanie. Klinika licencjonowana w stanie Utah musi osobiście sprawdzić pierwsze 250 indywidualnych przypadków, zanim cokolwiek trafi do apteki. Dopiero gdy system osiągnie próg dokładności, bezpośrednia kontrola człowieka zostanie ograniczona. Jak na razie to skrzyżowanie ma charakter strukturalny, a nie przypadkowy.
Szerszeń wrogości: opór lekarzy
Cel jest jasny: zautomatyzować obciążenie administracyjne związane z odnawianiem recept. Pacjenci dzwonią lub piszą do gabinetu lekarskiego. Wizyta nie jest wymagana, a personel nie otrzyma zwrotu kosztów za rozpatrzenie takiej prośby. Leki na choroby przewlekłe rzadko zmieniają się z odnowienia na odnowienie. Logika podpowiada, że sztuczna inteligencja może wchłonąć ten „hałas”.
Dr Adam Oskowitz, współzałożyciel Doctronic, widzi przyszłość, w której sztuczna inteligencja przejmuje rutynowe zadania, takie jak zlecanie testów. Chce, aby lekarze leczyli „tysiące więcej pacjentów niż obecnie”.
Komisja ds. licencjonowania lekarzy stanu Utah nie jest tego zdania. O programie dowiedzieli się z wiadomości, a nie od urzędników państwowych. W kwietniu 11 członków rady napisało pismo z żądaniem zawieszenia.
Ich argument? Przedłużanie leczenia bez sprawdzenia zmian w stanie pacjenta jest ryzykowne. Niektóre leki na liście Doctronic obejmują leki rozrzedzające krew.
„Wiele razy, gdy spotykam ludzi po sześciu miesiącach, stwierdzam, że ich historia medyczna uległa zmianie” – powiedział dr Smith. „To, że coś zostało przepisane wcześniej, nie oznacza, że jest właściwe teraz”.
Amerykańskie Stowarzyszenie Medyczne (AMA) poparło to stanowisko. Ostrzegli, że odnawianie recept nie jest kwestią rutynowego zaznaczania listy kontrolnej, ale decyzji medycznych.
Public Citizen posunął się dalej w walce. W maju poparli wezwanie rady do zamrożenia, ostrzegając, że w miarę wzrostu liczby pilotów „pod nadzorem lekarza” istnieje ryzyko, że w miarę wzrostu liczby operacji zostaną poddani stemplowaniu pośmiertnemu.
Dwa ryzyka strukturalne: odpowiedzialność i nadmierne zaangażowanie
Według Michella Mello pod powierzchnią czają się dwa poważne problemy.
Po pierwsze, odpowiedzialność. Umowa pomiędzy Utah i Doctronic jest niejasna. Kto płaci, jeśli błąd spowodowany przez sztuczną inteligencję szkodzi pacjentowi? Granice są zamazane.
Po drugie, pełzanie lunety. Gdy narzędzie dostawcy zostanie wdrożone z obejściem przepisów, ma ono tendencję do rozszerzania się. Wykracza poza pierwotne zamierzenia, nie poddając się kontroli wymaganej w momencie jego pierwotnego uruchomienia. Mello ujął to ostro: „Jeśli program pilotażowy w Utah polega na tym, że wielbłąd wkłada nos do namiotu, to kiedy wielbłąd już wjedzie do namiotu, ktoś musi trzymać wodze”.
Ten wielbłąd już wytyka nos. W marcu Utah podpisało nową umowę z Legion Health. Obejmuje konkretną listę leków wspomagających psychiatrię, które nie są substancjami kontrolowanymi (SSRI, SNRI). Uwzględniono obowiązkową eskalację przypadków samobójstwa, manii lub poważnych zdarzeń niepożądanych.
Mechanizmy kontrolne są bardziej rygorystyczne. Wymagana jest zgoda lekarza wynosząca 98% w przypadku pierwszych 250 przypadków. Następnie 99% przez następne 100 przypadków.
Luka regulacyjna: kto ma tutaj licencję?
Lekarze mają uprawnienia do wykonywania zawodu lekarza. AI nie. Ta binarna opozycja niszczy obecne ramy prawne.
Eric Bresman z University of Pennsylvania twierdzi, że przekroczyliśmy pewien próg. Zasadniczo dajemy istocie innej niż człowiek licencję medyczną. Porównuje dzisiejszy system patchworkowy do epoki przed wprowadzeniem krajowych standardów licencyjnych w medycynie amerykańskiej. Krytykuje stan Utah za przyjęcie zapewnień firmy w dobrej wierze, zamiast wymagać publikowania danych dotyczących skuteczności przed wprowadzeniem na rynek.
Jedyne dostępne informacje to opracowane przez firmę, nierecenzowane badanie wykazujące, że diagnozy Doctronic pokrywały się z diagnozami lekarzy w 80% przypadków podczas 500 konsultacji telemedycznych.
To rodzi kwestię jurysdykcji. Urządzenia medyczne podlegają federalnym regulacjom FDA. Praktyka lekarska leży w gestii państw. Doctronic wypełnia lukę pomiędzy tymi dwoma światami. Kierownictwo powiedzieli AP, że postrzegają swoje narzędzie jako część medycyny regulowanej przez państwo. Odmówili potwierdzenia, czy otrzymali zgodę FDA.
Odpowiedź FDA była krótka: „nie autoryzowała żadnych chatbotów opartych na sztucznej inteligencji” i obecnie utrzymuje politykę „bez angażowania rąk”.
W jakim kierunku zmierzają regulacje dotyczące sztucznej inteligencji w opiece zdrowotnej?
Utah nie będzie wyjątkiem przez długi czas. Według doniesień Teksas i Wyoming zapisują w swoich przepisach podobne wyjątki dla sztucznej inteligencji. Ustawodawcy w Iowa, Idaho i innych stanach wprowadzają ustawy mające na celu formalne licencjonowanie dostawców usług opieki zdrowotnej wykorzystujących sztuczną inteligencję, z których wielu korzysta z szablonu opracowanego przez Caesar Institute.
Adam Mayer, dyrektor ds. polityki zdrowotnej w Instytucie Cezara, opisuje opór w kategoriach ekonomicznych. Ktokolwiek pójdzie pierwszy, zostaje zastrzelony. Zagadnienia interesów gospodarczych, pracy i bezpieczeństwa pracy.
Utah obiecuje opublikować wyniki. Doctronic twierdzi, że recenzowane badania zostaną opublikowane w tym roku. To, czy badania te pojawią się przed, czy po opuszczeniu przez program fazy ręcznej, prawdopodobnie będzie miało znaczenie.
Firmy mogą rozszerzać swoje modele biznesowe, wykraczając poza obecne dowody. Na krótką metę jest to opłacalne. Ryzyko, powiedział AP dr Daniel Aaron, zagraża zaufaniu publicznemu. Karmienie odwrotnym skutkiem. Na dłuższą metę może to kosztować więcej niż cały wzrost wydajności.
