Pilota sulla prescrizione di intelligenza artificiale nello Utah: risultati, rischi e scappatoie normative

21

Lo Utah ha aperto i battenti a gennaio. È diventato il primo stato a consentire un sistema di intelligenza artificiale autonomo per rinnovare le prescrizioni. La mossa non ha solo testato la tecnologia; ha messo alla prova i confini delle licenze mediche, del potere normativo e della fiducia del pubblico. Ora, l’American Medical Association, l’ordine medico statale e la FDA si stanno tutti gridando a vicenda su cosa costituisca un’assistenza sicura.

L’accordo principale coinvolge Doctronic e l’Ufficio statale per le politiche sull’intelligenza artificiale. In base a questo accordo, lo Utah ha accettato di non applicare le sue leggi sulla condotta non professionale contro la società. In cambio, Doctronic aderisce a rigorosi controlli di sicurezza e privacy. Questa soluzione normativa è il cuore del “pilota di prescrizione AI dello Utah”, un programma che consente a una macchina di gestire la manutenzione medica di routine senza la supervisione immediata di un medico.

Come funziona effettivamente il sistema di prescrizione AI dello Utah

Se hai una condizione cronica, il processo è semplice. L’intelligenza artificiale di Doctronic può ricaricare forniture da 30, 60 o 90 giorni. Il costo è di $ 4 per prescrizione. Copre circa 190 farmaci per l’ipertensione, il diabete e la depressione.

Ecco il problema: l’intelligenza artificiale gestisce solo i rinnovi per i medicinali già prescritti da un fornitore autorizzato. Non prende nuove decisioni terapeutiche.

Per qualificarsi, un paziente conferma di essere fisicamente nello Utah. Rispondono a domande cliniche. Se il sistema li azzera, la ricarica arriva direttamente in farmacia. Se l’IA esita? Affida il caso a un medico umano del team di telemedicina di Doctronic.

“In sostanza ci è stato detto: ‘Sì, sta succedendo. E sì, non hai voce in capitolo.'” — Dr. Alan Smith, Utah Medical Licensing Board

Sembra semplice. Ma Michelle Mello di Stanford lo definisce “uno dei primi dispiegamenti su larga scala di qualsiasi sistema autonomo e ad agenti in medicina”. Questa distinzione è importante. A luglio l’Associated Press aveva già iniziato a chiedere a medici e avvocati se avessimo accidentalmente concesso a una macchina una licenza medica.

Primi dati: cautela sull’efficienza

Il Dipartimento del Commercio dello Utah ha pubblicato i dati pilota a maggio. Cinque mesi di risultati. I risultati sono sfumati, per non dire altro.

Nel 72% dei casi in cui Doctronic ha consigliato un rinnovo, ha indirizzato la richiesta a un medico umano per l’approvazione finale. I medici erano d’accordo nel 91% dei casi. Per il restante 9%, hanno chiesto maggiori informazioni. Laboratori aggiornati. Più contesto.

Nel restante 28% dei casi, l’intelligenza artificiale ha inoltrato autonomamente il caso a un medico. Ha segnalato complicazioni. Richiedeva nuovi test. I medici erano d’accordo con queste escalation nel 69% dei casi. Ciò ha lasciato una quota del 31% in cui i medici pensavano che l’intelligenza artificiale fosse eccessivamente cauta.

Zach Boyd, a capo dell’ufficio AI dello Utah, ammette che Doctronic pecca di prudenza. Di solito dà agli esseri umani decisioni non controverse. Ciò è considerato appropriato per un nuovo sistema. Ed è proprio ciò che mina l’argomento dell’efficienza. Perché automatizzare il lavoro se è ancora l’essere umano a doverlo fare il 72% delle volte?

Il design garantisce questa sovrapposizione. Un medico autorizzato dallo Utah deve esaminare personalmente i primi 250 casi individuali prima che qualcosa arrivi in ​​farmacia. Solo dopo che il sistema avrà superato una soglia di precisione, verrà indirizzata la riduzione della revisione umana. Per ora la sovrapposizione è strutturale, non casuale.

Il vespaio delle resistenze dei medici

L’obiettivo è evidente: automatizzare l’iter amministrativo dei rinnovi delle prescrizioni. I pazienti chiamano o inviano un’e-mail allo studio del proprio medico. Non è prevista alcuna visita legata alla richiesta, quindi nessun rimborso per il personale che la gestisce. I farmaci per le malattie croniche raramente cambiano da una ricarica all’altra. La logica suggerisce che l’intelligenza artificiale può assorbire quel rumore.

Il dottor Adam Oskowitz, cofondatore di Doctronic, immagina un futuro in cui l’intelligenza artificiale gestirà attività di routine come ordinare test. Vuole che i medici gestiscano “migliaia di pazienti in più rispetto a quanto possono fare oggi”.

Lo Utah Medical Licensing Board non lo sta bevendo. Hanno appreso del programma dai titoli dei giornali, non dai funzionari statali. Ad aprile, 11 membri del consiglio hanno scritto una lettera chiedendo la sospensione.

Their argument? Rinnovare i farmaci senza verificare i cambiamenti nelle condizioni del paziente è rischioso. Alcuni dei farmaci nell’elenco di Doctronic includono anticoagulanti.

“Molte volte, quando vedo le persone dopo sei mesi, trovo che la loro storia medica è cambiata”, ha detto il dottor Smith. “Solo perché qualcosa è stato prescritto prima non significa che sia appropriato ora.”

The AMA echoed this. Hanno avvertito che i rinnovi delle prescrizioni non sono caselle di controllo di routine. Sono decisioni mediche.

Public Citizen ha portato la battaglia oltre. A maggio hanno appoggiato la richiesta di sospensione avanzata dalla commissione medica. Hanno avvertito che i piloti “sorvegliati da un medico” rischiano di scivolare in approvazioni con timbro man mano che il volume aumenta.

Due rischi strutturali: responsabilità e incertezza sull’ambito

Secondo Michelle Mello, ci sono due questioni evidenti che si nascondono sotto la superficie.

First, accountability. Il contratto tra Utah e Dothronic è oscuro. Chi paga se un errore guidato dall’intelligenza artificiale ferisce un paziente? The lines are blurred.

Second, scope creep. Una volta implementato attraverso una soluzione normativa, lo strumento di un fornitore tende ad espandersi. Cresce oltre il suo intento originale senza affrontare l’esame accurato del lancio iniziale. Mello lo dice chiaramente: “Se il programma pilota dello Utah è il naso del cammello nella tenda, avrà bisogno di qualcuno che tenga le redini quando il cammello emerge”.

Quel cammello sta già emergendo. A marzo, lo Utah ha firmato un nuovo accordo con Legion Health. Questo copre un elenco definito di farmaci di mantenimento psichiatrico non controllati: SSRI, SNRI. Include un’escalation obbligatoria per suicidio, mania o effetti collaterali gravi.

I guardrail sono più stretti. Richiede un tasso di concordanza dei medici del 98% per i primi 250 casi. Quindi il 99% per il successivo 1,0,0.

Il divario normativo: chi ha la licenza qui?

I medici hanno la licenza per esercitare la professione medica. AI does not. Questo binario sta rompendo l’attuale quadro giuridico.

Eric Bressman dell’Università della Pennsyvlania sostiene che abbiamo oltrepassato una soglia. Stiamo effettivamente concedendo a un’entità non umana una licenza medica. Egli paragona il mosaico di oggi all’era degli standard di licenza pre-nazionali della medicina americana. Incolpa lo Utah per aver accettato assicurazioni in buona fede dalla società piuttosto che richiedere dati sui risultati pubblicati prima del lancio.

L’unica prova disponibile è uno studio condotto dall’azienda e non sottoposto a revisione paritaria che ha scoperto che le diagnosi di Doctronic corrispondevano a quelle dei medici umani nell’80% dei casi in 500 consultazioni di telemedicina.

Poi c’è la giurisdizione. I dispositivi medici rientrano nella regolamentazione federale della FDA. La pratica medica è un affare a livello statale. Doctronic si trova nel divario tra i due. I dirigenti hanno detto all’AP che considerano il loro strumento come parte della medicina regolamentata dallo stato. Hanno rifiutato di confermare se avrebbero richiesto l’autorizzazione della FDA.

La FDA ha risposto semplicemente: “non ha autorizzato alcun chatbot basato sull’intelligenza artificiale” e attualmente sta assumendo una posizione di non intervento.

Da qui in poi, dove andrà la regolamentazione sanitaria dell’IA?

Lo Utah non resterà un valore anomalo per molto tempo. I rapporti suggeriscono che Texas e Wyoming stanno inserendo simili soluzioni di intelligenza artificiale nelle loro regole. I legislatori in Iowa, Idaho e altrove stanno introducendo progetti di legge per autorizzare formalmente i servizi medici di intelligenza artificiale, molti dei quali utilizzano un modello del Cicero Institute.

Adam Meier, direttore della politica sanitaria di Cicero, inquadra la resistenza in termini economici. Chi va per primo viene colpito. Interessi economici. Preoccupazioni per la forza lavoro. Sicurezza del lavoro.

Lo Utah promette di pubblicare i suoi risultati. Doctronic afferma che quest’anno arriveranno studi sottoposti a revisione paritaria. Il fatto che tali studi arrivino prima o dopo l’interruzione della fase di revisione umana del programma probabilmente deciderà tutto.

Le aziende possono espandere i propri modelli di business andando oltre le prove attuali. È redditizio nel breve termine. Il rischio, come ha detto Daniel Aaron all’AP, è quello di compromettere la fiducia del pubblico. Alimentando il contraccolpo. A lungo termine, ciò potrebbe costare più di quanto siano mai valsi i guadagni di efficienza.