Projet pilote de prescription d’IA en Utah : résultats, risques et lacunes réglementaires

18

L’Utah a inauguré les travaux en janvier. Il est devenu le premier État à autoriser un système d’IA autonome à renouveler les ordonnances. Cette décision n’a pas seulement testé la technologie ; il a testé les limites de l’autorisation médicale, du pouvoir de réglementation et de la confiance du public. Aujourd’hui, l’American Medical Association, le conseil médical de l’État et la FDA se crient dessus sur ce qui constitue des soins sûrs.

L’accord principal implique Doctronic et l’Office of Artificial Intelligence Policy de l’État. Dans le cadre de cet accord, l’Utah a accepté de ne pas appliquer ses lois anti-conduite professionnelle à l’encontre de l’entreprise. En échange, Doctronic adhère à des mesures strictes de sécurité et de confidentialité. Cette solution de contournement réglementaire est au cœur du « pilote de prescription d’IA de l’Utah » – un programme qui permet à une machine de gérer l’entretien médical de routine sans la surveillance immédiate d’un médecin.

Comment fonctionne réellement le système de prescription de l’IA de l’Utah

Si vous souffrez d’une maladie chronique, le processus est simple. L’IA de Doctronic peut recharger des fournitures pour 30, 60 ou 90 jours. Le coût est de 4 $ par ordonnance. Il couvre environ 190 médicaments contre l’hypertension artérielle, le diabète et la dépression.

Voici le problème : l’IA ne gère que les renouvellements des médicaments déjà prescrits par un fournisseur agréé. Il ne prend pas de nouvelles décisions de traitement.

Pour se qualifier, un patient confirme qu’il se trouve physiquement dans l’Utah. Ils répondent à des questions cliniques. Si le système les efface, la recharge va directement à la pharmacie. Si l’IA hésite ? Il confie le cas à un médecin humain de l’équipe de télésanté de Doctronic.

“On nous a essentiellement dit : ‘Oui, cela se passe. Et oui, vous n’avez pas votre mot à dire.'” — Dr Alan Smith, Utah Medical Licensing Board

Cela semble simple. Mais Michelle Mello de Stanford le qualifie de « l’un des premiers déploiements à grande échelle d’un système agent autonome en médecine ». Cette distinction est importante. En juillet, l’Associated Press avait déjà commencé à demander aux médecins et aux avocats si nous avions accidentellement accordé une licence médicale à une machine.

Premières données : prudence quant à l’efficacité

Le ministère du Commerce de l’Utah a publié des données pilotes en mai. Cinq mois de résultats. Les conclusions sont pour le moins nuancées.

Dans 72 % des cas où Doctronic a recommandé un renouvellement, la demande a été acheminée vers un médecin humain pour approbation finale. Les médecins étaient d’accord dans 91 % des cas. Pour les 9 % restants, ils ont demandé plus d’informations. Laboratoires mis à jour. Plus de contexte.

Dans les 28 % restants, l’IA a transmis elle-même le cas à un médecin. Il a signalé des complications. Cela exigeait de nouveaux tests. Les médecins étaient d’accord avec ces escalades dans 69 % des cas. Cela laissait une part de 31 % dans laquelle les médecins pensaient que l’IA était trop prudente.

Zach Boyd, qui dirige le bureau d’intelligence artificielle de l’Utah, admet que Doctronic fait preuve de prudence. Il renvoie régulièrement aux humains les décisions non controversées. Cela semble approprié pour un nouveau système. C’est aussi précisément ce qui mine l’argument de l’efficacité. Pourquoi automatiser le travail si l’humain doit encore le faire 72 % du temps ?

La conception garantit ce chevauchement. Un clinicien agréé par l’Utah doit examiner personnellement les 250 premiers cas individuels avant que quoi que ce soit n’arrive dans une pharmacie. Ce n’est qu’une fois que le système aura dépassé un seuil de précision que l’examen humain sera supprimé. Pour l’instant, le chevauchement est structurel et non accidentel.

Le nid de frelons du refus des médecins

L’objectif est évident : automatiser la traînée administrative des renouvellements d’ordonnances. Les patients appellent ou envoient un e-mail au cabinet de leur médecin. Il n’y a pas de visite liée à la demande, donc pas de remboursement pour le personnel qui s’en charge. Les médicaments contre les maladies chroniques changent rarement d’une recharge à l’autre. La logique suggère que l’IA peut absorber ce bruit.

Le Dr Adam Oskowitz, co-fondateur de Doctronic, envisage un avenir où l’IA gérera des tâches de routine comme commander des tests. Il souhaite que les médecins prennent en charge “des milliers de patients de plus qu’ils ne le peuvent aujourd’hui”.

Le Conseil des licences médicales de l’Utah ne l’achète pas. Ils ont entendu parler du programme grâce aux gros titres des journaux, et non grâce aux représentants de l’État. En avril, 11 membres du conseil d’administration ont écrit une lettre exigeant une suspension.

Leur argument ? Renouveler des médicaments sans vérifier l’évolution de l’état d’un patient est risqué. Certains des médicaments figurant sur la liste de Doctronic comprennent des anticoagulants.

“Souvent, lorsque je vois des gens après six mois, je constate que leurs antécédents médicaux ont changé”, a déclaré le Dr Smith. “Ce n’est pas parce que quelque chose a été prescrit auparavant qu’il est approprié maintenant.”

L’AMA a fait écho à cela. Ils ont averti que les renouvellements d’ordonnances ne sont pas des cases à cocher de routine. Ce sont des décisions médicales.

Public Citizen a poussé le combat plus loin. En mai, ils ont soutenu l’appel à la suspension de la commission médicale. Ils ont averti que les projets pilotes « supervisés par des médecins » risquaient de se retrouver dans des approbations automatiques à mesure que le volume augmentait.

Deux risques structurels : responsabilité et dérive du périmètre

Selon Michelle Mello, deux problèmes flagrants se cachent sous la surface.

Premièrement, la responsabilité. Le contrat entre l’Utah et Dothronic est trouble. Qui paie si une erreur provoquée par l’IA blesse un patient ? Les lignes sont floues.

Deuxièmement, la dérive de la portée. Une fois que l’outil d’un fournisseur est déployé via une solution de contournement réglementaire, il a tendance à se développer. Il va au-delà de son intention initiale sans faire face à l’examen minutieux du lancement initial. Mello le dit clairement : “Si le programme pilote de l’Utah est le nez du chameau dans la tente, il faudra que quelqu’un tienne les rênes lorsque le chameau émergera.”

Ce chameau est déjà en train d’émerger. En mars, l’Utah a signé un nouvel accord avec Legion Health. Celui-ci couvre une liste définie de médicaments d’entretien psychiatriques non contrôlés – ISRS, SNRI. Il comprend une escalade obligatoire en cas de tendances suicidaires, de manie ou d’effets secondaires graves.

Les garde-corps sont plus serrés. Il nécessite un taux de concordance médicale de 98 % pour les 250 premiers cas. Puis 99% pour le prochain 1,0,0.

L’écart réglementaire : qui est titulaire d’une licence ici ?

Les médecins sont autorisés à exercer la médecine. L’IA ne le fait pas. Ce binaire brise le cadre juridique actuel.

Eric Bressman, de l’Université de Pennsylvanie, affirme que nous avons franchi un seuil. Nous accordons effectivement à une entité non humaine une licence médicale. Il compare le patchwork actuel à l’ère des normes d’homologation pré-nationales de la médecine américaine. Il reproche à l’Utah d’avoir accepté les assurances de bonne foi de l’entreprise plutôt que d’exiger la publication des données sur les résultats avant le lancement.

La seule preuve disponible est une étude rédigée par l’entreprise et non évaluée par des pairs, révélant que les diagnostics de Doctronic correspondaient à des médecins humains dans 80 % des cas lors de 500 consultations de télésanté.

Ensuite, il y a la compétence. Les dispositifs médicaux relèvent de la réglementation fédérale de la FDA. La pratique médicale est une affaire d’État. Doctronic se situe à l’écart entre les deux. Les dirigeants ont déclaré à l’AP qu’ils considéraient leur outil comme faisant partie de la médecine réglementée par l’État. Ils ont refusé de confirmer s’ils avaient demandé l’autorisation de la FDA.

La FDA a répondu simplement : elle n’a « autorisé aucun chatbot IA » et adopte actuellement une posture de non-intervention.

À partir de là, où va la réglementation des soins de santé par l’IA ?

L’Utah ne restera pas longtemps une exception. Les rapports suggèrent que le Texas et le Wyoming intègrent des exclusions similaires en matière d’IA dans leurs règles. Les législateurs de l’Iowa, de l’Idaho et d’ailleurs présentent des projets de loi autorisant officiellement les services médicaux d’IA, beaucoup utilisant un modèle de l’Institut Cicéron.

Adam Meier, directeur de la politique de santé de Cicéron, définit la résistance en termes économiques. Celui qui passe en premier se fait tirer dessus. Intérêts économiques. Préoccupations de la main-d’œuvre. Sécurité de l’emploi.

L’Utah promet de publier ses conclusions. Doctronic affirme que des études évaluées par des pairs seront publiées cette année. Que ces études arrivent avant ou après que le programme abandonne sa phase d’examen humain déterminera probablement tout.

Les entreprises peuvent élargir leurs modèles économiques en allant au-delà des données actuelles. C’est rentable à court terme. Le risque, comme l’a déclaré Daniel Aaron à l’AP, est de compromettre la confiance du public. Alimenter les réactions négatives. À long terme, cela pourrait coûter plus cher que les gains d’efficacité n’ont jamais valu la valeur.