Utah hat im Januar den ersten Spatenstich gemacht. Es war der erste Staat, der einem autonomen KI-System die Erneuerung von Rezepten ermöglichte. Der Schritt stellte nicht nur die Technologie auf die Probe; Es stellte die Grenzen der medizinischen Zulassung, der Regulierungsbefugnis und des öffentlichen Vertrauens auf die Probe. Jetzt streiten sich die American Medical Association, die staatliche Ärztekammer und die FDA gegenseitig darüber, was eine sichere Versorgung ausmacht.
An der Kernvereinbarung sind Doctronic und das staatliche Amt für Politik der künstlichen Intelligenz beteiligt. Im Rahmen dieser Vereinbarung stimmte Utah zu, seine Gesetze gegen unprofessionelles Verhalten nicht gegen das Unternehmen durchzusetzen. Im Gegenzug hält sich Doctronic an strenge Sicherheits- und Datenschutzrichtlinien. Diese behördliche Problemumgehung ist das Herzstück des „Utah AI Prescribing Pilot“ – eines Programms, das es einer Maschine ermöglicht, routinemäßige medizinische Wartungsarbeiten ohne die unmittelbare Aufsicht eines Arztes durchzuführen.
Wie das Utah AI Prescription System tatsächlich funktioniert
Wenn Sie an einer chronischen Erkrankung leiden, ist der Prozess unkompliziert. Die KI von Doctronic kann Vorräte für 30, 60 oder 90 Tage auffüllen. Die Kosten betragen 4 $ pro Rezept. Es umfasst rund 190 Medikamente gegen Bluthochdruck, Diabetes und Depressionen.
Hier ist der Haken: Die KI verwaltet nur Verlängerungen für Medikamente, die ein lizenzierter Anbieter bereits verschrieben hat. Es werden keine neuen Behandlungsentscheidungen getroffen.
Um sich zu qualifizieren, muss ein Patient bestätigen, dass er sich physisch in Utah befindet. Sie beantworten klinische Fragen. Wenn das System sie löscht, geht die Nachfüllung direkt an die Apotheke. Wenn die KI zögert? Es übergibt den Fall an einen menschlichen Arzt im Telemedizin-Team von Doctronic.
„Uns wurde im Wesentlichen gesagt: ‚Ja, das passiert. Und ja, Sie haben kein Mitspracherecht.‘“ – Dr. Alan Smith, Utah Medical Licensing Board
Es klingt einfach. Aber Michelle Mello von Stanford nennt es „einen der ersten groß angelegten Einsätze eines autonomen, wirksamen Systems in der Medizin“. Diese Unterscheidung ist wichtig. Bereits im Juli hatte die Associated Press damit begonnen, Ärzte und Anwälte zu befragen, ob wir einer Maschine versehentlich eine medizinische Lizenz erteilt hatten.
Frühe Daten: Vorsicht vor Effizienz
Das Handelsministerium von Utah veröffentlichte im Mai Pilotdaten. Fünf Monate Ergebnisse. Die Ergebnisse sind gelinde gesagt nuanciert.
In 72 % der Fälle, in denen Doctronic eine Verlängerung empfahl, wurde der Antrag zur endgültigen Genehmigung an einen menschlichen Arzt weitergeleitet. Die Ärzte stimmten in 91 % der Fälle zu. Für die restlichen 9 % baten sie um weitere Informationen. Aktualisierte Labore. Mehr Kontext.
In den anderen 28 % der Fälle eskalierte die KI den Fall selbstständig an einen Arzt. Es deutete auf Komplikationen hin. Es erforderte neue Tests. Die Ärzte stimmten diesen Eskalationen in 69 % der Fälle zu. Übrig blieb ein Anteil von 31 %, bei dem die Ärzte der Meinung waren, dass die KI zu vorsichtig sei.
Zach Boyd, Leiter des KI-Büros in Utah, gibt zu, dass Doctronic auf Nummer sicher geht. Unumstrittene Entscheidungen werden regelmäßig den Menschen überlassen. Dies wird für ein neues System als angemessen angesehen. Genau das untergräbt auch das Effizienzargument. Warum Arbeit automatisieren, wenn der Mensch sie immer noch in 72 % der Zeit erledigen muss?
Das Design gewährleistet diese Überlappung. Ein in Utah zugelassener Arzt muss die ersten 250 Einzelfälle persönlich untersuchen, bevor etwas in die Apotheke gelangt. Erst nachdem das System einen Genauigkeitsschwellenwert erreicht hat, wird die direkte menschliche Überprüfung abgebrochen. Im Moment ist die Überschneidung strukturell und nicht zufällig.
Das Hornissennest des Arzt-Pushbacks
Das Ziel liegt auf der Hand: den Verwaltungsaufwand bei der Erneuerung von Rezepten zu automatisieren. Patienten rufen ihre Arztpraxis an oder senden ihnen eine E-Mail. Mit der Anfrage ist kein Besuch verbunden, daher erfolgt keine Erstattung für das Personal, das sich um die Bearbeitung kümmert. Medikamente gegen chronische Krankheiten wechseln selten von Nachfüllung zu Nachfüllung. Die Logik legt nahe, dass KI diesen Lärm absorbieren kann.
Dr. Adam Oskowitz, Mitbegründer von Doctronic, stellt sich eine Zukunft vor, in der KI Routineaufgaben wie die Bestellung von Tests übernimmt. Er möchte, dass Ärzte „Tausende mehr Patienten behandeln, als sie heute können“.
Das Utah Medical Licensing Board kauft es nicht. Sie erfuhren von der Sendung durch Schlagzeilen, nicht durch Staatsbeamte. Im April schrieben 11 Vorstandsmitglieder einen Brief, in dem sie die Aussetzung forderten.
Ihr Argument? Es ist riskant, Medikamente zu erneuern, ohne zu prüfen, ob sich der Zustand des Patienten verändert hat. Zu den Medikamenten auf der Liste von Doctronic gehören unter anderem Blutverdünner.
„Wenn ich Menschen nach sechs Monaten sehe, stelle ich oft fest, dass sich ihre Krankengeschichte geändert hat“, sagte Dr. Smith. „Nur weil etwas vorher verschrieben wurde, heißt das nicht, dass es jetzt angemessen ist.“
Die AMA bestätigte dies. Sie warnten, dass die Erneuerung von Rezepten keine routinemäßige Angelegenheit sei. Es sind medizinische Entscheidungen.
Public Citizen führte den Kampf weiter. Im Mai unterstützten sie die Forderung der Ärztekammer nach einer Suspendierung. Sie warnten davor, dass „ärztlich überwachte“ Piloten Gefahr laufen, mit zunehmendem Volumen in die Genehmigungsgenehmigung abzurutschen.
Zwei strukturelle Risiken: Verantwortlichkeit und Scope Creep
Laut Michelle Mello lauern unter der Oberfläche zwei eklatante Probleme.
Erstens: Verantwortung. Der Vertrag zwischen Utah und Dothronic ist unklar. Wer zahlt, wenn ein KI-gesteuerter Fehler einem Patienten schadet? Die Linien sind verschwommen.
Zweitens, Scope Creep. Sobald das Tool eines Anbieters durch eine behördliche Problemumgehung bereitgestellt wird, wird es tendenziell erweitert. Es wächst über seine ursprüngliche Absicht hinaus, ohne sich der Prüfung der ersten Markteinführung zu stellen. Mello bringt es auf den Punkt: „Wenn Utahs Pilotprogramm die Nase des Kamels im Zelt sein soll, braucht es jemanden, der die Zügel in der Hand hält, wenn das Kamel auftaucht.“
Das Kamel taucht bereits auf. Im März unterzeichnete Utah eine neue Vereinbarung mit Legion Health. Dieses behandelt eine definierte Liste nicht kontrollierter psychiatrischer Erhaltungsmedikamente – SSRIs, SNRIs. Es beinhaltet eine obligatorische Eskalation bei Suizidalität, Manie oder schweren Nebenwirkungen.
Die Leitplanken sind enger. Für die ersten 250 Fälle ist eine ärztliche Übereinstimmungsrate von 98 % erforderlich. Dann 99 % für die nächsten 1,0,0.
Die Regulierungslücke: Wer ist hier lizenziert?
Ärzte verfügen über eine Approbation zur Ausübung der Heilkunde. KI nicht. Diese Binärdatei verstößt gegen den aktuellen rechtlichen Rahmen.
Eric Bressman von der University of Pennsylvania argumentiert, dass wir eine Schwelle überschritten haben. Wir erteilen einer nichtmenschlichen Entität effektiv eine medizinische Zulassung. Er vergleicht den heutigen Flickenteppich mit der Zeit vor den nationalen Zulassungsstandards der amerikanischen Medizin. Er wirft Utah vor, dass es die Zusicherungen des Unternehmens nach Treu und Glauben akzeptiert, anstatt vor der Markteinführung veröffentlichte Ergebnisdaten zu verlangen.
Der einzige verfügbare Beweis ist eine vom Unternehmen verfasste, nicht peer-reviewte Studie, die ergab, dass die Diagnosen von Doctronic in 80 % der Fälle in 500 telemedizinischen Konsultationen mit denen von menschlichen Ärzten übereinstimmten.
Dann gibt es die Gerichtsbarkeit. Medizinische Geräte fallen unter die bundesstaatliche FDA-Verordnung. Die medizinische Praxis ist eine staatliche Angelegenheit. Doctronic sitzt in der Lücke zwischen den beiden. Führungskräfte teilten der AP mit, dass sie ihr Tool als Teil der staatlich regulierten Medizin betrachten. Sie lehnten es ab, zu bestätigen, ob sie eine FDA-Zulassung beantragten.
Die FDA antwortete schlicht: Sie habe „keine KI-Chatbots zugelassen“ und nehme derzeit eine zurückhaltende Haltung ein.
Wohin führt die KI-Gesundheitsregulierung von hier aus?
Utah wird nicht lange der Ausreißer bleiben. Berichten zufolge integrieren Texas und Wyoming ähnliche KI-Ausnahmen in ihre Regeln. Gesetzgeber in Iowa, Idaho und anderswo bringen Gesetzesentwürfe zur formellen Lizenzierung medizinischer KI-Dienste ein, viele davon basieren auf einer Vorlage des Cicero Institute.
Adam Meier, Ciceros Direktor für Gesundheitspolitik, formuliert den Widerstand in wirtschaftlicher Hinsicht. Wer zuerst geht, wird beschossen. Wirtschaftliche Interessen. Bedenken hinsichtlich der Belegschaft. Arbeitsplatzsicherheit.
Utah verspricht, seine Ergebnisse zu veröffentlichen. Doctronic sagt, dass dieses Jahr peer-reviewte Studien folgen werden. Ob diese Studien vor oder nach dem Ende der menschlichen Überprüfungsphase des Programms eintreffen, wird wahrscheinlich über alles entscheiden.
Unternehmen können ihre Geschäftsmodelle erweitern, indem sie über aktuelle Erkenntnisse hinausgehen. Kurzfristig ist es profitabel. Das Risiko besteht, wie Daniel Aaron der AP sagte, darin, das Vertrauen der Öffentlichkeit zu gefährden. Treibende Gegenreaktion. Langfristig könnte das mehr kosten, als die Effizienzgewinne jemals wert waren.
