Utah mulai membangun pada bulan Januari. Ini menjadi negara bagian pertama yang mengizinkan sistem AI otonom untuk memperbarui resep. Langkah ini tidak hanya menguji teknologi; ini menguji batas-batas perizinan medis, kekuatan regulasi, dan kepercayaan publik. Kini, Asosiasi Medis Amerika, dewan medis negara bagian, dan FDA saling berteriak mengenai apa yang dimaksud dengan perawatan yang aman.
Perjanjian inti tersebut melibatkan Doctronic dan Kantor Kebijakan Kecerdasan Buatan negara bagian. Berdasarkan kesepakatan ini, Utah setuju tidak untuk menegakkan undang-undang perilaku tidak profesional terhadap perusahaan. Sebagai imbalannya, Doctronic mematuhi pagar keamanan dan privasi yang ketat. Solusi regulasi ini adalah inti dari “percontohan peresepan AI Utah” – sebuah program yang memungkinkan mesin menangani perawatan medis rutin tanpa pengawasan langsung dari dokter.
Bagaimana Sebenarnya Sistem Resep Utah AI Bekerja
Jika Anda memiliki kondisi kronis, prosesnya mudah. AI Doctronic dapat mengisi ulang persediaan untuk 30, 60, atau 90 hari. Biayanya $4 per resep. Ini mencakup sekitar 190 obat untuk tekanan darah tinggi, diabetes, dan depresi.
Inilah masalahnya: AI hanya menangani pembaruan obat-obatan yang telah diresepkan oleh penyedia berlisensi. Itu tidak membuat keputusan pengobatan baru.
Untuk memenuhi syarat, seorang pasien mengonfirmasi bahwa mereka secara fisik berada di Utah. Mereka menjawab pertanyaan klinis. Jika sistem menghapusnya, isi ulang langsung masuk ke apotek. Jika AI ragu-ragu? Kasus ini diserahkan kepada dokter manusia di tim telehealth Doctronic.
“Kami pada dasarnya diberitahu: ‘Ya, ini sedang terjadi. Dan ya, Anda tidak punya hak untuk ikut campur dalam hal ini.'” — Dr. Alan Smith, Dewan Perizinan Medis Utah
Kedengarannya sederhana. Namun Michelle Mello dari Stanford menyebutnya sebagai “salah satu penerapan pertama dalam skala sistem agen otonom dalam bidang kedokteran.” Perbedaan itu penting. Pada bulan Juli, Associated Press sudah mulai bertanya kepada dokter dan pengacara apakah kami secara tidak sengaja memberikan lisensi medis pada mesin tersebut.
Data Awal: Perhatian Terhadap Efisiensi
Departemen Perdagangan Utah merilis data percontohan pada bulan Mei. Hasil lima bulan. Temuan-temuan yang ada memiliki perbedaan, untuk sedikitnya.
Dalam 72% kasus di mana Doctronic merekomendasikan perpanjangan, permintaan tersebut diteruskan ke dokter manusia untuk persetujuan akhir. Dokter menyetujui 91% kasus. Untuk sisa 9% itu, mereka meminta info lebih lanjut. Laboratorium yang diperbarui. Lebih banyak konteks.
28% lainnya, AI meneruskan kasusnya ke dokter sendiri. Ini menandai adanya komplikasi. Ini menuntut pengujian baru. Sebanyak 69% dokter setuju dengan peningkatan ini. Itu menyisakan 31% di mana dokter menganggap AI terlalu berhati-hati.
Zach Boyd, yang mengepalai kantor AI di Utah, mengakui bahwa Doctronic melakukan kesalahan karena harus berhati-hati. Ini secara rutin memberikan keputusan yang tidak kontroversial kepada manusia. Hal ini dipandang tepat untuk sistem baru. Hal inilah yang justru melemahkan argumen efisiensi. Mengapa mengotomatiskan pekerjaan jika manusia masih harus melakukannya 72% dari waktunya?
Desainnya menjamin tumpang tindih ini. Seorang dokter berlisensi Utah harus secara pribadi meninjau 250 kasus individu pertama sebelum ada yang masuk ke apotek. Hanya setelah sistem mencapai ambang akurasi, peninjauan manusia akan langsung dihentikan. Untuk saat ini, tumpang tindih tersebut bersifat struktural, bukan kebetulan.
Penolakan Dokter di Sarang Lebah
Tujuannya jelas: mengotomatiskan hambatan administratif dalam pembaruan resep. Pasien menelepon atau mengirim email ke kantor dokter mereka. Tidak ada kunjungan yang terkait dengan permintaan tersebut, jadi tidak ada penggantian biaya untuk staf yang menanganinya. Obat penyakit kronis jarang berubah dari isi ulang ke isi ulang. Logikanya, AI bisa menyerap kebisingan itu.
Adam Oskowitz, salah satu pendiri Doctronic, membayangkan masa depan di mana AI menangani tugas-tugas rutin seperti memesan tes. Dia ingin dokter menangani “ribuan lebih banyak pasien dibandingkan yang bisa mereka lakukan saat ini.”
Dewan Perizinan Medis Utah tidak menyetujuinya. Mereka mengetahui program ini dari berita utama, bukan dari pejabat negara. Pada bulan April, 11 anggota dewan menulis surat menuntut penangguhan.
Argumen mereka? Memperbarui pengobatan tanpa memeriksa perubahan kondisi pasien sangatlah berisiko. Beberapa obat dalam daftar Doctronic termasuk pengencer darah.
“Sering kali ketika saya menemui orang-orang setelah enam bulan, saya menemukan bahwa riwayat kesehatan mereka telah berubah,” kata Dr. Smith. “Hanya karena sesuatu sudah ditentukan sebelumnya, bukan berarti hal itu pantas dilakukan saat ini.”
AMA menggemakan hal ini. Mereka memperingatkan bahwa pembaruan resep bukanlah hal yang rutin. Itu adalah keputusan medis.
Warga Negara melakukan perlawanan lebih jauh. Pada bulan Mei, mereka mendukung seruan dewan medis untuk melakukan penangguhan. Mereka memperingatkan bahwa pilot yang diawasi oleh dokter berisiko tergelincir ke dalam persetujuan stempel ketika volume meningkat.
Dua Risiko Struktural: Akuntabilitas dan Scope Creep
Menurut Michelle Mello, ada dua masalah besar yang tersembunyi di balik permukaan.
Pertama, akuntabilitas. Kontrak antara Utah dan Dothronic tidak jelas. Siapa yang membayar jika kesalahan yang disebabkan oleh AI melukai pasien? Garis-garisnya kabur.
Kedua, ruang lingkup merayap. Setelah alat vendor diterapkan melalui solusi regulasi, alat tersebut cenderung berkembang. Ini tumbuh melampaui niat aslinya tanpa menghadapi pengawasan dari peluncuran awal. Mello menyatakannya dengan tajam: “Jika program percontohan Utah adalah hidung unta di dalam tenda, maka diperlukan seseorang yang memegang kendali ketika unta itu muncul.”
Unta itu sudah muncul. Pada bulan Maret, Utah menandatangani perjanjian baru dengan Legion Health. Yang ini mencakup daftar obat pemeliharaan psikiatri yang tidak terkontrol—SSRI, SNRI. Ini mencakup eskalasi wajib untuk bunuh diri, mania, atau efek samping yang parah.
Pagar pembatasnya lebih ketat. Hal ini memerlukan tingkat kesesuaian dokter sebesar 98% untuk 250 kasus pertama. Kemudian 99% untuk 1,0,0 berikutnya.
Kesenjangan Peraturan: Siapa yang Memiliki Lisensi di Sini?
Dokter mempunyai izin praktek kedokteran. AI tidak. Biner ini melanggar kerangka hukum saat ini.
Eric Bressman dari Universitas Pennsyvlania berpendapat bahwa kita telah melewati ambang batas. Kami secara efektif memberikan izin medis kepada entitas non-manusia. Dia membandingkan tambal sulam saat ini dengan era standar perizinan pra-nasional dalam pengobatan Amerika. Dia menyalahkan Utah karena menerima jaminan itikad baik dari perusahaan daripada menuntut data hasil yang dipublikasikan sebelum peluncuran.
Satu-satunya bukti yang tersedia adalah penelitian yang dilakukan oleh perusahaan dan tidak ditinjau oleh rekan sejawat yang menemukan bahwa 80% diagnosis Doctronic cocok dengan dokter manusia dalam 500 konsultasi telehealth.
Lalu ada yurisdiksi. Perangkat medis berada di bawah peraturan FDA federal. Praktik medis adalah urusan tingkat negara bagian. Doctronic berada di celah di antara keduanya. Para eksekutif mengatakan kepada AP bahwa mereka memandang alat mereka sebagai bagian dari pengobatan yang diatur oleh negara. Mereka menolak untuk mengonfirmasi apakah mereka meminta izin FDA.
FDA menjawab dengan sederhana: mereka “tidak mengizinkan chatbot AI apa pun” dan saat ini mengambil sikap lepas tangan.
Ke Mana Arah Peraturan Layanan Kesehatan AI?
Utah tidak akan menjadi yang terdepan dalam waktu lama. Laporan menunjukkan bahwa Texas dan Wyoming menerapkan penerapan AI serupa ke dalam peraturan mereka. Para pembuat undang-undang di Iowa, Idaho, dan negara-negara lain mulai mengajukan rancangan undang-undang yang secara resmi melisensikan layanan medis AI, dan sebagian besar menggunakan contoh dari Cicero Institute.
Adam Meier, direktur kebijakan kesehatan di Cicero, menggambarkan penolakan tersebut dalam istilah ekonomi. Siapa pun yang pergi lebih dulu akan ditembak. Kepentingan ekonomi. Kekhawatiran tenaga kerja. Keamanan kerja.
Utah berjanji untuk mempublikasikan temuannya. Doctronic mengatakan studi peer-review akan dilakukan tahun ini. Apakah penelitian-penelitian tersebut dilakukan sebelum atau setelah program tersebut dihentikan pada tahap tinjauan manusia kemungkinan besar akan menentukan segalanya.
Perusahaan dapat memperluas model bisnisnya dengan melampaui bukti yang ada saat ini. Ini menguntungkan dalam jangka pendek. Risikonya, seperti yang dikatakan Daniel Aaron kepada AP, adalah mengorbankan kepercayaan masyarakat. Memicu reaksi balik. Dalam jangka panjang, hal ini mungkin membutuhkan biaya yang lebih besar dibandingkan dengan manfaat efisiensi yang diperoleh.
