Jakarta, CMNexus. Sebuah studi yang melibatkan peneliti Stanford University dan University of California, Berkeley menilai 402 konsultasi telemedisin berbantuan kecerdasan buatan di platform Alodokter. Hasilnya, 397 konsultasi atau 98,8 persen diklasifikasikan aman secara klinis berdasarkan konsensus tiga dokter Indonesia. Bagi pemilik usaha, temuan ini bukan sekadar kabar layanan kesehatan: ini contoh langka bagaimana sebuah sistem AI diuji pada pekerjaan nyata, bukan pada demo.
Apa yang sebenarnya diuji
Studi berjudul "Assessing the Clinical Safety of an AI Assistant in Indonesian Chat-Based Telemedicine" ini dirancang sebagai evaluasi retrospektif lintas-seksi dengan tiga penilai independen. Objek penilaiannya adalah asisten AI yang membantu dokter selama konsultasi berbasis chat — sudah dipakai di aplikasi Alodokter sejak Januari 2026, bukan purwarupa laboratorium.
Sampelnya 402 konsultasi dokter umum teranonim yang selesai pada 19–21 April 2026, disusun berlapis menurut tingkat keparahan agar kasus darurat dan kasus rujukan ikut terwakili. Sebagai kalibrasi, penelitian memakai 30 konsultasi tanpa bantuan AI yang sebelumnya sudah dinilai aman oleh panel kendali mutu Alodokter.
Setiap konsultasi dinilai tiga dokter Indonesia secara terpisah memakai rubrik 14 butir. Butirnya menyapu seluruh alur konsultasi: pengumpulan riwayat pasien, deteksi tanda bahaya (red flag), diagnosis, obat dan pemeriksaan penunjang, triase, rujukan, pengamanan tindak lanjut (safety-netting), sampai pengendalian halusinasi.
Rincian angkanya
Hasil lengkap yang dilaporkan halaman publikasi Stanford King Center on Global Development:
- 388 konsultasi (96,5 persen) masuk kategori Safe (aman).
- 9 konsultasi (2,2 persen) masuk kategori Minor omission — ada kekurangan kecil tanpa risiko langsung menimbulkan bahaya serius.
- 5 konsultasi (1,24 persen) masuk kategori Unsafe (tidak aman).
- Dengan aturan konsensus tiga penilai, total yang dinyatakan aman secara klinis adalah 397 dari 402 konsultasi (98,8 persen; interval kepercayaan 95 persen: 97,1–99,5 persen).
Ada satu catatan metodologis yang penting dan biasanya hilang dari pemberitaan: tingkat kesepakatan antarpenilai. Ketiga penilai sepakat penuh pada 351 konsultasi (87,3 persen) dan rata-rata kesepakatan berpasangan 91,5 persen, tetapi nilai Fleiss' kappa hanya 0,045 (interval kepercayaan 95 persen: −0,016 sampai 0,120). Penulis studi menjelaskan angka kappa yang rendah itu mencerminkan tingginya proporsi penilaian aman sekaligus perbedaan ambang batas antarpenilai soal apa yang disebut "tidak aman". Terjemahan praktisnya: angka 98,8 persen kuat sebagai gambaran umum, tetapi garis batas antar-penilai untuk kasus yang dianggap berisiko masih lebar dan perlu diuji ulang pada skala lebih besar.
Beberapa media nasional menyebut publikasi ini sebagai prapublikasi, yakni hasil riset yang belum tuntas melalui telaah sejawat penuh.
AI sebagai pendamping, bukan pengganti
Pola kerja sistem ini penting dicatat: AI berjalan di latar belakang selama konsultasi, mengumpulkan informasi, mengenali tanda bahaya, menilai risiko obat, dan menyusun pertimbangan penanganan. Namun keputusan akhir tetap di dokter berlisensi — rekomendasi AI bisa diubah atau ditolak, dan dokter yang menandatangani hasil akhir.
Associate Professor di UC Berkeley yang juga salah satu penulis studi, Ziad Obermeyer, menegaskan penilaian AI tidak bisa dilakukan hanya dengan skenario yang sudah disiapkan.
"Teknologi AI untuk layanan kesehatan tidak dapat dinilai hanya berdasarkan kemampuannya memberikan jawaban atas skenario yang telah ditentukan sebelumnya. Dalam praktiknya, konsultasi pasien jauh lebih kompleks dan sulit diprediksi," ujar Obermeyer, dikutip Selasa (22/9/2026).
Peneliti doktoral Stanford, Wendy Yin dan Natalia Khoudian, menambahkan bahwa AI klinis seharusnya dinilai di sistem layanan tempat teknologi itu benar-benar dipakai — gabungan konsultasi pasien nyata, telaah medis independen, dan pengawasan dokter.
Yang masih harus diperbaiki
Studi ini juga mencatat celah, bukan hanya pujian. Fokus pembenahan diarahkan pada penanganan kasus yang membutuhkan rujukan segera serta pengamanan dosis obat anak. Alodokter menyatakan sedang menyiapkan uji acak terkontrol bersama tim peneliti yang sama untuk mengukur dampak AI terhadap kualitas klinis dan produktivitas dokter.
Dari sisi adopsi, menurut keterangan resmi perusahaan, asisten AI ini dipakai hampir seluruh dokter umum di platform telemedisinnya — yang menurut perusahaan melayani 20 juta pengguna aktif bulanan — dan 98 persen konsultasi dokter umum yang didukung AI memperoleh penilaian kepuasan positif dari pasien. Kedua angka itu data internal perusahaan, belum diaudit pihak ketiga.
Pelajaran untuk pemilik usaha
Terlepas dari sektornya, urutan kerja yang dipakai studi ini bisa disalin ke usaha kecil dan menengah yang mulai memakai AI:
- Uji pada pekerjaan nyata, bukan demo. Model yang pintar menjawab contoh soal belum tentu aman saat menghadapi keluhan pelanggan yang berantakan, sama seperti AI kasir yang terlihat mulus di presentasi bisa keliru saat menghadapi transaksi batal dan retur.
- Tetapkan rubrik dan penilai independen. Ukur hasil dengan daftar kriteria yang sama untuk semua kasus, lalu mintakan penilaian orang yang tidak punya kepentingan atas hasilnya.
- Jaga gerbang persetujuan manusia. AI menyiapkan, manusia memutuskan. Pola ini yang membuat risiko kesalahan tertahan sebelum berdampak ke pelanggan maupun pembukuan.
- Ukur dampak lanjut, bukan hanya akurasi. Pertanyaan yang belum dijawab studi mana pun adalah apakah alat ini benar-benar membuat layanan lebih cepat dan lebih baik — inilah yang akan diuji RCT berikutnya, dan pertanyaan yang sama perlu diajukan pemilik usaha saat menghitung hasil otomasi.
Sebelum menyerahkan bagian pekerjaan apa pun kepada AI, sediakan ruang untuk mengukur kesalahannya sejak awal. Studi ini menunjukkan caranya: sampel yang sengaja diperberat, kriteria tertulis, penilai dari luar tim, dan keterbatasan yang diumumkan terbuka.
---
Sumber:
- Stanford King Center on Global Development — "Assessing the Clinical Safety of an AI Assistant in Indonesian Chat-Based Telemedicine" — https://kingcenter.stanford.edu/publications/health/assessing-clinical-safety-ai-assistant-indonesian-chat-based-telemedicine
- Liputan6.com — "Inovasi AI Klinis Alodokter Lolos Uji Stanford, Teruji Aman 98,8 Persen" — https://www.liputan6.com/tekno/read/8296658/inovasi-ai-klinis-alodokter-lolos-uji-stanford-teruji-aman-988-persen
- Kompas.com — "Studi UC Berkeley: Rekomendasi Kesehatan AI Alodokter 98 Persen Akurat" — https://money.kompas.com/read/2026/09/22/143537426/studi-uc-berkeley-rekomendasi-kesehatan-ai-alodokter-98-persen-akurat
- Warta Ekonomi — "AI Alodokter Raih Temuan Keselamatan Klinis 98,8 Persen, Studi Libatkan Peneliti Stanford dan UC Berkeley" — https://wartaekonomi.co.id/read636118/ai-alodokter-raih-temuan-keselamatan-klinis-988-persen-studi-libatkan-peneliti-stanford-dan-uc-berkeley
- Harian Jogja — "Studi Ungkap 98,8% Rekomendasi AI Alodokter Dinilai Aman untuk Pasien" — https://leisure.harianjogja.com/r-1272241/studi-ungkap-988-rekomendasi-ai-alodokter-dinilai-aman-untuk-pasien
- Alodokter (keterangan resmi perusahaan) — "Study Finds 98.8% of Alodokter AI Consultations Clinically Safe in Independent Physician Review" — https://www.alodokter.com/study-finds-98-8-of-alodokter-ai-consultations-clinically-safe-in-independent-physician-review
Catatan verifikasi: seluruh angka pada artikel ini dikutip dari halaman publikasi studi dan pemberitaan yang mencantumkan sumber yang sama. Angka 20 juta pengguna aktif bulanan dan 98 persen kepuasan pasien adalah klaim internal perusahaan. Status telaah sejawat studi ini belum kami verifikasi; sebagian media menyebutnya prapublikasi.
Baca juga berita teknologi dan UMKM lain di https://cmnexus.com/news.
Jakarta, CMNexus. A study involving researchers from Stanford University and the University of California, Berkeley evaluated 402 artificial intelligence-assisted telemedicine consultations on the Alodokter platform. The results showed that 397 consultations, or 98.8 percent, were classified as clinically safe based on the consensus of three Indonesian physicians. For business owners, these findings are more than just healthcare news: they offer a rare example of an AI system being tested on real-world work rather than in demos.
What was actually tested
The study, titled "Assessing the Clinical Safety of an AI Assistant in Indonesian Chat-Based Telemedicine," was designed as a cross-sectional retrospective evaluation with three independent reviewers. The subject of the evaluation was an AI assistant that aids doctors during chat-based consultations—in use on the Alodokter app since January 2026, rather than a laboratory prototype.
The sample consisted of 402 anonymized general practitioner consultations completed between April 19–21, 2026, stratified by severity level to ensure emergency and referral cases were represented. For calibration, the study used 30 consultations conducted without AI assistance that had previously been deemed safe by Alodokter's quality control panel.
Each consultation was independently reviewed by three Indonesian doctors using a 14-item rubric. The items spanned the entire consultation workflow: patient history taking, red flag detection, diagnosis, medication and diagnostic tests, triage, referral, safety-netting, and hallucination control.
The breakdown of the numbers
The complete findings reported on the Stanford King Center on Global Development publication page:
- 388 consultations (96.5 percent) fell into the Safe category.
- 9 consultations (2.2 percent) were categorized as Minor omission—minor shortcomings without an immediate risk of causing serious harm.
- 5 consultations (1.24 percent) were categorized as Unsafe.
- Under the three-reviewer consensus rule, the total deemed clinically safe was 397 out of 402 consultations (98.8 percent; 95 percent confidence interval: 97.1–99.5 percent).
There is one important methodological note often missing from news coverage: the inter-rater agreement rate. All three reviewers were in full agreement on 351 consultations (87.3 percent), with an average pairwise agreement of 91.5 percent; however, the Fleiss' kappa value was only 0.045 (95 percent confidence interval: −0.016 to 0.120). The study's authors explained that this low kappa score reflects the high proportion of safe ratings combined with differences in reviewers' thresholds for what constitutes "unsafe." The practical takeaway: while the 98.8 percent figure provides a robust broad overview, the boundary between reviewers regarding cases deemed risky remains wide and warrants further testing on a larger scale.
Several national media outlets have referred to this publication as a preprint, meaning research findings that have not yet completed full peer review.
AI as an assistant, not a replacement
The system's operational workflow is noteworthy: the AI operates in the background during consultations, gathering information, identifying red flags, assessing medication risks, and drafting treatment considerations. However, the final decision remains with the licensed physician—AI recommendations can be modified or rejected, and the doctor signs off on the final outcome.
Ziad Obermeyer, an Associate Professor at UC Berkeley and co-author of the study, emphasized that AI evaluation cannot rely solely on pre-scripted scenarios.
"AI technology for healthcare cannot be assessed solely on its ability to answer pre-determined scenarios. In practice, patient consultations are far more complex and unpredictable," said Obermeyer, quoted on Tuesday (22/9/2026).
Stanford doctoral researchers Wendy Yin and Natalia Khoudian added that clinical AI should be evaluated within the care delivery systems where it is actually used—combining real patient consultations, independent medical reviews, and physician oversight.
Areas still needing improvement
The study also noted shortcomings, not merely praise. Improvement efforts are focused on managing cases requiring urgent referral as well as safeguarding pediatric medication dosages. Alodokter stated that it is preparing a randomized controlled trial alongside the same research team to measure the AI's impact on clinical quality and physician productivity.
In terms of adoption, according to the company's official statement, the AI assistant is used by nearly all general practitioners on its telemedicine platform—which the company says serves 20 million monthly active users—and 98 percent of AI-supported GP consultations received positive patient satisfaction ratings. Both figures are internal company data and have not been audited by a third party.
Lessons for business owners
Regardless of the sector, the workflow used in this study can be applied to small and medium enterprises starting to adopt AI:
- Test on real-world work, not demos. A model adept at answering test questions is not necessarily safe when handling messy customer complaints, just as a cashier AI that seems flawless in a presentation might falter when dealing with canceled transactions and returns.
- Establish rubrics and independent evaluators. Measure outcomes against the same list of criteria for all cases, then solicit evaluations from individuals with no stake in the outcome.
- Maintain human-in-the-loop approval gates. AI prepares, humans decide. This pattern ensures that error risks are intercepted before impacting customers or financial records.
- Measure downstream impact, not just accuracy. The question left unanswered by any study is whether this tool genuinely makes services faster and better—this is what the upcoming RCT will test, and the same question should be asked by business owners when calculating automation ROI.
Before delegating any part of the workload to AI, create room to measure its errors from the outset. This study shows the way: intentionally stress-tested samples, written criteria, external reviewers, and openly acknowledged limitations.
---
Sources:
- Stanford King Center on Global Development — "Assessing the Clinical Safety of an AI Assistant in Indonesian Chat-Based Telemedicine" — https://kingcenter.stanford.edu/publications/health/assessing-clinical-safety-ai-assistant-indonesian-chat-based-telemedicine
- Liputan6.com — "Inovasi AI Klinis Alodokter Lolos Uji Stanford, Teruji Aman 98,8 Persen" — https://www.liputan6.com/tekno/read/8296658/inovasi-ai-klinis-alodokter-lolos-uji-stanford-teruji-aman-988-persen
- Kompas.com — "Studi UC Berkeley: Rekomendasi Kesehatan AI Alodokter 98 Persen Akurat" — https://money.kompas.com/read/2026/09/22/143537426/studi-uc-berkeley-rekomendasi-kesehatan-ai-alodokter-98-persen-akurat
- Warta Ekonomi — "AI Alodokter Raih Temuan Keselamatan Klinis 98,8 Persen, Studi Libatkan Peneliti Stanford dan UC Berkeley" — https://wartaekonomi.co.id/read636118/ai-alodokter-raih-temuan-keselamatan-klinis-988-persen-studi-libatkan-peneliti-stanford-dan-uc-berkeley
- Harian Jogja — "Studi Ungkap 98,8% Rekomendasi AI Alodokter Dinilai Aman untuk Pasien" — https://leisure.harianjogja.com/r-1272241/studi-ungkap-988-rekomendasi-ai-alodokter-dinilai-aman-untuk-pasien
- Alodokter (company official statement) — "Study Finds 98.8% of Alodokter AI Consultations Clinically Safe in Independent Physician Review" — https://www.alodokter.com/study-finds-98-8-of-alodokter-ai-consultations-clinically-safe-in-independent-physician-review
Verification note: all figures in this article are cited from the study's publication page and news reports citing the same source. The figures of 20 million monthly active users and 98 percent patient satisfaction are internal company claims. The peer-review status of this study has not been verified by us; several media outlets describe it as a preprint.
Read other technology and MSME news at https://cmnexus.com/news.
SOLUSI DIGITAL TERPADUSiap Menerapkan Solusi Teknologi untuk Bisnis Anda?
Konsultasikan sistem POS, AI Automation, atau ERP kustom dengan tim spesialis PT. Cipta Mitrausaha Nusantara.
