dunnowho/dermatoai-multimodal

DermatoAI — model triase lesi onkologis

Alat bantu triase, BUKAN alat diagnosis. Purwarupa penelitian, belum divalidasi klinis. Jangan dipakai untuk keputusan medis.

Model multimodal untuk triase lesi kulit dari foto ponsel + delapan pertanyaan anamnesis. Dua kepala di atas satu backbone: probabilitas keganasan (biner) dan enam kelas diagnostik.

• Backbone: efficientnet_b0 @ 320px
• Fitur klinis: 22 dimensi dari 8 kolom
• Versi: dermato-mm-20260808-fold4
• Inferensi: ONNX Runtime CPU, TTA 4 orientasi (wajib — lihat di bawah)

Cara memakai

from huggingface_hub import hf_hub_download
import onnxruntime as ort, json

onnx = hf_hub_download("dunnowho/dermatoai-multimodal", "dermato-mm.onnx")
meta = json.load(open(hf_hub_download("dunnowho/dermatoai-multimodal", "dermato-mm.meta.json")))
sess = ort.InferenceSession(onnx, providers=["CPUExecutionProvider"])

meta.json memuat SEMUA konstanta yang dibutuhkan: urutan fitur klinis, normalisasi, suhu kalibrasi (biner dan kelas terpisah), ambang OOD, dan kamus region. Jangan menyalinnya ke kode — baca dari berkas, supaya bobot dan aturannya tidak pernah berpisah versi.

Hasil

Stratified group 5-fold pada patient_id (2.298 citra, 1.373 pasien). CI 95% dari cluster bootstrap 1.000 resample tingkat pasien.

	Seluruh data	Subset biopsi
Base rate ganas	0,474	0,811
AUC	0,9355 [0,9232–0,9471]	0,8245 [0,7879–0,8584]
Sensitivitas @ spesifisitas 0,80	0,9155 [0,8964–0,9352]	0,6777 [0,6453–0,7090]

Kutip kolom kanan, bukan kiri

Seluruh 1.089 kasus ganas di PAD-UFES-20 ada di subset terbiopsi; nol dari 956 lesi yang tidak dibiopsi. Status biopsi adalah prediktor keganasan yang sempurna di dataset ini.

Artinya metrik atas seluruh data bersandar pada 956 negatif yang tidak pernah dianggap cukup mencurigakan untuk dibiopsi — populasi mudah yang tidak akan ada di basis pengguna aplikasi, karena orang membuka aplikasi triase justru ketika khawatir. AUC 0,8245 dan sensitivitas 0,6777 adalah angka klinis yang jujur.

Kepala enam kelas

Akurasi 0,7591. Terkalibrasi (T = 1.4619); rerata keyakinan top-1 turun 0,852 → 0,764 terhadap akurasi sebenarnya 0,759.

Kelas	n	Recall
ACK	730	0,833
NEV	244	0,816
BCC	845	0,767
SEK	235	0,740
MEL	52	0,538
SCC	192	0,266

SCC recall 0,266 — model gagal mengenali dua dari tiga karsinoma sel skuamosa, padahal SCC berurgensi tinggi. Yang menahan kerugiannya adalah kepala biner, yang tetap menandainya ganas. Dinyatakan terang-terangan, bukan ditutupi akurasi keseluruhan.

Sumbangan anamnesis (ablasi 5-fold)

	AUC	Akurasi-6
Multimodal	0,9376	0,7644
Citra saja	0,9252	0,7346
Selisih	+0,0124	+2,98 poin

TTA wajib

Metrik di atas diukur dari logit yang dirata-ratakan atas empat orientasi (asli, flip horizontal, flip vertikal, keduanya). Menjalankan satu forward pass berarti memakai model yang lebih lemah daripada yang dilaporkan di sini. meta.json menyatakan "tta": true beserta daftar flip-nya.

Keterbatasan

1. Purwarupa penelitian. Belum divalidasi klinis.
2. Melanoma akral tidak diklaim. Nol melanoma di telapak kaki pada data latih, dan SOLE/PALM/NAIL bahkan tidak ada sebagai kategori. Lokasi akral harus dirutekan ke rujukan manusia tanpa memanggil model.
3. Prior kohort Brasil. Median usia 62, base rate ganas 47,4%. Pada prevalensi skrining aplikasi 1%, PPV turun ke 0,044 — dari 100 lesi yang ditandai, sekitar 4 benar-benar ganas. NPV 0,999. Nilai sistem ini ada pada NPV, bukan PPV.
4. Keadilan tipe kulit tidak dijamin. Hanya 73 sampel Fitzpatrick IV–VI di data latih, strata tergelap n=1. Fitzpatrick TIDAK dipakai sebagai fitur model — ia variabel kebijakan yang memperlebar pita abstensi.
5. Ambang OOD belum diuji pada citra non-onkologis. Ditetapkan pada persentil 95 energi in-distribution.
6. MEL n=52 dari 36 pasien. Deskriptif saja, bukan klaim.

Data & reproduksi

PAD-UFES-20 (Pacheco et al. 2020, CC BY 4.0, doi:10.17632/zr7vgbcyr2.1). Seluruh kode training, audit, dan evaluasi ada di repo proyek; logit out-of-fold disertakan sehingga setiap angka di atas dapat dihitung ulang tanpa melatih ulang.