Linea guida come oracolo: addestramento senza annotazioni di un agente di triage oftalmico telefonico
C'è un nuovo metodo di addestramento AI chiamato Guideline-as-Oracle (GAO) che prende indicazioni dall'American Academy of Ophthalmology e crea una tabella di regole dettagliata di 70 righe. Questa tabella funge da fonte principale per addestrare 3.000 dialoghi, con l'input umano utilizzato solo per la valutazione. Affronta i difficili problemi di scalare la supervisione per conversazioni mediche complesse, che possono essere costose e sollevare problemi di privacy. I ricercatori propongono otto strategie di costruzione dei dialoghi e valutano la loro efficacia. Dopo aver messo a punto un modello con 9 miliardi di parametri su questi dati, hanno sviluppato GAO-Triage, migliorando l'accordo con un set di riferimento dal 61,7% al 74,1% e il richiamo dal 9% al 100%. Puoi consultare i loro risultati su arXiv con l'identificatore 2608.04772.
Fatti principali
- Guideline-as-Oracle (GAO) compila le linee guida dell'American Academy of Ophthalmology in una tabella operativa di regole di 70 righe.
- GAO utilizza la tabella di regole come unica fonte di supervisione a livello di istanza per 3.000 dialoghi di addestramento.
- L'etichettatura umana è riservata solo alla valutazione.
- Otto strategie di costruzione sono catalogate, tra cui assegnazione di livello di riga citata, coppie di confini a un fatto, riparazione solo metadati e riparazione di etichette.
- Lo stato probatorio di ciascuna strategia è caratterizzato come meccanismo di etichettatura, nullo, confuso o valutato solo come pacchetto.
- La messa a punto di un backbone da 9B sul corpus produce GAO-Triage.
- GAO-Triage migliora l'accordo con un riferimento operativo di 201 casi dal 61,7% al 74,1% (esatto McNemar p=0,0046).
- Il richiamo dei casi emergenti migliora dal 9% al 100%.
Entità
Istituzioni
- American Academy of Ophthalmology
- arXiv