Modelli Linguistici Piccoli Auto-Promptanti per l'Estrazione di Entità Cliniche

Un nuovo framework consente a piccoli modelli linguistici di creare, validare, migliorare e valutare autonomamente prompt specifici per il riconoscimento di entità cliniche da note odontoiatriche. Questo metodo affronta problemi legati a documentazione non strutturata, specializzata e sensibile alla privacy. I ricercatori hanno testato modelli open-weight utilizzando 1.200 note annotate, impiegando inferenza ensemble multi-prompt e perfezionando i modelli selezionati tramite supervised fine-tuning basato su QLoRA e ottimizzazione diretta delle preferenze. Il modello Qwen2.5-14B-Instruct ha mostrato i migliori risultati di base. Dopo DPO, Qwen2.5-14B-Instruct e Llama-3.1-8B-Instruct hanno registrato punteggi F1 micro/macro rispettivamente di 0,864/0,837 e 0,806/0,797. I risultati rivelano significative discrepanze di performance tra i modelli, sottolineando l'importanza di valutazioni specifiche per compito piuttosto che fare affidamento su benchmark generici.