Cross-Architecture Proxy Tuning consente l'adattamento clinico di LLM senza training

Cross-Architecture Proxy Tuning (CAPT) è una tecnica innovativa che consente l'adattamento di modelli linguistici di grandi dimensioni (LLM) di nuova generazione al campo clinico senza necessità di training. Questa strategia di ensemble di modelli supporta modelli con vocabolari distinti, utilizzando il contrastive decoding per integrare segnali clinicamente pertinenti mantenendo la fluidità e il ragionamento del dominio generale. In test su sei compiti di classificazione clinica e generazione di testo, CAPT, abbinato a un modello di nuova generazione e a un modello clinico più vecchio, ha superato costantemente le prestazioni di ciascun modello singolo e dei principali metodi di ensemble, ottenendo miglioramenti medi del +17,6% rispetto a UniTE e del +41,4% rispetto al proxy tuning. La validazione è stata condotta tramite analisi a livello di token e studi di casi da parte di medici, eliminando efficacemente il costoso requisito di riaddestramento per le nuove generazioni di modelli in settori specializzati come la sanità.