Au-M-ol: LLM Audio Medico Riduce il Tasso di Errore sulle Parole del 56%

I ricercatori hanno sviluppato Au-M-ol, un'architettura multimodale che estende i Large Language Models con l'elaborazione audio per compiti clinici. Il modello comprende un codificatore audio per le caratteristiche del linguaggio medico, uno strato di adattamento che mappa l'audio nello spazio di input del LLM e un LLM pre-addestrato per la trascrizione e la comprensione del linguaggio. Negli esperimenti, Au-M-ol ha ridotto il tasso di errore sulle parole del 56% rispetto ai baselines all'avanguardia nella trascrizione medica, funzionando bene in ambienti rumorosi, con terminologia specifica del dominio e attraverso la variabilità del parlante. Il lavoro è pubblicato su arXiv (2604.23284).