MENTAT: Un Nuovo Metodo per la Regressione a Ragionamento Intensivo con LLM

I ricercatori di intelligenza artificiale hanno identificato un compito impegnativo chiamato regressione a ragionamento intensivo (RiR), in cui i grandi modelli linguistici (LLM) devono dedurre punteggi numerici sottili dal testo. A differenza dei compiti di regressione standard come l'analisi del sentiment, la RiR richiede un'analisi contestuale profonda e si presenta in applicazioni come la valutazione basata su rubriche, la modellazione densa delle ricompense e il recupero specifico del dominio. I ricercatori hanno stabilito un benchmark con quattro problemi realistici e hanno scoperto che sia il prompting di LLM congelati che il fine-tuning di encoder Transformer spesso faticano con la RiR. Propongono MENTAT, un metodo leggero che combina l'ottimizzazione batch-riflessiva dei prompt con l'apprendimento d'insieme neurale, ottenendo prestazioni superiori.