Ricerca sull'IA Propone l'Addestramento Product-of-Experts per Ridurre gli Artefatti nei Dataset nell'Inferenza del Linguaggio Naturale

Un nuovo metodo di addestramento dell'IA chiamato Product-of-Experts (PoE) è stato sviluppato per affrontare gli artefatti nei dataset nei modelli di Inferenza del Linguaggio Naturale. I modelli neurali NLI spesso si adattano eccessivamente a questi artefatti invece di impegnarsi in un ragionamento genuino, come dimostrato da un modello basato solo su ipotesi che raggiunge il 57,7% di accuratezza sul dataset SNLI. Ciò rivela forti correlazioni spurie, con il 38,6% degli errori di base attribuibili a tali artefatti. L'approccio PoE funziona riducendo il peso degli esempi in cui i modelli distorti mostrano un'eccessiva confidenza. Nell'applicazione pratica, PoE mantiene un'accuratezza quasi identica all'89,10% rispetto al valore di base dell'89,30%, riducendo simultaneamente la dipendenza dai bias del 4,71%—spostando l'accordo sui bias dal 49,85% al 45%. Uno studio di ablazione ha identificato lambda = 1,5 come parametro ottimale per bilanciare gli sforzi di riduzione dei bias con la preservazione dell'accuratezza. Nonostante questi miglioramenti, i test comportamentali continuano a rivelare persistenti sfide con la negazione e il ragionamento numerico all'interno dei modelli. La ricerca è stata pubblicata su arXiv nella categoria Computer Science > Computation and Language con l'identificatore 2604.19069.