Ricerca Rivela la Dinamica Algoritmica Interna dei Modelli AI Transformer per l'Apprendimento in Contesto

Uno studio recente indaga l'efficacia dei modelli transformer in compiti di classificazione che richiedono pochi esempi etichettati, concentrandosi specificamente sulla classificazione lineare multiclasse senza margini. I ricercatori hanno introdotto l'equivarianza rispetto a permutazioni di feature ed etichette a ogni strato, il che migliora l'interpretabilità e produce pesi strutturati. Hanno derivato una ricorsione esplicita indicizzata per profondità, segnalandola come la prima regola di aggiornamento emergente completamente identificata all'interno di un transformer softmax. Aggiornamenti accoppiati di punti di addestramento, etichette e sonde di test sono guidati da matrici di attenzione provenienti da una struttura Gram mista feature-etichetta, impiegando un approccio algoritmico focalizzato sulla geometria che migliora la separazione delle classi e garantisce un forte allineamento atteso delle classi. Questa ricerca, pubblicata su arXiv nella categoria Computer Science > Machine Learning, fa luce sull'opacità degli algoritmi al momento dell'inferenza nei transformer e arricchisce la comprensione delle capacità di apprendimento in contesto dei modelli AI.