L'allineamento della distribuzione dei vettori di task migliora l'efficienza dell'apprendimento in-context

Un recente articolo su arXiv propone l'uso dell'allineamento distribuzionale come standard per creare vettori di task nell'apprendimento in-context (ICL) per modelli linguistici di grandi dimensioni (LLM). I vettori di task mirano a condensare le dimostrazioni in rappresentazioni efficienti dello stato nascosto, riducendo così i costi di inferenza. Tuttavia, le valutazioni precedenti si concentravano esclusivamente sull'accuratezza dei compiti downstream. I ricercatori presentano d_NTP, una metrica che valuta la differenza nelle probabilità del token successivo tra l'inferenza basata su vettori di task e quella basata su ICL. I loro risultati indicano una significativa correlazione negativa tra d_NTP e l'accuratezza downstream, che può aiutare a sviluppare tecniche di estrazione di vettori di task più efficienti per affrontare i crescenti costi di inferenza associati a lunghezze di contesto maggiori in ICL.