Analisi dell'Energia Libera Teorica dei Giochi Rivela Ridondanza di Ordine Superiore nelle Teste di Attenzione dei LLM

Uno studio recente pubblicato su arXiv (2605.09515) utilizza il Principio di Energia Libera Teorica dei Giochi (GTFEP) per indagare l'attenzione multi-testa nei modelli linguistici estesi. Questo approccio considera le teste di attenzione come agenti razionali limitati che mirano a minimizzare l'energia libera variazionale, con le loro azioni collettive che aderiscono a una distribuzione di Gibbs attraverso strutture di coalizione. Impiegando un'approssimazione gestibile con un prior uniforme e dinamiche deterministiche, l'energia libera di coalizione si semplifica nell'entropia congiunta di Shannon delle uscite discretizzate delle teste. I dividendi a coppie equivalgono all'informazione mutua (non negativa), mentre i dividendi tripli si riferiscono all'informazione di interazione, che può essere negativa. Esperimenti condotti su BERT, GPT2 e Llama utilizzando GSM8K indicano costantemente dividendi tripli negativi, evidenziando una ridondanza di ordine superiore. Inoltre, l'articolo presenta la corrispondenza FEP di Nash.