Teoria degli atomi: definire le unità fondamentali dei LLM
Un nuovo articolo su arXiv introduce la Teoria degli atomi per definire, valutare e identificare le unità rappresentazionali fondamentali (FRU) dei grandi modelli linguistici (LLM), chiamate atomi. Gli autori propongono il prodotto interno atomico (AIP), una metrica non euclidea che cattura la geometria sottostante, e due criteri per atomi ideali: fedeltà (R²) e stabilità (q*). Dimostrano che gli atomi sono identificabili sotto autoencoder sparsi attivati da soglia (TSAE). Empiricamente, scoprono un pervasivo spostamento rappresentazionale nei LLM, che l'AIP corregge. Neuroni e caratteristiche falliscono come atomi ideali: i neuroni sono fedeli (R²=1) ma instabili (q*=0,5%).
Fatti principali
- La Teoria degli atomi definisce le unità rappresentazionali fondamentali (FRU) dei LLM come atomi.
- Il prodotto interno atomico (AIP) è una metrica non euclidea per le rappresentazioni dei LLM.
- Due criteri per atomi ideali: fedeltà (R²) e stabilità (q*).
- Gli atomi sono identificabili sotto autoencoder sparsi attivati da soglia (TSAE).
- Viene scoperto un pervasivo spostamento rappresentazionale nei LLM.
- L'AIP corregge lo spostamento rappresentazionale per catturare la geometria sottostante.
- I neuroni sono fedeli (R²=1) ma instabili (q*=0,5%).
- Anche le caratteristiche non soddisfano i criteri per essere atomi ideali.
Entità
Istituzioni
- arXiv