Audit JEPA mostra che l'apprendimento rappresentazionale non migliora il fine-tuning degli LLM

Uno studio recente pubblicato su arXiv (2605.15394) indaga l'efficacia delle architetture predittive con embedding congiunto (JEPA) nel migliorare il processo di fine-tuning dei modelli linguistici autoregressivi. Utilizzando una configurazione fissa di LoRA su Llama-3.2-1B-Instruct, la ricerca si concentra sulla generazione di linguaggio naturale in regex, valutando ventidue metodi di addestramento ausiliari. I risultati rivelano un esito nullo strutturato: molteplici ausiliari superano una soglia α=0,10 a cella singola senza aggiustamento, con T3-Local che ottiene il punteggio più alto a Δ=+2,53 pp, p=0,003. Gli autori sostengono che per un efficace fine-tuning dei modelli linguistici, i principi JEPA richiedono che la geometria dello stato latente indotta si connetta con la testa del modello linguistico per migliorare la metrica del compito decodificato. Gli autori rimangono anonimi.