TextReg: Ottimizzazione dello Spazio Testuale Regolarizzata per Prompt di LLM

Un nuovo articolo su arXiv (2605.21318) introduce TextReg, un framework di regolarizzazione per mitigare l'overfitting distribuzionale dei prompt nei grandi modelli linguistici. Gli autori identificano che i metodi di ottimizzazione dei prompt spesso producono prompt lunghi e ristretti che generalizzano male. Formalizzano questo come inefficienza rappresentazionale, misurata dal costo di capacità e dalla ristrettezza dell'ambito. TextReg applica un obiettivo di penalità morbida tramite gradienti testuali regolarizzati, combinando la Purificazione del Gradiente a Doppia Evidenza per migliorare la robustezza del prompt.