Soglia del Rango di Fine-Tuning LoRA Ridotta a r=1 per la Classificazione Binaria

Un nuovo studio mette in discussione la soglia di rango prevalente per il fine-tuning LoRA, dimostrando che un rango di r=1 è sufficiente per la classificazione binaria nel regime del kernel tangente neurale. L'analisi originale del panorama aveva prescritto r ≥ 12 per configurazioni canoniche few-shot RoBERTa sotto perdita quadratica, basandosi su una condizione sufficiente r(r+1)/2 > KN. Il nuovo lavoro sostituisce il conteggio simmetrico di forma di Sard con la dimensione della varietà LoRA non simmetrica, ottenendo un requisito di capacità più debole r(m+n) - r^2 > C*·KN con C* ≈ 1.35 sotto caratteristiche gaussiane i.i.d., soddisfatto a r=1. Inoltre, la disuguaglianza di Polyak–Łojasiewicz nel contesto dell'entropia incrociata supporta ulteriormente il rango ridotto. I risultati sono presentati in tre parti, abbassando collettivamente il rango prescritto a 1 per la classificazione binaria. Lo studio è pubblicato su arXiv come 2605.03724.