NoisyCoconut: Migliorare l'affidabilità dei LLM tramite ragionamento nello spazio latente

Un nuovo metodo a tempo di inferenza chiamato NoisyCoconut migliora l'affidabilità dei modelli linguistici di grandi dimensioni (LLM) manipolando le rappresentazioni interne senza riaddestramento. L'approccio inietta rumore controllato nelle traiettorie latenti per generare percorsi di ragionamento diversi; l'accordo unanime tra questi percorsi funge da segnale di confidenza, consentendo ai modelli di astenersi quando incerti. Gli esperimenti dimostrano efficaci compromessi copertura-precisione su diversi benchmark di ragionamento, senza richiedere accesso ai dati di addestramento o modifiche ai parametri. Ciò fornisce un percorso pratico per migliorare l'affidabilità degli output dei LLM mantenendo la compatibilità con i modelli esistenti.