Decodifica Speculativa Senza Addestramento Migliorata con Bozza Semantica

Un nuovo articolo su arXiv (2608.03839) propone un metodo per migliorare la decodifica speculativa senza addestramento affrontando un fallimento nella bozza di corrispondenza esatta. Gli autori diagnosticano che i bozzatori a corrispondenza esatta, che funzionano abbinando i suffissi del contesto corrente a contesti precedenti, spesso perdono bozze corrette già presenti nel pool, specialmente nel traffico di chiamate di strumenti dove le richieste ripetono la maggior parte del contenuto ma variano alcuni valori. Scoprono che circa la metà di ciò che il bozzatore a corrispondenza esatta più forte perde sul loro benchmark di chiamate di strumenti più denso è effettivamente nel pool ma irraggiungibile tramite corrispondenza esatta. Per risolvere questo, introducono una seconda fonte di bozza semantica: lo stesso pool ri-chiave dallo stato nascosto che il verificatore ha già calcolato ad ogni token impegnato, fuso per funzionare all'interno dell'albero di un bozzatore lessicale esistente. Il metodo è testato su tre bozzatori pubblicati con pool e budget corrispondenti, mostrando miglioramenti. L'articolo è disponibile su arXiv.