I LLM faticano con il calcolo esatto: PoT raggiunge la precisione perfetta

Una recente indagine pubblicata su arXiv esamina a fondo varie tecniche di prompting volte a ottenere calcoli precisi e deterministici nei Large Language Models (LLM). Questo studio valuta Chain-of-Thought (CoT), Least-to-Most decomposition, Program-of-Thought (PoT) e Self-Consistency (SC) in compiti come il conteggio binario, l'identificazione della sottostringa più lunga e la valutazione aritmetica. Per un'analisi controllata, è stato creato un dataset sintetico con vari prompt in linguaggio naturale. I risultati rivelano che gli approcci di prompting convenzionali producono solo una moderata accuratezza nei compiti legati alle sequenze. Mentre CoT mostra lievi miglioramenti, Least-to-Most incontra problemi di accumulo di errori. Al contrario, PoT raggiunge una precisione impeccabile generando codice eseguibile. La ricerca sottolinea i limiti degli attuali LLM nei calcoli esatti e la promessa delle tecniche basate sull'esecuzione.