Sforzo di ragionamento nei contratti API: costo maggiore, nessun guadagno di precisione dimostrato
Un confronto accoppiato registrato di Sonnet 5 ha indicato che includere un termine di alto sforzo di ragionamento in un contratto API aumenta il costo medio per chiamata di $0,01031 rispetto alla sua esclusione, con un intervallo di confidenza compreso tra +$0,00204 e +$0,01974. La ricerca ha utilizzato 30 elementi AIME 2026 e cinque chiamate per ciascun elemento, non rivelando alcuna differenza significativa nell'accuratezza; la differenza di accuratezza era +0,0133, con un intervallo da -0,0267 a +0,0467, suggerendo un potenziale aumento fino a 4,67 punti percentuali. Gli acquirenti di API acquisiscono un contratto datato che comprende il modello richiesto, il termine di sforzo di ragionamento o la sua assenza, il binario di output, il prodotto di servizio, il prompt e il programma di prezzi. Il costo per risposta corretta con il contratto esplicito-alto era di $0,08665.
Fatti principali
- Lo studio ha confrontato Sonnet 5 con sforzo di ragionamento esplicito alto rispetto allo stesso modello senza lo sforzo specificato.
- L'esperimento ha utilizzato 30 elementi AIME 2026 con cinque chiamate per ciascun elemento.
- Il costo medio consegnato era di $0,01031 per chiamata in più con il contratto esplicito-alto (IC 95% +$0,00204 a +$0,01974).
- Il contrasto di accuratezza era +0,0133 (IC 95% -0,0267 a +0,0467), mostrando nessuna differenza di accuratezza rilevata.
- L'intervallo consente un possibile guadagno di accuratezza fino a 4,67 punti percentuali che il progetto non può escludere.
- I contratti API includono modello, termine di sforzo di ragionamento, binario di output, prodotto di servizio, prompt e programma di prezzi.
- Il costo per risposta corretta con il contratto ad alto sforzo era di $0,08665.
Entità
Istituzioni
- arXiv
- Sonnet 5
- AIME 2026