smevals: Un Nuovo Strumento per Valutare Modelli AI, Prompt e Harness

Simon Willison ha rilasciato smevals, un nuovo framework di valutazione sviluppato in collaborazione con il laboratorio di ricerca AI applicata Prime Radiant di Jesse Vincent. Lo strumento è progettato per eseguire piccole suite di valutazione su diverse configurazioni di modelli e valutare i risultati. Consente agli utenti di creare eval come directory contenenti file YAML, eseguirli sui modelli e valutare le esecuzioni utilizzando controlli definiti. I risultati possono essere esplorati tramite un server web localhost o incorporati in report HTML statici. Willison descrive smevals come la sua terza iterazione sull'idea, notando che capire il vocabolario è stata la parte più dispendiosa in termini di tempo. L'annuncio è stato fatto il 31 luglio 2026 e lo strumento è pensato per aiutare a rispondere a domande sulle capacità dei modelli. Willison menziona anche piani per espandere lo strumento e applicarlo ai propri progetti. Il post include un link allo strumento e un'opzione per gli sponsor per un digest mensile degli sviluppi LLM.