CangjieBench: Nuovo Benchmark per LLM su Linguaggio di Programmazione a Basse Risorse

Un nuovo benchmark chiamato CangjieBench è stato sviluppato da ricercatori per valutare i modelli linguistici di grandi dimensioni (LLM) utilizzando Cangjie, un linguaggio di programmazione general-purpose con risorse limitate. Questo benchmark presenta 248 campioni accuratamente tradotti da HumanEval e ClassEval, comprendendo sia compiti text-to-code che code-to-code. L'indagine valuta vari LLM in quattro scenari: generazione diretta, generazione vincolata dalla sintassi, generazione aumentata da recupero (RAG) e agente. I risultati rivelano che la generazione diretta produce risultati insoddisfacenti, mentre la generazione vincolata dalla sintassi raggiunge un equilibrio ottimale tra accuratezza ed efficienza computazionale. Questa ricerca colma una lacuna negli studi precedenti, che si concentravano principalmente su linguaggi specifici del dominio (DSL), trascurando le sfide affrontate dai linguaggi general-purpose. I risultati sottolineano le difficoltà che gli LLM incontrano con linguaggi a basse risorse e propongono la generazione vincolata dalla sintassi come strategia di miglioramento praticabile.