QuantumKatas adattati da Q# a Qiskit per il benchmarking dei LLM

I ricercatori hanno trasformato i QuantumKatas di Microsoft passando dalla programmazione Q# a Qiskit. Hanno sviluppato un benchmark completo composto da 350 attività in 26 categorie distinte, mirato a valutare i modelli linguistici di grandi dimensioni (LLM). Le attività spaziano da porte quantistiche di base ad algoritmi complessi come quelli di Grover, Simon e Deutsch-Jozsa, affrontando anche la correzione degli errori, la distribuzione delle chiavi e i giochi quantistici. Ogni attività è progettata con un prompt in linguaggio naturale, una risposta verificata e prevede test deterministici tramite simulazione classica. La valutazione ha coinvolto 16 LLM utilizzando 7 diverse strategie di prompting, per un totale di 39.200 valutazioni del modello.