QC-Stark: un benchmark multi-task che rivela dissociazioni nelle capacità degli LLM valutati su attività di computazione quantistica

Abstract degli autori

Presentiamo QC-Stark, un benchmark per valutare i modelli linguistici di grandi dimensioni (LLM) su 11 attività di computazione quantistica (QC), che spaziano dalla costruzione di circuiti al debugging, alla compilazione, alla correzione degli errori e alla simulazione. Sulle 2.750 valutazioni (10 modelli $\times$ 11 attività x 5 livelli di difficoltà x 5 semi), osserviamo che le classifiche complessive nascondono notevoli variazioni da un’attività all’altra. La correlazione di Spearman tra le classifiche complessive e quelle per singola attività è statisticamente non significativa per 4 delle 11 attività incluse nel benchmark. Un modello di teoria della risposta all’item (IRT) a 2 parametri convalida la qualità della misurazione, mentre l’analisi della sensibilità ai prompt conferma la robustezza delle classifiche alle diverse condizioni dei prompt. Tutte le attività sono verificabili automaticamente tramite esecuzione e non richiedono quindi alcuna valutazione manuale. Rendiamo pubblicamente disponibili il codice e i dati su Huggingface.