Osservare i modelli quantistici mentre pensano: interpretabilità nello spazio di Hilbert nei blocchi Quantum Transformer

Abstract degli autori

I modelli di deep learning sono potenti, ma opachi. Con la maturazione del machine learning quantistico, il settore si trova di fronte a una scelta decisiva: costruire modelli quantistici altrettanto opachi oppure sfruttare la struttura matematica della meccanica quantistica per renderli intrinsecamente interpretabili. Mostriamo che la seconda possibilità è realizzabile. Tracciando l’informazione mutua quantistica~(MI), l’entropia di entanglement e la fedeltà degli stati attraverso i livelli di un Quantum Transformer Block (\qtb{}), un circuito variazionale completamente coerente con analoghi quantistici sia dell’attenzione sia del feedforward, otteniamo una visione diretta di come il modello elabora le informazioni: a quali token presta attenzione, quando si formano correlazioni e perché le previsioni falliscono. Su quattro task con una struttura di dipendenze nota, mostriamo che (i)~le matrici MI apprese sono allineate alla struttura reale dei task (AUC$\,{=}\,0.69$ sul task lookup), (ii)~disattivare i gate di entanglement fa crollare l’accuratezza dal 100\% al 15\%, mentre MI$\to 0$, dimostrando che l’entanglement è il meccanismo in gioco, (iii)~accuratezza e MI evolvono insieme durante l’addestramento ($ρ\,{=}\,0.92$ sul task lookup) e (iv)~la MI per campione predice la correttezza delle previsioni nel task condizionale, con ROC AUC$\,{=}\,0.84$. Tutti i risultati sono convalidati su hardware IBM Quantum (ibm\_kingston, Heron~r2): il processo di ragionamento del circuito, dallo stato prodotto all’entanglement strutturato, è direttamente osservabile su un processore superconduttore. Questi risultati proof of concept, ottenuti su piccoli task sintetici, suggeriscono che la fisica della computazione quantistica può fornire segnali intrinseci di interpretabilità senza un diretto corrispettivo classico e motivano lo studio di quanto questo vantaggio persista su larga scala.