QiT: Transformer ispirato alla quantistica per compiti di riconoscimento visivo

Abstract degli autori

L’apprendimento automatico quantistico offre una prospettiva rappresentazionale interessante: gli stati codificati tramite angoli abitano spazi di Hilbert in cui è possibile esprimere in modo naturale somiglianze e interazioni periodiche. Realizzare questa prospettiva per il riconoscimento visivo rimane tuttavia difficile, perché le reti neurali quantistiche attuali sono limitate dal numero ridotto di qubit, dagli elevati costi di simulazione dei circuiti e di misurazione, dal rumore e dall’ottimizzazione instabile sui dispositivi quantistici rumorosi di scala intermedia. Indaghiamo se sia invece possibile realizzare idee strutturali utili dei modelli quantistici come operazioni scalabili di Transformer classici. Presentiamo QiT, un Transformer ispirato alla quantistica per compiti di visione, composto da tre elementi: (i) una codifica ispirata agli angoli, che mappa i token dell’immagine in caratteristiche trigonometriche apprese nello spazio di Hilbert, analoghe alla codifica degli stati quantistici basata sulle rotazioni; (ii) self-attention su queste caratteristiche periodiche, che induce un kernel coseno classico capace di approssimare i kernel di fedeltà quantistica; e (iii) un’emulazione moltiplicativa con gating, surrogato classico addestrabile dei termini di interazione presenti nei circuiti variazionali. Tutti gli elementi consistono in operazioni differenziabili sui tensori, quindi QiT non rivendica né computazione quantistica né vantaggi in termini di velocità quantistica e mantiene la complessità dell’attenzione $\mathcal{O}(N^2D)$ di un Vision Transformer standard. Nei benchmark di classificazione delle immagini, QiT è competitivo con un Transformer classico comparabile, evitando al contempo l’elevato costo di esecuzione osservato per un piccolo Transformer quantistico simulato. QiT-B raggiunge un’accuratezza top-1 del 78,3\% su ImageNet-1K, con 45,7M di parametri e 11,5 GFLOPs. Questi risultati collocano QiT come baseline scalabile per isolare e valutare i bias induttivi ispirati alla quantistica nel riconoscimento visivo.