Gli strati quantistici possono offrire vantaggi in termini di prestazioni e sicurezza nei modelli visivo-linguistici?

Abstract degli autori

Mentre la computazione quantistica passa dall’era dei dispositivi quantistici rumorosi di scala intermedia (NISQ) alle prime forme di computazione quantistica tollerante ai guasti (EFTQC), l’intelligenza artificiale potenziata dalla computazione quantistica sta passando da idea concettuale a oggetto di ricerca sperimentale. Ci si aspetta che i componenti quantistici amplino le capacità dei sistemi di intelligenza artificiale esistenti, ma non è ancora chiaro quale contributo possano dare all’interno dei grandi modelli multimodali. In questo studio cerchiamo di rispondere a tale domanda per i modelli visivo-linguistici (VLM), utilizzando strati quantistici simulati con metodi classici. Usando LLaVA-OneVision come modello di base, valutiamo circuiti ad anello semplice e a forte entanglement da 4 e 8 qubit in quattro punti di inserimento e quattro punti di sostituzione. L’inserimento aggiunge strati quantistici al modello classico, mentre la sostituzione li impiega al posto di componenti classici. Con la stessa configurazione, confrontiamo prestazioni e costo computazionale dei modelli classici e di quelli ibridi quantistico-classici. Sul dataset Visual Spatial Reasoning, l’inserimento di uno strato quantistico dopo il proiettore visivo raggiunge un’accuratezza dell’80,7% sul set di sviluppo, superiore di 2,28 punti percentuali rispetto al fine-tuning completo del modello classico. La sostituzione del sottostrato feed-forward del decoder finale mantiene un’accuratezza del 79,22% con 13,07 milioni di parametri addestrabili in meno. L’inserimento di strati quantistici può quindi migliorare l’accuratezza, mentre una sostituzione selettiva può ridurre il numero di parametri. Questi vantaggi dipendono fortemente dal punto in cui viene inserito lo strato quantistico o dal componente classico che sostituisce: le sostituzioni nei livelli precedenti riducono l’accuratezza, e un minor numero di parametri non accorcia necessariamente l’addestramento né riduce il carico computazionale. Per valutare i possibili vantaggi in termini di sicurezza, abbiamo esaminato la robustezza dei modelli ibridi quantistico-classici in sei scenari di attacco. Nel complesso, il nostro studio individua dove, all’interno dei VLM, gli strati quantistici apportano benefici e dove invece sono svantaggiosi, offrendo un punto di partenza per la progettazione di VLM ibridi; resta da stabilire se questi miglioramenti siano generalizzabili. Il codice è disponibile all’indirizzo https://github.com/TITANS-Lab-Artifacts/QuantumVLM.