Iper-reti di circuiti per modelli linguistici a diffusione potenziati quantisticamente

Abstract degli autori

I modelli linguistici possono essere adattati modificando i calcoli applicati ai singoli token. I circuiti quantistici offrono un approccio possibile, ma valutare circuiti più ampi all’interno di un modello di grandi dimensioni può richiedere notevoli risorse di calcolo. Qui presentiamo HyperQ, che aggiunge rami residui quantistici condizionati dai token a un modello linguistico a diffusione mascherata con pesi congelati. Un ramo residuo quantistico è un modulo presente in ciascun blocco transformer, che legge lo stato nascosto di un token, genera le coordinate del circuito di quel token, lo esegue e aggiunge i valori misurati tramite una connessione residua. Il modello di base rimane congelato e vengono addestrati solo i rami aggiunti. All’interno di ciascun ramo, una leggera iper-rete di circuiti genera angoli di rotazione, intensità di accoppiamento e assi di misurazione specifici per ciascun token, all’interno di una struttura di circuito sparsa condivisa. I valori di aspettazione richiesti hanno un’espressione classica esatta, il cui costo di valutazione cresce linearmente con il numero di qubit; ciò consente di addestrare circuiti da 16 a 64 qubit all’interno di un modello di base da 1,1 miliardi di parametri. Nei benchmark a valle, all’aumentare dell’ampiezza del circuito il punteggio medio passa da 47,65 a 54,30. Con 64 qubit, HyperQ supera il modello di base e la sua versione adattata a basso rango rispettivamente di 4,71 e 3,67 punti. HyperQ è sottoposto a fine-tuning su 20.000 coppie prompt-risposta, rispetto alle 200.000 usate per le baseline classiche. Questi risultati avvalorano la generazione di circuiti condizionata dai token come approccio architetturale praticabile per la modellazione linguistica potenziata quantisticamente.