Vai al contenuto
Quantum.world

Ricerca

Reti neurali quantistiche multi-head: sostituire i blocchi Transformer con moduli NISQ all’interno di un LLM da 30 miliardi di parametri

Presentiamo la rete neurale quantistica (QNN) multi-head, un modulo quantistico compatibile con dispositivi quantistici rumorosi a scala intermedia (NISQ), che può sostituire blocchi transformer…

Reti neurali quantistiche multi-head: sostituire i blocchi Transformer con moduli NISQ all’interno di un LLM da 30 miliardi di parametri
arXiv
2611.15250
Pubblicato
2026-11-11
Autori
Maforikan Amoussou, Borja Aizpurua, Sukhbinder Singh, Román Orús, Hans-Arno Jacobsen

Abstract degli autori

Presentiamo la rete neurale quantistica (QNN) multi-head, un modulo quantistico compatibile con dispositivi quantistici rumorosi a scala intermedia (NISQ), che può sostituire blocchi transformer all’interno di modelli linguistici di grandi dimensioni (LLM) pre-addestrati, con una perdita di accuratezza contenuta e molti meno parametri dei blocchi sostituiti. Codificare i $D$ neuroni nascosti di un modello in un registro di qubit è l’ostacolo: la codifica di ampiezza scala male in profondità del circuito e quella angolare nel numero di qubit, perciò nessuna delle due è praticabile a una larghezza di scala produttiva. Suddividiamo invece lo spazio nascosto in $k$ teste disgiunte, codifichiamo ciascuna mediante codifica angolare in un registro di $n_q$ qubit, elaboriamo le teste in parallelo e le colleghiamo tramite strati lineari classici vincolati, i mixer. Intervenendo su Qwen3-30B-A3B-Instruct-2507, mostriamo che una singola QNN multi-head con $145\,281$ parametri addestrabili ($D=2048$, $k=32$, $n_q=8$, $L=4$) può sostituire una sequenza contigua di otto blocchi transformer, rimuovendo $16.33\%$ dei parametri del modello. Gli studi di ablazione mostrano che, quando si sostituisce un singolo blocco, sono le teste quantistiche (circuiti seguiti da una lettura appresa), e non i soli mixer classici, a recuperare la funzione rimossa; per le sequenze fuse, invece, i soli mixer si avvicinano entro $1$-$3\%$ al modulo completo in termini di perplessità. Non è stato stabilito se questo vantaggio sia specifico dei circuiti quantistici addestrati e con entanglement: i controlli che disattivano l’entangler (due seed) o bloccano il circuito ai suoi angoli iniziali oppure ad angoli uniformemente casuali (un seed) superano il modulo completo in termini di perplessità su dati esclusi dall’addestramento, mentre un perceptron multistrato classico con un numero di parametri equivalente resta avanti di qualche punto percentuale rispetto al modulo completo. Ci alleniamo classicamente con una simulazione esatta del vettore di stato, quindi eseguiamo le teste quantistiche dei nostri checkpoint di fusione su un processore IBM Heron da $156$ qubit, mostrando che è possibile integrare moduli quantistici su scala NISQ in un LLM su scala produttiva ed eseguirli sull’hardware.

Il riassunto di questo paper è disponibile solo in inglese: leggilo nella pagina inglese.

Leggi il paper originale su arXiv