Rimani aggiornato con WebMasterPoint
Una modifica realizzata dai modder promette di raddoppiare le prestazioni IA delle NVIDIA RTX 30 e 40, sbloccando funzionalità finora limitate. Restano da valutare attivazione, consumi e vantaggi nelluso quotidiano.
Un ricercatore ha modificato le GPU NVIDIA GeForce RTX per attivare capacit di calcolo IA che, nei test, hanno portato una RTX 4090 da 165,6 a 331,6 TFLOPS. Il raddoppio riguarda alcune operazioni dei Tensor Core. La scheda ha mantenuto un TGP di 450 W. NVIDIA produce le GPU coinvolte; gli interventi descritti agiscono via software sui chip.
RTX 30 e 40, cosa sblocca la modifica
Sulle RTX 30 basate sullarchitettura Ampere, il lavoro interviene su istruzioni matematiche impiegate nei calcoli delle matrici. I chip interessati sono GA102, GA103, GA104 e GA106. Nei test con una RTX 3090 Ti, le moltiplicazioni di matrici BF16 hanno registrato un guadagno fino all80%. BF16 un formato a 16 bit, utile nei carichi di lavoro delle reti neurali.
Per le RTX 40, basate sullarchitettura Ada Lovelace, stato realizzato un progetto distinto. La modifica attiva un throughput maggiore dei Tensor Core nei calcoli FP16 e BF16 con accumulo FP32. Oltre alla RTX 4090, la compatibilit indicata comprende i chip AD102, AD103 e AD106: il vantaggio si concentra dunque sulle operazioni supportate dallintervento.
Il risultato pi marcato riguarda la RTX 4090. Nei calcoli interessati, i test indicano un passaggio da 165,6 a 331,6 TFLOPS. un livello accostabile a quello della RTX 6000 Ada Generation, una scheda professionale.
Attivazione, consumi e uso pratico
Le modifiche funzionano con i driver NVIDIA originali e aggirano i controlli del driver intervenendo sul PCIe Function Level Reset. Vanno attivate allavvio, prima che il driver associ la GPU al kernel. La procedura richiede quindi un intervento anticipato, a basso livello, e pu risultare meno immediata per chi non ha familiarit con questo tipo di configurazione.
Sulle schede con chip GA102 e AD102, il consumo misurato nei test rimasto a 450 W. Il dato accompagna laumento del throughput IA senza un incremento rilevato dei consumi. un aspetto che distingue il risultato dalloverclock tradizionale, che spesso punta a prestazioni maggiori aumentando il limite di potenza.
Per chi esegue in locale modelli linguistici di grandi dimensioni, laumento pu tradursi in pi token elaborati nelle fasi di prefill e decode, quando il software sfrutta le istruzioni coinvolte. Anche la generazione di immagini pu beneficiare dellaccelerazione se il carico utilizza quei calcoli; il risultato varia in base al modello e alla pipeline.
Il possibile vantaggio rispetto alloverclock quindi una maggiore efficienza nei carichi IA. La modifica pu interessare utenti esperti, con GPU RTX compatibili e attivit intensive sui Tensor Core. Per chi d priorit alla semplicit, alla stabilit e al supporto ufficiale, loverclock tradizionale resta una strada diversa. Lattivazione anticipata della modifica pu comportare problemi di compatibilit o affidabilit.