Majitelé grafických karet NVIDIA GeForce RTX 30 Series mají důvod zbystřit. Nový open-source projekt GPU Unlock totiž údajně dokáže odemknout část výpočetního výkonu, který byl na spotřebitelských kartách řady Ampere softwarově omezen. V některých scénářích vývojáři uvádějí téměř dvojnásobný výkon Tensor Cores a v reálných AI aplikacích nárůst výkonu až o 60 %.
Za projektem stojí vývojář vystupující pod přezdívkou Zagitta, který vytvořil nástroj GPU Unlock. Jeho cílem je odstranit omezení týkající se některých Tensor Core instrukcí používaných při AI výpočtech. Podle zveřejněných informací jsou spotřebitelské grafické karty Ampere v určitých úlohách omezené oproti profesionálním modelům, přestože disponují stejným základním hardwarem.
Velkou výhodou nástroje je skutečnost, že nevyžaduje modifikaci ovladačů ani přepis BIOSu grafické karty. Řešení využívá speciální kernel modul, který se aktivuje ještě před inicializací ovladače NVIDIA a upraví potřebné hardwarové parametry. Díky tomu není nutné po každé aktualizaci ovladačů opakovat celý proces.
Projekt se konkrétně zaměřuje na omezení rychlosti vydávání instrukcí, které ovlivňuje operace jader Tensor Core v režimu FP16/BF16 s akumulací v režimu FP32; tyto operace probíhají na grafických kartách Ampere určených pro běžné spotřebitele pomaleji než na jejich profesionálních protějšcích. Odstraněním tohoto omezení tento nástroj efektivně uvolňuje další výpočetní výkon, který byly grafické procesory již dříve schopny poskytovat.
Je zajímavé, že projekt GPU Unlock navazuje na dřívější výzkum týkající se grafických karet NVIDIA CMP určených k těžbě kryptoměn. Kombinuje techniky odblokování firmwaru z projektu CMP s přístupem založeným na včasné inicializaci, přičemž využívá modul jádra Linuxu, který se spustí ještě před načtením ovladače grafické karty NVIDIA. Tento modul upravuje příslušné hardwarové selektory rychlosti, provede reset na úrovni funkcí (FLR) a poté umožní neupravenému ovladači normálně inicializovat grafickou kartu.
To také znamená, že uživatelé nebudou muset aktualizovat své ovladače NVIDIA pokaždé, když vyjde nová verze. Vývojář v současné době uvádí podporu pro grafické procesory GA102, GA103, GA104 a GA106, což pokrývá značnou část řady GeForce RTX 30, i když kompatibilita a zlepšení výkonu nejsou zaručeny u všech grafických karet.
RTX 3090 Ti údajně získala až o 94 % vyšší výpočetní výkon
Zvýšení výkonu může být pozoruhodné. Podle benchmarků zveřejněných v repozitáři projektu na GitHubu dosáhla karta RTX 3090 Ti pracující s výkonovým limitem 450 W v testech hustého maticového násobení (GEMM) s akumulací FP32 následujících výsledků:
- FP16 výkon vzrostl z 87,46 TFLOPS na 118,39 TFLOPS (+35 %),
- BF16 výkon se zvýšil z 87,50 TFLOPS na 157,41 TFLOPS (+80 %),
- TF32 výkon narostl z 42,58 TFLOPS na 82,61 TFLOPS (+94 %).
Podobné výsledky hlásí také majitelé RTX 3080 Ti a RTX 3080, kde BF16 výkon v některých případech vzrostl z přibližně 65 TFLOPS na více než 110 TFLOPS bez navýšení spotřeby energie nad původní limity karty.
Největší přínos pocítí AI uživatelé
První testy z komunity naznačují, že GPU Unlock nepřináší pouze syntetické výsledky. Jeden z uživatelů testoval nástroj v prostředí ComfyUI, kde zaznamenal navýšení výkonu o:
- 58,6 % u modelu MOSS-Image SFT,
- 57,2 % u Qwen Image 2.1 Turbo,
- 56,1 % u Z-Image Turbo.
Zároveň však platí, že přínos závisí na konkrétním typu úlohy. Například při použití modelů využívajících formát INT8 byl nárůst výkonu minimální.
Pozitivní výsledky byly zaznamenány také při provozu velkých jazykových modelů (LLM). V jednom z testů došlo ke zvýšení výkonu přibližně o 33 %, především během zpracování vstupních dat. Samotná rychlost generování odpovědí se ale výrazně nezměnila, protože zde začíná hrát větší roli propustnost paměti než výkon Tensor Cores.
Nečekejte vyšší FPS ve hrách
I když Tensor Cores využívají technologie jako DLSS, autoři projektu upozorňují, že zatím neexistují důkazy o zlepšení herního výkonu. GPU Unlock neodemyká další CUDA jádra, nezvyšuje propustnost paměti a neurychluje automaticky všechny typy zátěže.
Jinými slovy, majitelé RTX 3080 nebo RTX 3090 by neměli očekávat skokový nárůst FPS ve hrách. Největší potenciál má nástroj pro uživatele využívající grafické karty k lokálnímu běhu AI modelů, generování obrázků nebo vědeckým výpočtům.
Objevuje se i podpora Windows
Zajímavostí je, že komunita již pracuje také na experimentální verzi pro Windows. Ta využívá přístup založený na UEFI místo linuxového kernel modulu. Jeden z vývojářů již demonstroval funkční implementaci na RTX 3090 s navýšením BF16 výkonu o přibližně 82,5 %. Zatím však jde o ranou experimentální verzi určenou pouze pro pokročilé uživatele.
Pokud se projekt bude dále rozvíjet a získá širší podporu, mohl by majitelům starších karet RTX 30 Series nabídnout zajímavý způsob, jak z hardwaru vytěžit více výkonu bez nutnosti nákupu nové generace GPU.
Tato zpráva je o to zajímavější s ohledem na afkt, že díky nedostatku pamětí se výrazně spomalil prodej grafických karet a samotná Nvidia v červenci opět uvedla do rpodeje RTX 3060 12 GB, více o tom zde.
Jste majiteli grafické karty RTX řady 30 a chystáte se odemknout potenciální výkon? Pokud ano dejte nám vědět v komentáři nebo na serveru Discord, jak jste uspěli.
Článek RTX 30 dostávají druhý dech. Nový nástroj odemyká skrytý výkon pro AI a slibuje až dvojnásobný výpočetní výkon se nejdříve objevil na GAME PRESS.
