Az idei Hot Chips alkalmával a FuriosaAI bejelentette, hogy célegyenesbe fordult az RNGD gyorsítójuk fejlesztése, amelyet még 2021-ben lepleztek le. A vállalat szerint a nyáron már az első megrendelők is megkaphatták a hardvert, jelenleg pedig a szoftveres háttér optimalizálásán dolgoznak.
Hirdetés
Maga az RNGD egy x16-os PCI Express csatolóba helyezhető gyorsító, amely papíron 150 wattos TDP-vel bír, a TSMC által gyártott, alapvetően ismeretlen specifikációjú lapka mellett pedig HBM3 szabványú memóriák dolgoznak párban.
[+]
A tervezők szerint a hardver nagyjából 12 lekérdezést generál másodpercenként, méghozzá a GPT-J 6B modellt futtatva, 8 bites lebegőpontos formátumot használva. Ugyanakkor a cég megjegyezte, hogy ez még később javulni fog a szoftverkörnyezet fejlesztésével. A szóban forgó teljesítmény nagyjából megegyezik az NVIDIA L40S gyorsítóval, de amíg ez a dizájn 320 wattot igényel, addig az RNGD beéri 185 wattal. Ez egyébként nem feltétlenül számít túl nagy dolognak, mivel a GPU-k eleve nem túl jó hatékonyságúak a gépi tanulás következtetés szakaszában, nem véletlen, hogy a kliensek piacán is inkább NPU-val oldják meg ezt a feladatot. Szerverek szintjén is áll ez a különbség, és emiatt lehet keresnivalója a piacon a FuriosaAI RNGD-nek.
A nagyobb mennyiségű elérhetőséget a cég a következő év elejére várja, de az érdeklődők már most jelezhetik az igényeket az RNGD-vel kapcsolatban.
