Compania de cipuri condusă de Jim Keller, Tenstorrent, a lansat procesorul Wormhole de nouă generație pentru sarcinile de lucru AI, despre care se așteaptă să ofere performanțe bune la un preț accesibil.Compania oferă în prezent două plăci PCIe suplimentare care pot găzdui unul sau două procesoare Wormhole, precum și stații de lucru TT-LoudBox și TT-QuietBox pentru dezvoltatorii de software. Toate anunțurile de astăzi sunt destinate dezvoltatorilor, nu celor care folosesc plăci Wormhole pentru sarcini comerciale.
„Este întotdeauna îmbucurător să punem mai multe dintre produsele noastre în mâinile dezvoltatorilor. Sistemele de dezvoltare de lansare care folosesc cardurile noastre Wormhole™ pot ajuta dezvoltatorii să crească și să dezvolte software AI cu mai multe cipuri”, a declarat Jim Keller, CEO al Tenstorrent.Pe lângă această lansare, suntem încântați să vedem progresul pe care îl facem cu scoaterea casetei și pornirea produsului nostru de a doua generație, Blackhole.”
Fiecare procesor Wormhole conține 72 de nuclee Tensix (dintre care cinci acceptă nuclee RISC-V în diferite formate de date) și 108 MB de SRAM, furnizând 262 FP8 TFLOPS la 1 GHz cu o putere termică de proiectare de 160 W. Cardul Wormhole n150 cu un singur cip este echipat cu memorie video GDDR6 de 12 GB și are o lățime de bandă de 288 GB/s.
Procesoarele Wormhole oferă scalabilitate flexibilă pentru a răspunde nevoilor diverse ale sarcinilor de lucru. Într-o configurație standard de stație de lucru cu patru carduri Wormhole n300, procesoarele pot fi combinate într-o singură unitate care apare în software ca o rețea centrală Tensix unificată. Această configurație permite acceleratorului să gestioneze aceeași sarcină de lucru, împărțit între patru dezvoltatori sau să ruleze până la opt modele AI diferite simultan. O caracteristică cheie a acestei scalabilități este că poate rula local fără a fi nevoie de virtualizare. Într-un mediu de centru de date, procesoarele Wormhole vor folosi PCIe pentru extinderea în interiorul mașinii sau Ethernet pentru extinderea externă.
În ceea ce privește performanța, cardul Tenstorrent Wormhole n150 cu un singur cip (72 de nuclee Tensix, frecvență de 1 GHz, 108 MB SRAM, 12 GB GDDR6, 288 GB/s lățime de bandă) a atins 262 FP8 TFLOPS la 160 W, în timp ce placa de vierme dual-chip n3000 (128 de nuclee Tensix, frecvență de 1 GHz, 192 MB SRAM, 24 GB GDDR6 agregat, 576 GB/s lățime de bandă) oferă până la 466 FP8 TFLOPS la 300 W.
Pentru a pune 300W de 466 FP8 TFLOPS în context, îl vom compara cu ceea ce oferă liderul de piață AI Nvidia la această putere de proiectare termică. A100 de la Nvidia nu acceptă FP8, dar acceptă INT8, cu performanțe de vârf de 624 TOPS (1.248 TOPS când sunt rare). În comparație, H100 de la Nvidia acceptă FP8 și atinge performanțe de vârf de 1.670 TFLOPS la 300W (3.341 TFLOPS la rar), ceea ce este semnificativ diferit de Wormhole n300 de la Tenstorrent.
Cu toate acestea, există o problemă majoră. Wormhole n150 de la Tenstorrent se vinde cu 999 USD, în timp ce n300 se vinde cu 1.399 USD. Prin comparație, o singură placă grafică Nvidia H100 se vinde cu 30.000 USD, în funcție de cantitate. Desigur, nu știm dacă patru sau opt procesoare Wormhole pot oferi de fapt performanța unui singur H300, dar TDP-urile lor sunt de 600 W și, respectiv, 1200 W.
În plus față de carduri, Tenstorrent oferă stații de lucru pre-construite pentru dezvoltatori, inclusiv 4 carduri n300 în TT-LoudBox, mai accesibil, bazat pe Xeon, cu răcire activă, și TT-QuietBox avansat cu funcție de răcire lichidă Xiaolong) bazată pe EPYC).
Ora postării: Iul-29-2024