Serwisy partnerskie:
Close icon
Serwisy partnerskie

Dedykowany sztucznej inteligencji (AI) układ scalony Gaudi 3 firmy Intel

Article Image
Ten wyjątkowy we własnej klasie układ scalony oznacza niesłychany skok wydajności czy produktywności w dziedzinie szkolenia AI i wnioskowania na popularnych, dużych modelach językowych (LLM). Produkowany w procesie technologicznym 5 nm sprzyja, w rzeczy samej, niezwykle złożonym obliczeniom - tak bardzo potrzebnym aplikacjom sztucznej inteligencji (AI). Jest to zagwarantowane przy bardzo niezawodnej obsłudze sieci Ethernet, za którą odpowiada 24 portów o przepustowości sięgającej 200 Gb/s.

W poczet układu scalonego Gaudi 3 wchodzą w szczególności: 64 jednostki TPC (ang. Tensor Processor Cores) i 8 jednostek MMC (z ang. Matrix Multiplication Engine), przy czym ostatnie realizują z odrębna do 64 tysięcy operacji jednocześnie. Z łatwością obsługiwanych jest wiele popularnych typów danych, w tym FP8 i BF16, a dzięki 24 portom Ethernet można budować w pełni funkcjonalne, przeogromne klastry obliczeniowe stworzone zwłaszcza z układów Gaudi 3. Opisywany układ doskonale sobie radzi z obszernymi operacjami macierzowymi, które są z pewnością nieocenione w przypadku algorytmów głębokiego uczenia (ang. deep learning). W połączeniu z wbudowaną pamięcią SRAM o pojemności 96 MB i możliwością obsługi pamięci HBMe2 o pojemności do 128 GB, przy przepustowości sięgającej nawet 3,7 Tb/s, jest to dosyć wydajne rozwiązanie, które w zupełności wystarcza do przetwarzania bardzo dużych zbiorów danych.

Układ scalony Gaudi 3

Dedykowane układowi scalonemu Gaudi 3 oprogramowanie obejmuje wsparcie dla biblioteki PyTorch i obsługuje wszystkie zoptymalizowane modele, które pochodzą z Hugging Face tzn. najpopularniejszej obecnie platformy dla programistów generatywnej, sztucznej inteligencji i nie tylko. Pozwala to wspomnianym twórcom działać na bardzo wysokim poziomie abstrakcji, zapewniając łatwość użytkowania i produktywność, jak też i prostotę przenoszenia modeli na różnego rodzaju sprzęt. Układ scalony Gaudi 3 gwarantuje znakomitą efektywność działania, przy obniżonym poborze mocy. Jest to szczególnie ważne w kontekście wdrażania aplikacji AI którym mocy obliczeniowych, a przez to energii nigdy nie będzie za wiele.

Więcej informacji pod adresami: link 1 i link 2

Podsumowanie możliwości układu scalonego Gaudi 3
Galeria
Wideo
Firma: Intel
Tematyka materiału: Gaudi 3, generatywna sztuczna inteligencja, HBMe2, Intel, Matrix Multiplication Engine, Tensor Processor Cores
AUTOR
Źródło
intel.com
Udostępnij
Zobacz wszystkie quizy
Quiz weekendowy
Edukacja
1/10 Jak działa rezystor LDR?
UK Logo