Serwisy partnerskie:
Close icon
Serwisy partnerskie

Dedykowany sztucznej inteligencji (AI) układ scalony Gaudi 3 firmy Intel

Article Image
Ten wyjątkowy we własnej klasie układ scalony oznacza niesłychany skok wydajności czy produktywności w dziedzinie szkolenia AI i wnioskowania na popularnych, dużych modelach językowych (LLM). Produkowany w procesie technologicznym 5 nm sprzyja, w rzeczy samej, niezwykle złożonym obliczeniom - tak bardzo potrzebnym aplikacjom sztucznej inteligencji (AI). Jest to zagwarantowane przy bardzo niezawodnej obsłudze sieci Ethernet, za którą odpowiada 24 portów o przepustowości sięgającej 200 Gb/s.

W poczet układu scalonego Gaudi 3 wchodzą w szczególności: 64 jednostki TPC (ang. Tensor Processor Cores) i 8 jednostek MMC (z ang. Matrix Multiplication Engine), przy czym ostatnie realizują z odrębna do 64 tysięcy operacji jednocześnie. Z łatwością obsługiwanych jest wiele popularnych typów danych, w tym FP8 i BF16, a dzięki 24 portom Ethernet można budować w pełni funkcjonalne, przeogromne klastry obliczeniowe stworzone zwłaszcza z układów Gaudi 3. Opisywany układ doskonale sobie radzi z obszernymi operacjami macierzowymi, które są z pewnością nieocenione w przypadku algorytmów głębokiego uczenia (ang. deep learning). W połączeniu z wbudowaną pamięcią SRAM o pojemności 96 MB i możliwością obsługi pamięci HBMe2 o pojemności do 128 GB, przy przepustowości sięgającej nawet 3,7 Tb/s, jest to dosyć wydajne rozwiązanie, które w zupełności wystarcza do przetwarzania bardzo dużych zbiorów danych.

Układ scalony Gaudi 3

Dedykowane układowi scalonemu Gaudi 3 oprogramowanie obejmuje wsparcie dla biblioteki PyTorch i obsługuje wszystkie zoptymalizowane modele, które pochodzą z Hugging Face tzn. najpopularniejszej obecnie platformy dla programistów generatywnej, sztucznej inteligencji i nie tylko. Pozwala to wspomnianym twórcom działać na bardzo wysokim poziomie abstrakcji, zapewniając łatwość użytkowania i produktywność, jak też i prostotę przenoszenia modeli na różnego rodzaju sprzęt. Układ scalony Gaudi 3 gwarantuje znakomitą efektywność działania, przy obniżonym poborze mocy. Jest to szczególnie ważne w kontekście wdrażania aplikacji AI którym mocy obliczeniowych, a przez to energii nigdy nie będzie za wiele.

Więcej informacji pod adresami: link 1 i link 2

Podsumowanie możliwości układu scalonego Gaudi 3
Galeria
Wideo
Firma: Intel
Tematyka materiału: Gaudi 3, generatywna sztuczna inteligencja, HBMe2, Intel, Matrix Multiplication Engine, Tensor Processor Cores
AUTOR
Źródło
intel.com
Udostępnij
UK Logo
Elektronika dla Wszystkich
Zapisując się na nasz newsletter możesz otrzymać GRATIS
najnowsze e-wydanie magazynu "Elektronika dla Wszystkich"