AMD se za poslední půlrok díky řadě akcelerátorů Instinct MI300 a novinkám v softwarové podpoře daří oslovovat čím dál více nových zákazníků. Jedním z nich je mladá firma TensorWave, která svůj byznys staví na pronájmu výpočetního výkonu, kdy vidí obligátní díru na trhu. Upozorňuje, že stávající nabídka je velmi předražená, což přičítá pronájmu systémů postavených na akcelerátorech Nvidie, které poskytovatelé nakupují i za několikanásobek původní oficiální ceny, v důsledku čehož je i pronajímaný výkon dražší, než by mohl být.

TensorWave vidí recept v postavení systému na bázi akcelerátorů Instinct MI300X. CEO společnosti, Jeff Tatarchuk, je vnímá jako výhodnější řešení a to ze tří důvodů: V první řadě jsou (vůbec) dostupné, za druhé jsou levnější a za třetí výkonnější. Tatarchuk již v březnu poukázal i na výsledky průzkumu mezi 82 inženýry a subjekty z oboru AI, z nichž polovina vážně uvažuje o opuštění platformy Nvidie a přechodu k akcelerátorům AMD z výše uvedených důvodů.

Instinct MI300X (AMD)

Jmenovaná společnost plánuje v letošním roce postavit vzduchem chlazený systém s 20 000 akcelerátory MI300X a příští rok pokračovat stavbou dalšího řešení s kapalinovým chlazením. Výpočetní výkon pak plánuje pronajímat za několikanásobně nižší ceny než konkurence.

Akcelerátory Instinct MI300X oproti Nvidia H100 nabízejí 2,4× vyšší kapacitu HBM3 paměti, 1,6× vyšší datovou propustnost, 1,3× vyšší výkon v přesnostech FP8 i FP16, o 20 % vyšší výkon v reálné zátěži (Llama 2 70B, FlashAttention 2) při porovnání jednoho akcelerátoru oproti jednomu akcelerátoru a o 40-60 % vyšší výkon v téže zátěži při srovnání konkurujících si systémů o osmi akcelerátorech.

Nvidia se v loňském roce po zveřejnění prvních výkonnostních výsledků Instinct MI300X snažila náskok AMD bagatelizovat zveřejněním vlastních (vyšších) čísel. Záhy však vyšlo najevo, že její výsledky z Nvidia H100 byly naměřené při poloviční přesnosti než s jakou počítal test Instinct MI300X. AMD obratem zveřejnila výsledky s novou verzí softwarové platformy, se kterou MI300X dosahoval vyššího výkonu oproti H100 i při dvojnásobné přesnosti. Poté již Nvidia přestala o H100 (Hopper) mluvit a marketing se zaměřil na prezentaci příští generace, architektury Blackwell.

AMD se za poslední půlrok díky řadě akcelerátorů Instinct MI300 a novinkám v softwarové podpoře daří oslovovat čím dál více nových zákazníků. Jedním z nich je mladá firma TensorWave, která svůj byznys staví na pronájmu výpočetního výkonu, kdy vidí obligátní díru na trhu. Upozorňuje, že stávající nabídka je velmi předražená, což přičítá pronájmu systémů postavených na akcelerátorech Nvidie, které poskytovatelé nakupují i za několikanásobek původní oficiální ceny, v důsledku čehož je i pronajímaný výkon dražší, než by mohl být.

TensorWave vidí recept v postavení systému na bázi akcelerátorů Instinct MI300X. CEO společnosti, Jeff Tatarchuk, je vnímá jako výhodnější řešení a to ze tří důvodů: V první řadě jsou (vůbec) dostupné, za druhé jsou levnější a za třetí výkonnější. Tatarchuk již v březnu poukázal i na výsledky průzkumu mezi 82 inženýry a subjekty z oboru AI, z nichž polovina vážně uvažuje o opuštění platformy Nvidie a přechodu k akcelerátorům AMD z výše uvedených důvodů.

Instinct MI300X (AMD)

Jmenovaná společnost plánuje v letošním roce postavit vzduchem chlazený systém s 20 000 akcelerátory MI300X a příští rok pokračovat stavbou dalšího řešení s kapalinovým chlazením. Výpočetní výkon pak plánuje pronajímat za několikanásobně nižší ceny než konkurence.

Akcelerátory Instinct MI300X oproti Nvidia H100 nabízejí 2,4× vyšší kapacitu HBM3 paměti, 1,6× vyšší datovou propustnost, 1,3× vyšší výkon v přesnostech FP8 i FP16, o 20 % vyšší výkon v reálné zátěži (Llama 2 70B, FlashAttention 2) při porovnání jednoho akcelerátoru oproti jednomu akcelerátoru a o 40-60 % vyšší výkon v téže zátěži při srovnání konkurujících si systémů o osmi akcelerátorech.

Nvidia se v loňském roce po zveřejnění prvních výkonnostních výsledků Instinct MI300X snažila náskok AMD bagatelizovat zveřejněním vlastních (vyšších) čísel. Záhy však vyšlo najevo, že její výsledky z Nvidia H100 byly naměřené při poloviční přesnosti než s jakou počítal test Instinct MI300X. AMD obratem zveřejnila výsledky s novou verzí softwarové platformy, se kterou MI300X dosahoval vyššího výkonu oproti H100 i při dvojnásobné přesnosti. Poté již Nvidia přestala o H100 (Hopper) mluvit a marketing se zaměřil na prezentaci příští generace, architektury Blackwell.