Nvidia GB300: az MI-ügynöki terhelésben messze lekörözi a Hoppert!
TECH HÍREK – Miközben a Rubin platform közelít a megjelenéshez, a Blackwell alapú GB300 messze maga mögé utasítja a Hopper platformot. Az Nvidia Blackwell GB300 rekordteljesítményt ért el az AA-AgentPerf nevű új benchmarkban, amely az ügynökalapú mesterséges intelligencia munkafolyamatait méri. Az Artificial Analysis benchmarkja azt méri, hogy egy inferencia-telepítés hány aktív ügynököt tud támogatni reális terhelés mellett, amely magában foglalja a valós ügynöki pályákat (többfordulós kódolási munkamenetek interleaved érveléssel, eszközhívásokkal és változó kontextushosszúságokkal (nem szintetikus, egységes promptok)), a tartós párhuzamos terhelést (a szimulált ügynökök folyamatos, folyamatban lévő kéréseket tartanak fenn, terhelve a KV-cache újrafelhasználását, a spekulatív dekódolást és az ütemező viselkedését), piaci SLO-szinteket (az Artificial Analysis szerver nélküli API-benchmarking adatai alapján meghatározott teljesítményküszöbök, amelyek a szolgáltatók körében megfigyelt...
- Hirdetés -
