標籤
MLPerf 是用來衡量機器學習訓練與推論效能的公開基準,常被拿來比較 GPU、伺服器與軟體堆疊的實際差異。這個標籤聚焦最新成績、模型類型與最佳化手法,尤其是推論延遲、吞吐量與系統調校。
2 篇文章
Nvidia 在 MLPerf v6.0 交出最高 2.77x 推論提升。GB300 NVL72 的成績顯示,Dynamo、TensorRT-LLM 這類軟體優化,已經和 GPU 硬體同樣重要。
NVIDIA 在 MLPerf Inference v6.0 再交出新成績,GB300 NVL72 對 DeepSeek-R1 伺服器推論提升 2.7x,Llama 3.1 405B 也提升 1.5x。