NPU 型号 | FP16 算力 | 显存 | 对应华为整机 |
---|---|---|---|
昇腾 Ascend 910B4 | 280T | 32GB HBM2 | Atlas 800I A2 |
昇腾 Ascend 910B3 | 313T | 64GB HBM2 | Atlas 800T A2 |
昇腾 Ascend 910B2 | 376T | 64GB HBM2 | |
昇腾 Ascend 910B1 | 414T | 64GB HBM2 |
由于没有 fp8 计算单元,若要部署完整精度的 Deepseek R1,则需要将近 2T 显存,需要至少 4 台 8 卡 32GB 版本的 910B
Photo by A Chosen Soul on Unsplash