节目

DeepSeek-R2发布在即,参数量翻倍,华为昇腾芯片利用率达82%!

所属专辑: 科技前言
主播: 叨哥
最近更新: 4天前时长: 02:04
科技前言
扫码下载蜻蜓app
听书/听小说/听故事
4.5亿用户的选择
节目简介

# DeepSeeker-R2模型参数信息

# 混合专家模型Moe架构

# 智能能控网络层优化

# 华为昇腾910B芯片集群

# 昇腾芯片利用率82%

# 单位推理成本降低97.4%

# 国产AI硬件自主化进展

深度求索即将发布下一代AI大模型DeepSeeker-R2,其参数量预计达到1.2万亿,较前代提升约一倍。该模型采用混合专家模型Moe架构,结合智能能控网络层优化,显著提升了高负载推理任务的性能表现,规模对标GPT-4 Turbo和Gemini 2.0 Pro等国际主流模型。
在硬件平台方面,DeepSeeker-R2基于华为昇腾910B芯片集群进行训练,FP16精度下实现512PF计算性能,昇腾芯片利用率达82%。测试数据显示,该算力约为英伟达A100训练集群的91%,同时单位推理成本较GPT-4降低97.4%,达到0.07美元/百万Token。
由于美国断供英伟达高端芯片,华为昇腾910B训练集群的应用进一步降低了对外部AI芯片的依赖。昇腾910C芯片已进入量产阶段,CloudMatrix 384超节点采用384颗昇腾910C芯片,或成为替代英伟达NVL72集群的方案,推动国产AI硬件自主化进程。

评论
还没有评论哦
回到顶部
/
收听历史
清空列表