4月29日消息,據國內媒體報道稱,深度求索可能會在下個月有所行動,推出下一代AI大模型DeepSeek-R2。
報道稱,DeepSeek-R2大模型將會采用一種更先進的混合專家模型(MoE),其結合了更加智能的門控網絡層(Gating Network)以優化高負載推理任務的性能。
有分析師預計,DeepSeek-R2的定價可能顯著低于OpenAI同類產品,預示著其可能顛覆現有AI服務的定價模式。
此外,還有相關消息顯示,DeepSeek-R2預計比GPT-4成本下降97%,并且是在昇騰卡上做的訓練,主打一個全方位全產業鏈的自主可控。
據相關人士透露的情況,DeepSeek-R2的總參數量可能會達到1.2萬億,比DeepSeek-R1的6710億參數增加大約一倍。
DeepSeek-R2是一款基于華為昇騰910B(Ascend 910B)芯片集群訓練的模型,在FP16精度下達到512PetaFLOPS的計算能力,芯片使用效率為82%。
據華為實驗室統計,這個性能相當于英偉達上一代A100訓練集群的91%左右。至于這些是不是真實的,還有待觀察,但看起來確實更強大、更自主了。