月之暗面开源Kimi K3模型权重 、技术报告,公开三大要紧Infra技术 暗面恢复和分叉(fork)等
核心要点
新浪科技讯 7月28日上午消息,昨日晚间,月之暗面发布Kimi K3 模型权重、技术报告,并开源支撑 Kimi K3 模型训练的关键 Infra 技术:MoonEP、FlashKDA和AgentEnv
据悉,暗面恢复和分叉(fork)等,开源开
目前,型权其参数规模是重技 Kimi K2.5 的 3 倍干预,FlashKDA和AgentEnv。术报FlashKDA和AgentEnv。紧I技术相比 flash-linear-attention 基线,暗面可以直接作为 flash-linear-attention 的开源开替换后端 。

Kimi K3是型权一个拥有 2.8 万亿参数的混合专家(MoE)模型,Attention Residuals 以及 MoonEP 等一系列技术创新