云和产业观察

关于DeepSeek及其核心技术（二）

2.2.1 DeepSeekMoE

第一个将MoE架构引入Transformer网络的就是GShard架构了，与传统大模型架构相比，MoE架构在数据流转过程中集成了一个专家网络层。

可以看出传统的MoE基本两部分组成：Gating门控网络、稀疏MoE层：

●稀疏MoE层: 这些层代替了传统 Transformer 模型中的前馈网络 (FFN) 层。MoE 层包含若干“专家”(例如 8 个)，每个专家本身是一个独立的神经网络。在实际应用中，这些专家通常是前馈网络 (FFN)，但它们也可以是更复杂的网络结构，甚至可以是 MoE 层本身，从而形成层级式的 MoE 结构。

●门控网络或路由: 这个部分用于决定哪些Token被发送到哪个专家。Token的路由方式是 MoE 使用中的一个关键点，因为路由器由学习的参数组成，并且与网络的其他部分一同进行预训练。

和传统的MoE架构相比，DeepSeekMoE使用更细粒度的专家，并将一些专家隔离为共享专家，减少专家间的知识冗余。

门控网络路由策略：TopK表示第t个Token和所有路由专家计算出的亲和力分数中K个最高分数的集合，在DeepSeekV3中，使用sigmoid函数计算亲和力分数，然后在所有选择的亲和力分数中应用归一化来生成门控值。

通常在MoE模型的训练过程中，不同专家因为路由策略的因素会导致接收的训练数据分布不均，比如所有的Token都被发送到只有少数几个受欢迎的专家，那么有些专家就可能没有被训练到。

业界通用的解决方案就是引入辅助损失，但是，有时候过大的辅助损失会损害模型性能。为了在负载均衡和模型性能之间取得更好的平衡，DeepSeek开创了一种无辅助损失的负载均衡策略：为每个专家引入一个偏差项，并将其添加到相应的亲和力分数中以确定top-K路由，具体来说：如果其对应的专家过载，我们将偏差项减少γ；如果其对应的专家负载不足，我们将偏差项增加γ，其中γ是一个称为偏差更新速度的超参数。  

门控网络本质上就是一个softmax叠加一个分类网络，那么辅助loss往往就是添加一个惩罚项，对输出过大的 logits 进行惩罚，鼓励模型生成更加适度的 logits 值，防止模型生成过于极端的输出。

2.1.2 MLA 多头潜在注意力
大模型推理过程KV Cache机制一般是限制推理效率的一大瓶颈，而标准的Transformer 架构里面的MHA架构会产出非常多的KV Cache，为了减少对应的KV Cache业界实践过很多方案，例如PagedAttention、多查询注意力（MQA）和分组查询注意力（GQA），但是性能相比原生的MHA有一定差距。

DeepSeek-V2，提出一种创新的注意力机制：多头潜在注意力（MLA）。相比MQA的KV共用和GQA的KV分组，MLA的核心是注意力键和值的低秩联合压缩，以减少推理过程中的键值(KV)缓存。相比MHA具有更好的性能，但需要的 KV 缓存量要少得多。

低秩矩阵是指其秩（rank）远小于其行数和列数的矩阵。假设我们有一个矩阵，其实际结构允许它被分解为两个较小的矩阵的乘积。这种情况通常意味着原矩阵是低秩的。假设我们有一个4×5的矩阵A，这个矩阵可以通过两个更小的矩阵的乘积来表示，比如一个4×2的矩阵B和一个2×5的矩阵C。这意味着原始矩阵A的信息可以通过这两个较小的矩阵来捕捉，表明A是一个低秩矩阵。

低秩压缩计算核心过程：

这里的表示第t个Token的输入，表示KV的向下投影矩阵，将做降维压缩表示，实际得到就是要缓存的KV压缩隐向量；和是向上做升维的投影矩阵，将Token的压缩隐向量复原为原始KV矩阵；

|云和资本与云园区签署战略合作协议，共探产业园区与基金领域协同发展新机遇

2月27日，云园区（北京）科技股份有限公司董事长李博、金融事业部总经理张宏军以及工程事业部负责人李宁莅临云和资本北京办公室。云和资本的董事长赵云先生、创始合伙人乔栋先生和高级合伙人岳英丹先生共同接待到访嘉宾。在此次交流中，双方就产业园区与基金领域的合作前景进行了广泛而深入的探讨，并正式签署了战略合作协议。这一协议的签署，不仅标志着双方在资源共享、优势互补的道路上迈出了关键一步，更为未来的协同发展奠定了坚实的基础。

未来，云园区与云和资本将强强联手，重点布局京津冀经济区、中原经济区、长江中游长株潭经济区、成渝经济区及海峡西岸片区等战略区域。随着业务的不断拓展，双方将加强交流与合作，共同开创新的发展机遇。

云园区（北京）科技股份有限公司作为中国城市产业集群数智化综合服务的引领者，已在京津冀协同发展区域建成并投产了60万平方米的产业园，实力雄厚。2024年5月，中国企业联合会与中国企业家协会联合发布了“2024年度中国企业新质生产力优秀案例”，云园区股份与华为、腾讯、抖音、百度、阿里云、中国电信、三一重工等国内知名企业共同入选。

|上海市委常委、浦东新区区委书记李政走访燧原科技

2月25日上午，上海市委常委、浦东新区区委书记李政走访上海燧原科技股份有限公司。了解燧原科技产品生态建设、核心技术攻关、应用场景落地等情况，并就下一步发展设想和企业负责人深入交流。

（来源：燧原科技Enflame）

|九州云箭“龙云发动机真空版”通过长程热试车考核

近日，龙云发动机真空版（LY-70V）完成了累计千秒级热试车考核，系列试车取得圆满成功！

本轮试车验证了龙云发动机真空版的设计合理性、大面积比喷管工艺与产品可靠性以及真空发动机对双过冷推进剂的适应性。

（来源：九州云箭）

|蔚复来智造参加2025年沃洲镇经济发展圆桌会

近日，新昌县沃洲镇召开“共建我家·共富沃洲”经济发展圆桌会，总结成果强信心、部署动员开新局。沃洲镇党政班子成员，行政村书记，纳税100万元以上企业负责人、重点企业代表、受表彰单位和个人参加会议。蔚复来（浙江）智能装备有限公司受邀参加。

会上表彰2024年在沃洲镇经济建设和社会发展中涌现出来的先进企业和个人，蔚复来（浙江）智能装备有限公司荣获“经济发展成长突破奖”和“经济发展优秀贡献奖”。

（来源：蔚复来科技）

|集创北方获海康威视颁发“最佳质量奖”

2月25日，北京集创北方科技股份有限公司（简称集创北方）董事长张晋芳一行前往杭州海康威视数字技术股份有限公司（简称海康威视）拜访交流。

在交流会上，海康威视总裁徐鹏向集创北方颁发了 “最佳质量奖”，以表彰集创北方在过去的一年中所展现出的卓越的产品交付质量与优异的售前售后服务水准。

|八维通成功举办DeepSeek在水利行业深度应用研讨会

3月1日，由八维通科技有限公司主办的“DeepSeek在水利行业深度应用研讨会”在杭州隆重召开。本次研讨会以“聚焦DeepSeek应用，共探智慧水利新未来”为主题，汇聚了全国水利、水运、水务、海洋和通信等领域的专家学者和技术大咖。

研讨会内容紧密契合国家战略需求和行业发展方向，多位专家围绕DeepSeek在智慧水利建设与水陆联运高质量发展中的创新应用，从技术突破、模式创新、生态构建等多维度做专题报告，为推进水利行业数字化转型提供了前瞻性思路和切实可行的发展建议，为智慧水利的高质量发展注入了动能。

（来源：八维通）

|天仪智科受邀出席2025徐家汇营商大会

近日，2025年徐家汇营商推介大会日前在徐家汇中心举行，大会以“赋能企业‘加速跑’”为主题，发布了涵盖智能科技、生物医药、美妆护理等领域的18个重点项目签约计划。天仪智科与徐家汇街道完成了重点项目签约，并与上海市发改委、徐汇区政府领导及数百家企业代表共话区域经济高质量发展新机遇。

（来源：天仪智科）

|兴晟能源荣获第七届中国户用和工商业光储充行业项目优秀案例奖

3月4日，第七届“中国户用和工商业光储充行业项目优秀案例奖”在山东济南圆满落幕。北京兴晟能源有限公司（简称“兴晟能源”）荣获该奖项。

（来源：兴晟能源）

|北京女娲补天科技本地部署DeepSeek-R1，推动幼儿膳食健康管理迈入人工智能新时代

近日，北京女娲补天科技信息技术有限公司联合清华大学和阿里云，成功本地化部署DeepSeek-R1满血版，并接入童帮幼儿膳食健康管理平台，标志着幼儿园食品安全与营养健康管理正式迈入人工智能新时代。此举不仅提升了补天科技在智能化领域的创新能力，也为全国托幼机构提供了创新范例。

童帮平台依托健康大模型与DeepSeek千亿级参数大模型的深度融合，赋能园所儿童食品安全与营养健康管理，相当于为园所和家长配备了一名有30年经验的人工智能保健医。全面接入DeepSeek-R1后，大幅提高了园所工作人员的工作效率和质量，带来了管理运营和家园共育的革命性升级。

（来源：北京补天科技）

|无锡产业集团成功发行两笔科创票据

2月21日，无锡产业集团成功发行两笔科创票据。其中，“25锡产业MTN001”为全国首单科技成果转化的混合型科创票据，规模3亿元，期限5年，票面利率2.25%；“25锡产业MTN002”为全国首单用于集成电路专项基金的科创票据，也是江苏省首单用于省战新产业专项基金的科创票据，规模2亿元，期限3年，票面利率2.12%。充分展现了产业集团在科技创新领域的持续投入和强化科技金融服务的坚定信心，得到了市场投资者的广泛关注和认可。

（来源：无锡产业集团）

|金控管理公司开展浙江省产业基金投资项目调研

2月20日，金控管理公司一行实地走访调研浙江省产业基金投资的省长工程和省重大产业项目，国家、省、市级基金联动支持的先进制造业项目——浙江时代锂电材料有限公司，以及省重大产业项目、2023年“千项万亿”工程重大项目——浙江先导微电子科技有限公司。双方就政策目标实现情况、核心技术优势、行业最新动态、未来战略布局、退出规划等进行了深入交流探讨。

（来源：浙江金控）