智东西9月26日消息，蚂蚁集团百灵团队今日宣布开源两款创新型混合线性推理模型——Ring-mini-linear-2.0与Ring-flash-linear-2.0。该系列模型在延续高稀疏混合专家（MoE）架构优势的基础上，创新引入混合线性注意力（Linear Attention）机制，专门针对长文本处理与低成本部署场景实现效率跃升。当前大语言模型正加速向产业级应用渗透，但推理成本过高已成为制约企业规模化落地的核心瓶颈：用户对持续交互体验的需求与模型部署的高成本、低效率形成尖锐矛盾。在此背景下，如何在保证模型性能的前提下实现降本增效，已成为行业竞逐的关键赛道。
【免费下载链接】Ring-mini-2.0项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/Ring-mini-2.0
蚂蚁百灵团队公布的实测数据显示，Ring-linear系列模型在保持当前最优（SOTA）精度水平下，将最大上下文长度扩展至512k tokens，推理成本仅为同等性能稠密模型（dense model）的1/10，较上一代Ring模型降低50%以上。在高并发解码场景中，该系列模型吞吐量表现尤为突出，分别达到Qwen3-8B的12倍与Qwen3-32B的10倍。此外，配套发布的精细化推理优化融合算子与强化学习（RL）训练对齐机制等系统级工具链，直指当前大模型推理成本高企与训练稳定性不足的行业痛点。值得关注的是，Ring-linear系列在数学推理、结构化代码生成、通用语言理解及长文本创作等核心任务的标准评测中，均展现出与主流大模型相抗衡的准确率水平。
作为蚂蚁自研Ring-mini-2.0与Ring-flash-2.0 MoE基座的升级版本，此次开源的Ring-linear系列最显著的技术突破在于将主干网络的注意力模块重构为自研线性注意力融合单元，并辅以少量标准注意力机制，形成高效混合注意力架构。以Ring-flash-linear模型为例，其网络结构中87.5%的层级采用线性注意力机制（28层线性注意力+4层标准注意力），配合旋转位置编码（RoPE）与分组RMSNorm等训练优化策略。这种高占比线性架构使整体计算复杂度降至近似线性水平，在处理超长上下文时，能显著降低训练与推理阶段的计算资源消耗。同时，模型保持1/32专家激活率的超稀疏MoE设计，通过混合令牌并行（MTP）与全局负载均衡技术，实现"以6.1B参数模拟40B稠密模型"的性能等效效果，在保障能力的同时大幅削减激活参数规模与计算需求。
蚂蚁百灵团队提供的详尽性能测试报告显示，Ring-linear系列在长上下文处理与高并发生成场景中展现出压倒性优势：Ring-mini-linear-2.0在上下文长度256k+的Prefill阶段，吞吐量达到Qwen3-8B的12倍以上；在生成长度32k+的Decode阶段，吞吐量优势同样维持12倍以上。而Ring-flash-linear-2.0在与Qwen3-32B的对比中表现更为抢眼——当上下文长度超过32k时，Prefill阶段吞吐量提升近5倍；生成长度达64k时，Decode阶段吞吐量逼近10倍提升。这些性能突破得益于团队对SGLang/vLLM v1推理框架的深度适配，以及线性算子的定制化加速优化，经测试，优化后的triton kernel在prefill单样本任务中加速比最高达2.73倍，典型decode场景下也能实现2.57倍加速，并支持批量prefill与混合推理模式，有效应对真实生产环境中的高并发挑战。
针对大模型强化学习阶段普遍存在的训练-推理（训推）一致性难题，蚂蚁团队从框架底层进行系统性重构，提出三项关键改进措施：首先实现算子级一致性，确保训练与推理过程采用完全相同的模块实现；其次推行精度统一策略，对KVCache与lm_head等核心模块统一采用fp32精度；最后建立确定性保障机制，通过稳定排序与固定顺序控制MOE专家选择及token加和过程。实测数据表明，经过关键模块修复后，模型RL训练的reward值获得显著提升，同时首次实现直接使用rollout概率替代training概率进行策略更新，不仅节省50%以上的重前向计算时间，还同步提升训练效率与最终奖励值。
在结构化代码生成专项测试中，Ring-linear系列模型展现出卓越的逻辑解析与代码实现能力。测试涵盖图形动画控制脚本、业务规则逻辑编码及基础游戏玩法开发等多类任务，模型均能根据自然语言指令输出结构完整、可直接运行的Python代码。从测试结果看，该系列模型在代码生成任务中表现稳定，具备精准的语义解析能力与严密的逻辑组织能力，可广泛覆盖Python全栈开发、Web应用构建等场景需求，为开发者提供快速原型生成工具。
随着大模型技术竞争焦点转向"长推理效率"与"低成本部署"，推理时扩展（Test Time Scaling）正成为新的技术制高点。蚂蚁百灵团队此次开源的Ring-linear系列模型，通过"结构做减法"——采用混合线性机制精简计算路径，与"推理做乘法"——依托稀疏MoE和系统级加速实现效率倍增的组合策略，不仅解决了推理速度与成本难题，更在强化学习这一技术深水区提供了创新解决方案。在行业普遍面临高并发生成与超长上下文处理需求的当下，Ring-linear系列的开源有望推动混合线性架构成为下一代大模型落地的主流技术方向，为金融、法律、医疗等长文本应用场景提供降本增效的关键技术支撑。
【免费下载链接】Ring-mini-2.0项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/Ring-mini-2.0
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
)
