SOURCE // LABS

突破多模型协同瓶颈:全新动态Logit级门控算法DLLG登场

突破多模型协同瓶颈:全新动态Logit级门控算法DLLG登场

在当前大语言模型(LLM)的发展浪潮中,如何有效整合多个垂直领域的专家模型以实现协同效应,已成为行业研究的焦点。传统的协同方法通常面临难以调和的权衡:路由机制(Routing)往往过早地做出单向选择,缺乏生成过程中的动态自适应能力;启发式集成学习(Ensembling)则极度依赖脆弱的代理指标;而参数合并(Parameter Merging)则容易引入参数干扰,损害模型原有的专业能力。

针对这一痛点,科研人员提出了一种名为 DLLG(Dynamic Logit-Level Gating,动态对数概率级门控)的全新动态集成框架。该框架能够从稀疏的响应级监督(Response-Level Supervision)信号中,自动学习 Token 级别的专家融合策略。其核心在于一个轻量级的门控模块(Gating Module),该模块可以在每个生成步骤中动态预测融合权重,将整个生成轨迹的正确性与即时生成紧密关联,而无需高成本的 Token 级标签,也无需对专家模型进行重新训练。

实验结果表明,在多样化的推理和代码基准测试中,DLLG 在各种模型尺度上均一致优于现有的强路由算法、启发式集成以及参数合并基准线。这表明,基于机器学习的 Logit 级别融合是一种极具扩展性且鲁棒性极强的专家整合新范式。

AgentUpdate 深度解析

从 AI Agent 生态演进的视角来看,DLLG 的提出填补了“静态路由”与“硬性合并”之间的技术空白。传统的 Multi-Agent 协作往往依赖于上层编排器进行硬路由,这不仅带来了高昂的延迟,还割裂了不同模型在同一任务不同生成阶段的优势互补。DLLG 巧妙地将融合维度下沉至 Logit 级别,实现了真正的“动态混合专家”(Inference-time MoE)。这种非侵入式的融合方式,允许开发者自由组合开源生态中的异构微调模型(如专精 Code 的模型与专精 Math 的模型),在运行时根据实时生成的上下文动态分配话语权。随着 Agent 任务向长文本、复杂推理方向发展,这种基于 Logit 级别的轻量级动态网关,将成为构建高自适应性、低延迟的多智能体协同网络的关键底层范式。