近年来，链条的思想在良好的培训和推理中变得越来越重要。最近，来自西湖大学枫树实验室的Qi Gujun教授团队提出了第一次传播“不同的思维链” - 一种新的大型 - 缺陷的天堂 - 焦点 - 专注于扩散模型。该方法是关于每个中间结果在反向扩散过程中作为大型模型的“思考”步骤的，然后基于增强的基于研究的结果来优化整个生成一代，以最大程度地提高模型最终答案的准确性。与传统的思想链（COT）不同，这些链（COTS）总是具有单向推理和线性生成，“不同思维链”的传播使模型能够以任何顺序开发Hinnot线，而不是严格遵循在发电过程中的语法结构和阅读要求，这可以鼓励模型进行更多样化和更具创造性的方式。散乱“发散链”的国家成功应用于两个传播代表的模型。在当时爆炸语言的连续语言中，该方法可以直接优化由模型标记函数的输出确定的方法的分布；在离散的时间扩散语言模型语言中，团队将猜测各种掩盖标记作为模型决策的一部分和基于Plackett-luce模型设计Demonk方法的顺序。基于此，团队成功训练了有序的面具，以产生扩散模型（语言大量扩散，并掩盖了lage，lage）。实验表明，仅使用公共数据集和16 H800，通过传播“发散链”来增强该模型可以超过数学推理和代码生成活动中现有的语言扩散模型。 “不同的思维链”的传播为TRA提供了重要的灵感主要模型的启发和推理：语言链的传统自动回归思维通过线性预测下一个令牌，而不仅仅是范式选项，从而产生答案。该团队的研究表明，通过优化订单 - 言语的生成是非线性的语言，这是多元化思维的重要特征，并且在从最终的概念发展到最终的联系到最终联系到在生成过程中具有完整思想和语法结构的答案中逐步发展答案中起着关键作用。相关研究结果已于5月15日发布。该团队提到Google从那以后发布了Gemini语言模型，因此希望可以将“不同的思维链”应用于更漫射的语言模型，以成为通常的培训过程的一部分。纸张标题：加强对模型语言模型语言语言narasarxiv地址的传播链：https：// arxiv.org/abs/2505.10446github地址：https：//github.com/maple-search-bab/lloudou背景最近，大型语言模型的推理吸引了语言 - 蛋糕的语言。通常，“识别”通常是指模型在制定最终响应之前通过的系统过程。当前，通常采用连续拆卸问题的方法的基本语言模型，通过订单的原因开发线性思想链，并形成所谓的“思考链”推理范式。值得注意的是，在给予人的过程中，思维的施工机制与此之间存在重要差异。在概念阶段，人类思维通常呈现非线性差异的特性，可以打破现有语言框架的障碍，并通过非线和跳跃方法生成概念原型，词汇单元和初始想法。与连续的深丁认知处理，离散的思维片段正在进行Systematresstrical集成和组织，最终会产生逻辑上的连贯和完整的表达系统。认知科学领域将这种思维模式称为“ letral思维”，这与传统思维链采用的线性推理模型有很大不同。为了模拟这一思维过程，西湖大学枫树实验室的Qi Gujun教授首次提出了传播“发散链”的概念。如图所示，模型的思维过程始于遵守不包含任何信息的面具。在思考过程中，该模型将逐渐开发推理所需的基本信息，并将掩码转换为具有实际语义konotation的文本内容，例如数字和计算过程。最后，完成整个传播和诺伊斯之后e过程，该模型将使用连贯的语义内涵发展文本响应，并包含正确的答案。通过基于学习的培训培训，团队鼓励该模型探索不同，创意和非线思维路径，并最终得到正确的答案。为了修改真实文本数据的分布，语言扩散模型从t = 0到t = t构建了离散扩散过程，该过程描述了未知的实际数据分布p_data到t = 0如何逐渐更改为t = t时已知的p_prior分布。开发一段文本是通过旋转扩散过程来实现的：第一个示例x_0从p_prior p_prior中，然后避免在一系列否定的t_0：n中定位。在DEN的每个步骤中，模型估算了与T_N相对应的扩散的分布以及中间结果X_N的样品。随着n的增加，扩散时间t_n逐渐减小直到最终res当t_n = 0。在此过程中获得X_n一代的ULT，要获得结束输出X_N，该模型自然需要产生一系列中间结果X_1：n -1。这个过程类似于经过思考链（COT）技术。但是，与平房推理的线性原因不同，扩散过程中的模型可以自由地开发任何中间内容，这些内容将有助于在思维过程中实现正确的答案，这与通过间接和结构上研究方法的思维方式更一致，这与解决问题的概念相一致。结果，团队称所有中间体对所有中间体的概致在变化过程中的传播是“思想扩散链，dcolt”的传播，并通过研究算法将中间分散的“知情”模型流程优化。该团队采用了一种基于最终运营管理的研究加强的方法：如果最终答案XN起源于CHA思考是正确的，它是有动力的。具体而言，形成整个思想链X_1：N的团队过程被认为是优化的多步操作顺序。在步骤n中，扩散模型是指输出分布，即所有可能的结果，即Ang Padivide该模型用于X_N的策略。信号信号只能通过验证最终形成结果的准确性来获得。值得注意的是，团队没有对推理过程的中间步骤设定任何明确的管理，从而鼓励模型探索不同的非线理解技术。在下图中，团队以GRPO为例解释了算法培训框架。同样，其他增强研究算法也可以应用于提议的框架。语言语言的持续时间：首先将DCOLT -GRETTERTED SEDD视为SED代表的扩散语言的持续装备模型D.这种类型的模型通过以下线性定制方程来描述进化过程。 SA，。为了产生样品，此扩散过程具有相应的相反过程，包括反向传输速率矩阵，该矩阵表示在扩散过程中立即转移矩阵速率。您还可以首先考虑单个令牌的简单情况，并使用Euler的方法来计算移动每个步骤的可能性，然后获得多步生成的迭代公式。在这里，团队在X_N中进行了简化，以避免在标签中过多冗余。在SEDD模型的经典离散疾病中，SEDD模型决定了通过预测传输的可能性。由模型估计取代，以表示移动每个令牌的可能性。因此，当一个团队可以在整个期限内扩展公式 - 移动它的可能性可能是作为组合的 - 代币转移的所有可能性的增加，一个增加的可能性可以使用以下公式来计算与DCOLT生成过程的每个步骤相对应的采样的可能性。离散时间扩散语言模型：DCOLT-增强LLADA某些语言扩散模型在离散时间步骤中直接执行几个步骤的生成过程。对于这些模型，需要为每个单独的步骤指定其输出方法的分布。其中，考虑了面具扩散语言的最常见模型。以LLADA模型为例：生成过程以完整的掩码开头，逐渐删除掩码，直到形成最终文本。在一代的每个步骤中，模型都会以掩码作为输入来接收目标 - 以实际含义为文本内容。随着一代的整个过程的出现，面具的数量逐渐减少，直到模型最终从完整的一代出现为止。基于此，团队基于Llang Ada拉古正在设计有秩序的一代一代爆炸。他们分为两个部分，在每个步骤中删除了模型的动作：首先，确定需要从此步骤中删除的掩模范围并将其记录为；其次，猜测本节中每个掩码的新值以获取新的逆境。为了确定要执行Demask的操作的蒙版令牌，我们可以通过功能函数查看所有掩码令牌。到那时，团队设计了一个“揭示策略模块”（UPM），以预测在扩散步骤n的当前掩码的字符上的标记值。基于这些分数，团队使用Plackett -luce模型来指定一种方法，该方法是kask字符列表的示例。具体而言，团队首先基于预测的标记生成多项式分布，然后以k bask令牌的示例以某种方式不回顾。这样，具有较高标记的令牌的可能性很大，因此很有可能，因此掩盖标记的顺序更倾向于满足关系的非秘密分类，也就是说，可以通过以下公式计算通知的可能性。 。 Then, the sampling gets a specific demon list to represent the range of tokens that still keeps a mask after step n, that is, satisfactory: specifically, during step n denisising, UPM will take out the output features of the last layer on the llada as module input, predicting a mark for each token I. UPM only contains one transformer layer, so there is little effect on the computational volume of the model.此外，据认为，定位n的当前步骤数和每个令牌的掩盖状态对于Demonk方法也非常重要，该团队已将此信息折现为UPM模块中的自适应归一化层。为简单起见，团队记录了在DCOLT训练后，该模型包含UPM的整个lagie（llada with uninter破裂）。模型的整体结构如下图所示：当de词的令牌集的可能性为：，形成并一旦指定，该模型就可以根据词汇表中的输出分布来预测其认知值，这是动作的第二阶段。就给定的摘要而言，完整的方法取决于这两个部分的乘积：从上述推导中，可以看出，从下一步的标志预测中，Lagau模型与自动语言模型之间没有重要区别。两者均以提示和上下文为前缀，以预测随后的令牌。唯一的区别是自回旋模型要求预测下一步的令牌。虽然lage模型允许从所有可能的后续位置通过UPMO模块进行许多令牌进行预测。后者比约会更灵活。根据当前形成的结果，它可能会破坏NAT从左到右，在MGA中间步骤中，乌拉尔语言顺序，选择适当的令牌以跳跃的方式生产它。当然，最终产生的完整结果仍然满足不同语言语法结构的要求。同时，该行业还推出了其他一些针对D1和MMADA等扩散模型的密集培训方法。这些方法是生成结果和相应奖励值的第一个示例，然后随机掩盖生成的结果或问题部分，以估计每个令牌生成的可能性，以进行增强培训。在这种情况下，计算可能性不一致时，实际采样生成的中间过程和Remsask过程是不一致的，这可能会导致改进的重新启动过程，这不是模型下降的真实过程。与这些过程不同，团队直接根据每个步骤中选择的UNMASK SUPSPASS来计算可能性启用过程，并基于此进行强化培训，以维持相同的培训和抽样过程。同时，更重要的是，团队注意到如何选择令牌在每个步骤中揭露，也是语言模型的关键步骤。基于此，该方法还使用Unmask的代币生成作为培养研究方法的一部分，进一步提高了扩散语言的爆炸模型的性能。实验结果团队基于两种语言传播模型-SEDD和LLADA进行验证进行了实验。首先，基于SEDD模型，该团队在解决Sudoku问题和推理的两种活动中与其他方法进行了合理的比较。与COT和DOT相比，DCOLT取得了更好的实验结果。例如，在GSM8K-AUG数据集中，还使用了SEDD模型，DCOLT达到了57.0％的精度，即使后者使用的训练数据已详细，该模型也超过了点。小屋注释逐步。然后，团队根据LLADA 8B的重量训练了Lagau模型，该模型完全验证了这种数学推理思维技术和代码生成活动的能力。结果表明，该技术可显着提高模型对复杂数学逻辑问题的理解和生成代码的传球速度的准确性。在相关评论的基准测试中，拉古比其他PA ModelsGsasabol更具实现最佳性能。在下图中，团队使用多种颜色来证明在相同答案中生成不同令牌的顺序 - 较浅的颜色代表了早期步骤中的代币。可以看出，整个推理过程倾向于产生基本数字和计算符号，然后填充其他相关的文本内容，语法障碍逐渐满足。在这里，团队还展示了拉加的完整过程U在以视频的形式解决数学问题中产生。本文的摘要将MA从西湖大学介绍了一种新的大型推理范式模型，该模型是PLE实验室提出的，这是一种漫射的“发散链”。该轮廓是关于中间的结果，将逆转过程作为模型理解过程，并利用模型的最终输出结果的准确性作为进行教育培训的奖励，从而极大地提高了大型模型的能力，并在数学推理和生成等活动中实现了其他语言传播模型，超越其他语言传播模型。扩散型“不同思维链”的理论破坏了主要推理过程的自然范式，并为复杂推理问题的程序提供了创新的解决方案，这值得进一步探索。
