结果 实验结果显示T整体上显著优于Tm模型在动态规划几何图贪心算法排序字符串等任务上的推理能力都有大幅提升。 并且在大多数单个算法上无论是在分布内还是分布外都表现更佳。 特别值得注意的是这种方法不仅增强了Tm原有的泛化能力还激发了一些模型先前完全不具备的能力。
比如hm扫描hm_最长公子串长度_th强连通分量这些经典问题中基线模型得分为零或接近零但T却实现了突破。 分析形状分数可以进一步解释为什么T表现如此出色。 首先回顾一下如果形状不匹配得分必然为零。
从形状得分来看将Tm的输出建立在嵌 西班牙 whatspp 数据 的比例——这表明T缓解了一种特定的M故障模式。 此外通过对比「预训练」和「未训练」两种初始化方式的分数可以看到模型较好的稳定性和可用性。
在随机初始化时也能训练到与微调相当的水准。 然而在一些算法中T仍未能超越基线且在分布内和分布外都是如此。 这些算法包括二分搜索寻找最大子数组最小值和快速选择等都涉及在输入列表中按照索引搜索特定元素。
这暗示了T的一种故障模式模型无法泛化到训练数据中未见过的新索引边界。因此使用索引提示或许是一条有前景的改进途径。 另一种可能的解释是最终计算出的隐藏状态难以在交叉注意力层以可泛化的方式被解码。
如果原因在此解决途径可以是增加交叉注意力的容量或者采用渐进式解码。 此外T在架构上有一个本质的局限性就是必需一个能得出th的模拟器或者数据标签用于将输入的文本转换为图结构再作为模型输入。