谈球吧app - 字节揭示DeepSeek模型表现波动的根源
字节公司的Seed团队最近挖掘出DeepSeek模型表现不稳定的原因,这一现象看似神秘,却暴露了模型的某些关键特性。当面对相同的问题,仅仅在输入前添加几个无关的字符,模型的表现却天差地别,令人唏嘘。更让人感到惊讶的是,这种表现波动并非偶然,而是经常发生。研究人员发现,DeepSeek-V4的输出质量,竟然会因输入文本的位置周期性地发生变化。这意味着,一个简单的信息,它是否被正确记忆,竟然还依赖于它在输入文本中的“站位”。
在一项长达128K的上下文检索实验中,研究团队观察到,同样的信息,如果位置发生了微小的偏移,DeepSeek-V4的检索准确率竟最高可差出40.2个百分点。这一现象与DeepSeek-V4中采用的长上下文优化技术——KV Cache压缩有着直接的关系。这项技术原本旨在让模型在处理长文本时显得更加高效和省内存,没想到却意外导致了模型表现的“神鬼二象性”。
例如,研究人员最初选择了DeepSeek-V4-Flash-Base作为实验对象,利用其官方推理代码中的一个FP8量化函数,让模型来补全最后的一个Token。原本正确答案应该是8,因为这段代码需要进行FP8类型转换,但模型却有时偏偏给出32。为了探究其原因,研究人员在代码前部加入了一段装饰性的文档字符串,里面放着若干重复的等号,并开始调整等号的数量。他们并未修改代码本身、填补的位置或正确答案,唯一的变化就是在前面插入了这些看似无关的字符,结果DeepSeek的输出开始频繁波动。 谈球吧app
当填充长度位于特定位置时,模型更倾向于给出错误的32;而位置稍有前移,模型认定的正确答案又回到了8。进一步调整之后,发现这一波动存在着一个4个Token的周期性规律。具体来说,在研究中测试的16种填充长度中,当长度模4的余数为0或1时,模型更偏向于错误的32;而当余数为2或3时,正确的答案8则显著上升为主。
研究人员还统计了模型对两个候选答案的概率分配。在某一组位置上,错误答案32的平均概率竟高达71.3%,而正确答案8仅为26.4%。而在另一组位置中,情况则完全反转,正确答案8的概率飙升至91.5%,错误答案32则降至7.2%。这一结果表明,前面所添加无关字符的长度变化,足以在同一问题上导致截然不同的判断。
这一发现让人不得不思考:程序员在调试代码时,除了检查逻辑、变量和依赖关系,似乎还得留意是否在前面多加了几个等号。然而,单一的代码补全案例并不足以证明这一现象足够普遍,因此Seed团队决定进行更大范围的测试,将目光锁定在具有挑战性的“大海捞针”任务上。 谈球吧app
在这个实验中,研究人员构造了一段包含约1.6万个键值对的128K Token长上下文,要求模型从中找到指定Key对应的Value。在测试过程中,键值关系和问题保持不变,上下文总长度也保持一致,但研究人员重点调整了目标信息相对压缩窗口边界的位置。结果显示,DeepSeek-V4系列的准确率曲线呈现了明显的周期性波动。其中,DeepSeek-V4-Flash-Base在不同位置之间的准确率差异达到了40.2个百分点,而DeepSeek-V4-Pro-Base则为34.8个百分点。经过后训练的调整后,DeepSeek-V4-Flash-0731的差距缩小到了19.1个百分点,DeepSeek-V4-Pro-0813则降低至14.8个百分点,而更新版DeepSeek-V4.1-Flash-0910更是将差距压缩至6.1个百分点,但周期性差异依旧存在。
对此,研究人员观察到DeepSeek-V4的波动周期恰恰是4个Token,而DeepSeek-V4.1的周期则减小为2个Token。这一现象与两代模型所采用的KV Cache压缩步长直接对应,进一步证明了答题表现的起伏与底层压缩配置之间的密切联系。那么,这是否意味着KV Cache压缩是造成问题的根源呢?
在进一步探讨KV Cache压缩技术时,研究人员指出,大模型在处理长上下文时,需要保存大量历史Token的Key与Value信息以供后续注意力计算使用。随着上下文长度的增加,缓存所占用的内存与计算开销也随之巨大,尤其是面对数十万甚至数百万Token的长任务,KV Cache常常成为推理效率的瓶颈。为此,DeepSeek-V4采用了分块KV Cache压缩的方法,该技术将连续Token分割为多个窗口,从而将窗口内的信息进行压缩,减少缓存条目的数量。因此,模型无需为每一个历史Token都保留大规模的缓存,从而有效节省内存并增强长文本推理的高效性。 谈球吧app