扩散语言模型九倍推理加速！开云体育- 开云体育官方网站- APP 最新2025KV Cache并非自回归模型专属

2025-06-03 18:45:41　　点击量：

　　开云体育官方,开云体育app,开云app下载,开云棋牌,开云直播,开云体育靠谱吗,开云体育和亚博,开云体育老板是谁,开云官网,开云体育,开云直播英超,开云电竞,开云游戏,开云,开云体育官网,开云体育官方网站, 开云app, kaiyun sports, 开云体育简介, 开云体育官方平台, 世界杯开云, 开云体育app下载, 开云体育网址, 开云体育2025

　　在每个去噪步骤，首先计算所有response tokens最新的Value向量。然后，通过计算新Value向量与缓存中旧Value向量的余弦相似度，将余弦相似度作为每个response tokens的一个“变化分”。选出“变化分”最高（即相似度最低）的极少数tokens（例如，变化最剧烈的25%），将它们标记为“待更新” 。最后，模型只对这些被标记的“待更新”tokens，进行完整的特征重计算。而其余75%的“稳定”tokens，则继续高效地从缓存中复用其特征

　　作者还将dLLM和主流的基于ARM的LLM进行了对比，下图展示了LLaDA 8B与LLaMA3 8B在GSM8K任务上的比较。结果显示，原始的LLaDA在准确率上以近20个点的巨大优势领先于LLaMA3，但在推理速度上却远不及。然而，在使用了本文的dLLM-Cache之后，LLaDA的推理速度获得了超过3.3倍的提升，首次超过了LLaMA3的推理速度。这一结果有力地证明，本文提出的dLLM-Cache能够让dLLMs在保持其显著准确率优势的同时，获得与ARMs相当竞争力的推理速度