小红书的Dots团队研发的DoSA技术通过数学方法优化了token索引，提高了处理效率，同时保持了Top-K选择的准确性。在处理大约1M token的上下文时，Dots3-Note-preview、GLM-5.2和DeepSeek-V3.2的首token延迟分别降低了37%、46%和48%。传统的长上下文推理中，索引器的计算常成为瓶颈，DoSA通过保留原评分函数和数学上界，能迅速过滤掉大部分不可能入选的候选token。
DoSA的操作流程包括首先建立种子候选，然后对这些候选进行打分以确定入选的下限。接着，为每个候选构建得分上界，并将其与下限进行比较，以决定是否排除。保留下来的候选将在最后阶段使用全部索引头进行精确得分，确保最终结果的准确性。
此外，DoSA在执行上也进行了优化，以提高GPU的工作效率。其数据处理分为筛选、精算和写回三个阶段，通过顺序处理减少重复计算，优化了内存传输，从而提升了整体性能。总结而言，DoSA技术在保持准确性的同时，显著提升了长上下文处理的速度。 rb88.com
发表评论