硅谷刘老师 / xiaohongshu· 硅谷刘老师·发布时间：
图文UNREAL 论文解读：RAG 与长上下文如何统一证据选择
6ac66f7e000000000202bec0
内容导读
硅谷刘老师解读的 UNREAL 研究，尝试用大语言模型自身的内部表示，统一 RAG（检索增强生成）和长上下文中的证据选择。方法冻结主模型，只训练不到 50 万个参数，用于编码文本片段并派生检索查询。配文称，该方法在 Wikipedia 检索和长上下文评测中均有提升，为长文档问答、知识库检索提供了研究思路。
仅基于配文整理
继续看关键要点
- 配文称，在包含 30 亿模型 token、2100 万个文本片段的 Wikipedia 索引上，四种 UNREAL 配置均超过对比的检索器与重排序系统；HotpotQA 召回率从 49.1% 升至 73.2%。
- 长上下文评测中，NoLiMa 在 128K 最大长度下准确率从 1.0% 升至 24.83%；LV-Eval 在 256K 下 F1 从 49.97% 升至 54.66%，提升幅度因评测而异。
- 配文称，从大约 32K 模型 token 起，该方法的计算量和生成首个模型 token 的延迟低于全量上下文推理，且上下文越长，优势越大。
来源：硅谷刘老师 / xiaohongshu · xiaohongshu.com