假设你想了解检索增强生成在内部知识库问答中的评估方法。先定义问题范围:关注回答正确性和引用可核验性,记录检索日期和关键词。为每组查询保存结果,重复预印本按论文标识和版本整理。
先筛适用范围
查看摘要、任务定义和实验数据,记录入选或排除的理由。把只测开放域问答、没有提供引用证据的文章单独标记。保留少量边界样本,方便第二位读者复核标准是否过窄。
摘要结论回到正文核对
每篇证据卡记录论文版本、任务、对照组、指标、主要发现和限制。用页码、图表号或章节给关键结论定位。例如,“某方法得分更高”要注明是在什么数据集、对哪个基线、用哪项指标。只读过摘要时在卡上注明。
把卡片留给下一轮检索
用 Notion Research Documentation 整理来源与证据卡。标记待核对实验设置和缺失数据,下一轮优先补上影响结论的缺口。把不同实验条件的结果分开,便于复查和更新。
检索:让同事能重复找到候选论文
先写出纳入范围。以内部文档问答为例,要求研究对照某种检索或引用设置,并公开至少一种能复查的结果。检索词拆成任务、方法和评估三组,例如文档问答、检索增强、引用正确性。先用少量组合探索论文使用的同义词,再用这些词扩展查询。记录检索平台、具体查询、过滤条件、执行日期和浏览到的结果范围。引用链能补充关键词搜索,单独记录是从哪篇论文的参考文献或后续引用找到的。
把同一预印本的修订版本归在一条记录中,但保留实际阅读版本和日期。若找到会议版,核对它与预印本的实验和附录是否有变化。确定综述范围时,先留两组边界例子。一组是内部文档问答但没有引用评价,另一组有引用评价但数据集不是内部文档。按纳入标准分别决定是否放进主结果,或仅用于讨论外部可迁移性。保留排除理由,下一位读者才能区分不符合范围、没有正文和重复记录。
摘要:区分作者说法、实验结果与自己的判断
第一遍读摘要、图表和局限,判断正文中哪几段需要精读。第二遍核对模型、数据、比较对象、评价口径和实验条件。不要把作者的总体描述直接改写成你的结论。证据卡可分三栏:作者主张、能定位的结果、适用条件。若表格只报告某个语料库上的引用准确率,就注明数据集和评价单位。准确引用率、回答正确率和引用覆盖率回答不同问题,不能把其中一项的提升代替另一项。
例如,一篇假想论文比较固定检索器下的两种引用生成方式。卡片先记明两组共享语料库和检索器,再记录它测的是引用是否能支持对应断言。若作者只在短问题上做过人工核验,摘要应保留这个条件。遇到图表与摘要表述不一致,回看表注和附录的数据划分,记下待核查点。使用工具辅助提取时,逐条打开论文对应位置,核对数字、单位、行列和负号。
综述:按问题组织可比证据
先把证据卡按研究问题分组。可以分成检索召回、回答正确性和引用可核验性三组。每组只比较条件足够接近的研究,并注明共享基准、不同语料库和不同评审方式。结果口径不同的论文分别说明各自观察,避免直接把分数平均。把没有报告方差、缺少对照、只评估单一领域等限制留在表中,写出这些限制会影响哪个结论。
起草时一段回答一个问题。先给出适用范围,再列两三条证据和一项反例或空白。比如可以写“在两项使用相同数据和指标的试验里,扩大检索候选增加了能找到证据的问题数,但对引用质量的影响仍需单独验证。”正式写作时用实际论文替换假想例子,回看结果页,并注明这一句依赖哪几张卡片。不要把综述写成逐篇摘要的拼接,重点是读者能沿证据回查主张。
把三个阶段的产物连起来
检索阶段交付查询日志和候选清单,精读阶段交付证据卡,综述阶段交付按问题组织的矩阵和待补证据。Notion Research Documentation 适合把这些记录组织成可回查的研究页。使用前确认当前客户端能访问指定工作区、知道应写到哪个页面,以及是否允许新增或改动记录。它负责整理材料,论文检索和统计判断仍要核对原始文献。没有对应权限时,先在本地表格保存同样的字段。
交付前请同事随机挑一条结论,沿矩阵打开证据卡,再到原文定位对应图表。若这条路径中断,先补版本号或页码,再将稿件交给审阅者。
常见问题
只有摘要可读,可以写进综述吗
把它标记为摘要筛选,并记录为什么暂时无法精读。它可以作为待核实线索。写到具体实验结论前,应读到相应正文或补充材料,确认条件与数字,再决定是否纳入。
两篇论文看上去结论相反怎么办
先核对任务、样本、对照组、模型和指标。一个实验比较召回率,另一个比较回答事实性,两者回答的问题不同。对确实可比而方向相反的研究,记录各自结果和局限,保留差异,不强行选出一个胜者。
下一轮检索怎么更新旧结论
沿旧查询补查上次截止时间后的新记录,再检查重点论文有无新版本。给新卡标注它支持、限制或推翻哪一项旧主张。保留旧版本和更新理由,方便在写报告时知道结论何时改变。