一所大学想知道,改变课程提醒的时间能否减少学生错过作业截止日期。团队需要一份能经得住复核的综述,而不是一份最近论文的摘要合集。交付物包括检索日志、纳入清单、逐条证据矩阵和可以追溯到原文的初稿。下面用这个虚构项目说明如何分配搜索、读论文和写作工作。
先把问题写成可以筛选的条件
把对象定为大学课程,把干预定为自动提醒的发送时机,把比较对象定为课程原有的提醒安排。主要结果是逾期提交比例,次要结果可以包括退出提醒的人数。规定哪些记录算研究,例如真实课程中的对照试验和有可解释比较组的观察研究。只介绍通知系统功能而没有结果的文章记为背景资料。把条件写进日志,再用少量已知论文测试,确认规则不会误排已有代表性结果。
不要用一句长问题直接替代检索式。分别列出人群、提醒和作业提交三个概念块,每个块收录常见同义词。先在预印本平台做探索性搜索,再到适合教育研究的索引补查。记录平台、查询日期、完整表达式、年份限制和返回数量。换平台时保留同一个问题,按该平台支持的字段改写检索式。发现遗漏时,把新增词及其带回的记录单独记下,便于判断究竟是术语变动还是范围扩大。
从 arXiv 初筛到原文定位
先导出题名、摘要、作者、日期和永久标识。给每条记录分配本地编号,标出预印本、修订版和期刊版的对应关系。同一研究如果有多个版本,应保留版本映射并指定本次引用哪一个。筛标题和摘要时用三个结论:纳入全文、排除、待确认。遇到摘要只说“改善完成率”而没有比较条件的文章,标为待确认,去方法部分查看研究是否满足纳入规则。
检索类 Skill 可以负责拉取和整理候选记录。试用时给它一条能手工验证的查询,检查实际命中的题名和标识能否在平台上找到。解析类 Skill 的最小试验是一篇已取得的 PDF,让它定位参与人数、主要结果和局限性各一处,再由人打开对应页核对。扫描件、复杂表格和正文附录可能解析失败。无法定位的数字写成待复核,保留原文链接和版本号,不用摘要猜测表格含义。
用矩阵把结论和证据放在一起
每行只记录一项可检验的结果。列出研究编号、对象、干预、比较、结果定义、观察窗口、样本量、估计值及原文定位,再加一列说明可能影响解释的因素。如果论文同时报告作业逾期率和课程完成率,拆成两行;如果分别按首次作业和整学期计算,就把时间窗写清楚。对没有全文或读不到附录的记录,在结果栏标明不可提取并列出下一步。
假设研究甲把提醒安排在截止前一天,记录整个学期逾期作业的比例;研究乙在截止当天发送提醒,只记录第一个作业的按时提交人数。两个结果都涉及提交,但分母和观察窗口不同。综述可以分别叙述各自的发现并指出差异,不能直接将两个百分比相加求平均。若同一课程的结果出现在预印本和正式论文中,也不能计作两份独立证据。
先生成提纲,再生成可复核的正文
给综述工具一份冻结的纳入清单和证据矩阵,要求先按问题整理段落提纲。提醒时机、课程类型和参与者是否可以关闭提醒,可以各成一节。让草稿在每条事实之后附上研究编号。编辑者逐句检查陈述是否超出矩阵,尤其留意把相关性写成因果、把单门课程写成全部课程、把未测量写成没有效果。参考文献管理工具可以根据核验过的元数据导出 BibTeX,输出 LaTeX 的流程还应确认引用键能编译、版本能追溯。
先试一个段落。让工具比较上述两项研究,只允许使用矩阵所列结果,然后要求它列出段落中仍需要人确认的内容。如果它补写了未记录的样本量,删除这句并回查原文;如果它把两个时间窗混在一起,把时间窗带回每个结果句。通过这次试验后再扩展到其余章节,并留一份审阅记录供另一位研究者复核。
什么时候应回到检索阶段
结果很少时,查看是否把对象、干预和结果的词同时限制在标题。先放宽一个字段,检视新增记录的相关性,再决定是否保留。结果太多时,从一小批误命中中找出常见歧义,例如把设备通知和课程提醒混在一起。优先修正概念词,谨慎添加排除项,并用已知论文重测。发现一篇高度相关的研究后,沿它引用的工作向前追查,并查看后来引用它的研究,将这批记录单独标为引文追踪。
如果多名审阅者对同一摘要得出不同判断,先核对纳入条件的措辞,用一小组边界样本校准。记录争议由谁裁定以及理由。如果后续调整了规则,列出受影响的旧记录并重新筛选。最后交付日志和矩阵时标明更新日期,下一位同事就能从上次搜索的日期接着检查,而不必猜测资料收集到哪一步。
把审阅记录交给下一位研究者
用 Notion Research & Documentation 整理已核验的检索日志、证据矩阵和待确认问题。先准备经团队允许共享的笔记和稳定的论文编号,再用同一个编号关联检索记录和证据行。把授权范围之外的全文留在原存放位置,记录页码和访问办法。交接时请同事任选一条结论,从段落追到矩阵和论文,再用上次的检索式查一次新增记录。若找不到对应证据,把问题退回提取环节。