SKILLπ JOURNAL ↗ 教程

问卷信度分析:计分核对、测量证据与可复现统计

用课程体验问卷案例核对反向与缺失编码,区分内部一致性和效度证据,再组织整体统计、开放题复核与进阶模型的前提。

信度分析应回答“这些题项在当前样本与计分方式下表现如何”,而不是寻找一个能让论文自动过关的数字。本篇以虚构的社区课程体验问卷为例,串起量表检查、整体统计、开放题与后续模型分析。没有读取真实受访者数据,也没有计算或声称得到某个 α 值;所有步骤是可执行分析计划,实际结论需依据数据与研究设计。

先把问卷与数据字典对齐

每行一个受访者、每列一个题项只是起点,还需题目原文、取值范围、所属构念、正反向、缺失编码和计分依据。示例问卷分“课程组织”和“参与体验”两个拟议维度,不能因为都用五点评分就把所有题混成总分。人口资料与开放题另列,不纳入 α 计算。

保留脱敏原表,派生计分表另存。检查重复提交、超范围值、文本被误读为数字、跳题与未作答的区别。剔除标准依据预先设计,记录数量与原因,不为了提高系数删除看起来“不配合”的回答。样本量是否适合某个分析,要结合参数、数据质量与模型复杂度判断,不使用万能“收满三百份”门槛。

Exploratory Data Analysis 可用于这一阶段的本地 CSV、TSV 或 JSON 质量检查:缺失模式、取值分布、可疑重复和异常列。限定数据根目录、脱敏输入与输出目录,准备 Python 和格式依赖。它不是心理测量专用引擎,不自动认证量表效度,也不应打印可识别的原始回答或覆盖输入。

第一阶段:区分内部一致性、稳定性与效度

Cronbach α 描述特定计分和样本下题项内部一致性的一个方面,不等于重测稳定性,也不能证明量表只有一个维度或测量解释有效。常见阈值只是情境化经验,题项数量、内容重复和样本差异会影响数值。报告 α 时同时说明题项、样本、缺失策略与不确定性,不把大于某数写成“量表合格”的充分条件。

先按预定维度计算并检查题项分布、题项间关系和校正题项-总分关系。反向题依量表说明处理,不能让模型凭负面措辞猜哪些要反向。五点计分的已确认反向题可用 6 减原分,原字段仍保留。值为 1 对应 5、3 仍为 3;缺失不应因为重编码变成有效分数。其他量尺按实际端点定义。

α 异常低或为负时,先核对反向编码、列选择、单位与维度,不直接宣布问卷无效。查看“删题后 α”只能提供诊断线索;每次删题都可能改变构念内容,不能自动删到达到目标。记录删题依据、理论影响和结果敏感性,避免在同一样本上反复净化后把探索结果当确认结论。

McDonald's ω、组合信度与 AVE 需要相应测量模型和参数含义,不是给任何数据表再加几列公式。收敛与区分证据、HTMT 或 Fornell-Larcker 等诊断也不能由一个阈值替代整体论证。对于有序题项、非正态或多维数据,相关矩阵、估计方法与模型假设需经适当方法评审。效度针对特定解释与用途积累证据,不能简单称为测得“准不准”。

实操:先修计分错误,再讨论删题

假设 Q3 是已确认反向题,导出时却混入未反向的原值;Q5 用 99 表示缺失。先按字典把 99 转缺失,保留原值和转换日志,再只对 Q3 的有效五点评分反向。手工核对几个脱敏样本,确认没有把缺失转换成负数。随后分别分析两个预定维度,而不是全卷一键求 α。

如果修正后 Q3 仍与同维度其他题关系不同,查看题义、翻译、答题理解和可能的方法效应;不要以“删了更高”为唯一理由。计划专家评阅或补充认知访谈,必要时在独立样本重新检验。报告应把编码修复、探索性删题与原方案结果分开,读者才能知道数字为何改变。

GitHub 的 Pingouin 提供已有的 α 计算实现,包含成对或整行缺失处理选择与区间输出,可作为复用参考。缺失策略会影响使用的信息与结果,应明确指定并检查有效样本,而不是照抄默认值。采用前核查固定版本、许可、依赖和算法适用性;这里没有安装或执行它,也不把源代码可读等同于本问卷已通过分析。

第二阶段:问卷整体统计先看设计

输出样本流程与描述统计:邀请、回收、排除、各分析有效人数,题项与维度分布、缺失、地板或天花板现象。样本来源与响应偏差影响推广范围,方便抽样不能因为人数多就代表所有学员。计分平均与总分怎样处理部分缺失,要在计算前说明,不让不同分析采用不同隐含口径。

差异或关联检验根据研究问题、变量类型、组别与重复测量结构选择。组间比较先确认独立性、估计目标、分布和方差等条件;同一人多次回答不能当独立观测。报告效应与区间、方法与假设、多重比较处理,不只贴 p 值。组均分比较前还需考虑不同组是否以可比较方式理解与测量构念。

表格批量生成也要有核对:每项分析使用哪些列、多少人、采用何种缺失策略。检验失败、模型不收敛或不可识别必须保留为失败状态,不能留空后只展示成功结果。给 Agent 的任务是依据已批准计划执行并记录,不是从大量检验中挑显著的几个替研究编故事。

第三阶段:开放题与进阶模型各守边界

中文原文强调开放题归纳,可先建立主题手册,保留脱敏回答编号、原意、主题与反例。多主题回答允许多编码,主题计数不能直接解释为全体人群比例;未作答不等于没有该意见。模型先建议编码,人工复核边界与少数意见,不让高频观点抹掉重要的不同经历。

英文原文还强调 ANOVA、混合模型和中介分析。它们不应因工具菜单里可选就全部运行:重复课程或机构层级需要考虑依赖结构;中介或调节解释需要研究设计与识别假设;横截面相关路径不证明因果。SEM 也应由理论与测量设计确定模型,不靠模型自动推荐后挑拟合最好的一张图。

lavaan 的官方 CFA 教程示范先写测量模型、拟合、再查看收敛、参数与拟合信息,可作为进阶实现参考,而非本问卷可直接套用的模板。实际应核查估计器、识别、异常参数与解释范围。拟合指标达到常见经验值也不能消除题目内容、样本与理论问题。探索修改与确认性检验分开报告,预留独立验证。

可复现交付与常见问题

任务可写为:“仅使用 survey-clean.csv、codebook-v1 与 analysis-plan-v1。先核对题项、缺失和反向规则,异常先报告。保留原表,输出计分日志、每项有效样本、脚本和结果表;缺前提时不要计算对应指标。开放题只返回脱敏编号与复核建议,不发消息或上传未授权数据。不宣称未运行的模型已经通过。”

不会 SPSS 能做吗?可以使用合适代码与方法,但仍需核对计划和输出,不因换工具免除统计责任。α 高就有效吗?不能,它不是维度、重测和效度的总证书。反向题可让 AI 自动识别吗?以正式计分手册为准,模型只能指出疑点。缺失值全填均值可不可以?不能默认这样做,应根据缺失机制、设计与方法选择并报告敏感性。

数据是否留在本地?查看实际文件访问、模型请求、插件、日志和云服务路径;安装目录在本地不证明数据不外传,脱敏也不等于绝对匿名。报告能否直接贴进论文?先复核数值、口径、方法和解释,不能把自动输出当研究认证。

本次只关联已核验 EDA 到数据质量步骤,未为原文其他信效度或建模名称猜造 SkillPI 链接。以后候选增加时,以固定脱敏夹具比较来源、许可、依赖、缺失策略和结果,再关联适合环节。最终交付包含字典、清洗与计分日志、分析计划、版本化代码、结果和限制,明确实际运行与仍待验证事项。

分享文章X ↗LinkedIn ↗