假设检验、效应量与多重比较¶

假设检验把一个科学问题暂时压缩为两个可由数据区分的统计陈述，再考察观测结果与其中一个陈述是否相容。它回答“这组数据能否排除某个参数值或效应范围”；效应大小、生物学意义、研究偏倚和可重复性则需要结合其他证据判断。因此，一项完整的推断通常同时报告效应估计、置信区间、检验结果和研究条件。

假设检验的基本逻辑¶

零假设、备择假设与检验统计量¶

零假设 \(H_0\) 给出待检验的参数值或概率模型，备择假设 \(H_A\) 给出研究希望辨别的偏离。例如，比较处理组与对照组的总体均值时，可以写成

检验统计量把样本中的效应估计与它在 \(H_0\) 下的抽样波动放到同一尺度。许多均值检验都具有相同骨架：

分子表示观测偏离，分母表示仅由抽样变异可产生的典型波动。样本单位相互依赖、分布尾部很重、方差模型不当或分析单位与实验单位不一致，都会使这个参照分布失真。选择检验之前，首先要确认研究设计、观察单位、配对或分层结构以及目标参数。

显著性水平与 p 值¶

显著性水平 \(\alpha\) 应在查看结果之前设定。它规定：当 \(H_0\) 及检验模型成立时，长期重复使用同一决策规则而错误拒绝 \(H_0\) 的概率上限。常见的 \(0.05\) 是统计约定，具体阈值需结合错误后果预先确定并保持一致。

给定已经采用的模型、检验统计量和尾部方向，p 值是在 \(H_0\) 下得到“至少同样不利于 \(H_0\)”结果的概率。若双侧检验得到 \(p=0.03\)，其含义是：在 \(H_0\) 及其他模型条件成立时，统计量落入当前观测值两侧同样或更极端区域的概率为 0.03。\(H_0\) 为真的概率、效应大小、证据强度和生物学重要性属于不同问题。美国统计学会（American Statistical Association，ASA）据此强调，科学结论需要结合完整研究语境解释 p 值。¹

当 \(p\leq\alpha\) 时，数据达到预先规定的拒绝标准；当 \(p>\alpha\) 时，应写“未拒绝 \(H_0\)”或“证据不足以排除 \(H_0\)”。后者可能来自效应确实很小，也可能来自样本少、变异大或测量不精确。若研究目的正是支持“差异小到可忽略”，需要使用等效性检验，以预设界值直接检验这一主张。

单侧检验与双侧检验¶

双侧备择 \(H_A:\theta\ne\theta_0\) 同时关注两个方向，拒绝域分布在抽样分布两端。单侧备择只关注预先指定的一个方向，例如 \(H_A:\theta>\theta_0\)，全部 \(\alpha\) 放在该方向的一端。在相同样本量和效应方向下，单侧检验对指定方向有较高功效，但对相反方向不给出同等的拒绝机会，这是一种方向性取舍。

只有当相反方向在科学上不构成同一主张，并且方向在观察数据之前已经确定时，单侧检验才合适。例如，新培养条件若无论提高还是降低细胞增殖都值得报告，便应采用双侧检验。看过样本差异后再选择有利的一侧，会使实际第一类错误率高于名义水平。等效性和非劣效性虽使用单侧检验，却有专门的假设结构，不能与事后改用单尾混为一谈。

两类错误与功效¶

检验决策与真实状态形成四种组合：

第一类错误发生在 \(H_0\) 为真却被拒绝时；第二类错误发生在研究关心的替代参数值为真却未能拒绝 \(H_0\) 时。\(\beta\) 不是一个脱离效应大小的固定常数：真实效应越远离零值、样本越多、测量误差越小，检验通常越有能力发现它。功效就是在某个具体替代参数值下正确拒绝 \(H_0\) 的概率 \(1-\beta\)。²

在其他条件不变时，降低 \(\alpha\) 会使拒绝更困难并降低功效；增大样本量、降低残差变异或采用能利用配对与区组信息的设计可提高功效。研究设计阶段的样本量论证至少需要指定 \(\alpha\)、目标功效、最小科学重要效应以及标准差或事件率等变异参数。³ 这些输入应来自先导数据、可靠文献或明确的科学判断，并对不确定输入进行敏感性分析。

均值的经典检验¶

单个总体均值¶

设 \(X_1,\ldots,X_n\) 为来自总体的独立观测，要检验 \(H_0:\mu=\mu_0\)。若总体标准差 \(\sigma\) 已知，正态总体下的统计量为

实际研究很少真正知道总体方差。当 \(\sigma\) 未知并以样本标准差 \(s\) 估计时，正态总体下使用单样本 t 统计量

检验选用 z 还是 t 取决于方差是否已知及模型条件。样本增大时 t 分布趋近标准正态，均值对适度非正态也可能较稳健；强偏斜、重尾、离群值、截断或依赖结构仍需分别诊断，固定的样本量标签无法概括这些条件。

单样本检验与相应置信区间是同一抽样分布的两种表达。在显著性水平 \(\alpha\) 的双侧检验中，若 \(\mu_0\) 不在 \(100(1-\alpha)\%\) 置信区间内，就会拒绝 \(H_0\)。区间还同时给出数据支持的效应大小范围，通常比单一拒绝结论更有解释力。

两个独立总体均值¶

独立组设计中，两组观察单位彼此不同，目标效应为 \(\Delta=\mu_1-\mu_2\)。样本均值差的标准误是均值差抽样分布的标准差。允许两总体方差不等时，Welch 统计量为

自由度用 Welch–Satterthwaite 近似：

Welch 检验允许两总体方差不同，在方差相等时相对合并方差（pooled-variance）t 检验通常只损失很少功效，而在方差和样本量同时不等时能更好控制第一类错误，因此适合作为一般性的独立两组均值比较。先用 F 或 Levene 检验方差、再根据该 p 值选择检验会串联两个随机决策，使最终错误率和解释变复杂；相关方法研究推荐直接依据设计与模型条件选择 Welch 或合并方差方法。⁴

若研究设计与领域知识确实支持共同方差 \(\sigma_1^2=\sigma_2^2\)，经典 pooled t 路径仍有教学和分析价值。合并方差为

相应统计量为

这里的“独立”指观察单位之间没有由配对、重复测量、共同窝别、培养皿或样方造成的相关。把同一只动物的多个组织切片当成多个独立个体会人为缩小标准误；这类数据需要回到实验单位，并用汇总或层级模型表达单位内相关。

配对均值¶

前后测量、左右器官、同窝匹配或一一配对样本中的两列观测具有配对关系。令每一对差值 \(D_i=X_i-Y_i\)，配对 t 检验就是对差值做单样本 t 检验：

配对利用个体内相关性消除一部分个体间变异；有效样本量由配对数决定。它假定差值在各对之间独立，并要求差值分布足以支持 t 近似，两次测量各自的边缘分布并非检验对象。若配对被打乱，或一侧缺失后直接按两个独立样本处理，设计信息与目标参数都会改变。

模型条件与替代方法¶

均值检验的核心条件包括分析单位独立、测量尺度能支持均值差、抽样或随机化机制与推断目标相符，以及标准误模型合理。直方图、分位数—分位数图（quantile–quantile plot，Q–Q plot）、残差图和按组原始点有助于判断偏斜、离群、异方差和依赖结构；正态性检验的检出能力受样本量影响，需要与这些图形和设计信息结合解释。

偏斜而有界的连续数据可考虑预先规定的变换、稳健均值方法或自助法（bootstrap）区间；目标本来是中位数、分布位置或随机优势时，可使用秩方法；随机分派实验还可依据分派机制进行置换检验。这些方法对应的估计或检验目标需要在报告中写明。非参数与置换方法将在分类资料与非参数检验中展开，重复测量和层级依赖则需要广义线性模型与混合效应模型。

方差的经典检验¶

单个总体方差¶

若 \(X_1,\ldots,X_n\) 独立来自正态总体，要检验 \(H_0:\sigma^2=\sigma_0^2\)，则

双侧检验在 \(\chi^2\) 分布两端各放置 \(\alpha/2\) 的拒绝概率，单侧检验则按备择方向使用一端。由于结论强烈依赖总体正态性，应用时应同时给出方差或标准差的置信区间，并检查离群点与分布形状。标准差的 \(\chi^2\) 检验及区间适用于经典正态模型。⁵

两个总体方差¶

两个独立正态总体下，检验 \(H_0:\sigma_1^2=\sigma_2^2\) 的经典统计量是

F 分布不对称。双侧检验需要同时比较下尾和上尾分位数；把较大样本方差放在分子后只查一个临界值对应的是单侧构造。方差比检验对非正态和离群值很敏感，未显著结果表示现有证据不足以排除方差相等。它适用于方差本身是科学对象的场景；均值检验则可直接依据设计和方差结构选择相应方法。

多个总体方差¶

多个独立组的方差齐性可以用 Bartlett 检验或 Levene 型检验。Bartlett 检验在各组接近正态时有较高功效，但对非正态很敏感。Levene 检验先计算每个观测到本组中心的绝对偏差，再比较这些偏差的组间差异；以组中位数为中心的 Brown–Forsythe 版本通常对偏斜和重尾更稳健。NIST 的方法手册明确把 Levene 作为 Bartlett 的稳健替代，并说明中位数版本在多种非正态分布下能兼顾稳健性与功效。⁶

方差差异本身可能是有意义的生物现象，例如处理改变表型可塑性而不改变均值。此时应报告各组标准差、方差比及区间。若研究重点是均值而残差存在异方差，可直接采用 Welch 方法、异方差稳健标准误或显式建模方差结构，而非让齐性检验充当后续方差分析（analysis of variance，ANOVA）的机械开关。

效应量与不确定性¶

原始尺度与标准化尺度¶

效应量描述差异或关联的大小。连续结局可报告均值差、中位数差、斜率或几何均数比；二分类结局常用风险差、风险比与优势比；时间结局可用时间差或风险比。原始尺度通常最接近实验问题：若处理使平均萌发时间缩短 1.8 天，读者可以直接判断这对培养周期是否重要。

标准化均值差把均值差除以某个标准差，便于跨不同量纲比较。两独立组常见的 Cohen \(d\) 为

小样本时可用校正后的 Hedges \(g=J(\nu)d\)。标准化效应仍依赖语境：分母会随群体异质性、测量可靠性和研究设计变化，同一个原始差异在不同总体中可能得到不同 \(d\)。配对设计还需说明使用差值标准差、个体内标准差还是其他标准化方式。效应量名称、方向和分母必须写清。

\(d=0.2,0.5,0.8\) 等经验标签只能提供粗略参照。濒危种群存活率很小的改变可能具有重要保护意义，常规实验指标较大的改变却可能仍在正常生理波动内。判断重要性应依据预先规定的最小科学重要效应、成本、风险、机制一致性和领域基线。

置信区间与生物学解释¶

点估计是样本给出的最佳单值，置信区间显示与数据和模型相容的参数范围。区间很宽意味着仍同时容许明显有益、近于无效或有害的效应；此时仅说“未显著”会掩盖不确定性。区间很窄且整体靠近零，才可能支持“任何尚可相容的效应都很小”，但若要正式声称可忽略，还须把区间与预设的等效界值比较。

显著性与重要性可以分离：大样本能使微小效应得到很小的 p 值，小样本也可能让重要效应的区间跨过零。报告时应把效应估计和区间放在主位，再给出检验方向、统计量、自由度和精确 p 值。SAMPL 生物医学统计报告指南同样把置信区间与充分的分析描述置于核心位置。⁷

功效与样本量¶

事前功效分析服务于研究设计。合理流程是先确定主要结局与分析模型，再提出最小科学重要效应，估计变异和失访，选择 \(\alpha\) 与目标功效，最后计算样本量并检查输入变化的影响。若有多个主要终点、整群随机、重复测量或计划中期分析，样本量计算必须反映相应的相关结构和错误率控制。

研究完成后，用观测效应代回公式计算“事后功效”通常只是已观察 p 值的重述。效应估计、置信区间、设计限制和对最小重要效应的敏感性分析能够直接呈现结果的不确定性。模拟研究和方法学评论也建议以这些信息解释结果。⁸

等效性与非劣效性¶

常规差异检验以“精确零效应”为 \(H_0\)，未拒绝时表示现有证据不足以排除这一零值。若问题是两个处理的差异是否小到没有实际意义，应在研究前定义下界 \(\Delta_L\) 和上界 \(\Delta_U\)，组成可接受的等效区间并直接检验等效性。

两个单侧检验¶

等效性检验的零假设是效应落在可接受区间之外：

两个单侧检验（two one-sided tests，TOST）分别检验效应是否高于下界、是否低于上界；只有两者都达到 \(\alpha\) 水平，才可宣布等效。对称界值 \((-\Delta_E,\Delta_E)\) 下，这等价于相应 \(100(1-2\alpha)\%\) 置信区间完全落在等效区间内。TOST 的关键在于界值必须在看数据之前由可忽略效应的科学含义确定。⁹

差异检验和等效性检验可以得到四类信息：仅差异显著、仅达到等效、既显示非零又仍落在预设等效范围内，或两者都不能判定。最后一种通常表示区间太宽，现有信息不足以判断差异或等效。

非劣效性¶

非劣效问题只限制一个有害方向。例如，若效应 \(\Delta=\mu_{\text{新}}-\mu_{\text{对照}}\) 越大越好，允许的最大损失为 \(M>0\)，可检验

当单侧置信下界高于 \(-M\) 时，数据支持新处理不比对照差超过 \(M\)。非劣效界值必须保留对照的有意义效应，并结合历史证据、结局临床或生物学意义和当前试验条件论证。美国食品药品监督管理局（U.S. Food and Drug Administration，FDA）指南将事前界值选择和试验可解释性列为非劣效设计的核心。¹⁰

非劣效研究还特别容易受到依从性差、处理交叉和测量不敏感的影响，因为这些因素可能把组间差异推向零而制造“相似”。因此应预先说明分析总体、缺失数据处理和敏感性分析；在随机试验中，意向治疗与符合方案分析往往需要并行考察。

多重检验与错误率¶

检验家族与家族错误率¶

一次研究若检验许多基因、剂量、时间点、亚组或终点，即使每个 \(H_0\) 都为真，也更可能至少出现一个偶然的小 p 值。若 \(m\) 个独立检验都按 \(\alpha=0.05\) 判断，至少一次假阳性的概率为

当 \(m=20\) 时，这个概率约为 0.64。实际检验常有相关性，但“检验越多，至少一个错误发现的机会越大”仍然成立。首先要根据共同的科学结论定义检验家族：哪些终点共同支持同一主要主张，哪些是预先限定的次要或探索性问题。FDA 的多终点指南也把多重终点造成错误结论的风险及其事前管理置于核心。¹¹

家族错误率（family-wise error rate，FWER）是在一个检验家族中至少错误拒绝一个真 \(H_0\) 的概率。Bonferroni 法把每个检验的阈值设为 \(\alpha/m\)，在任意依赖结构下都能控制 FWER，但可能较保守。Holm 逐步法把排序后的 p 值依次与 \(\alpha/(m-i+1)\) 比较，也能在一般条件下控制 FWER，并且功效不低于未修改的 Bonferroni 法。因此 R 的正式统计文档通常推荐 Holm 法。¹²

预先规定的层级检验可以先检验主要终点，只有通过后才把错误率传递给次要终点；闭合检验、Dunnett 比较和 Tukey 同时比较则利用不同假设结构。各方法控制的家族和适用比较集合不同，选择依据是预先定义的科学问题与检验结构。

错误发现率¶

高通量组学常同时检验成千上万个特征，若目标是筛出候选发现，严格控制“至少一个假阳性”可能代价过高。错误发现率（false discovery rate, FDR）关注所有被拒绝假设中错误发现比例的期望。Benjamini–Hochberg（BH）程序将排序后的 p 值 \(p_{(1)}\leq\cdots\leq p_{(m)}\) 与

比较，找到满足 \(p_{(i)}\leq iq/m\) 的最大 \(i\)，并拒绝至该位置的假设。这里 \(q\) 是目标 FDR 水平。BH 在独立或特定正相关条件下控制 FDR；依赖结构更一般时，可使用更保守的 Benjamini–Yekutieli 方法或与数据生成机制相符的专门方法。¹²

“FDR 为 5%”表示在重复研究意义下控制发现集合中错误发现比例的期望值；它不直接给出每个结果为真的概率，也不规定某一次实验恰有多少假阳性。候选筛选可以使用 FDR，验证性结论则常要求 FWER 控制、独立验证或更明确的层级策略。

从研究设计管理多重性¶

有效的多重性管理从研究问题开始：预先确定主要结局、时间点、效应尺度、协变量和对比；把确认性分析与探索性分析分开；记录所有实际运行的模型、排除规则和亚组；对数据依赖的停止或模型选择使用相应的序贯、选择后推断或验证程序。校正公式由此作用于边界清楚的检验家族。

减少无科学意义的重复检验、以总体检验或模型中的计划对比回答成组问题、使用独立验证数据，能比事后统一调整一长串 p 值更清楚地对应研究问题。探索性发现用于生成假设，应如实标记并在新的数据中接受验证。

分析预设与完整报告¶

一项可解释的检验应让读者知道数据怎样变成结论。分析计划至少说明主要和次要结局、假设方向、分析单位、配对或分层结构、效应尺度、模型及关键假定、\(\alpha\)、多重性策略、缺失值与排除规则、异常值处理和敏感性分析。任何查看数据后的改变都应标记为探索性或偏离计划，并说明改变时间和原因。

结果报告宜包含：各组样本量和描述统计；效应估计、单位及置信区间；检验统计量、自由度和尽可能精确的 p 值；单侧或双侧方向；多重校正方法与检验家族；模型诊断、缺失和排除；与最小科学重要效应的比较。这些信息比星号或单独的 \(p<0.05\) 更完整，也能避免把 \(p>0.05\) 简化为“无效”。

假设检验最后仍要回到研究设计。随机化支持处理效应的因果解释，代表性抽样支持向目标总体推广，盲法与标准化测量减少偏倚；p 值在这些既定条件下量化相应检验的不相容程度。可靠的生物学结论还需要效应大小、机制、偏倚风险、外部证据和可重复性共同支持。

参考资料与延伸阅读¶