Проверка значимости – это научный инструмент, и, подобно любому другому инструменту, он имеет определенный уровень точности. Если вы сделаете такую проверку более точной (например, увеличив размер изучаемой совокупности), это позволит вам зафиксировать еще более слабое воздействие. В этом не только сила данного метода, но и его опасность. По правде говоря, нулевая гипотеза (если воспринимать ее буквально) почти всегда бывает ложной. Когда вы вводите сильный лекарственный препарат в кровь пациента, трудно поверить, что такое вмешательство оказывает в точности нулевое воздействие на вероятность того, что у этого пациента возникнет рак пищевода, или тромбоз, или неприятный запах изо рта. Каждая часть тела взаимодействует со всеми остальными частями в рамках сложного цикла обратной связи, которая сводится к воздействию и контролю. Все, что вы делаете, либо способствует развитию злокачественной опухоли, либо предотвращает его. Теоретически, если провести эффективное исследование, можно определить влияние каждого фактора. Однако это влияние в большинстве случаев настолько крохотное, что его можно смело исключить из рассмотрения. Тот факт, что мы можем зафиксировать влияние различных факторов, не означает, что все они имеют значение.

Если можно было бы вернуться во времена формирования статистической терминологии и объявить результат, прошедший проверку Фишера с p-значением меньше 0,05, «статистически заметным» или «статистически определимым», вместо того чтобы называть его «статистически значимым»! Эти термины были бы более близкими к сути данного метода, который просто говорит нам о существовании воздействия, но не позволяет определить размер или важность этого воздействия. Но уже слишком поздно. И мы имеем то, что имеем.