Меню

Что такое мощность выборки

9.Что такое статистическая мощность исследования и от чего она зависит?

Нужно ли исследователю учитывать её при планировании исследования, и

если да, то как это сделать?

Статистическая мощность анализа (1-β): вероятность того, что мы на выборке примем гипотезу H1, если на самом деле она верна (= шанс обнаружить эффект, если он на самом деле есть).

• Размер эффекта, пример: Корреляция между приёмом аспирина и снижением риска сердечного приступа: r = 0.034, r2 = 0.0012. Но это значит, что 34 человека из 1000 могут предотвратить приступ, принимая аспирин.

Статистическая мощность зависит от…

– объёма выборки: чем он больше, тем она выше;

– размера эффекта: чем он сильнее, тем она выше;

– от используемого статистического критерия: для разных статистических критериев, проверяющих одну и ту же гипотезу, она будет разной.

• Является критерием для определения объёма выборки с учётом размера ожидаемого эффекта.

• Важно! Только высокая мощность (0,95 и выше) даёт нам возможность делать достоверный вывод о том, что искомый эффект отсутствует (верна H0).

• При недостаточной статистической мощности подобный вывод является необоснованным (правильный вывод: мы не обнаружили эффект, но не можем сказать, есть он или нет).

Анализ статистической мощности и оценка объема выборки являются важным этапом планирования эксперимента, так как без этих вычислений объем данных может быть слишком большим, либо, напротив, слишком маленьким, чтобы получить надежные результаты. Если объем выборки слишком мал, то у вас имеется небольшая вероятность того, что проведенное вами экспериментальное исследование (массовый опрос и др.) даст надежный результат. Напротив, если объем выборки слишком большой, то время, потраченное на сбор данных и большие финансовые расходы, связанные с этим, не принесут ожидаемого эффекта.

В спец.программах, например во вражеской Statistika есть специальный модуль — Анализ мощности. Тут доступны графические и аналитические процедуры, позволяющие оценить мощность и объем выборки различных процедур статистического анализа.

Назовем исходную гипотезу «нулевая гипотеза» — H0 . Соберем данные. Используя статистическую теорию, видим, что гипотеза H0, вероятно, неверна и должна быть отвергнута.

Отвергая H0, вы обосновываете то, во что действительно верите. Эта ситуация, типичная во многих областях приложения, называется критерий отвержения-принятия — «Reject-Support testing,» (RS testing); отвергая нулевую гипотезу, вы подтверждаете теорию.

Нулевая гипотеза либо справедлива, либо ошибочна, и статистическая процедура недвусмысленно указывает на это. Нулевая гипотеза либо отвергается, либо не отвергается. Следовательно, до проведения эксперимента вы постулируете, что имеют место только 4 возможности, показанные ниже:

HO H1
H0 Правильное принятие Ошибка II рода
H1 Ошибка I рода Правильное отвержение

Заметим, что имеются ошибки двух типов, показанные в этой таблице. Авторы многих учебников обычно придерживаются такой точки зрения, что Ошибка I рода должна принимать значение .05 или ниже, тогда как Ошибка II рода должна быть столь малой, насколько это возможно при фиксированном уровне ошибки 1 рода. «Статистическая мощность», которая равна 1 — , соответственно, должна быть максимально высокой. ( у Жени в презентации – 0,95)

Например, в двухгрупповом эксперименте, включающем сравнение средних в двух группах — экспериментальной и контрольной, исследователь верит, что лекарство приносит эффект и ищет подтверждение своим предположениям с помощью критерия, который значимо отвергает нулевую гипотезу, состоящую в том, что эффекта нет (средние равны).

В таком исследовании ошибка II рода является трагедией, потому что теория, которая действительно верна, ошибочно отвергается. Очевидно, мы должны действовать так, чтобы уменьшить эту ошибку, т.е. максимизировать мощность критерия. К сожалению, нельзя одновременно уменьшать обе ошибки, и на практике приходится находить компромисс между ними.

В некоторых случаях просто невозможно иметь дело с очень большими выборками — с такой ситуацией мы сталкиваемся, например, в социальных или психологических исследованиях. В таких задачах исследователи иногда тратят несколько дней на то, чтобы получить интервью одного человека. В результате в течение года можно обследовать 50 субъектов. Корреляционные критерии в таких случаях имеют очень низкую мощность (так как объем выборки слишком мал). В таких случаях лучше взять значение выше .05, тогда требуемая мощность может быть достигнута.

С другой стороны, возможно, мощность оказывается слишком большой. Например, можно проверять гипотезу о равенстве двух средних в популяции (Mu1 = Mu2), основываясь на миллионе наблюдений в каждой из сравниваемых групп. В такой ситуации даже при тривиальных (почти нулевых) различиях между группами нулевая гипотеза по существу всегда будет отвергнута.

Оценка мощности. При планировании эксперимента нужно помнить, что мощность должна быть разумно высокой, чтобы обнаружить разумные отклонения от нулевой гипотезы

Факторы, влияющие на мощность статистических тестов. (повторение мать учения): Важно какой именно статистический критерий применяется. Некоторые статистические тесты по своей природе имеют большую мощность, чем другие. Важен объем выборки (количество наблюдений, на основании которых делается вывод). Вообще говоря, чем больше объем данных, тем больше мощность. Однако увеличение числа наблюдений связано с финансовыми и временными затратами. Следовательно, важно сделать объем выборки «разумно большим». Величина экспериментальных эффектов. Уровень ошибки в экспериментальных измерениях. Ошибка измерения интерпретируется как «шум», который может скрыть «сигнал» в реальных экспериментах. Следовательно, все действия, улучшающие точность и надежность измерения, могут увеличить статистическую мощность.

Источник

Что такое мощность выборки

Мощность статистических критериев

Мощность статистического критерия представляет собой вероятность отвержения нулевой гипотезы, когда она фактически неверна. Иными словами, мощность говорит нам о том, насколько вероятно в данном исследовании получить статистически значимый результат, если искомая закономерность действительно имеет место в генеральной совокупности. Из этого определения следует, что любой исследователь кровно заинтересован в высоком значении мощности используемого статистического критерия.

Читайте также:  Двигатель не развивает максимальной мощности двигатель неустойчиво работает

Мощность критерия является функцией трех вещей: 1) степени, в которой проявляет себя искомая закономерность («величина эффекта»), 2) избранного исследователем уровня статистической значимости (альфа, вероятность ошибочного отбрасывания нулевой гипотезы), 3) объема выборки из генеральной совокупности.

Каждую из этих четырех величин можно выразить через три оставшиеся. Джейкоб Коэн, энтузиаст анализа мощности в психологических исследованиях, в своей монографии [1] приводит огромное количество таблиц, с помощью которых можно определять мощность и необходимый объем выборки, не прибегая к трудоемким вычислениям. По мнению Коэна, трудности, которые возникают у исследователей при анализе мощности, частично объясняются тем, что в психологии в целом отсутствует четкое представление о степени выраженности исследуемых феноменов. Поэтому еще одним немаловажным достоинством его работы является разработка показателей величины эффекта и операционализация понятий «слабый», «средний» и «выраженный» эффект для наиболее распространенных статистических критериев.

К настоящему времени разработано большое количество статистических программ, предназначенных для анализа мощности. Данное сообщение посвящено пакету pwr, которым можно воспользоваться в рамках среды R.

Рассмотрим для примера работу с функцией pwr.r.test, предназначенной для анализа мощности коэффициента корреляции Пирсона, одного из наиболее распространенных в психологии показателей величины эффекта. Дж. Коэн предложил для коэффициента корреляции такие операциональные определения величины эффекта: 0.1 — слабая корреляция, 0.3 — средняя корреляция, 0.5 — значительная корреляция (замечу, что его классификация существенно отличается от того, что можно встретить в пособиях по анализу данных. Так, в [2] величина корреляции до 0.5 включительно рассматривается как слабая).

Аргументами этой функции являются:
n — объем выборки;
r — значение коэффициента корреляции;
sig.level — уровень статистической значимости;
power — мощность критерия;
alternative — строка, указывающая на тип альтернативной гипотезы: «two.sided» (ненаправленная), «greater», «less» (направленные).

При вызове функции только один из аргументов n, r, sig.level или power должен быть опущен, чтобы его можно было вычислить на основании оставшихся. Исключение составляет лишь аргумент sig.level, имеющий значение по умолчанию 0.05, поэтому ему передают значение NULL, если функция должна вычислить уровень значимости.

Рассмотрим такую задачу. Пускай предполагаемая исследователем сила связи в генеральной совокупности описывается как средняя, при этом он хочет обеспечить вероятность обнаружения этой зависимости на уровне 0.8, уровень статистической значимости установлен им в 0.05 и альтернативная гипотеза является ненаправленной:

Таким образом, чтобы с высокой вероятностью обнаруживать среднюю по величине связь, нужно иметь не менее 85 испытуемых. Если повысить уровень статистической значимости до 0.01, то объем выборки возрастет до 125 человек. Если связь между переменными предполагается слабой (самый распространенный в психологии вариант вследствие невысокой валидности измерения и комплексного характера взаимосвязей), то понадобится 1163 испытуемых. Используя рассмотренные вычисления на этапе планирования исследования, ученый может составить четкое представление о том, какой объем выборки ему может понадобиться, чтобы обнаруживать искомую закономерность с заданной величиной эффекта. Важно подчеркнуть, что необходимость представлять себе величину эффекта перед началом исследования существенно меняет акценты по сравнению с обычной практикой.

Рассматриваемая функция помогает отвечать и на другие вопросы. Например: если я располагаю выборкой в 30 человек и собираюсь обнаружить связь средней силы при установленном уровне значимости в 0.01, то какой будет мощность критерия? Оказывается, она в этом случае составит всего 0.156, т.е. существует крайне незначительная вероятность обнаружения данной закономерности.

Еще один пример. Какого рода эффекты я смогу обнаруживать с вероятностью 0.8, на уровне статистической значимости 0.01, если объем выборки составляет 100 человек? Ответ — 0.334, т.е. среднюю по величине зависимость.

Помимо функции pwr.r.test, в пакете pwr имеется богатый набор инструментов для работы с наиболее распространенными статистическими критериями:

pwr.p.test: критерий для одной доли
pwr.2p.test, pwr.2p2n.test: критерий значимости различия двух долей
pwr.t.test, pwr.t2n.test: критерий Стььюдента
pwr.anova.test: однофакторный дисперсионный анализ для сбалансированных планов
pwr.chisq.test: критерий хи-квадрат
pwr.f2.test: регрессионный анализ
Ряд функций предназначен для вычисления величины эффекта: ES.h (доли), ES.w1 (критерий согласия), ES.w2 (меры связи). Функция cohen.ES дает возможность вывести величину эффекта для заданного критерия и уровня.

1. Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, NJ: Lawrence Erlbaum
2. Бююль А., Цефель П. SPSS: искусство обработки информации, изд-во DiaSoft, 2005 Метки: pwr, величина эффекта, мощность

Источник



Расчет размера выборки

Когда необходимо рассчитывать размер выборки?

Размер выборки требуется определить перед началом большинства количественных исследований. Определение размера выборки не требуется для качественных исследований (обратите внимание, что здесь понимаются формально количественные методы, такие как контент-анализ; простые описательные проекты относятся к количественным). Расчет размера выборки может не выполнять перед проведением предварительных, пилотных исследований (однако такие исследования обычно выполняются перед реальным планированием научного исследования). В случае сомнений, обязательно обратитесь в то учреждение, которое финансирует исследование или включает его в свой план исследований — отсутствие данные о размере выборки одна из наиболее частых причин отказа в утверждении темы

Почему размер выборки важен для исследователя?

При проведении исследований, которые определяют распространенность некоей характеристики в популяции (например, распространенность астмы у детей), расчет размера выборки необходим для того, чтобы полученные оценки имели желаемую степень точности. Например, распространенность заболевания в 10%, полученная на выборке размером в 20 человек будет иметь 95% доверительный интервал от 1% до 31%, что никак нельзя признать ни точно, ни информативной оценкой. С другой стороны, распространенность заболевания в 10%, полученная на выборке размером в 400 человек будет иметь 95% доверительный интервал от 7% до 13%, что может рассматриваться, как достаточно точный результат. оценка размеров выборки позволяет избежать первого из этих двух вариантов.

Читайте также:  Формула вычисления мощности двигателя внутреннего сгорания

В исследованиях, направленных на выявление эффекта (например, разность эффективности двух методов лечения, относительный риск заболевания при наличии или отсутствии фактора риска) оценка размера выборки важна для того, чтобы удостовериться в том, что если клинически или биологически важный эффект существует , то он с высокой степенью вероятности будет обнаружен, иными словами анализ даст статистически значимые результаты. Если размер выборки невелик то даже в случае значительных различий между группами будет невозможно доказать, что они являются следствием чего-то иного, кроме как выборочной вариабельности.

Информация необходимая для расчета размера выборки

Обычно рекомендуется, чтобы при расчете размера выборки была бы получена консультация биостатистика

Методы оценки размера выборки описаны в ряде учебников по статистике, включая Altman, 1991; Bland, 2000; Armitage, Berry и Matthews, 2002. Две книги специализируются на описании методов оценки размеров выборки в разных ситуациях. Для качественных параметров следует проконсультироваться с работой Manchin и соавт. (1998), для качественных — Lemeshow и соавт. (1996). В обеих книгах приведены таблицы, облегчающие расчет размеров выборки. В случае последовательных испытаний, необходимо обратиться к работе Whitehead (1997).Собственно расчеты размера выборки могут быть выполнены с использованием одной из многочисленных компьютерных программ. Так, программа Stata позволяет анализировать размер выборки, необходимый для сравнения средних и пропорций, а также анализа распространенности. Значительно большее количество опций предлагают специализированные пакеты, такие как nQuery Advisor или UnifyPow.

Расчет размера выборки зависит от следующих факторов, которые надо будет сообщить статистику-консультанту:

  • Изучаемые в исследовании переменные, включая их типы
  • Необходимая мощность исследования
  • Необходимый уровень статистической значимости
  • Размер эффекта, который имеет клиническую значимость
  • Стандартное отклонение для количественных переменных
  • Будет ли использоваться одно- или двусторонний тест значимости
  • Дизайн исследования, иными словами является ли исследование:
    • Рандомизированным контролируемым испытанием
    • Кластерным рандомизированным исследованием
    • Исследованием эквивалентности
    • Нерандомизированным исседованием вмешательства
    • Обсервационным исследованием
    • Исследованием распространенности
    • Изучением чувствительности и специфичности теста

При этом потребуется ответить на ряд дополнительных вопросов:

  • Включаются ли в исследование парные данные?
  • Будут ли в исследовании измерены повторно одни и те же переменные у одного и того же человека?
  • Равны ли включаемые в исследование группы по численности?
  • Являются ли данные иерархическими?

Следует принять во внимание, что нерандомизированные исследования различий или взаимосвязей обычно требуют значительно больший размер выборки для того, чтобы принять во внимание при анализе влияние третьих переменных. При этом исследователя интересует абсолютный размер выборки, а не процент, который она составляет от популяции в целом.

Какие статистические термины используются при описании процесса планировании размера выборки

Нулевая и альтернативная гипотезы

Многие типы статистического анализа направлены на сравнение двух видов лечения, процедур или групп пациентов. Численное значение, которое суммирует интересующие исследователя различия называется эффектом. В других исследованиях эффектом может являться коэффициент корреляции, отношение шансов или относительный риск. Затем мы выдвигаем нулевую и альтернативную гипотезы. Обычно нулевая гипотеза гласит, что эффекта нет (различия между группами равны нулю, относительный риск равен единице, корреляционный коэффициент равен нулю), альтернативная гипотеза предполагает, что эффект есть.

Доверительная вероятность (р-оценка)

р-оценка это вероятность наблюдения в исследовании такого же или более сильного эффекта при условии справедливости нулевой гипотезы. Обычно выражается как пропорция (например, р=0.03)

Уровень значимости

Уровень значимости — это пороговое значение для р-оценки, ниже которого нулевая гипотеза должна быть отвергнута и сделано заключение о том, что имеются доказательства эффекта. Обычно уровень значимости устанавливается на значении 5% (Уровень значимости, несмотря на прямую связь с р-оценкой выражается в процентах: 5% уровень значимости эквивалентен р=0.05). Если наблюдаемой значение меньше 5%, то имеется незначительная вероятность, что в исследовании были бы получены такие результаты, если бы истинного эффекта не было. Поэтому принимается гипотеза о наличии эффекта

Уровень значимости 5% также означает, что имеется практически 5% вероятность придти к выводу о наличии эффекта, хотя на самом деле его нет. Иногда более адекватным является использование 1% уровня значимости, особенно если очень важно избежать заключения о том, что эффект существует тогда, когда на самом деле его нет.

Мощность

Мощность — это вероятность того, что нулевая гипотеза будет адекватно отвергнута, иными словами тогда, когда действительно существуют доказательства реальных различий или взаимосвязей. Ее можно рассматривать как «100 процентов минус вероятность пропуска истинного эффекта». поэтому чем выше мощность, тем меньше вероятность пропуска истинного эффекта. Мощность обычно фиксируется на уровне 80%, 90% или 95%. Мощность не должна быть меньше 80%. Если крайне важно, чтобы исследование не пропустило существующего эффекта, надо стремиться достичь мощности 90% или более.

Клинически важный размер эффекта

Это наименьшие различия между средними групп или процентами событий в них (для отношений шансов самый близкий к единице риск), которые еще можно рассматривать как биологически или клинически значимые. Должна быть сформирована выборка такого размера, чтобы если подобные различия существуют, то в исследовании были бы получены статистически значимые результаты.

Односторонний или двухсторонний тест значимости

При двухстороннем тесте нулевая гипотеза заключается в отсутствии различий, а альтернативная гипотеза предполагает, что различия между группами могут идти в любом направлении. При одностороннем тесте альтернативная гипотеза определяет предполагаемое направление различий , например, что терапия лучше, чем плацебо, а нулевая гипотеза включает ситуации, когда эффект препарата и плацебо одинаков и когда препарат приводит к худшему, по сравнению с плацебо, результату.

Читайте также:  Мощность электрокотла площадь обогрева

Если нет серьезных причин для того, чтобы это не делать, следует пользоваться двухсторонней гипотезой. Ожидание того, что различия пойдут в том или ином направлении недостаточное основание для того, чтобы пользоваться односторонним тестом. Исследователи-медики часто оказываются удивлены, если полученный результат идет в разрез с тем, что ожидалось, очень часто подобная находка имеет иные последствия, по сравнению с отсутствием различий и поэтому она должна быть адекватным образом описана. Односторонний тест не позволяет этого сделать. Примеры ситуаций, в которых односторонний тест может оказаться приемлемы приведены в книге Bland и Altman (1994).

Какие переменные должны учитываться при расчете размера выборки

Расчет размера выборки должен базироваться на анализе основной переменной исхода в данном исследовании.

Если в исследование будут включены дополнительные переменные, которые также рассматриваются, как имеющие важное научное значение, то размер выборки должен таковым, чтобы позволить адекватный анализ этих переменных. Для всех важных в научном плане переменных должен быть проведен и представлен расчет размера выборки.

Учет процента отклика и потерь при наблюдении

Расчетный размер выборки указывает количество пациентов в финальной, анализируемой в конце исследования группе. Поэтому количество лиц, которые должны быть вовлечены в исследование должно быть увеличено в соответствии с ожидаемым откликом, потерям при наблюдении, отказом от следования протоколу и другим возможным причинам потери экспериментальных субъектов. Необходимо четко описать взаимосвязь между ожидаемым количеством участников и объемом формируемой выборки.

Соответствие целям исследования и методам статистического анализа

Адекватность размера выборки должна также быть оценена в соответствии с целью исследования. Например, если целью исследования является демонстрация того, что новое лекарство лучше существующего, необходимо добиться того, чтобы размер выборки позволял обнаружить клинически значимые различия между двумя методами лечения. Однако иногда требуется продемонстрировать, что два лекарственных средства клинически эквивалентны. Этот тип исследований часто называют испытанием эквивалентности или «негативным» испытанием. Вопросы определения размера выборки для этих исследований детально описаны в работе Pocock (1983). Размер выборки в исследованиях, направленных на демонстрацию эквивалентности лекарств больше, чем в исследованиях, которые направлены на выявление различий в эффективности. Обязательно следует убедиться в том, что расчеты размеров выборки связаны с целями и задачами исследования и базируются на данных об основной переменной исхода.

Размеры выборки также должны быть адекватны используемым в исследовании методам анализа, поскольку как размер выборки, так и анализ зависят от выбранного дизайна исследования. Обязательно следует удостовериться в том, что предполагаемые методы анализа и расчеты размера выборки совместимы друг с другом.

Примеры расчета размера выборки.

Если планируемое исследование требует оценки одной единственной частоты, сравнения двух средних или сравнения двух частот, расчеты размера выборки (обычно) остаточно просты и поэтому представлены ниже. Однако мы рекомендуем в любом случае проконсультироваться со статистиком по поводу расчетов размера выборки.

Оценка одной единственной частоты

Примечание: приведенная ниже формула базируется на т.н. «методе примерного нормального распределения» и, если только не планируется создавать очень большую выборку, не рекомендуется для оценки частот близких к 0 или 1 (0: или 100%. В подобных случаях следует пользоваться «точными» методами. Подобная ситуация может наблюдаться при изучении чувствительности и специфичности нового метода диагностики, где предполагается наличие частот, близких к 1 (100%). В данном случае следует проконсультироваться со статистиком или, как минимум, воспользоваться специализированными компьютерными программами.

Сценарий: Используя почтовый опросник оценить распространенность нарушений дыхания у пациентов с бронхиальной астмой, находящихся под наблюдением врача общей практики (Thomas и соавт., 2001)

  • Основная переменная исхода = наличие или отсутствие нарушений дыхания
  • Предполагаемая частота нарушений = 30% (0.3)
  • Требуемая ширина 95% доверительного интервала = 10% (т.е. +/-5% или от 25% до 35%)

Формула для оценки размера выборки одной единственной частоты:

где n — требуемый размер выборки, р — ожидаемая частота результата (в данном случае 0,3) и W — ширина доверительного интервала (в данном случае 0.1)

Подставляя в формулу значения, получаем:

n=15.4*0.3*(1-0.3)/0.1 2 =324

Описание результатов расчета размера выборки может выглядеть следующим образом:

«Для получения доверительного интервала в +/-5% вокруг оценки распространенности в 30% потребуется выборка из 324 человек. Учитывая 70% частоту отклика на предложение участвовать в исследовании, будет распространено 480 опросников»

Сравнение двух частот

Примечание: описанные ниже расчеты справедливы только для случая, когда две группы имеют один и тот же размер.

Сценарий: Планируется провести рандомизированное плацебо-контролируемое испытание эффективности колонии-стимулирующего фактора для снижения риска сепсиса у недоношенных детей. Ранее проведенное исследование продемонстрировало, что частота развития сепсиса у таких детей составляет 50% в течение 2 недель после рождения и исследователи считают, что снижение этой частоты до 34% будет являться клинически значимым.

  • Основная переменная исхода= наличие или отсутствие сепсиса у новорожденных через 14 дней после рождения (терапия проводится на протяжении максимум 72 часов после рождения). Это качественная переменная, представленная частотами.
  • Величина значимых различий = 16% или 0.16 (т.е. 50%-34%)
  • Уровень значимости=5%
  • Мощность=80%
  • Тест=двухсторонний

Формула для расчета размера выборки при сравнении двух частот следующая:

где n=размер выборки для каждой группы (общий размер выборки в два раза больше)

р1=первая частота — в данном случае 0.50

р2=вторая частота — в данном случае 0.34

р12=клинически значимые различия, в данном случае 0.16

А — зависит от уровня значимости (см. таблицу) — в данном случае 1.96

В — зависит от мощности (см. таблицу) — в данном случае 0.84

Источник