Рекомендации по оценке риска некорректности статистического анализа (риска возникновения случайных ошибок) в клинических исследованиях: различия между версиями — ClinpharmWiki

Рекомендации по оценке риска некорректности статистического анализа (риска возникновения случайных ошибок) в клинических исследованиях: различия между версиями

Нет описания правки
Строка 128: Строка 128:
|Нет
|Нет
|-
|-
| rowspan="3" |8.
| rowspan="4" |8.
| colspan="3" |'''Применены ли меры по преодолению проблемы множественных сравнений (для анализа подгрупп или при проверке нескольких статистических гипотез в одной выборке)?'''
| colspan="3" |'''Применены ли меры по преодолению проблемы множественных сравнений (для анализа подгрупп или при проверке нескольких статистических гипотез в одной выборке)?'''
|-
|-
Строка 139: Строка 139:
|Да
|Да
|-
|-
| colspan="2" |Не применены никакие способы преодоления проблемы
| colspan="2" |Не применены никакие способы преодоления проблемы множественных сравнений
|Нет
|Нет
|}
{| class="wikitable"
|-
|-
| rowspan="4" |4.
| colspan="2" |В исследовании не проводился анализ подгрупп или не проверялось несколько статистических гипотез в одной выборке
| colspan="2" |'''Описан ли метод заполнения пропусков по выбывшим пациентам в случае анализа набора данных по намерению лечить?'''
|-
|В исследовании применен один из следующих вариантов заполнения пропусков:
 
* данные последнего наблюдения;
* оптимистический сценарий (у выбывших пациентов лечение считалось успешным);
* пессимистический сценарий (у выбывших пациентов лечение считалось неуспешным);
* заполнение пропусков медианами или средними значениями признака по всей выборке (в зависимости от вида распределения признака).
|Да
|-
|Не приведена информация о способе заполнения пропусков
|Нет
|-
|Использован набор данных для пациентов, закончивших наблюдение
|Неприменимо
|-
| rowspan="4" |5.
| colspan="2" |'''В случае анализа набора данных для пациентов, закончивших наблюдение: сопоставлены ли частоты и времена выбывания для выбывших, исключенных, низкокомплаентных, пропусков и проч.?'''
|-
|Частоты и времена выбывания в группах сравнения сопоставлены и/или описаны
|Да
|-
|Частоты и времена выбывания в группах сравнения не сопоставлены  и не описаны
|Нет
|-
|Использован набор данных по намерению лечить
|Неприменимо
|-
| rowspan="3" |6.
| colspan="2" |'''Перечислены ли применяемые статистические методы и адекватны ли они дизайну исследования?'''
|-
|Применяемые статистические методы перечислены и адекватны дизайну исследования
|Да
|-
|Выполнение хотя бы одного условия:
 
* Применяемые статистические методы не перечислены.
* Применяемые статистические методы перечислены, но неадекватны дизайну исследования.
|Нет
|-
| rowspan="3" |7.
| colspan="2" |'''Указан ли пороговый уровень статистической значимости?'''
|-
|Пороговый  уровень статистической  значимости  указан в    разделе
 
«Материалы и методы»
|Да
|-
|Пороговый  уровень статистической значимости не указан в    разделе
 
«Материалы и методы»
|Нет
|-
| rowspan="3" |8.
| colspan="2" |'''Применены ли меры по преодолению проблемы множественных сравнений (для анализа подгрупп или при проверке нескольких статистических гипотез в одной выборке)?'''
|-
|Применен один из следующих методов преодоления проблемы множественных сравнений:
 
* поправка Бонферрони;
* post hoc тесты;
* другие валидизированные статистические инструменты преодоления проблемы множественных сравнений;
* уменьшение порогового уровня статистической значимости.
|Да
|-
|Не применены никакие способы преодоления проблемы
|Нет
|}
{| class="wikitable"
| rowspan="2" |
|множественных сравнений
|
|-
|В исследовании не проводился анализ подгрупп или не проверялось несколько статистических гипотез в одной выборке
|Неприменимо
|Неприменимо
|-
|-
| rowspan="3" |9.
| rowspan="3" |9.
| colspan="2" |'''Использован ли общеизвестный статистический пакет?'''
| colspan="2" |'''Использован ли общеизвестный статистический пакет?'''
|
|-
|-
|Использован общеизвестный статистический пакет (Statistica, SPSS, SAS или др.), MS Excel или онлайн-калькуляторы (со ссылкой на источник)
| colspan="2" |Использован общеизвестный статистический пакет (Statistica, SPSS, SAS или др.), MS Excel или онлайн-калькуляторы (со ссылкой на источник)
|Да
|Да
|-
|-
|Выполнение хотя бы одного из следующих условий:
| colspan="2" |Выполнение хотя бы одного из следующих условий:


* Использованы невалидизированные статистические пакеты (например, собственные разработки программного обеспечения).
* Использованы невалидизированные статистические пакеты (например, собственные разработки программного обеспечения).
Строка 234: Строка 160:
|-
|-
| colspan="3" |'''Раздел «Результаты»'''
| colspan="3" |'''Раздел «Результаты»'''
|
|-
|-
| rowspan="3" |10.
| rowspan="3" |10.
| colspan="2" |'''Приведена ли описательная статистика и сопоставление исходных характеристик групп в анализируемой публикации (или других публикациях о данном исследовании)?'''
| colspan="2" |'''Приведена ли описательная статистика и сопоставление исходных характеристик групп в анализируемой публикации (или других публикациях о данном исследовании)?'''
|
|-
|-
|Приведена описательная статистика исходных характеристик групп и сопоставление исходных характеристик групп (в виде рассчитанных уровней статистической значимости) по всем или хотя бы основным характеристикам групп
| colspan="2" |Приведена описательная статистика исходных характеристик групп и сопоставление исходных характеристик групп (в виде рассчитанных уровней статистической значимости) по всем или хотя бы основным характеристикам групп
|Да
|Да
|-
|-
|Выполнение хотя бы одного из следующих условий:
| colspan="2" |Выполнение хотя бы одного из следующих условий:


* Не приведена описательная статистика исходных характеристик групп и сопоставление исходных характеристик групп (в виде рассчитанных уровней статистической значимости).
* Не приведена описательная статистика исходных характеристик групп и сопоставление исходных характеристик групп (в виде рассчитанных уровней статистической значимости).
Строка 250: Строка 178:
| rowspan="4" |11.
| rowspan="4" |11.
| colspan="2" |'''Если выявлены различия хотя бы по одной из исходных характеристик групп (дисбаланс групп), проведен ли анализ соответствующих ковариат или анализ в соответствующих подгруппах?'''
| colspan="2" |'''Если выявлены различия хотя бы по одной из исходных характеристик групп (дисбаланс групп), проведен ли анализ соответствующих ковариат или анализ в соответствующих подгруппах?'''
|
|-
|-
|Анализ соответствующих ковариат или анализ в соответствующих подгруппах проведен
| colspan="2" |Анализ соответствующих ковариат или анализ в соответствующих подгруппах проведен
|Да
|Да
|-
|-
|Анализ соответствующих ковариат или анализ в соответствующих подгруппах не проведен
| colspan="2" |Анализ соответствующих ковариат или анализ в соответствующих подгруппах не проведен
|Нет
|Нет
|-
|-
|Выполнение хотя бы одного из условий:
| colspan="2" |Выполнение хотя бы одного из условий:


* Дисбаланс групп в результате проверки статистических гипотез не выявлен.
* Дисбаланс групп в результате проверки статистических гипотез не выявлен.
Строка 265: Строка 194:
|-
|-
|12.
|12.
| colspan="2" |'''Ясно  ли,  какие описательные  статистики  использованы при      представлении'''
| colspan="3" |'''Ясно  ли,  какие описательные  статистики  использованы при      представлении распределений количественных признаков?'''
|}
{| class="wikitable"
| rowspan="4" |
| colspan="2" |'''распределений количественных признаков?'''
|-
|-
|Информация об использованных описательных статистиках (мерах центральной тенденции и мерах их рассеяния) приведена в публикации в явном виде
|
| colspan="2" |Информация об использованных описательных статистиках (мерах центральной тенденции и мерах их рассеяния) приведена в публикации в явном виде
|Да
|Да
|-
|-
|Информация об использованных описательных статистиках (мерах центральной тенденции и мерах их рассеяния) не приведена в публикации в явном виде
|
| colspan="2" |Информация об использованных описательных статистиках (мерах центральной тенденции и мерах их рассеяния) не приведена в публикации в явном виде
|Нет
|Нет
|-
|-
|Отсутствие количественных признаков среди исходных характеристик групп
|
| colspan="2" |Отсутствие количественных признаков среди исходных характеристик групп
|Неприменимо
|Неприменимо
|-
|-
| rowspan="4" |13.
| rowspan="4" |13.
| colspan="2" |'''Отсутствуют ли ошибки в представлении описательной статистики количественных признаков?'''
| colspan="3" |'''Отсутствуют ли ошибки в представлении описательной статистики количественных признаков?'''
|-
|-
|Выполнение обоих следующих условий:
| colspan="2" |Выполнение обоих следующих условий:


* Для нормально распределенных данных использованы среднее и среднеквадратическое отклонение (M (SD)), при этом нормальность распределения доказана.
* Для нормально распределенных данных использованы среднее и среднеквадратическое отклонение (M (SD)), при этом нормальность распределения доказана.
Строка 289: Строка 217:
|Да
|Да
|-
|-
|Выполнение хотя бы одного из условий:
| colspan="2" |Выполнение хотя бы одного из условий:


* Для признаков с распределением, отличным от нормального, или признаков с неизвестным видом распределения использованы среднее и среднеквадратическое отклонение M (SD).
* Для признаков с распределением, отличным от нормального, или признаков с неизвестным видом распределения использованы среднее и среднеквадратическое отклонение M (SD).
Строка 296: Строка 224:
|Нет
|Нет
|-
|-
|Отсутствие количественных признаков среди исходных характеристик групп
| colspan="2" |Отсутствие количественных признаков среди исходных характеристик групп
|Неприменимо
|Неприменимо
|-
|-
| rowspan="4" |14.
| rowspan="4" |14.
| colspan="2" |'''Отсутствуют ли ошибки в описании качественных признаков?'''
| colspan="3" |'''Отсутствуют ли ошибки в описании качественных признаков?'''
|-
|-
|Выполнение обоих следующих условий:
| colspan="2" |Выполнение обоих следующих условий:


* Всегда ясно, что принято за 100%.
* Всегда ясно, что принято за 100%.
Строка 308: Строка 236:
|Да
|Да
|-
|-
|Невыполнение хотя бы одного из обозначенных выше условий
| colspan="2" |Невыполнение хотя бы одного из обозначенных выше условий
|Нет
|Нет
|-
|-
|Отсутствие качественных признаков среди исходных характеристик групп
| colspan="2" |Отсутствие качественных признаков среди исходных характеристик групп
|Неприменимо
|Неприменимо
|-
|-
| rowspan="4" |15.
| rowspan="4" |15.
| colspan="2" |'''Отсутствуют ли ошибки в сопоставлении относительных частот<sup>2</sup>?'''
| colspan="3" |'''Отсутствуют ли ошибки в сопоставлении относительных частот<sup>2</sup>?'''
|-
|-
|Ошибки в сопоставлении относительных частот отсутствуют (по результатам выборочной проверка хотя бы по первичным критериям эффективности и/или безопасности)
| colspan="2" |Ошибки в сопоставлении относительных частот отсутствуют (по результатам выборочной проверка хотя бы по первичным критериям эффективности и/или безопасности)
|Да
|Да
|-
|-
|Выполнение хотя бы одного из следующих условий:
| colspan="2" |Выполнение хотя бы одного из следующих условий:


* Выявлены ошибки в сопоставлении относительных частот по результатам выборочной проверки.
* Выявлены ошибки в сопоставлении относительных частот по результатам выборочной проверки.
Строка 326: Строка 254:
|Нет
|Нет
|-
|-
|Сопоставление относительных частот не проводилось, т.к. не предусмотрено дизайном исследования
| colspan="2" |Сопоставление относительных частот не проводилось, т.к. не предусмотрено дизайном исследования
|Неприменимо
|Неприменимо
|-
|-
| rowspan="4" |16.
| rowspan="4" |16.
| colspan="2" |'''Приведено ли в таблицах и на рисунках число наблюдений для каждого признака в каждой точке наблюдения?'''
| colspan="3" |'''Приведено ли в таблицах и на рисунках число наблюдений для каждого признака в каждой точке наблюдения?'''
|-
|-
|Во всех таблицах и на всех рисунках приведено число наблюдений для каждого признака в каждой временной точке наблюдения (или в основных критически важных временных точках)
| colspan="2" |Во всех таблицах и на всех рисунках приведено число наблюдений для каждого признака в каждой временной точке наблюдения (или в основных критически важных временных точках)
|Да
|Да
|-
|-
|Не во всех таблицах и не на всех рисунках приведено число наблюдений для каждого признака в каждой временной точке наблюдения (или в основных критически важных временных точках)
| colspan="2" |Не во всех таблицах и не на всех рисунках приведено число наблюдений для каждого признака в каждой временной точке наблюдения (или в основных критически важных временных точках)
|Нет
|Нет
|-
|-
|В публикации об исследовании отсутствуют таблицы и рисунки
| colspan="2" |В публикации об исследовании отсутствуют таблицы и рисунки
|Неприменимо
|Неприменимо
|-
|-
| rowspan="3" |17.
| rowspan="3" |17.
| colspan="2" |'''Приведено ли точное значение рассчитанных уровней статистической значимости Р (два-три десятичных разряда), а не неравенство?'''
| colspan="3" |'''Приведено ли точное значение рассчитанных уровней статистической значимости Р (два-три десятичных разряда), а не неравенство?'''
|-
|-
|Приведены точные значения всех рассчитанных уровней статистической значимости Р (кроме случаев, когда рассчитанный уровень статистической значимости Р<0,001)
| colspan="2" |Приведены точные значения всех рассчитанных уровней статистической значимости Р (кроме случаев, когда рассчитанный уровень статистической значимости Р<0,001)
|Да
|Да
|-
|-
|Выполнение хотя бы одного из следующих условий:
| colspan="2" |Выполнение хотя бы одного из следующих условий:


* Не приведены точные значения Р для всех рассчитанных уровней статистической значимости.
* Не приведены точные значения Р для всех рассчитанных уровней статистической значимости.
Строка 354: Строка 282:
|-
|-
| rowspan="3" |18.
| rowspan="3" |18.
| colspan="2" |'''Ясно ли, какими методами были получены приведенные уровни статистической значимости?'''
| colspan="3" |'''Ясно ли, какими методами были получены приведенные уровни статистической значимости?'''
|-
|-
|Выполнение хотя бы одного из следующих условий:
| colspan="2" |Выполнение хотя бы одного из следующих условий:


* Для каждого из рассчитанных уровней статистической значимости указан метод, которым получен данный уровень статистической значимости.
* Для каждого из рассчитанных уровней статистической значимости указан метод, которым получен данный уровень статистической значимости.
Строка 362: Строка 290:
|Да
|Да
|-
|-
|Невыполнение хотя бы одного из обозначенных выше условий
| colspan="2" |Невыполнение хотя бы одного из обозначенных выше условий
|Нет
|Нет
|-
|-
| rowspan="4" |19.
| rowspan="4" |19.
| colspan="2" |'''В случае применения параметрических методов приведены ли обоснования их применимости?'''
| colspan="3" |'''В случае применения параметрических методов приведены ли обоснования их применимости?'''
|-
|-
|Приведены обоснования применения параметрических методов статистического анализа (хотя бы один из вариантов):
| colspan="2" |Приведены обоснования применения параметрических методов статистического анализа (хотя бы один из вариантов):


* Проверены гипотезы о нормальности распределения признаков, для которых использованы параметрические методы статистического анализа и приведены результаты данной проверки (рассчитанные уровни статистической значимости).
* Проверены гипотезы о нормальности распределения признаков, для которых использованы параметрические методы статистического анализа и приведены результаты данной проверки (рассчитанные уровни статистической значимости).
Строка 375: Строка 303:
|Да
|Да
|-
|-
|Не приведены обоснования применения параметрических методов статистического анализа
| colspan="2" |Не приведены обоснования применения параметрических методов статистического анализа
|Нет
|Нет
|-
|-
|Параметрические методы статистического анализа не применялись
| colspan="2" |Параметрические методы статистического анализа не применялись
|Неприменимо
|Неприменимо
|-
|-
| rowspan="3" |20.
| rowspan="3" |20.
| colspan="2" |'''Приведены ли доверительные интервалы для основных результатов исследования?'''
| colspan="3" |'''Приведены ли доверительные интервалы для основных результатов исследования?'''
|-
|-
|Доверительные интервалы приведены для всех основных результатов исследования (первичных исходов)
| colspan="2" |Доверительные интервалы приведены для всех основных результатов исследования (первичных исходов)
|Да
|Да
|-
|-
|Доверительные интервалы не приведены хотя бы для одного основного результата исследования
| colspan="2" |Доверительные интервалы не приведены хотя бы для одного основного результата исследования
|Нет
|Нет
|-
|-
| colspan="3" |'''Разделы «Заключение» и/или «Выводы»'''
| colspan="4" |'''Разделы «Заключение» и/или «Выводы»'''
|-
|-
| rowspan="4" |21.
| rowspan="4" |21.
| colspan="2" |'''Если цель исследования не достигнута (согласно научной гипотезе исследования), достаточна ли мощность исследования?'''
| colspan="3" |'''Если цель исследования не достигнута (согласно научной гипотезе исследования), достаточна ли мощность исследования?'''
|-
|-
|Цель исследования не достигнута, и статистическая мощность исследования  составляет 80%  или  более  (по  результатам    расчета размера выборки, приведенным в разделе «Материалы и методы»)
| colspan="2" |Цель исследования не достигнута, и статистическая мощность исследования  составляет 80%  или  более  (по  результатам    расчета размера выборки, приведенным в разделе «Материалы и методы»)
|Да
|Да
|-
|-
|Выполнение хотя бы одного из следующих условий:
| colspan="2" |Выполнение хотя бы одного из следующих условий:


* Цель исследования не достигнута, но статистическая мощность исследования составляет менее 80%.
* Цель исследования не достигнута, но статистическая мощность исследования составляет менее 80%.
Строка 404: Строка 332:
|Нет
|Нет
|-
|-
|Цель исследования достигнута
| colspan="2" |Цель исследования достигнута
|Неприменимо
|Неприменимо
|-
|-
| rowspan="4" |22.
| rowspan="4" |22.
| colspan="2" |'''Если цель исследования не достигнута (согласно научной гипотезе исследования), корректна ли интерпретация результатов? Корректно ли сформулированы выводы?'''
| colspan="3" |'''Если цель исследования не достигнута (согласно научной гипотезе исследования), корректна ли интерпретация результатов? Корректно ли сформулированы выводы?'''
|-
|-
|Цель исследования не достигнута, при этом выводы не противоречат результатам исследования
| colspan="2" |Цель исследования не достигнута, при этом выводы не противоречат результатам исследования
|Да
|Да
|-
|-
|Цель исследования не достигнута, при этом выводы противоречат результатам исследования
| colspan="2" |Цель исследования не достигнута, при этом выводы противоречат результатам исследования
|Нет
|Нет
|-
|-
|Цель исследования достигнута
| colspan="2" |Цель исследования достигнута
|Неприменимо
|Неприменимо
|}
|}
277

правок