ТИРОНЕТ – все о щитовидной железе Для специалистов Журнал Тиронет Архив журнала 2003 год № 1
Три "Почему ..." и пять принципов описания статистики в биомедицинских публикациях
В. Леонов
"ДОВЕРЯЙ, НО ПРОВЕРЯЙ",
ИЛИ "НЕ ДОВЕРЯЙ, И ПОТОМУ ПРОВЕРЯЙ"
Изначальная редакционная ориентация читателя на недоверие к опубликованным в статьях выводам, можно трактовать как признание того, что публикуемые статьи могут содержать сомнительные выводы. Другими словами, это можно рассматривать как самопризнание участия в "игре в научный фокус": ".. в надежность результатов исследования изначально никто не верит, свидетельством его научности становится сам факт публикации, а важнейшим условием публикации — упоминание о статистических "гитиках". (Цитата из статьи президента издательства Медиа-Сфера С.Е. Бащинского "СТАТИСТИКА УМЕЕТ МНОГО ГИТИК", Международный журнал медицинской практики, 1998; N4, с.13-15. ") С момента публикации этих строк прошло 4 года, но реально все осталось по-прежнему: никакой проверки статистических аспектов в поступающих статьях не производится. Об этом говорит все тот же крайне низкий уровень статистической культуры статей, публикуемых в российских биомедицинских журналах. Можно ли себе представить, чтобы такие рекомендации были высказаны редакторами физико-математических журналов? Действительно, почему в этих журналах мы не встречаем таких рекомендаций? Ответ настолько очевиден, что даже не требует формулировки.
"Укажите, какие компьютерные программы, доступные для широкого пользователя, применялись в Вашей работе". Эту рекомендацию надо понимать так, что если вы использовали, по вашему мнению, недоступные для широкого пользователя программы, то упоминать о них не следует? Мало того, помимо того, что вы, как автор, считаете себя специалистом в своей предметной области, вы должны быть еще и специалистом по маркетингу статистических программ. Иначе как вы узнаете, доступна или нет использованная вами программа "широкому" или "узкому" пользователю?
В одной из рекомендаций читаем следующее. "Применение собственных разработок не рекомендуется. Это связано с тем, что при использовании разных алгоритмов в процессе программирования одних и тех же статистических методов возможны несколько различные результаты, коммерческие же пакеты программ надежны, и их качество общеизвестно." На первый взгляд рекомендация выглядит достаточно убедительной. Действительно, зачем "изобретать велосипед", писать собственные программы и процедуры, если есть достаточно много коммерческих пакетов программ? Однако далеко не всегда эти пакеты могут удовлетворить запросы искушенного исследователя. Кроме того, как признает сам автор этой рекомендации, "при использовании разных алгоритмов в процессе программирования одних и тех же статистических методов возможны несколько различные результаты". Но разве это же утверждение не применимо к коммерческим пакетам программ? Правда для того, чтобы в этом убедиться, требуется провести сравнительное тестирование этих процедур в разных пакетах с использованием одних и тех же исходных данных.
Чтобы показать, что надежность и качество коммерческих пакетов также требует такой же доказательности, как и описание в статьях статистических результатов, приведем небольшой пример. В книге Г.Хан, С.Шапиро "Статистические модели в инженерных задачах", М., Мир, 1969 г. описан достаточно мощный статистический критерий Шапиро-Уилка для проверки нормальности распределения с тестовым примером, содержащим 10 чисел. Требуется на основе этой выборки проверить статистическую гипотезу о том, что данная выборка извлечена из генеральной совокупности с нормальным законом распределения. Авторы приводят в книге значение W-статистики Шапиро-Уилка равное 0,943 , и значение достигнутого уровня значимости р=0,557. Проведем проверку статистической гипотезы о нормальности распределения для этих 10 чисел с помощью критерия Шапиро-Уилка, а также d-критерия Колмогорова-Смирнова, используя популярные статистические пакеты SAS 8, SAS 6.12, SPSS-11, SPSS-10, STATISTICA 5.5, STATISTICA 99, STATISTICA 6, STATGRAPHICS PLUS 5.0, S-PLUS 2000 и NCSS 2001. Результаты такой проверки приведены в отдельной таблице. Как видим, эти результаты наводят на определенные размышления...
Конечно же, каждый из производителей данных статистических пакетов считает что именно их результат корректный и правильный. К сожалению, придирчивому и скрупулезному пользователю трудно, а порой и невозможно, самостоятельно разрешить эту дилемму, поскольку далеко не каждый из этих производителей открывает свободный доступ к алгоритмам, реализованным в их пакетах. Очень мало информации о нюансах использованных методах и в самом пакете, и руководстве пользователя. Чаще всего это небольшое упоминание о названии того или иного критерия и ссылка на публикацию с его описанием. Учитывая, что большинство используемых в России статистических пакетов разработаны зарубежными фирмами, ссылки в этих случаях даны на источники, практически недоступные для отечественного читателя. Пожалуй, лишь только в случае с пакетом SPSS можно обратиться к таким алгоритмам, опубликованным на сайте производителя этого пакета. Значительное различие в величине d-статистики Колмогорова-Смирнова в пакете NCSS 2001 по сравнению с результатами, полученными в других пакетах, объясняется спецификой вычисления этого критерия, на которой мы не будем останавливаться.
Итак, какую же позицию должен занять читатель, знакомясь с той или иной статьей: "Доверяй, но проверяй", или же "Не доверяй, и потому проверяй"? Очевидно, что выбор будет определяться в основном тем, насколько полно, доказательно и понятно авторы публикации смогут донести до читателя детали использованных методов анализа. При этом важно не скатиться в другую крайность, когда забывается примат объекта и цели исследования и подчиненная им роль статистического анализа. В этом случае подробное описание методов анализа становится самодовлеющей целью, за которой теряется и сама цель исследования.
В нашей практике встретился однажды случай, когда присланная на рецензию диссертация на соискание ученой степени кандидата медицинских наук примерно на 75% состояла из подробного описания всевозможных деталей статистического анализа, включая копии упомянутых выше алгоритмов всех (NB!) использованных методов анализа, один к одному заимствованных с сайта пакета SPSS. В результате диссертация превратилась в мини-пособие по алгоритмам наиболее популярных методов статистического анализа. Известно, что во всем необходимо соблюдение меры и гармонии. Не является исключением и обсуждаемая нами задача. Чем же руководствоваться для достижения такой соразмерности описания? Полагаю, читатели согласятся со мной, что для этого имеет смысл руководствоваться некоторыми принципами. Как говорил известный философ Гельвеций, "Знание некоторых принципов нередко возмещает незнание некоторых фактов".
