| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Три «Почему ...» и пять принципов описания статистики в биомедицинских публикациях "Плавать по морю необходимо".
ПОЧЕМУ ПОЯВИЛАСЬ ЭТА СТАТЬЯЗа время существования сайта БИОМЕТРИКА его автору пришло довольно много писем, в которых читатели консультировались относительно различных нюансов использования и описания методов статистики в статьях и диссертациях. Этот поток писем периодически возрастал после публикаций статей автора на сопутствующие темы в "Бюллетене ВАК РФ", "Международном журнале медицинской практики", "Медицинской газете", "Сибирском медицинском журнале", а также непосредственно на сайте БИОМЕТРИКА. С каждым годом таких писем становится все больше, и в конце 2002 г. ежемесячно приходит уже свыше 50 таких писем. Это говорит о том, что интерес к этому аспекту возрастает. Данная статья является одной из попыток удовлетворить этот интерес. В настоящее время в ряде биомедицинских журналов можно найти так называемые "Единые требования к рукописям, представляемым в биомедицинские журналы" подготовленные Международным комитетом редакторов медицинских журналов — ICMJE (International committee of medical journal editors. Uniform requirements for manuscripts submitted to biomedical journals. Ann Intern Med 1997;126:36 N47)." Потребность в унификации требований к таким публикациям ощущалась уже давно. И вот в 1978 г. редакторы нескольких ведущих медицинских журналов неофициально собрались в Ванкувере (Канада), где и сделали первую попытку выработать единые технические требования к биомедицинским рукописям, представляемым в редактируемые ими журналы. Впоследствии эта группа редакторов стала известна как Ванкуверская группа. Ее рекомендации были впервые опубликованы в 1979 г. Позднее Ванкуверская группа была преобразована в Международный комитет редакторов медицинских журналов. Совещания этого комитета проходят ежегодно. Учитывая, что тон в работе этого комитета задают редакторы биомедицинских журналов Англии и США, именно в журналах этих стран и заметны наибольшие изменения с момента первой встречи этой группы. Тогда как на редакционную политику российских журналов эти рекомендации не оказывают практически никакого влияния. В отдельных журналах опубликовали перевод некоторых версий этих требований, и этим ограничились. Даже в наиболее прогрессивных российских издательствах, декларирующих свою приверженность доказательной медицине и издающих литературу этого направления, дальше "протокола о намерениях" дело не продвинулось. Такой вывод я делаю как на основе собственного общения с некоторыми издателями гг. Москвы и Томска, так и в результате изучения публикаций многих российских журналов по биологии и медицине. В частных беседах работники издательств откровенно говорят о том, что предлагаемые ими новшества отвергаются главными редакторами, возраст которых под стать возрасту "геронтологического Политбюро" времен "развитаго социализма". Мотивы такой позиции редакторского корпуса очевидны и прозрачны. Следует отметить, что такое положение дополняется и отсутствием достаточно объективных и подробных рекомендаций, которыми авторы могли бы руководствоваться при оформлении своих публикаций. Помимо чисто технических требований, таких как оформление иллюстраций, ссылок на бумажные и электронные публикации и прочие моменты, основная направленность в деятельности Ванкуверской группы заключается в стремлении повысить доказательность и надежность публикуемых сообщений. Весьма важным элементом обеспечения доказательности публикации является корректное описание этапа статистического анализа наблюдений, что создает условия читателю для оценки надежности авторских выводов. В статье "Применение статистики в статьях и диссертациях по медицине и биологии. ЧАСТЬ III. Проблемы взаимодействия "автор — редакция — читатель" опубликованной в Международном журнале медицинской практики (1999, вып. 12, стр. 7-13) мы уже писали, что "Cтатья должна убеждать читателя, причем интенсивность убеждения, в отсутствии у читателя непосредственной возможности проверить выводы автора, должна быть такой, чтобы степень сомнения читателя была минимальна. Для достижения этой цели публикация по результатам экспериментальных исследований должна содержать биометрическое описание, включающее мотивационную и инструктирующую компоненты". Именно эти две компоненты описания и вызывают наибольше количество вопросов у наших читателей. Помимо переводов требований Ванкуверской группы в ряде журналов публиковались и собственные рекомендации по этому вопросу. В данной статье мы попытаемся критически проанализировать те фрагменты подобных рекомендаций, которые относятся к описанию методов статистики, и представить собственную точку зрения на этот непростой аспект публикаций. При этом постараемся выйти за рамки общих фраз и рассуждений, дав более конкретные рекомендации для разнообразных статистических критериев и методов анализа. Понимая, что дать рекомендации "на все случаи жизни" невозможно, ограничимся только наиболее популярными и известными методами и критериями, число которых, тем не менее, оказалось более 50. Кроме того, сформулируем некоторые принципы конструирования такого описания. [вверх] [к оглавлению] ПОЧЕМУ АВТОРЫ ИСПОЛЬЗУЮТ СТАТИСТИКУВ книге "Курс общей и экспериментальной патологии" (СПб., 1885, т.1, стр. 581) ее автор, известный в то время ученый В.В. Пашутин, писал: "Обобщающие полеты ума в сфере патологических явлений совершенно необходимы, так как запас детальных фактов в настоящее время очень велик и получает характер, за недостатком обобщений, тяготеющего ума балласта, с которым едва может справляться наша память". Как видим, еще более 100 лет назад ведущие российские ученые понимали, что возрастание массы необобщенных фактов приводит к тому, что они постепенно превращаются в балласт. Можно полагать, что в наше время актуальность этого тезиса стала еще сильнее. Одним из инструментов такого обобщения и являются статистические методы. Те из авторов, которые разделяют этот тезис, пытаются осознанно применять статистические методы, чтобы на основе результатов анализа выборочных наблюдений сделать заключение относительно всей исследуемой популяции. Другие используют статистический анализ потому, что так делает большинство их коллег, либо же считая, что наличие статистических выводов поднимает престижность публикации, вызывает большее доверие к ней. Третьи - удовлетворяя требованиям одного из соавторов, как правило, научного или номинального руководителя основного автора. Обычно такой руководитель, еще на заре своей научной карьеры, удачно применил тот или иной метод анализа, и с тех пор старается воспроизводить его и в последующих работах. Следующей причиной использования некоторого конкретного метода является подражание авторам одной или нескольких статей, плодотворно использовавших его в аналогичных исследованиях. Нередко наблюдается и то, что можно назвать модой на определенные методы анализа. Наконец желание использовать тот или иной метод статистического анализа может быть и следствием того, что автор установил на своем компьютере статистический пакет и, овладевая им, пытается к месту, а подчас и не вполне, применять эти методы. Таковы наиболее часто встречающиеся мотивы применения статистических методов в публикациях. В зависимости от того, каковы истинные цели публикации и применения статистических методов, описание последних может быть как весьма обстоятельным и достаточным, так и полностью отсутствующим. В последнем случае авторы обычно приводят ничего не значащие выражения, в которых просто упоминают о факте статистического анализа. Оценивая мотивы использования статистики в биомедицине в целом, можно полагать, что большинство авторов публикаций искренне надеются, что применение статистических методов должно дать им, и читателям их работ, некоторое новое знание. Однако можно "... как блестящие идеи, так и научные нелепости одинаковым образом облечь во впечатляющий мундир формул и теорем [151]. ... Наряду с математизацией знаний происходит и математизация глупостей; язык математики, как ни странно, оказывается пригодным для выполнении любой из этих задач" [В.В.Налимов. Вероятностная модель языка. М.: Наука, 1979. стр.176.]. [вверх] [к оглавлению] ПОЧЕМУ ПЛОХИ ИМЕЮЩИЕСЯ РЕКОМЕНДАЦИИДействительно, почему имеющиеся рекомендации оставляют желать лучшего? Причин этого несколько, однако главная из них, на наш взгляд, заключается в том, что пишутся они не профессионалами в области анализа данных, а редакционными работниками, имеющими самое общее представление о специфике этой области деятельности. Поэтому в результате рекомендации содержат много общих фраз и пожеланий, нежели конкретных примеров и описаний, подобных тем, которые приводятся в стандартах разного уровня, от государственных и отраслевых, до стандартов отдельных предприятий и организаций. Если сравнить тексты требований, разрабатываемых ICMJE начиная с 1978 г. по октябрь 2001 г.(датировка последней, обновленной версии требований), то можно заметить, что раздел "Статистика" в этих требованиях практически не изменился. Требования отдельных журналов также ориентированы в основном на вариант требований ICMJE . Для иллюстрации этих утверждений проанализируем отдельные фрагменты рекомендаций Ванкуверской группы, приведенные непосредственно в разделе "Статистика". Отметим, что в зависимости от того, в каком из российских журналов печатался перевод этих рекомендаций, контекст содержания этого раздела оставался в целом одним и тем же, изменялись же только некоторые нюансы, обусловленные предпочтениями переводчиков. Насколько силен может быть этот фактор, мы проиллюстрировали в статье "Применение статистики в статьях и диссертациях по медицине и биологии. ЧАСТЬ III. Проблемы взаимодействия "автор — редакция — читатель", приведя перевод одного и того же текста двумя разными переводчиками. Рассмотрим две версии одного и того же фрагмента, заимствованные из публикаций разных российских журналов. "Описывайте статистические методы настолько детально, чтобы грамотный читатель, имеющий доступ к исходным данным, мог проверить полученные Вами результаты." В другом журнале (Кардиология, вып. 6, 1994, стр. 158) этот фрагмент выглядел так: "Статистика (статистические методы) — описывайте статистические методы настолько детально, чтобы квалифицированный читатель, имеющий доступ к оригинальным данным, смог проверить полученные Вами результаты". Прочитав первый раз эти фрагменты я вспомнил заключительную фразу из повести "Чук и Гек" Аркадия Гайдара: "Что такое счастье — это каждый понимал по-своему...". Действительно, что такое "квалифицированный" или "грамотный" читатель? Тот, который знает азбуку и умеет читать? Или же тот, который имеет диплом о высшем образовании, или диплом кандидата или доктора наук? Но это ведь тоже не гарантия того, что такой читатель поймет ваше описание. Как видим, такая рекомендация больше порождает вопросов и уводит в сторону от сути дела. [вверх] [к оглавлению] ПРЕДЪЯВИТЕ ВАШИ ДАННЫЕ!Идем далее: "...имеющий доступ к исходным данным, мог проверить полученные Вами результаты". Прочитав этот фрагмент, задайтесь вопросом: ЧЬИ "исходные данные" подразумевали авторы этих рекомендаций? "Исходные данные" авторов статьи, или же "исходные данные" читателя? Предположим первое, речь идет об "исходных данных" авторов статьи. Интересно, многие ли из авторов согласятся поделиться собственными "исходными данными"? Вот Вы, уважаемый читатель, готовы предоставить по "первому требованию" Ваши "кровные", добытые долгим и упорным трудом, еще до конца не проанализированные "исходные данные", какому-то неизвестному Вам читателю из города Урюпинска? Вы еще строите далеко идущие планы по "эксплуатации" этих данных, и вдруг кто-то их просит (требует?) у Вас... Тем более, если читатель сообщит, что они ему нужны для того, чтобы "проверить полученные Вами результаты". Как видим и здесь ценность подобной рекомендации весьма сомнительна... Помимо чисто морально-этической стороны этой проблемы возникает и другие аспекты, в частности правовые. Поскольку уважаемый автор публикации, как правило, добывал-создавал эти самые "исходные данные" в процессе работы, то его горячо любимый работодатель, в лице НИИ, вуза и т.п. может "погрозить пальчиком" и сказать "Ни-ни, не моги, а то уволю с работы!". И будет прав, поскольку все базы данных (а эти "исходные данные" и есть ни что иное, как базы данных!), созданные работником в процессе исполнения своих рабочих обязанностей, согласно действующему законодательству, принадлежат этому работодателю. Конечно, мы утрируем эту ситуацию, поскольку на сегодня этому работодателю, в лице НИИ или вуза, глубоко безразлично, что автор публикации с этими "исходными данными" будет делать. Он, работодатель, как и государство в целом, еще не научилось воспринимать эту информацию как материализованный ресурс, который должен находиться в обращении, и в процессе своей амортизации возвращать затраты, понесенные государством на его создание (созданные, между прочим на деньги налогоплательщиков, т.е. на наши деньги :-). Это за рубежом строят специальные "хранилища данных" (Data Warehouse), чтобы используя к этим данным методы извлечения знания (Data Mining), возвращать понесенные затраты в виде нового Знания. У нас же подобные меры еще даже и не обсуждаются... Для НИИ и вуза важнее и престижнее чтобы его работники написали побольше статей, защитили побольше диссертаций и т.п. Ибо по этим показателям раз в пять лет и будет проходить переаттестация организации и продление лицензии на ее деятельность. А такой показатель, как объем накопленных информационных ресурсов, в том числе и "исходных данных", такие комиссии не интересует. Полагаю, что Вы, уважаемый читатель, знаете это не хуже меня ... Тем не менее, особой радости от подобной просьбы поделиться этим ресурсом автор публикации не испытает. И мотивы здесь могут быть самые разные. Начиная от тех, о которых сказано выше, до других. Например, Вы еще действительно не закончили полный анализ этих данных и по этой причине не желаете их легализовать, делать общедоступными. Другая причина, не менее важная, заключается в том, что автор публикации может быть не полностью уверен в корректности выводов, полученных (и уж опубликованных!). Боязнь того, что более квалифицированный исследователь, проведя корректно анализ авторских данных, докажет ошибочность, или же некорректность продекларированных автором выводов, также вызовет отрицательную реакцию на такую просьбу читателя. В том, что вероятность такого мотива может быть достаточно весома, говорит большое количество экспонатов в "Кунсткамере", где дан анализ именно таких некорректных, "сырых" заключений из статей, монографий и диссертаций по биомедицине. Не исключено также, что этот "проверяльщик" извлечет из авторских данных такую информацию, о которой создатель этих "исходных данных" и не подозревал! И отправит уже свою собственную статью с этими результатами в журнал, забыв (или не забыв) поблагодарить за представленные "исходные данные". А сможет ли читатель "проверить полученные ... результаты" имея собственные "исходные данные"? Тоже маловероятно… Во-первых, такие данные не будут идентичны тем, которые имеет автор статьи. Во-вторых, он может не располагать тем вычислительным ресурсом, которым располагал автор статьи. Но главное даже не в этом! Сам контекст рекомендации "чтобы ... читатель ... мог проверить полученные Вами результаты" изначально ориентирует читателя на недоверие авторским выводам. Что это, максимализм редакторов биомедицинских журналов, или же констатация реального положения? Полагаю что второе, ибо в первом случае нам была бы предложена совершенно иная рекомендация. Какие же мотивы движут теми, кто рекомендует читателям статей "проверить полученные ... результаты"? Среди этих мотивов нельзя полностью исключать и такое явление, как научное мошенничество, отдельные примеры которого приведены в статье "Мошенничество в науке". Не случайно еще в 1942 году Р.Мертоном была предложена идея "организованного скептицизма", ставшей общепринятой нормой в науке. Суть ее в том, что любой опыт должен быть доступен другим ученым. Воспроизводимость и есть критерий честности экспериментов. Сам Мертон считал, что научные исследования подчиняются строгому контролю, который, по-видимому, недостижим в иных областях человеческой деятельности. Учитывая изменение ситуации в науке, такой фактор тоже нельзя полностью исключать и в России. В том, что это существующие реалии, автору этих строк пришлось убедиться самому, когда несколько лет назад один из аспирантов СГМУ фактически предложил ему сделать "научный подлог", подтасовав результаты статистического анализа его данных. Было и еще несколько таких же попыток. Типичным примером такого мошенничества является случай с биохимиком Галлисом, который в начале 70-х годов работал над проблемой внутримозговых морфинов. "На Западе давным-давно перестали верить в идеальный портрет ученого-подвижника, живущего интересами науки, для которого истина превыше всего. Реальность современного мира — ученый, которому не чуждо все человеческое, включая и пороки и достоинства. Он подвержен и честолюбию, и стремлению к материальному достатку, и прочим стимулам, способным склонить его к обману. Действительно, если итогом долгих размышлений и экспериментов являются отрицательные результаты; если журналы не принимают публикации с такими результатами, а карьера зависит от этого, искушение подправить данные может быть трудно преодолимым. Так, из 32 авторов, опубликовавших статьи в одном из научных журналов США, 21 под разными предлогами отказались представить редакции исходные материалы" [Сент-Джеймс-Роберт Ай. Заслуживают ли доверия ученые? //Этический кодекс ученого. Реферативный сборник. М.: ИНИОН, 1980. — 227с.] Поэтому не случайно в ведущих журналах США и Англии появились требования о предоставлении исходных данных. Так, согласно требованиям журнала JAMA — "Журнал Американской Медицинской Ассоциации" (18 отдельных международных изданий, распространяется более чем в 150 странах на 12 языках), автор публикуемой статьи принимает на себя следующее обязательство: "Я удостоверяю, что по требованию редактора я предоставлю данные или буду содействовать в полной мере предоставлению тех данных, на которых базируется данная статья ДЛЯ ИХ ПРОВЕРКИ редактором или его представителями". Такой уровень требований вполне объясним, поскольку ежегодно журнал получает порядка 4000 рукописей, однако публикуются из них порядка 10%. Пожалуй, данная формулировка требований журнала JAMA наиболее адекватна и разумна, поскольку здесь речь идет не о каком-то абстрактном читателе, желающем произвести проверку авторских результатов, а о редакторе журнала, или его представителе. Иными словами, сомнительность или неточность описания должна устраняться на самом первом этапе — этапе работы с рукописью, которая еще не стала статьей, т.е. не опубликована. Очевидно, что для этого в составе журнальных редакционных коллегий должны быть специалисты, способные такую работу выполнять достаточно качественно. [вверх] [к оглавлению] "А ВОЗ И НЫНЕ ТАМ?"Следуя примеру зарубежных журналов, в частности таких как JAMA и BMJ, аналогичные пункты требований стали вводить и отечественные журналы. К примеру, еще в 1995 г. журнал "Кардиология" прямо говорил о необходимости статистической цензуры, что за рубежом уже давно стало нормой. Так, в вып. 6 за 1995 г. (стр. 93) в "Правилах подготовки рукописей ...", редакция написала следующее: "Все статьи, принятые к публикации, при необходимости будут проверяться на адекватность применения статистических методов и интерпретации данных". В это же время автор данной статьи направил в "Кардиологию" статью с анализом публикаций этого журнала за несколько лет, где приводил наиболее типичные статистические ошибки и заблуждения. И хотя статья не была опубликована, а сама редакция даже не ответила автору этих строк, тем не менее, эта симптоматичная фраза в "Правилах ..." появилась. Однако, несмотря на то, что прошло уже 7 лет с того момента, как было продекларировано такое требование, уровень статистического анализа в статьях этого журнала остался прежним. В общем, все получается как в известной поговорке: "Куда конь с копытом, туда и рак с клешней"... Объективности ради, следует сказать, что таким же осталось положение и во многих других журналах. Тем не менее, отдельные позитивные сдвиги в решении этой проблемы все же есть. Ведутся переговоры по введению статистического рецензирования в издательстве Медиа-Сфера, реально уже введено такое рецензирование в "Сибирском медицинском журнале", (главный редактор Р.С. Карпов, академик РАМН, председатель ТНЦ СО РАМН). С полной версией новой редакции Единых требований к рукописям, представляемым в "Сибирский Медицинский Журнал" можно познакомиться на сайте Межрегионального Сибирского медицинского Фонд им. Д.Д. Яблокова. Для иллюстрации того, что такое рецензирование действительно необходимо, приведем несколько цитат из 4-х таких рецензий, направленных авторам рукописей, присланных в редакцию "Сибирского Медицинского Журнала". 1. В рукописи сообщается: "... (коэффициент корреляции Пирсона r=0,71, достигнутый уровень значимости р< 10-3)". Однако нигде не сообщается, как проверялись (и проверялись ли вообще!) условия применимости данного вида корреляции. Далее, в этом фрагменте, а также в тексте статьи используются выражения р< 10-3 . Необходимо в таких случаях приводить конкретные значения достигнутого уровня значимости, например, р=0,0001.. В рукописи сообщается: "Поведение линий регрессии полностью согласуется с результатами и выводами корреляционного анализа". Это утверждение довольно спорно, поскольку приведены результаты линейного корреляционного анализа, тогда как графики, в ряде случаев, явно указывают на наличие нелинейной регрессии. Отсюда возникает несколько вопросов: почему не была проверена правомочность использования именно линейной аппроксимации зависимости, вместо нелинейной; почему использовалась корреляция Пирсона в тех случаях, где графическое изображение показывает сомнительность применения данной корреляции? 2. В разделе "Материал и методы" и далее в тексте рукописи приводятся выражения вида "5,6±1,4". Нигде в рукописи не сказано, какие именно величины авторы соединяют знаком ± . В этом же разделе сообщается об использовании критерия Стьюдента, но ничего не говорится о методах проверки ограничений использования данного метода. Кроме того, авторы использовали критерий Стьюдента для показателей, оцениваемых в баллах, что является недопустимым. Нет уточнения, какой именно корреляционный анализ был выполнен авторами, как нет и самого обсуждения результатов корреляционного анализа. В тексте рукописи используются некорректные выражения "достоверные различия (р < 0,05)". Следует использовать выражение "статистически значимые различия", а также вместо выражения р < 0,05 приводить фактические значения достигнутого уровня значимости, например, p=0,002. В описании к табл. 4 (над самой таблицей) пропущено число пациентов в выражении "Группа ИМ 2 (n= ), М±м". Весьма важным моментом, о котором авторы вообще ничего не говорят, является проблема однородности исходного состояния сравниваемых подгрупп. Вполне возможно, что уже до начала тренировок разной интенсивности, данные группы отличались по некоторым, а возможно и по всем, контролируемым в динамике показателям. В этом случае отдаленный результат наблюдений может быть следствием не тренировок разной интенсивности, а значимым различием контролируемых показателей в исходном состоянии сравниваемых групп. Отсутствие такой проверки однородности начального состояния резко снижает надежность формулируемых авторами выводов. Учитывая большую важность исследуемых авторами аспектов постинфарктной реабилитации пациентов, рекомендую использовать более глубокие методы статистического анализа, например такие, как непараметрический дисперсионный анализ, построение дихотомических решающих правил и логистическую регрессию. Это значительно повысит результативность и надежность полученных результатов. 3. В разделе "Материал и методы" сообщается, что "Данные были получены при использовании непараметрических методов (Kruskall-Wallis Anova, Median test) и анализа таблиц сопряженности". Однако ничего не сказано о том, чем диктовался выбор именно этих методов анализа и какие гипотезы проверялись этими методами. Вопрос об этом тем более уместен, что в следующем предложении говорится: "При сравнении величин двух групп с нормальным распределением применялся Shapiro Wilk's test". Т.е. часть количественных признаков, видимо, подчинялась нормальному распределению. Однако в такой формулировке данное утверждение лишено всяческого смысла, поскольку указанный статистический критерий Shapiro Wilk's не применяется "При сравнении величин двух групп с нормальным распределением". Данный критерий проверяет совершенно иные статистические гипотезы. Непонятен и смысл следующего утверждения: "Во всех процедурах статистического анализа уровень значимости "р" принимался менее 0,05". Если речь идет о критическом уровне значимости для данного исследования, то следует использовать формулировку, приведенную в действующих "Единых требованиях к рукописям, представляемым в "Сибирский Медицинский Журнал". В тексте рукописи используются некорректные выражения вида "Эта подгруппа достоверно отличалась ...", "Генотипы DD и ID достоверно чаще регистрировались...", "достоверная взаимосвязь...". Следует использовать обороты "статистически значимо" или "статистически не значимо". 4. В разделе "МАТЕРИАЛ И МЕТОДЫ ИССЛЕДОВАНИЯ" говорится: "Для каждого показателя оценивали значимость различий функций распределения на группах выживших и умерших больных". Однако ничего не сказано о том, зачем, с какой целью это делалось, и с помощью каких конкретно методов (критериев) производилась эта оценка. Далее, в этом же разделе говорится: "Для количественных показателей, таких как уровень холестерина, стаж стенокардии, частота сердечных сокращений при велоэргомерии и т.д. оценивали достоверность различий средних". Авторы используют некорректный оборот "достоверность различий средних". Следует использовать корректное выражение "статистически значимое различие средних". Ничего не сказано и о том, для чего, с какой целью производилась эта оценка, а также какими конкретно методами (критериями). Далее авторы сообщают в этом же разделе о том, что по результатам использования дисперсионного и факторного анализов "Все эти показатели были перекодированы, исходя из максимального различия распределений на сравниваемых группах". Данное утверждение совершенно непонятно. Неясно, с какой целью и как производилось это "перекодирование". В этом же разделе сообщается: "Алгоритм разработки прогноза был одинаков во всех случаях, а различные варианты прогноза различались только составом используемой информации [10]." Из данного утверждения читателю статьи будет неясно, каков же был этот алгоритм. Отсылка к зарубежному источнику [10] мало что даст читателю, поскольку, во-первых, в данном источнике описано довольно много алгоритмов, а во-вторых, большинству читателей данный источник недоступен. Необходимо достаточно ясно описать данный алгоритм, с тем, чтобы читателю было понятно, как можно такой алгоритм воспроизвести (название статистического пакета и процедуры, ссылка на более подробное описание алгоритма в документации статистического пакета и т.д.). В таком же виде использованный авторами алгоритм остается для читателей совершенно неизвестным. В разделе "РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ" говорится: "При проведении многофакторного дисперсионного анализа, из общеклинических показателей наиболее значимыми были признаны следующие показатели: стаж артериальной гипертензии (АГ), ИМ в анамнезе, ФК, наличие АГ у ближайших родственников". Из данного описания неясно, какие именно факторы, и их комбинации, использовались в этом случае. В этом фрагменте текста приведено описание ошибочного, некорректного применения дисперсионного анализа для качественных признаков. Далее: "Из инструментального обследования значимыми показателями оказались все гемодинамические характеристики ВЭМ, а также показатели Эхо-КГ: КСР, КДР и ФВ (табл. 1)". Неясно, какие признаки выступали в данном случае в роли факторов. В таблице 1. наблюдается терминологическая путаница: термин "фактор" используется в двух несовместимых смыслах, как фактор в дисперсионном анализе, и фактор — как зависимый, количественный показатель. Такая путаница вводит в заблуждение. В таблице 1 приводятся выражения вида "р < 0,05" и "р < 0,01". Согласно действующим требованиям необходимо приводить фактические значения достигнутого уровня значимости. В примечание к табл. 1 говорится: "Примечание: в таблице отражены только "фиксированные" значения для данной популяции". Неясно, что это за "фиксированные значения". В этом же Примечании допущена опечатка в предпоследнем слове. В разделе "РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ" говорится: "Для того, чтобы понять структуру взаимосвязи параметров … был проведен факторный анализ". Однако далее ничего не сказано о том, как проверялись (и проверялись ли вообще!) существующие для данного метода предпосылки и ограничения. В описании результатов факторного анализа делается ссылка на рис.1. Однако к данному рисунку отсутствуют описания осей. Не совсем ясен смысл и рис.1. Аналогичные замечания и по рис. 2-3. О результатах логистической регрессии. Как уже говорилось выше, ничего не сказано об алгоритме оценки показателей этого уравнения. Нет оценок уровней значимости, как отдельных коэффициентов уравнения, так и всего уравнения в целом. Все общепринятые в мировой печати параметры оценок имеются в цитируемой авторами книге [10], куда и рекомендую обратиться по данному вопросу. При оценке диагностической ценности авторы, кроме принятых в литературе терминов "специфичность и чувствительность", используют термин "значимость", что также может привести к путанице, поскольку в статье используется и термин "значимость" и в статистическом смысле. Современная терминология доказательной медицины использует иные термины для этих целей, например термин "прогностичность ..." (см. соответствующую литературу по доказательной медицине). И если раньше многие из перечисленных выше замечаний рисковали стать после своей публикации экспонатами "К… ", то после соответствующей авторской доработки, эти фрагменты публикации только усилят доверие читателей к результатам исследования. Продолжим критический анализ имеющихся рекомендаций. "По возможности, подвергайте полученные данные количественной оценке и представляйте их с соответствующими показателями ошибок измерения и неопределенности (такими как доверительные интервалы)." Как видим, здесь решение о необходимости количественной оценки остается за автором. Однако и в этом случае непонятно, о каких конкретно "количественных оценках" и "соответствующих показателях" идет речь, поскольку таких оценок и показателей может быть достаточно много. Такой же критически настроенный читатель может резонно возразить, что же, надо перечислять все эти оценки? Но ведь на каждый случай все нельзя предвидеть. Конечно, для каждой рукописи нельзя предусмотреть все возможные варианты и случаи. Да этого и не требуется. Более разумно дать некоторый рекомендуемый перечень таких оценок, а также сформулировать принципы построения такого описания. Кроме того, если все рукописи, содержащие статистические оценки, будут рецензироваться специалистом по анализу данных, то все оставшиеся проблемы будут разрешаться в процессе общения автора и рецензента. "Не следует полагаться исключительно на статистическую проверку гипотез, например, на использование значений р, которые не отражают всей полноты информации." Такое пожелание было бы вполне уместно, если бы во всех журналах авторы полагались бы в своих выводах исключительно только на уровень значимости "р". Но ведь этого нет, скорее наоборот. [вверх] [к оглавлению] "ДОВЕРЯЙ, НО ПРОВЕРЯЙ",
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
