Допинговые скандалы сотрясают спортивную общественность с незавидной регулярностью. Каждую неделю всплывают новые обвинения, большинство из которых остаются лишь газетными утками. Если же спортсмена уличают в употреблении запрещённых препаратов, чаще всего он не признаёт себя виновным. Говорит ли он при этом правду?
На страницах журнала Nature в преддверии Пекинской Олимпиады (номер от 7 августа 2008 г.) был опубликован интересный
комментарий Дональда А. Берри, председателя департамента биостатистики Техасского университета, который спровоцировал бурную дискуссию в научной среде.
Недостоверность анализа допинговых пробБерри заявляет, что критерии, используемые при вынесении вердикта антидопинговых служб, статистически и логически ненадёжны. Он считает, что далеко не всегда положительные результаты теста свидетельствуют о том, что спортсмен действительно употреблял запрещённые вещества. Такая ситуация в статистике называется ошибкой первого рода, или ложным срабатыванием. Рассмотрим подробнее её причины, не вдаваясь в математический аппарат.
Первой причиной ложного срабатывания может быть так называемая
«ошибка обвинителя», которая заключается в неверной оценке априорной вероятности события. Предположим, что человек совершил преступление и оставил на месте преступления капли своей крови. Следствие делает некий тест и получается, что его результаты для крови подозреваемого совпадают с результатами для крови преступника. Предположим также, что такое совпадение для данного теста может произойти один раз из тысячи. Можно ли на основании только этого результата поставить тысячу к одному, что подозреваемый и преступник — один и тот же человек? Лишь очень наивный обвинитель будет так действовать. Если рассуждать строго математически, так сделать нельзя, поскольку не оценена априорная вероятность совершения преступления. Например, если в условном Готэме, где произошло преступление, живёт миллион человек, и каждый из них мог совершить преступление, то априорная вероятность того, что именно подозреваемый его совершил, составляет одну миллионную, а результаты анализа крови совпадут примерно для тысячи жителей города. Найти среди них истинного убийцу будет довольно затруднительно.
Исследовательская лаборатория, которая ищет следы употребления допинга, находится в сходной ситуации. Предположим, что подавляющее большинство спортсменов не употребляет запрещённые препараты; тогда положительный результат — это редкое событие, но насколько оно редкое? В Пекинской олимпиаде участвовали 10500 человек; было сдано 4500 проб, 14 из которых оказались положительными (8 у людей и 6 у коней; данные из википедии). Таким образом, вероятность обнаружения допинга составляет чуть менее 0,2%. Но какой она должна быть? Для надёжной оценки этой вероятности необходимо знать чувствительность (вероятность правильного обнаружения допинга) и специфичность (вероятность правильного обнаружения отсутствия допинга) используемого метода. Загвоздка заключается в том, что получить точные оценки этих параметров в случае исследования допинга крайне сложно. Необходимо исследование очень большого количества образцов в тех же условиях, которые возникают во время крупных спортивных соревнований. По мнению Берри, отсутствие таких исследований позволяет утверждать, что критерии обвинения ненадёжны.
Современные методы обнаружения допинга (преимущественно газовая хроматография — масс-спектрометрия, ГХ/МС) требуют осторожной обработки образцов, точной калибровки приборов и высокого уровня специалистов, работающих с этими приборами. Процесс анализа далеко не безошибочен. Например, в случае с дисквалификацией велогонщика Флойда Лэндиса во время Тур де Франс в 2006 году предварительные результаты тестов были отброшены из-за несоответствия стандарту метода их получения. Внимательный анализ результатов повторных тестов с использованием критериев, установленных WADA, не позволяет сделать окончательных выводов, поскольку метод построения этих критериев не был опубликован, а оценка чувствительности и специфичности тестов не проводилась. Если бы метод с аналогичной надёжностью был предложен для диагностики какой-нибудь болезни, он был бы немедленно отвергнут руководящими инстанциями.
Ещё одна проблема возникает при множественных проверках. Казалось бы, положительный результат должен быть необычен. Но вернёмся к случаю Лэндиса. Поскольку он входил в число лидеров гонки, он 8 раз сдавал анализы на допинг (всего на Тур де Франс в 2006 году было взято 126 анализов). Каждый из них мог быть как истинно положительным, так и истинно отрицательным. Но даже при чрезвычайно высокой специфичности метода 99% в 8% случаев (1 – 0,998) возможно ложное срабатывание. Для приемлемой точности анализа необходим значительно более специфичный метод, но специфичность использованного метода даже не была исследована.
Интересно заметить, что вероятность ложного положительного результата для всей гонки (126 проб) гораздо выше и составляет 72% для метода со специфичностью 99%, а вероятность того, что среди четырёх с половиной тысяч олимпийских проб не будет ни одной ложноположительной, настолько мала, что ни один из методов массового анализа не позволит избежать ошибок. Отсутствие открытой процедуры стандартизации методов, используемых в лабораториях WADA, не увеличивает степень доверия к их заявлениям.
Резонанс в научном сообществеЗаявления Дональда Берри вызвали дискуссию, продолжавшуюся на страницах Nature в течение нескольких месяцев. Редакция журнала в
передовице номера от 7 августа заявила, что отсутствие чётких критериев надёжности анализа подрывает доверие к спортивной культуре в целом и повергает спорт в пучину подозрений, секретности и страха. Кроме того, ещё в июле 2008 г. BBC провело
эксперимент, в ходе которого выяснилось, что в китайских лабораториях образцы, содержащие запрещённый препарат эритропоэтин, были помечены как чистые. В итоге получалось, что у людей, использующих допинг, довольно высокие шансы не быть пойманными, в то время как у честных спортсменов всегда есть риск ложного срабатывания теста. По мнению редакции Nature, антидопинговым организациям следует соблюдать научные принципы и стандарты биомедицинской диагностики.
Мэтью Феро из Центра исследования рака в Сиэтле заявляет, что плохое владение статистикой характерно для большинства биологов и медиков. В связи с этим часто происходит неправильная интерпретация результатов. Проблема ложных положительных результатов существует и в медицинской диагностике, в связи с чем зачастую приходится проводить повторные исследования.
Джеффри Бейрд из университета штата Вашингтон (Сиэтл) доводит размышления Берри до абсурда: ведь в некоторых видах спорта, например, в том же велоспорте, как утверждают средства массовой информации, допинг употребляют практически все спортсмены, и поэтому априорная вероятность употребления допинга стремится к единице. В таком случае уже не положительный результат надо рассматривать как редкое явление, а отрицательный. Тогда уж следует вообще прекратить проверку на допинг, ведь положительный результат не говорит нам ничего нового, а отрицательный результат свидетельствует об ошибке или качественном сокрытии следов употребления допинга.
Представители WADA, разумеется, обвиняли Берри в недостаточном владении литературными данными, однако возражения по существу вопроса практически отсутствовали. В кратких возражениях было сказано, что методы описаны в стандартах ISO, а обнаружение ложноположительных результатов лаборатории приводит к немедленному отзыву аккредитации. Наиболее же интересно заявление, что публикация исчерпывающей информации о методе подорвёт снизит эффективность антидопингового теста, в связи с чем эта информация доступна только для представителей правосудия по специальному запросу.
Подводя итог дискуссии, можно сказать, что ситуация гораздо сложнее и запутаннее, чем может показаться. Ненадёжность методов анализа может привести как к сокрытию нарушений, так и к к ложным обвинениям и дисквалификациям. Отмена допинг-контроля может привести к странным последствиям (можно будет рассмотреть их позднее); разработка более надёжных методов — дело длительное и сложное. Возможно, в идеале результат допинг-контроля должен быть сродни произволу футбольного судьи, имеющего право на ошибку.
Posts
