Статистические модели в медицине

Организации клинико-статистических исследований и экспериментов. Примеры применения статистических методов в научных медицинских исследованиях. Виды исследований (ретроспективные и проспективные). Критерии подбора экспериментальной и контрольной групп.

Рубрика Медицина
Вид статья
Язык русский
Дата добавления 26.05.2017
Размер файла 96,6 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

1

1

Научный журнал КубГАУ, №124(10), 2016 года

Московский государственный технический университет им. Н.Э. Баумана

01.00.00 Физико-математические науки

Статистические модели в медицине

Орлов Александр Иванович

д. э. н., д. т. н., к. ф. - м. н., профессор

Россия

Аннотация

Статья посвящена обсуждению организации клинико-статистических исследований и экспериментов. Рассмотрены примеры применения статистических методов в научных медицинских исследованиях. Под клинико-статистическим исследованием понимают специально организованный сбор и анализ медицинских данных о течении заболеваний у пациентов, о динамике объективных и субъективных показателей их состояния, о реакции на те или иные лечебные воздействия. Исследуются одна, две или более групп лиц (больных или здоровых), выводы делаются по группам в целом, а не по каждому конкретному пациенту. Цель исследований - перенести выводы, сделанные для выборки, на генеральную совокупность", т.е. клинико-статистическое исследование ориентировано на получение полезных рекомендаций, касающихся тех пациентов, которые попадут в поле зрения врачей после окончания исследования. Существует два основных вида исследований - ретроспективные и проспективные. Первые связаны с анализом прошлого пациентов, вторые - с наблюдением за течением их заболеваний в будущем. Рассмотрены типовые ошибки при организации клинико-статистических исследований. При планировании исследования, обычно выделяют экспериментальную и контрольную группы, одинаковые или близкие по всем показателям, кроме изучаемого фактора (воздействия). Обсуждаются различные варианты слепого метода. Рассмотрено применение статистических моделей и методов в научных медицинских исследованиях. Разобраны примеры доверительного оценивания доли (вероятности) и проверки однородности вероятностей. Для статистического моделирования в случае малых вероятностей используют распределение Пуассона. С его помощью проанализированы статистические данные о заболеваемости описторхозом

Ключевые слова: СТАТИСТИЧЕСКИЕ МОДЕЛИ, МЕДИЦИНА, МАТЕМАТИЧЕСКАЯ СТАТИСТИКА, КЛИНИКО-СТАТИСТИЧЕСКИЕ ИССЛЕДОВАНИЯ, ДОВЕРИТЕЛЬНОЕ ОЦЕНИВАНИЕ ВЕРОЯТНОСТИ, ПРОВЕРКА ОДНОРОДНОСТИ ВЕРОЯТНОСТЕЙ, РАСПРЕДЕЛЕНИЕ ПУАССОНА, ОПИСТОРХОЗ

1. Введение. Клинико-статистические исследования

Обсудим организацию клинико-статистических исследований и экспериментов. Рассмотрим примеры применения статистических методов в научных медицинских исследованиях.

Под клинико-статистическим исследованием понимают специально организованный сбор и анализ медицинских данных о течении заболеваний у пациентов, о динамике объективных и субъективных показателей их состояния, о реакции на те или иные лечебные воздействия. Исследуются одна, две или более групп лиц (больных или здоровых), выводы делаются по группам в целом, а не по каждому конкретному пациенту. Цель исследований - перенести выводы, сделанные для выборки, на генеральную совокупность", т.е. клинико-статистическое исследование ориентировано на получение полезных рекомендаций, касающихся тех пациентов, которые попадут в поле зрения врачей после окончания исследования. Таким образом, имеется потенциальное противоречие интересов практикующего врача и научного работника, проводящего клинико-статистическое исследование. Первый заинтересован оказать наилучшую возможную помощь каждому своему пациенту. Второй разрабатывает рекомендации для будущих больных, а для этого иногда, например, при использовании плацебо (о чем подробно рассказано ниже), вынужден лишить пациентов лечебного воздействия.

медицинское исследование статистический метод

2. Сбор данных и "карта больного"

По каждому отдельному пациенту подобная информация обычно содержится в его истории болезни. Поэтому при проведении клинико-статистического исследования сбор данных зачастую состоит в заполнении специальной формы (карты больного) на основе истории болезни. Такая работа сильно облегчается, если в медицинской организации ведутся автоматизированные истории болезни со стандартными процедурами заполнения. В идеале сбор данных для конкретного клинико-статистического исследования может быть заменен на выделение соответствующей подбазы данных из общей базы медицинской организации, содержащей автоматизированные истории болезни.

Карта больного - один из видов анкет. Начальные вопросы позволяют идентифицировать пациента (фамилия, имя, отчество, адрес, паспортные данные), другие нацелены на получение информации, используемой при лечении. Обычно фиксируют:

пол, возраст (дату рождения), профессию (вид деятельности);

данные о перенесенных заболеваниях (анамнез), вредных привычках (курение, употребление иных наркотических веществ);

рост, вес, пульс, температура, диастолическое и систолическое артериальное давление, результаты ЭКГ, других обследований и анализов при поступлении в медицинское учреждение и в другие моменты времени;

течение заболевания и назначенное лечение;

даты начала заболевания, госпитализации, операции, выписки, смерти и т.д.

Внешне карта больного похожа на личный листок по учету кадров. Отличие в том, что она предназначена для получения выводов по группе пациентов, а не отдельно по каждому из них. Поэтому записи в каждой графе должны вестись так, чтобы на их основе можно было формулировать выводы по группе в целом. Другими словами, записи должны быть либо числами, либо кодами градаций из заранее составленных списков.

С формальной точки зрения карта больного напоминает маркетинговые и социологические анкеты, а также анкет-коды, применяемые при статистическом анализе исторических событий. Только вопросы в них другие, соответствующие предметным областям.

3. Виды клинико-статистических исследований

Существует два основных вида исследований - ретроспективные и проспективные. Первые связаны с анализом прошлого пациентов, вторые - с наблюдением за течением их заболеваний в будущем.

Исходный материал для ретроспективных исследований - истории болезней. Чего в них нет - восстановить нельзя. В прошлом нельзя ни повторно опросить больных, ни провести дополнительные анализы и обследования. Это - недостаток ретроспективных исследований.

Преимущества ретроспективных исследований:

нет необходимости ждать развития заболевания и проявления результата лечебного воздействия, в связи с чем клинико-статистическое исследование может быть проведено быстро (при хорошо поставленной системе автоматизированных историй болезни - за один день);

отсутствие этических проблем, связанных, например, с разделением пациентов на группу вмешательства и группу сравнения.

При планировании проспективного исследования можно предусмотреть сбор всей необходимой информации, проведения всех требуемых врачу анализов и обследований.

Преимуществом является также возможность обеспечить сопоставимость группы вмешательства и группы сравнения, например, применить рандомизацию или "двойной слепой метод". С одной стороны, это дает возможность статистически достоверно (т.е. с вероятностью, близкой к единице) обосновать наличие (отсутствие) эффекта. С другой стороны, часть пациентов будет получать плацебо, а не лекарство, т.е. будет лишена лечебного воздействия, что не всегда корректно с этической точки зрения.

К недостаткам проспективных исследований относится большая продолжительность исследования.

4. Формулировки вопросов

Как и в маркетинговых и социологических опросах, в научных медицинских исследованиях в "картах больного (пациента)" используют три типа вопросов - закрытые, открытые и полузакрытые, они же полуоткрытые.

Если в исследовании практически для всех вопросов варианты ответов можно перечислить заранее, то целесообразно широко использовать закрытые вопросы. И в общем случае целесообразно применять в основном закрытые и полузакрытые вопросы. Как показывает опыт проведения научных медицинских исследований, такой подход обычно является правильным - лишь в небольшом числе карт оказываются вписаны свои варианты ответов. Вместе с тем демонстрируется уважение к мнению врача-исследователя, - он может добавить свое суждение, но обычно редко пользуется этой возможностью (как правило, не более чем в 5% случаев).

5. Типовые ошибки при организации клинико-статистических исследований

Как показывает практика консультаций специалиста по статистическим методам, оказываемых медикам, начинающие врачи-исследователи иногда недостаточно продумывают процедуры сбора и анализа информации.

Например, начинают бессистемно выписывать те или иные сведения, которые, по их мнению, представляют интерес для клинико-статистического исследования. Затем приходят к специалисту по статистическим методам анализа данных и просят обработать. Тот дает заключение: материал обработке не поддается. Масса пропусков - для одних пациентов информация по определенному вопросу карты больного есть, для других - нет, следовательно, ответы для разных пациентов не сопоставимы. Наборы анализов, обследований, лечебных воздействий - у каждого свои. В результате обработать удается примерно 1% собранной информации. (Например, обычно удается установить численность изученной группы пациентов.)

Другая типичная ошибка - в начале работы начинающий врач-исследователь использует одно определение термина, потом постепенно от него отходит.

Иногда разные научно-практические коллективы, в том числе в медицине, по-разному определяют понятия. Например, в 1950-х и 1960-х гг. психиатры отметили разительное несовпадение уровней госпитализации с диагнозами шизофрении и маниакально-депрессивного психоза в Великобритании и США. Так, уровень госпитализации с маниакально-депрессивными психозами в возрастной группе 55…64 лет в Великобритании был в 20 раз выше, чем в США. И наоборот, шизофрения в Нью-Йорке оказалась в 2 раза более распространенной, чем в Лондоне. Причина различий оказалась простой - разные традиции диагностики, т.е. разное понимание терминов. Одно и то же заболевание в США может диагностироваться как шизофрения, а в Великобритании - как маниакально-депрессивный психоз [1].

Наиболее глубокая причина ошибок - несовершенство наших знаний. Хорошо известно, что обнаружить причину различия групп пациентов зачастую весьма трудно. Например, в середине XIX в. по уровню заболевания холерой различались богатые и бедные лондонцы. В Англии осенью и зимой холера не переходила в эпидемию, а в Шотландии - наоборот. Оказалось (и это было большое научное достижение), что заболеванию холерой способствует питье сырой воды, зараженной холерными вибрионами [1]. Сырую воду бедные лондонцы пили гораздо чаще, чем богатые. По традиции сырая вода широко употреблялась осенью и зимой в Шотландии, в то время в Англии в это время пили чай. Представим теперь, что в то время проводилось бы исследование, посвященное заболеваемости холерой. Были бы взяты группа англичан и группа шотландцев, одинаковые во всем, кроме места жительства. И результат исследования состоял бы в том, что зимняя заболеваемость объясняется географическим положением пациентов. Аналогично было бы "доказано", что богатство приводит к снижению заболеваемости.

6. Планирование и организация сбора данных в научных медицинских исследованиях

Опыт показывает, что первое, с чего следует начинать научное медицинское исследование - формулировка цели исследования.

В типовой формулировке цели научного медицинского исследования выделяются две составляющие:

1) влияние какого фактора (воздействия) изучается;

2) какая совокупность пациентов рассматривается в исследовании.

В большинстве случаев выводы, полученные по сравнительно небольшому числу пациентов, распространяют на всех пациентов с подобными заболеваниями, т.е. выводы с выборки переносят на генеральную совокупность. При таком взгляде становится ясной важность тщательного описания генеральной совокупности. Например, генеральная совокупность пациентов поликлиники (начальные стадии заболевания, легкое течение, как следствие - амбулаторное лечение) сильно отличается от другой генеральной совокупности - пациентов больницы.

Другой пример из практики. Сельский врач был уверен в эффективности определенного антибиотика, поскольку практически все больные с пневмонией, поступавшие в ту больницу, где он работал, быстро и хорошо этим антибиотиком вылечивались. В то же время врач областной больницы вполне обоснованно считал, что этот антибиотик бесполезен: он не смог вылечить им ни одного из больных с пневмонией, кто поступил в его отделение, и был вынужден давать этим больным другие лекарства.

В чем причина такого расхождения мнений? Дело в том, что эти два врача лечили больных из двух разных генеральных совокупностей. Сельский врач основывал свои выводы на анализе лечения больных из генеральной совокупности жителей своего участка. В областную больницу привозили тех и только тех больных, которым не смогли помочь сельские врачи, т.е. больных, для которых обсуждаемый антибиотик оказался неэффективным. Это - совсем иная генеральная совокупность. Доля таких пациентов в сельских больницах была невелика, но все они после неэффективного лечения на местах собирались в областной больнице - потому ее врач так критически об этом антибиотике и высказывался. И ведь оба были правы - на основании собственного опыта и опыта своих больниц.

7. Материалы и методы

После формулирования цели описывают материалы и методы исследования. Материалы - описание групп пациентов, прежде всего по полу, возрасту, анамнезу. Под методами понимают способы изучения течения заболевания.

Все научные исследования, в том числе и медицинские, и особенно клинико-статистические, проводятся по одним и тем же правилам. Рассмотрим типовую схему экспериментальной научной работы [2].

8. Базовая модель эксперимента

Цель эксперимента - эмпирическое подтверждение или опровержение гипотезы исследования и (или) справедливости теоретических результатов.

Рассмотрим следующую базовую модель эксперимента. Пусть имеется некоторый медицинский объект, изменение состояния которого исследуется в ходе эксперимента. В качестве объекта может выступать отдельный индивид, группа, коллектив и т.д., например, множество пациентов, лечение которых осуществляется по новой методике. Состояние объекта описывается показателями по критериям, отражающим его существенные свойства (исход заболевания, продолжительность лечения, число осложнений и т.д.).

Эксперимент заключается в целенаправленном воздействии на объект, призванном изменить его определенным образом. Собственно, это воздействие - его состав, структура, свойства и т.д. - и есть результат теоретического исследования. Примеры воздействия: применение новых лекарств и видов лечебного воздействия.

Следовательно, при проведении эксперимента необходимо обосновать изменения состояния объекта, причем в требуемую сторону. Однако этого недостаточно. Необходимо установить, что изменения произошли именно в результате произведенного воздействия.

Например, в России в 1990-е гг. резко снизилась обращаемость пациентов в лечебные заведения по поводу ряда заболеваний, особенно легких, не требующих госпитализации. Однако из этого не следует, что снизилась и заболеваемость, здоровье населения стало лучше. Судя по резкому возрастанию смертности в 1990-е гг. (см., например, [3, разд.8.3]), дело обстояло прямо противоположным образом - здоровье населения ухудшилось. А снижение обращаемости определялось социально-экономическими причинами - появлением безработицы, снижением уровня жизни населения, ухудшением работы учреждений здравоохранения. Все эти причины приводят к тому, что население при легких заболеваниях обращается не к врачу, а к "домашним" средствам, люди продолжают работать во время течения заболевания.

Чтобы выделить в явном виде результат целенаправленного воздействия на исследуемый объект, необходимо взять аналогичный объект и посмотреть, что происходит с ним в отсутствии воздействий.

9. Экспериментальная и контрольная группы

При планировании исследования обычно выделяют экспериментальную и контрольную группы, одинаковые или близкие по всем показателям, кроме изучаемого фактора (воздействия) [4]:

Экспериментальная группа (группа лечения, группа вмешательства) - группа, подвергающаяся вмешательству (лечению) в ходе исследования.

Контрольная группа (группа сравнения) - группа испытуемых, получающих обычное лечение, или не получающих лечения, или получающих плацебо. Результаты измерений показателей состояния испытуемых в контрольной группе сравниваются с результатами аналогичных измерений в экспериментальной группе для оценки эффекта исследуемого метода лечения".

На рис.1 приведена типовая структура медицинского эксперимента. Сплошными стрелками показаны переходы групп из начального в конечное состояние. Штриховыми стрелками и римскими цифрами отмечены процедуры сравнения показателей объектов. С помощью рис.1 обсудим все составляющие базовой модели медицинского эксперимента.

Размещено на http://www.allbest.ru/

1

1

Научный журнал КубГАУ, №124(10), 2016 года

Рис.1. Структура медицинского эксперимента

Констатации (в результате процедуры сравнения III - см. рис.1) различий начального и конечного состояний (динамики) экспериментальной группы недостаточно, так как аналогичные изменения могут происходить и с состояниями пациентов контрольной группы, что можно установить процедурой сравнения IV. Поэтому алгоритм действий исследователя состоит из следующих шагов:

1) на основании процедуры сравнения I установить совпадение начальных состояний экспериментальной и контрольной групп;

2) реализовать воздействие на экспериментальную группу Необходимо быть уверенным, что экспериментальная и контрольная группы находятся в одинаковых условиях, за исключением условий, целенаправленно изменяемых исследователем.;

3) на основании процедуры сравнения II установить различие конечных состояний экспериментальной и контрольной групп.

Выполнение перечисленных шаг косвенным образом позволяет реализовать процедуру сравнения III, исключая влияние общих для экспериментальной и контрольной группы условий и воздействий.

Роль статистических методов заключается в том, чтобы корректно и достоверно обосновать совпадение или различие состояний контрольной и экспериментальной группы.

10. Многообразие схем эксперимента и статистические технологии

Эксперимент может проходить и по более сложной, но укладывающейся в рамки описанной методологии схеме - показатели пациентов контрольных и экспериментальных групп могут измеряться и сравниваться неоднократно в различные моменты времени.

Применяют и иные схемы клинико-статистических исследований. Например, в исследовании по схеме "до - после" отсутствует контрольная группа. Изучается течение заболевания в одной группе пациентов, подвергающихся изучаемому вмешательству (в терминах рис.1 - проводится процедура сравнения III). Обычно такое исследование предназначено для первоначального анализа ситуации, является базой для организации дальнейшего исследования по схеме, приведенной на рис.1. Иногда при проведении исследовании по схеме "до - после" предполагают, что любое улучшение, наблюдаемое после лечения, обусловлено именно лечением. Это предположение может оказаться ложным, что делает схему "до - после" весьма уязвимым [4].

Проведение процедур сравнения III и IV позволяет выявить изменения в показателях пациентов экспериментальной и контрольной групп за время наблюдения. Таким образом, все четыре процедуры сравнения, указанные на рис.1, широко используются в научных медицинских исследованиях. Расчетные методы проведения сравнений показателей (между группами и в одной группе в различные моменты времени) рассмотрены ниже (см. также [3, гл.5]).

Разделение выборки на контрольную и экспериментальную части - не догма. В некоторых ситуациях применяют скользящий контроль, позволяющий увеличить объем данных (в экспериментальной группе) в каждом конкретном расчете путем уменьшения контрольной группы по минимума - до одного наблюдения [5].

Отдельные методы сбора и анализа данных (как медицинских, так и иной природы) объединяются в статистические технологии. В настоящей статье рассмотрены лишь отдельные элементы статистических технологий научных медицинских исследований. Тем не менее они позволяют решать подавляющую часть задач, возникающих при анализе данных в медицинских научных исследованиях. Понятие "статистические технологии" подробно обсуждается в прикладной статистике [6, 7].

Технология распределения пациентов по группам получила название рандомизации. При хорошо выполненной рандомизации в каждой из групп доля пациентов с тем или иным свойством будет примерно одинакова: одинаков процент мужчин и женщин, одинаков процент лиц того или иного возраста, одинаково соотношение пациентов с различными степенями тяжести исследуемого заболевания. Способы проведения такого процесса описаны в специальной литературе, однако для полноценной рандомизации число пациентов должно быть достаточно большим - измеряться по меньшей мере тысячами.

11. Слепой метод

Базовая схема проведения научного медицинского эксперимента основана на сравнениях показателей пациентов экспериментальной и контрольной групп до и после воздействия. Могут сравниваться новая методика лечения, применяемая в экспериментальной группе, с традиционной методикой в контрольной группе. В ряде случаев, например, при изучении эффективности нового препарата, пациенты в контрольной группе получают плацебо.

Плацебо (placebo) - лекарственная форма, которую пациент не может отличить от исследуемого препарата (по внешнему виду, цвету, вкусу, запаху и т.п.). Однако плацебо не оказывает специфического действия. Например, в качестве плацебо используют таблетки глюкозы или инъекции изотонического раствора хлорида натрия (физиологического раствора), или иное безразличное вмешательство, "воздействие без действия". Часто наблюдается плацебо-эффект - изменение состояния больного (отмечаемое самим больным или лечащим врачом), связанное с фактом лечения, а не с биологическим действием препарата. Например, плацебо, которое больной воспринимает как лекарство, уменьшает послеоперационную боль, тошноту и зуд более чем у 30% прооперированных больных [4]. Плацебо-эффект демонстрирует возможности воздействия психической сферы больного на течение заболевания и процесс лечения. Подобные эффекты наблюдаются не только в медицине, но и в других сферах деятельности, например, в менеджменте при управлении персоналом [8].

Необходимо исключить влияние психологического эффекта на результаты исследования. Проще всего это сделать, если пациентам двух групп давать совершенно одинаковые по внешнему виду, вкусу, запаху препараты, только в один из препаратов добавлять то вещество, влияние которого на человеческий организм исследуется, а во второй - ничего не добавлять. Тогда пациенты будут одинаково верить в то, что препарат им поможет, что не повлияет на конечный результат - оценку эффективности лечения лекарством. Препарат, который дается пациентам из контрольной группы и не содержит лекарства, принято называть плацебо (от лат. пустышка), а метод исследования с использованием плацебо - слепым.

Однако даже при использовании плацебо могут возникнуть проблемы: врачи, проводящие исследования, могут словом или жестом случайно дать понять пациенту, чем на самом деле его лечат, что обесценит использование плацебо. Чтобы это предотвратить, можно применить двойной слепой метод - т.е. не говорить об истинном содержимом препарата и лечащим врачам пациентов.

Оценку эффективности того или иного воздействия на организм человека можно осуществлять по изменившимся параметрам жизнедеятельности (например, по уровню артериального давления или концентрации в крови тех или иных веществ). Однако более привлекательным представляется оценка по наличию или отсутствию в жизни пациента благоприятных и неблагоприятных событий. Если у пациентов в группе вмешательства неблагоприятных событий в жизни было меньше, а благоприятных - больше, чем у пациентов из группы сравнения, то вмешательство являлось полезным, если же нет - вредным. Такие события получили название конечных точек (во многих исследованиях оценка эффективности медицинского вмешательства ведется именно по этим точкам).

Таким образом, плацебо используется в научных медицинских исследованиях для имитации лечения в целях устранения систематической ошибки, возникающей от плацебо-эффекта.

Если больные, включенные в клинико-статистическое исследование, знают, какое лечения получают, то их поведение может измениться, что приведет к появлению систематической ошибки в итоговых научных выводах. Чтобы этого избежать, используют слепой метод.

Выделяют пять условий, соблюдение которых позволяет во многом избавиться от нежелательных эффектов [4].

1. Те, кто формирует выборку и распределяет пациентов по группам вмешательства (в базовом случае - направляет их в две группы, она из которых будет экспериментальной, а вторая - контрольной), не должны знать, какое лечение будет назначено каждому последующему больному, чтобы это не нарушало включение пациентов в исследование в порядке их поступления.

2. Пациенты не должны знать, какое именно лечение они получают. Тогда менее вероятны нарушения схемы лечения, субъективность при описании своего состояния.

3. Проводящие лечение врачи не должны знать, какое именно лечение назначено конкретному пациенту. Тогда не возникнут вызванные этим знанием различия в ведении больных.

4. Врачи-исследователи, оценивающие исходы лечения, не должны знать, какое лечение было назначено тому или иному пациенту.

5. Специалисты по доказательной медицине, с помощью статистических методов сравнивающие исходы лечения в группах, не должны знать, какая из них экспериментальная, а какая - контрольная.

Когда информация о реально используемом лечебном воздействии отсутствует только у пациента, говорят о простом слепом методе. Если также и у лечащих врачей и исследователей, оценивающих исходы, - о двойном слепом методе. Если рассматриваемой информации нет и у лиц, проводящих статистическую обработку результатов исследования, говорят о тройном слепом методе. Наиболее часто используется простой слепой метод, а в хорошо организованных исследованиях - двойной слепой метод.

12. Применение статистических моделей и методов в научных медицинских исследованиях

Научные медицинские исследования можно разделить на три типа. К первому типу относятся немногочисленные работы, посвященные описанию отдельных интересных случаев. Второй тип - выборочные исследования, когда по результатам изучения сравнительно небольших групп больных (десятки или сотни человек) формулируют выводы и рекомендации для более крупных совокупностей. Третий тип - обобщающие работы, построенные на основе ранее проведенных исследований. Как правило, именно такие работы наиболее полезны для практикующих врачей.

Методы выборочных исследований основаны на вероятностных моделях, описывающих получение ответов на вопросы, включенные в "карты больного". В случае ответов типа "есть" - "нет" наиболее распространенными являются две вероятностные модели - биномиальная и гипергеометрическая (см., например, [3, гл.1]). Эти модели весьма близки (с практической точки зрения совпадают), когда объем генеральной совокупности по крайней мере в 10 раз превышает объем выборки.

Биномиальная модель легче для теоретического изучения, поэтому будем именно её рассматривать в дальнейшем. Однако при проведении реального научного медицинского исследования лучше формировать выборку, исходя из гипергеометрической модели. Например, при проведении эпидемиологического исследования в целях изучения качества жизни это делают, выбирая опрашиваемых (участников исследования) из списка избирателей с помощью датчиков псевдослучайных чисел на ЭВМ или с помощью таблиц псевдослучайных чисел [9]. Алгоритмы формирования выборки встраивают во все современные программные продукты, предназначенные для поддержки проведения подобных исследований.

Объем выборки определяется финансовыми возможностями организаторов научного медицинского исследования, числом больных с соответствующими нозологическими формами, находящимися в определенном медицинском учреждении во время исследования и т.д. В отдельных случаях, когда требуется оценить определенный параметр с заданной точностью или выбрать между двумя полностью описанными гипотезами, необходимый объем выборки можно рассчитать на основе теории математической статистики.

13. Формирование и динамика выборки

Рассмотрим конкретное научное медицинское исследование. В качестве популяции, из которой проводится выборка, рассматриваются больные с сахарным диабетом, наблюдающиеся в одной клинике. Предполагается, что клиника является типовой, и результаты могут быть перенесены на всех больных с рассматриваемой нозологической формой заболевания. Критерии отбора (включения в выборку):

1. Возраст старше 40 лет.

2. Сахарный диабет диагностирован в возрасте старше 30 лет.

3. Требуется лекарственная коррекция гипергликемии.

4. Планируемая продолжительность наблюдения - более двух лет.

5. Выполнение определенных ограничений (здесь не описываются), связанных с другими заболеваниями, инвалидностью и т.п.

Некоторая часть больных, соответствующих критериям отбора, откажется сотрудничать с исследователем. Одни пациенты не захотят лечиться предлагаемым способом. Другие станут возражать против определения выбора лечения случайным образом (при применении двойного слепого метода), а не их лечащим врачом. Пациенты-отказники обычно отличаются от давших согласие по социально-экономическому статусу, тяжести заболевания и другим признакам.

За время исследования (в данном случае за 2 года) состав выборки изменится. Отпадут пациенты, не соблюдавшие график посещения врача-исследователя, полностью или частично не проходившие регулярных обследований. Останутся лишь наиболее дисциплинированные и ответственные пациенты. Но и среди них будут выбывшие из исследования (вследствие смерти, переезда, развития другого заболевания и т.п.). Таким образом, реальная выборка будет отличаться от намеченной. Если критериям отбора удовлетворяет достаточно много пациентов, то простейшее решение заключается в увеличении исходного объема выборки, с тем, чтобы к концу исследования обеспечить отслеживание динамики заболевания для заданного числа пациентов.

14. Доверительное оценивание доли (вероятности)

Рассмотрим проблему точности переноса выводов, сделанных для выборки, на генеральную совокупность для простейшего случая - наличия одного вопроса в карте больного с двумя возможными ответами ("есть" и "нет").

Ситуация описывается одним параметром р - долей пациентов с ответом "есть" в генеральной совокупности. Необходимо оценить этот параметр. В [3, гл.1] развита соответствующая теория. Предварительно требуется задать характеристику надежности переноса выводов с выборки на генеральную совокупность - доверительную вероятность , близкую к 1. Наиболее распространенным (в научных медицинских исследованиях) значением доверительной вероятности является Иногда употребляют термин "95% доверительный интервал". Тогда согласно [3, гл.1] используют множитель , задающий ширину доверительного интервала.

Пример 1. Пусть в выборке объемом 500 человек (n = 500) для 300 пациентов (m = 300) в карте больного ответ "есть". Тогда выборочная доля пациентов с таким ответом p* = m/n = 0,60. Определить доверительный вариант для p при доверительной вероятности

Согласно формулам [3, разд.1.3]

Таким образом, хотя в достаточно большой выборке в карте больного ответ "есть" имеется для 60% пациентов, можно утверждать, что в генеральной совокупности таких ответов 55,7…64,3% (разность крайних значений составляет 8,6%).

Пример 2. Из 64 пациентов диагноз "шизофрения" поставлен 30 пациентам. Какие выводы можно сделать о распространенности шизофрении среди психических заболеваний?

В рассматриваемом случае p* = 30/64 = 0,47. Доверительный интервал для вероятности p при

Следовательно, распространенность шизофрении составляет 34,7…59,1% (35…60%). Более точную оценку можно найти на основе исследования более обширной выборки.

15. Проверка однородности вероятностей

Одна из базовых проблем, решаемых статистическими методами, - проверка однородности вероятностей. Она часто обсуждается в литературе, а методы проверки однородности применяются при решении многих практических задач, встающих перед врачом-исследователем. Например, как сравнить по тяжести заболевания две группы - мужчин и женщин, молодых и пожилых, и т.п.?

Если две группы не отличаются по ответам, значит, их можно объединить в одну и осуществлять одни и те же лечебные воздействия. Если две группы различаются, то и лечить их надо по-разному.

Постановка задачи в вероятностно-статистических терминах такова. Рассматривается вопрос "карты больного" с двумя возможными ответами, например, "есть" и "нет". В первой группе из n1 пациентов для m1 человек ответ "есть", а во второй группе из n2 больных для m2 лиц ответ "есть". В вероятностной модели предполагается, что m1 и m2 - биномиальные случайные величины B (n1, p1) и B (n2, p2) соответственно.

Однородность двух групп означает, что соответствующие им вероятности равны, неоднородность - что эти вероятности отличаются. Необходимо проверить гипотезу однородности H0: p1 = p2 при альтернативной гипотезе о наличии эффекта H1: p1 p2 Оценкой вероятности р1 является частота р1*=m1/n1, а оценкой вероятности р2 является частота р2*=m2/n2. Даже при совпадении вероятностей р1 и р2 частоты, как правило, различаются.

Правило принятия решения при проверке статистической гипотезы однородности двух выборок приведено в [3, гл.1]. В клинико-статистических и медико-биологических наиболее распространен 5% уровень значимости, т.е.

Пример 3. Пусть из 500 мужчин определенное нарушение выявлено у 300, а из 600 женщин это нарушение зафиксировано у 300. Есть ли разница между мужчинами и женщинами по доле лиц, имеющих рассматриваемое нарушение?

В рассматриваемом примере нужные для расчетов величины таковы: Вычислим статистику

Поскольку |Q| = 3,34 > 1,96, то необходимо отклонить нулевую гипотезу и принять альтернативную. Таким образом, мужчины и женщины отличаются по доле лиц, имеющих рассматриваемое нарушение.

Итак, если частоты (выборочные доли) в группах достаточно сильно различаются, то делается вывод о различии долей в генеральных совокупностях. А если сравнительно мало различаются, то утверждают, что различие не обнаружено. А где граница? Допустимое расхождение между частотами нетрудно получить расчетным путем (см. [3, гл.1]). Для данных примера 3 = 1,960,0299 = 0,059, или 5,9%, для уровня значимости 0,05.

Пример 4. Фраксипарин получали 75 пациентов, из которых 53 мужчины (70,7%), фраксифорте - 75 пациентов, из которых 45 мужчин (60%). Различаются ли подгруппы по половому составу?

Данные, требуемые для расчетов: Вычислим статистику критерия проверки однородности (обнаружения эффекта)

Поскольку |Q| = 1,386 < 1,96, необходимо принять нулевую гипотезу и отклонить альтернативную. Различие не обнаружено, следовательно, подгруппы не отличаются по половому составу.

16. Случай малых вероятностей

Рассмотренные выше методы анализа медицинских данных (доверительного оценивания доли (вероятности) и проверки однородности вероятностей) основаны на предположении о возможности использования биномиальной модели выборки. Кроме этого, необходимо, чтобы объем выборки n был достаточно большим - несколько десятков или сотен.

Наконец, кроме биномиальной модели и большого объема выборки, необходимо выполнение третьего условия: число m ответов "есть" (в схеме с двумя ответами "есть" - "нет") также было достаточно большим, сравнимым с объемом выборки. Последнее эквивалентно предположению, что np - произведение числа опытов на вероятность рассматриваемого ответа при отдельном опыте - также достаточно велико (np - среднее значение (математическое ожидание) числа ответов m, т.е. М (m) = np). Третье условие означает, что вероятность р не является слишком малой (не меньше 5-10%). Не должна быть слишком малой и дополнительная вероятность 1 - р. Следовательно, вероятность ответа "есть" должна лежать между 5 и 95% (а лучше - между 10 и 90%).

Однако последнее условие выполнено отнюдь не всегда. Например, в области с миллионным населением наблюдаются сотни или тысячи заболеваний. Хотя их число достаточно велико, но оно составляет лишь доли процента от численности населения. Для статистического моделирования в таких случаях используют не биномиальное распределение, а распределение Пуассона.

Случайная величина Y имеет распределение Пуассона, если

,

где л - параметр распределения Пуассона (интенсивность заболеваемости или иной характеристики), P (Y=y) =0 для всех прочих чисел y.

Для распределения Пуассона математическое ожидание и дисперсия совпадают с интенсивностью:

M (Y) = л; D (Y) = л. (1)

Это распределение названо в честь французского математика С.Д. Пуассона (1781 - 1840), впервые получившего его в 1837 г. Распределение Пуассона - предельный случай биномиального распределения, когда вероятность р осуществления события мала, а число испытаний n велико, причем np = л. Таким образом, справедливо предельное соотношение

Поэтому распределение Пуассона (в старой терминологии "закон распределения") часто называют также "законом редких событий".

Состоятельной оценкой неизвестного параметра л распределения Пуассона является наблюдаемое значение случайной величины Y. Доверительное оценивание может быть основано на асимптотической нормальности распределения Пуассона и соотношении (1). Для = 0,95 нижняя доверительная граница имеет вид

лнижн = Y - 1,96 ,

а верхняя доверительная граница

лверх = Y + 1,96 .

Эти границы являются приближенными (асимптотическими), поскольку получены в предположении, что интенсивность л достаточно велика (несколько десятков или сотен). Более точные расчеты можно провести по правилам, приведенным в специальной литературе [10].

Пример 5. Пусть в муниципальном образовании численностью 125 тыс. чел. наблюдается 438 случаев заболевания. Необходимо оценить заболеваемость (на 10 000 жителей).

Заболеваемость составляет

случаев на 10 000 жителей. Чтобы рассчитать доверительные границы, найдем границы для общей заболеваемости (для всего муниципального образования):

лнижн = 438 - 1,96 = 438 - 41 = 397, лверх = 438 + 41 = 479.

Нижняя доверительная граница для заболеваемости на 10 000 жителей составляет

лнижн = ,

а верхняя доверительная граница для заболеваемости на 10000 жителей:

лверх = .

Есть ли отличия между двумя муниципальными образованиями, близкими по численности, или заболеваемости на одной и той же территории, но в соседние годы?

Следует рассматривать случайные величины Y1 и Y2, имеющие распределения Пуассона с параметрами л1 и л2 соответственно, и проверять статистическую гипотезу о равенстве параметров этих распределений, т.е. гипотезу однородности H0: л1 = л2, при альтернативной гипотезе о наличии эффекта H1: л 1 л 2. (Иногда представляют интерес и иные альтернативные гипотезы, прежде всего односторонние альтернативные гипотезы и .)

В прикладной математической статистике разработаны правила проверки гипотезы однородности для распределений Пуассона [10, п.5.5].

При достаточно больших (не менее нескольких десятков) наблюдаемых значениях случайных величин Y1 и Y2 достаточно воспользоваться статистическим критерием, основанным на асимптотической нормальности случайных величин с распределениями Пуассона.

В этом случае правило принятия решения при проверке однородности двух выборок формулируется следующим образом.

1. Вычислить статистику

.

2. Сравнить значение статистики R с граничным значением K. Если R K, то принимается гипотеза однородности H0. Если же R > K, то однородность отсутствует и принимается альтернативная гипотеза H1 о наличии эффекта. Граничное значение К определяется выбором уровня значимости статистического критерия проверки однородности. В клинико-статистических и медико-биологических исследованиях обычно , а К = 1,96.

Примечание. Если численности сравниваемых популяций сильно отличаются, то необходимо применять более сложные способы расчета, описанные в статистической литературе [10, п.5.5]. При этом исходная гипотеза однородности состоит в равенстве заболеваемости на 10000 жителей. В нулевой гипотезе утверждается, что отношение параметров двух распределений Пуассона равно известной величине (отношению численностей популяций).

Пример 6. Пусть в 2009 г. на некоторой территории было 235 случаев заболевания, а в 2010 г. - 312 случаев. Можно ли объяснить это различие случайными причинами?

Примем, что за год численность населения на этой территории изменилась незначительно. Поскольку численность измеряется миллионами человек, то число заболеваний в определенном году моделируется распределением Пуассона.

Рассчитаем значение статистики критерия проверки однородности двух распределений Пуассона:

.

При = 0,05 K = 1,96 R = 3,29 > K = 1,96, поэтому гипотезу однородности отклоняем. При = 0,01 K = 2,58 R = 3,29 > K = 2,58. Можно сделать вывод о значительном увеличении заболеваемости.

Пример 7. Пусть выполнены все предположения примера 6, кроме одного - заболеваемость в 2010 г. составила 270 случаев. Изменятся ли сформулированные выводы?

Рассчитаем значение статистики критерия

.

При = 0,05 K = 1,96 R = 1,56 < K = 1,96, следовательно, гипотезу однородности принимаем. Выводы примера 6 не подтверждаются. Различие между годами можно объяснить случайными причинами.

Расскажем о прикладном исследовании, в котором использовался метод проверки гипотезы о равенстве параметров двух распределений Пуассона.

Описторхоз - тяжелое глистное заболевание, склонное к хроническому течению, вызывающее нарушения различных функций организма [11, 12]. Один из путей заражения - употребление в пищу сырой рыбы, например, в замороженном (строганина) или вяленом виде, поэтому описторхоз распространен в северных районах, но встречается практически во всех субъектах РФ. Он приводит к серьезным осложнениям вплоть до развития первичного рака печени. Например, в одной из северных областей, где широко распространено заболевание описторхозом, количество заболеваний раком печени в 7 раз превышает средний показатель по стране. За год в России регистрируется около 100 тыс. лиц, заболевших описторхозом.

Анализировались статистические данные о заболеваемости описторхозом по 61 административной территории. Одна из основных задач исследования - отличить территории с наличием местных очагов заражения от территорий, где имеются лишь "завозные" случаи описторхоза. (Если пациент заболел, находясь на одной территории, а лечиться стал после переезда на другую, то наблюдаем "завозной" случай.) Другая задача - прогноз (с помощью доверительных границ) числа заболеваний на будущий год. Третья - типология (классификация) территорий по степени зараженности описторхозом.

Для решения поставленных задач использовались статистические модели и методы доказательной медицины, основанные на доверительном оценивании и проверке гипотез относительно параметров пуассоновских распределений. Число заболеваний на конкретной административной территории моделировалось распределением Пуассона. Изменение числа заболеваний с течением времени может быть связано с появлением очага заражения на рассматриваемой территории, но может объясняться и случайными отклонениями. Первый случай соответствует изменению параметра распределения Пуассона, а второй - его постоянству. Поэтому обосновать вывод о появлении очага заражения можно, отклонив статистическую гипотезу о равенстве параметров распределений Пуассона, описывающих число заболевших в соседние годы.

Полученные результаты представляли достаточно большой интерес для практической медицины. В частности, был сделан вывод о наличии местной заболеваемости в двух конкретных областях, после чего были обнаружены очаги заболевания описторхозом в этих областях.

Итак, сравнение групп проводят с помощью статистических методов проверки однородности. В научных медицинских исследованиях до сих пор часто применяют критерий Стьюдента для проверки однородности двух выборок. Однако он опирается на два предположения - о нормальном распределении результатов наблюдений и о равенстве дисперсий для двух групп. Ни то, ни другое предположение обычно не выполнено в научных медицинских исследованиях. Поэтому современная прикладная статистика рекомендует вместо критерия Стьюдента применять иные критерии [13, 14], а именно, критерий Крамера-Уэлча [15], непараметрические критерии Вилкоксона [16, 17], Смирнова, Лемана-Розенблатта [18].

Литература

1. Голдстейн М., Голдстейн И. Как мы познаем. Исследование процесса научного познания. М.: Знание, 1984.256 с.

2. Новиков Д.А., Новочадов В.В. Статистические методы в медико-биологическом эксперименте (типовые случаи). Волгоград: Изд-во ВолГМУ, 2005.87 с.

3. Орлов А.И. Организационно-экономическое моделирование: учебник: в 3 ч. Ч.3. Статистические методы анализа данных. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2012. - 624 с.

4. Флетчер Р., Флетчер С., Вагнер Э. Клиническая эпидемиология: основы доказательной медицины. М.: Медиа Сфера, 1998.352 с.

5. Орлов А.И. Надо ли разбивать выборку? // Заводская лаборатория. Диагностика материалов. 1997. Т.63. №1. С.54-54.

6. Орлов А.И. Прикладная статистика. М.: Экзамен, 2006.671 с.

7. Орлов А.И. О высоких статистических технологиях // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. № 105. С.14-38.

8. Орлов А.И., Федосеев В.Н. Менеджмент в техносфере. Учебное пособие для вузов. М.: Академия, 2003.384 с.

9. Орлов А.И. Взаимосвязь предельных теорем и метода Монте-Карло // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. № 114. С.27-41.

10. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. М.: Наука, 1983.416 с.

11. Беэр С.А. Биология возбудителя описторхоза. М.: Товарищество научных изданий КМК, 2005.336 с.

12. Бочарова. Т.А. Возбудитель описторхоза и другие мышечные паразиты карповых рыб бассейна Нижней Томи. Томск: Изд-во Томского государственного университета, 2007.66 с.

13. Орлов А.И. О применении статистических методов в медико-биологических исследованиях // Вестник Академии медицинских наук СССР. 1987. №2. С.88-94

14. Орлов А.И. О проверке однородности двух независимых выборок // Заводская лаборатория. Диагностика материалов. 2003. Т.69. №1. С.55-60.

15. Орлов А.И. Проверка статистической гипотезы однородности математических ожиданий двух независимых выборок: критерий Крамера-Уэлча вместо критерия Стьюдента // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. № 110.С. 197-218.

16. Орлов А.И. Какие гипотезы можно проверять с помощью двухвыборочного критерия Вилкоксона? // Заводская лаборатория. Диагностика материалов. 1999. Т.65. №1. С.51-55.

17. Орлов А.И. Двухвыборочный критерий Вилкоксона - анализ двух мифов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 104. С.91 - 111.

18. Орлов А.И. Состоятельные критерии проверки абсолютной однородности независимых выборок // Заводская лаборатория. Диагностика материалов. 2012. Т.78. №11. С.66-70.

Размещено на Allbest.ru

...

Подобные документы

  • Сущность и отличительные особенности статистического исследования, требования к нему, используемые методы и приемы. Интерпретация и оценка полученных результатов. Типы наблюдений и принципы их реализации. Классификация опросов и анализ их эффективности.

    презентация [256,1 K], добавлен 18.12.2014

  • Основные типы эпидемиологических исследований, их сравнительная характеристика: обсервационное и экспериментальное. критерии и показатели эпидемиологического анализа: интенсивные и экстенсивные. Особенности использования статистических стратегий.

    контрольная работа [152,1 K], добавлен 04.12.2012

  • Предпосылки для появления доказательной медицины. Практика получения и применения научно-обоснованных результатов медицинских исследований. Изучение связи между незначительным и серьезным нарушением принципов добросовестной практики научных исследований.

    презентация [269,2 K], добавлен 25.10.2014

  • Клинико-лабораторная гематология (гемоцитология и коагулогия). Клиническая микробиология (бактериология, микология, вирусология). Цитология и диагностическая генетика. Токсикология и паразитология. Лабораторный контроль (мониторинг) лекарственной терапии.

    реферат [28,2 K], добавлен 24.01.2011

  • Общие положения Приказа Министра здравоохранения Республики Казахстан "Об утверждении Инструкции по проведению клинических исследований и (или) испытаний фармакологических и лекарственных средств". Принципы этической оценки клинических исследований.

    презентация [85,1 K], добавлен 22.12.2014

  • История клинических исследований XX века. Понятие и виды медико-биологических исследований. Морально-этические проблемы взаимоотношение врача и испытуемого. Основные принципы проведения испытаний и экспериментов. Правила опубликования результатов.

    реферат [25,1 K], добавлен 26.02.2015

  • Виды рентгенологических исследований. Алгоритм описания здоровых легких, примеры снимков лёгких при пневмонии. Принцип компьютерной томографии. Использование эндоскопии в медицине. Порядок проведения фиброгастродуоденоскопии, показания для её назначения.

    презентация [1,3 M], добавлен 28.02.2016

  • Место телемедицины среди современных медицинских технологий, находящихся на страже здоровья человека. Состояние научных исследований в области телемедицины. Области применения телемедицины и ее основные задачи. Международные информационные сети.

    реферат [32,6 K], добавлен 20.09.2010

  • Анализ исследований оценки эффективности информационных систем. Детальная классификация выгод от применения медицинских информационных технологий по амбулаторному сектору и по стационарному. Опыт компьютеризации в здравоохранении развитых стран.

    статья [27,5 K], добавлен 07.12.2010

  • Этика научных исследований в ветеринарии. Современные проблемы и будущее ветеринарной медицины. Особенности и пути интенсификации науки. Основные научные проблемы ветеринарной медицины и направления ее развития. Особенности этики научных работников.

    реферат [32,9 K], добавлен 10.06.2010

  • Ультразвук как упругие волны высокой частоты, его свойства и характеристики, степень воздействия на организм человека, история исследований. Применение ультразвука в диагностике и терапии, используемое в данном процессе оборудование и инструменты.

    презентация [301,9 K], добавлен 17.03.2011

  • Распределение типов медицинских исследований. Обзор первичных исследований, использующих точные и воспроизводимые методы. Основные мотивы для проведения мета-анализа, его особенности на примере влияния антибиотикотерапии на течение острого бронхита.

    презентация [1,3 M], добавлен 12.11.2013

  • Сущность дизайна клинического исследования. Информированное согласие. Клинические испытания и обсервационный дизайн в научных исследованиях, их классификационные признаки. Ограничения использования дизайна рандомизированного контролируемого исследования.

    презентация [132,3 K], добавлен 18.04.2013

  • Клиническое исследование как научное исследование, которое проводится для оценки эффективности и безопасности лекарственного препарата или расширения показаний к применению. Роль этических комитетов. Принципы этической оценки клинических исследований.

    презентация [96,5 K], добавлен 23.05.2013

  • Последовательность проведения клинических исследований при изучении нового лекарства. Переход от клеток и тканей к испытаниях на животных. Клинические испытания на здоровых людях - добровольцах. Многоцентровые испытания с участием больших групп пациентов.

    презентация [297,4 K], добавлен 29.01.2014

  • Этические принципы исследований на человеке. Учёт уязвимых групп. Конвенция Совета Европы по биоэтике. Требования к исследованиям на животных. Комитеты по этике. Возможность отказа от участия без последствий. Включение в исследование членов семьи.

    презентация [136,0 K], добавлен 16.02.2015

  • Искусственные нейронные сети как математические модели и их программные реализации, строящиеся по образу биологических нейронных сетей. Знакомство с основными особенностями применения экспертных систем в медицине. Общая характеристика методов Data Mining.

    презентация [141,0 K], добавлен 17.05.2014

  • Классификация фармакоэпидемиологических исследований, их задачи. Фармакоэкономика как научная дисциплина, оценивающая клинико-экономические и гуманистические аспекты применения фармацевтической продукции. Методы фармакоэкономического моделирования.

    презентация [1,3 M], добавлен 21.04.2015

  • Основные типы эпидемиологических исследований. Интенсивные и экстенсивные показатели, средние величины. Критерии и показатели эпидемиологического анализа. Стратегия отбора объектов. Оценка эффективности профилактических, противоэпидемических мероприятий.

    презентация [137,0 K], добавлен 08.11.2014

  • Характеристика общих требований к стерилизантам и стерилизации в медицине и фармации. Основные нормативные документы, регламентирующие использование стерилизантов. Преимущества и недостатки различных методов обеззараживания медицинских инструментов.

    курсовая работа [191,8 K], добавлен 26.12.2010

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.