Размещено на http://www.allbest.ru/

ИЗВЛЕЧЕНИЕ ЭКСПЕРТНЫХ ЗНАНИЙ: ГРУППОВОЙ ВАРИАНТ

Новости искусственного интеллекта. 2004. №3.С.58-66.

Кобринский Б.А. Медицинский центр новых информационных технологий МНИИ педиатрии и детской хирургии

АННОТАЦИЯ

Активно-пассивный метод извлечения знаний в процессе управляемой дискуссии группы экспертов позволяет снизить уровень противоречий в системе. Роль инженера по знаниям в такой ситуации заключается не только в постановке вопросов, анализе получаемых данных, но и в направлении дискуссии. Предложенный групповой подход способствует включению «скрытых» знаний эксперта в базу знаний системы.

The active-passive method of knowledge extraction during the controlled discussion of a commission of experts allows to lower a level of contradictions in system. The role the engineer on knowledge in such situation consists not only statement of questions, the analysis of the received data, but also in a direction of discussion. The offered group approach promotes inclusion of the "latent" knowledge of the expert in knowledge base of system.

ВВЕДЕНИЕ

В процессе бесед инженера по знаниям (когнитолога) с экспертами решается ряд ключевых вопросов: 1) уточнение понятий и объектов предметной области, исследование их свойств и связей между ними, оценка дифференцирующей ценности параметров; 2) анализ процедур рассуждений при принятии решений; 3) построение непротиворечивого описания (с учетом вариантов изучаемых ситуаций). Несмотря на значительное количество предложенных подходов, извлечение экспертных знаний по-прежнему представляет собой далеко не простую задачу. И чем хуже структурирована предметная область, тем с большими трудностями сталкивается когнитолог. Особенно ярко это проявляется в гуманитарных и ряде естественных (медицина, биология, геология и др.) областей. Последующее рассмотрение вопросов в данной статье будет касаться извлечения знаний у врачей-экспертов при разработке интеллектуальных медицинских диагностических систем экспертного типа.

В клинической медицине, являющейся одной из наиболее слабо структурированных областей знания, в основе практически каждого врачебного действия лежит диагноз заболевания. В переводе с греческого диагностировать означает исследовать, точно взвесить, различить, точно распознать, решиться, составить мнение, т.е. в одном слове сконцентрирован практически весь комплекс вопросов, которые уточняются в разных ситуациях извлечения знаний у эксперта. Каждый случай процесса идентификации болезни является, в конечном счете, дифференциальным диагнозом, т.е. подразумевает «взвешивание» каждого отдельного симптома на предмет его достоверности и значимости, оценку первичности или вторичности его возникновения, анализ его дифференцирующей роли в сочетании с другими симптомами. Цель дифференциальной диагностики - выявить, выражением какой известной нозологической единицы служат данные проявления болезни [1], оценить возможный прогноз течения и определить тактику лечения. То есть медицинское поле клинических знаний включает многообразие симптомов, синдромов, их причин (этиологии), механизмов их переходов (патогенез болезни) и диагнозов в динамике временных изменений.

Извлечение знаний у врача-эксперта должно учитывать, что в клинической практике процесс дифференциального диагноза начинается с критической оценки выявленных при обследовании больного признаков болезни. Необходимо также помнить, что наблюдаемые у больного симптомы группируются по степени предполагаемой врачом важности, т.е. по их объективной роли, но с учетом личных (субъективных) «предпочтений» эксперта, его знаний и его рефлексии. Это может влиять на ранжирование симптомов, определяющих формируемый дифференциальный ряд.

Для выделения доминирующего синдрома (симптомокомплекса) необходимо знание главных признаков, возможной связи симптомов друг с другом и закономерностей течения болезней. Окончательный диагноз, как указывает известный терапевт А.В. Виноградов [2], формулируется только после обсуждения и заключения по всем положительным и отрицательным симптомам, голосующим за и против определенных диагнозов. В наиболее яркой форме это проявляется при проведении консилиумов. Именно такой комиссионный характер принятия решения был положен в основу рассматриваемого ниже группового метода извлечения знаний в ситуации, чем-то аналогичного медицинскому консилиуму, когда анализ процедур рассуждений экспертами становится значительно более прозрачным для наблюдающего за этим процессом когнитолога.

1. ЗНАНИЯ И ТРАДИЦИОННЫЕ МЕТОДЫ ИХ ИЗВЛЕЧЕНИЯ

В процессе создания интеллектуальных систем особый упор делается обычно на организацию диалога с экспертом в целях извлечения знаний, т.е. получения сведений, составляющих его персональные знания, которые интегрируют различные литературные данные проблемной области, преломленные через личный опыт, являющийся следствием практической деятельности. В первую очередь это представления о диагностической значимости признаков и процессе объяснения диагностического решения. Особенно ценным представляется получение в вербальной форме того, что носит название интуиции специалиста, т.е. его скрытых знаний, которые далеко не всегда удается осмыслить и изложить в общедоступной форме. Тем более, что здесь нас подстерегают две опасности - искажение и обеднение истинных размышлений при попытке их восстановления и последующей передачи, не говоря уже о подмене интуитивно-образного представления псевдорассуждением в традиционной для рассматриваемой ситуации форме. Необходимо отметить, что и автор «ловил себя» на этом, в особенности при анализе случаев из достаточно далекого прошлого. И чем меньше степень сознательного контроля эксперта за средством выражения своих представлений при объяснении пути решения задачи, тем выше вероятность его близости к истинному варианту, включающему «скрытые мысли», т.е. интуитивные или полуинтуитивные соображения. На этот аспект проблемы так называемой «утаиваемой» информации обращалось внимание в [3], где было отмечено, что самые компетентные эксперты оказываются как бы некомпетентными при попытке описать знания, которыми они пользуются при выработке решений. Представляется, что описанный ниже групповой подход приближает нас к решению данного вопроса.

Последовательно исследуя альтернативные версии (мысленно или в разговоре с коллегами), врач опирается на так называемый прием проверки гипотез в процессе рассуждения, основанного на имеющихся в его распоряжении аргументах. Использование данных как «за», так и «против» означает, что диагноз поставлен не только методом подтверждения, но и исключения.

Цель бесед инженера по знаниям с экспертом в классическом варианте - это постановка вопросов, позволяющих максимально полно и непротиворечиво описать проблемную область и механизм принятия решений. Хотя нужно признать, что выявление противоречий осуществляется при этом, как правило, по формальным характеристикам. Хотя и не исключает привлечения для принятия решения, наряду с явными знаниями, также и скрытых, связанных с интуицией врача (рис.1).

Активизация скрытых знаний в диагностическом процессе - это отдельная область. В данном случае необходимо отметить лишь то, что это может происходить как непосредственно при первом контакте врача с больным, так и в любой другой момент беседы с ним или обследования. В этом случае можно говорить о взаимной активизации знаний: интуитивных представлений под влиянием наблюдаемых признаков или сведений из анамнеза заболевания и, наоборот, интуитивное представление может породить новую диагностическую гипотезу, что, как правило, требует переосмысления ранее полученной информации.

Рис. 1. Схема процесса принятия диагностического решения врачом

В целях анализа процесса медицинской диагностики была предложена методика, получившая название «диагностические игры», основанная на имитации беседы врача с больным, роль которого исполнял другой врач [4]. Такой подход, основанный на моделировании ситуаций, встречающихся в ходе лечебного процесса, делал доступным для присутствующего при этом инженера по знаниям структуру медицинской информации для конкретной проблемной области и определенной задачи, значительно повышая эффективность последующего формализованного описания. Это способствовало пониманию процесса получения диагностически значимых признаков в диалоге с больным.

В нашем случае также моделируются ситуации, но уже процесса принятия решений диагностического или лечебного плана врачом, анализирующим полученные ранее данные. Группа врачей-экспертов имеет в этих случаях дело фактически с виртуальными больными определенного диагноза, интегральные и частные представления о которых хранятся в памяти каждого из них, но имеют свою «окраску», связанную с личными представлениями и прошлым опытом каждого эксперта. Именно специфические особенности «виртуальных» клинических проявлений и индивидуальных оценок наблюдаемых симптомов, представляющие личный опыт экспертов, составляют особую ценность. Объективизация внутреннего представления при столкновении и дополнении отдельных мнений в рассматриваемом групповом методе извлечения знаний и позволяет получить «многомерную» картину проблемной области, которая постепенно уточняется и затем подвергается необходимой формализации.

2. ИЗВЛЕЧЕНИЕ ЗНАНИЙ В ГРУППОВОМ ВАРИАНТЕ

В работе с группой экспертов когнитолог не столько ставит текущие вопросы, сколько уточняет расхождения во мнениях и различия в объеме и характере описаний, формирует вопросы для получения единого решения и направляет, по возможности, дискуссию экспертов. Он анализирует своего рода «мысли вслух» в процессе совместного принятия решения экспертами, когда они стремятся сформулировать непротиворечивое решение путем достижения консенсуса между ними при анализе роли клинических проявлений болезни в дифференциальной диагностике.

Групповые методы извлечения знаний у экспертов применялись и ранее [5]. В отличие от таких подходов, как «мозговой штурм» и «круглый стол», рассматриваемый в данной статье метод позволяет получать информацию об изучаемом явлении в процессе управляемой дискуссии, наиболее близким аналогом чего может являться диагностический консилиум в медицине, где каждый из участников приводит свои аргументы (доводы за и против конкретного диагноза). Такой вариант извлечения экспертных знаний при групповом принятии решений предполагает пассивно-активный (на разных этапах) характер процедуры общения когнитолога с экспертами.

Представляется важным обратить внимание на тот факт, что при данном групповом методе извлечения знаний удается полностью или в значительной степени преодолеть такой феномен, как эффект фокусировки, заключающийся в том, что сконцентрировавшись на одном из симптомов, врач зачастую с трудом можем изменить свое первоначальное мнение. На признаки, попавшие на первом этапе в поле зрения и обусловившие определенную гипотезу, иногда трудно впоследствии посмотреть как на фон, что может приводить к приданию второстепенным признакам ведущего значения. А это, в свою очередь, может направить диагностический процесс по ложному пути. Таким образом, как указывает американский врач Р. Ригельман [6], эффект фокусировки сдерживает ход врачебной мысли, делает мышление менее гибким. В то же время, работа в составе группы, где каждый из экспертов смотрит со стороны на высказывания другого, позволяет нивелировать отмеченный выше феномен. Можно думать, что в определенной степени при интеграции извлеченных совокупных знаний нивелируется и рефлексия каждого из экспертов.

Еще один принципиальный момент - это учет ассоциативного мышления эксперта, когда одно понятие, появившись в сознании, вызывает по сходству, смежности или противоположности другое [7]. Это важно из тех соображений, что логика врачебного мышления, опирающаяся на теоретические знания и практический опыт, включает также взаимосвязи по типу ассоциаций. Они имеют место при анализе клинических проявлений заболевания. Так как мощность ассоциативного мышления возрастает с опытом врача, включая особенности связей, характерные для атипичных вариантов заболеваний и редких нозологических форм, то понятно значение извлечения таких «скрытых» представлений для последующего формирования базы знаний (БЗ) экспертной системы (ЭС). Именно такие, ассоциативно связанные признаки, удается обнаруживать в рассматриваемом групповом варианте, когда при коллегиальном анализе задачи «вскрывается» и содержание ассоциаций отдельных экспертов, которые пополняют БЗ уже просто как взаимосвязанные признаки, что имело место при создании рассмотренной ниже экспертной диагностической системы ДИАГЕН.

В целом, метод управляемой дискуссии включает своего рода принцип дополнительности знаний, заключающийся в коррекции (модификации) и пополнении фактов и гипотез отдельных экспертов, работающих в группе, при условии, что каждый из них является носителем определенной концептуальной модели проблемной области и отличается своеобразным видением отдельных ее фрагментов.

2.1 РОЛЬ КОГНИТОЛОГА В ДИСКУССИИ ЭКСПЕРТОВ

Роль когнитолога при работе с группой экспертов заключается, наряду с фиксацией позиций каждого из экспертов, в постановке уточняюще-наводящих вопросов, что и позволяет говорить об активно-пассивном методе извлечения знаний при управляемой аргументированной дискуссии. А ведь именно процедуры рассуждений во время дискуссии экспертов, доступные в последующем пользователям при обращении к блоку объяснений работы системы, в немалой степени определяют то, как ее примут врачи.

Один из ключевых моментов обсуждения - это достижение консенсуса или поиск точек равновесия в процессе дискуссии, аналогией чего в теории игр могут служить неантагонистические игры, когда игроки вступают в коалицию или, в данном контексте, приходят к единому мнению. И когнитолог должен направлять дебаты экспертов и, одновременно, помогать находить локальные «экстремумы» в процессе аргументируемой дифференциальной диагностики. Еще один психологически сложный момент - это передача функции первого эксперта, являющегося ведущим в конкретной задаче, от одного члена группы другому. Это может приводить к смене акцентов при рассмотрении анализируемых симптомов, что в отдельных случаях позволяет ускорить диагностический процесс или даже «выйти» на неожиданный (обычно редкий) диагноз.

В клинической медицине принято подразделять признаки по частоте их встречаемости при конкретном заболевании (хотя следует помнить, что часть из них возрастзависимы, т.е. меняют свою значимость с возрастом больного и на разных этапах болезни может иметь место смена диагностически значимых симптомов). Такое деление отчасти условно, поэтому в практике используются различные по детализации варианты. Более надежным, с позиций выявления граничных условий, представляется выделение трех градаций: 1) обязательные (патогномоничные), т.е. встречающиеся всегда при данном заболевании (в отдельных случаях могут отсутствовать), 2) главные - встречающиеся с высокой частотой (более 80%), 3) «облако» сопутствующих или второстепенных признаков. Первые два типа признаков иногда носят название ядерные и являются дифференциально-диагностическими. Выделение патогномоничных, главных и второстепенных признаков служит уменьшению неопределенности при формировании диагностической последовательности.

При групповой работе экспертов важно оценить единство и расхождение мнений в отношении главных признаков и разнообразие оценок по отношению к сопутствующей симптоматике. Это связано с отсутствием однозначно четких границ между главными признаками и отдельными сопутствующими на разных этапах хронических заболеваний. Поэтому важной задачей когнитолога является уточнение диагностического ранга таких признаков в процессе дискуссии экспертов.

Групповое извлечение знаний включает еще ряд аспектов, на которые необходимо обращать внимание когнитологу, исполняющему и роль модератора. К ним относятся:

· обоснование мнения на прецедентах, где необходимо описание симптоматики и связей признаков с выделением характерных особенностей, в частности для атипичных и редких вариантов;

· подсознательные или интуитивные решения на разных этапах диагностического процесса, требующие уточнения в отношении косвенных симптомов, как будто бы прямо не задействованных в дискуссии, но обусловивших окончательное решение о диагнозе;

· использование неявных классификаций, включающих объединение заболеваний в группы, основанные на сочетаниях ведущих признаков с последующей иерархической дифференциальной диагностикой в пространстве диагнозов сниженной размерности.

Особая область - это попытка вербализации образных представлений [8]. Одним из наиболее простых вариантов этого является вербальное описание внешнего вида человека (например, формы лица, носа), значительно более сложным - характера движений или мышечных подергиваний, например, типа ходьбы (к примеру, утиная походка) или судорожных проявлений, которые могут стоять перед мысленным взором врача, помогая ему при диагностике, особенно в условиях дефицита времени на принятие решения. Совместное описание позволяет найти более точное название для нечетко определенных признаков, характеризующих особенности фенотипов, т.е. внешних проявлений болезни (к примеру, нос бульбообразный, сливовидный, грушевидный и т.п.).

Мыслеобразам в отдельных случаях могут соответствовать или сочетания признаков, носящих в медицине название синдрома (устойчивого симптомокомплекса), или относительно жесткая последовательность независимых признаков (отдельных симптомов). Эти инсайт-феномены могут невольно использоваться экспертами при их совместном обсуждении частных случаев диагностики. Уточнение таких ситуаций с привлечением всех участников является крайне важной, но и одной из самых трудных задач когнитолога.

2.2 ОРГАНИЗАЦИЯ ГРУППОВОГО ИЗВЛЕЧЕНИЯ МЕДИЦИНСКИХ ЗНАНИЙ

Каждый из экспертов может лучше знать определенный фрагмент концептуальной модели предметной области. Это может касаться полноты признакового пространства для исследуемой ситуации, связей между симптомами, диагностических решений. Особенно сложно решается эта проблема в отношении редко встречающихся заболеваний, характеризующихся полиморфизмом (неоднородностью) клинической симптоматики, в частности, наследственно обусловленной патологии. Именно в таких вариантах особенно важна организация кооперативных действий экспертов. И когнитолог, как организующее начало, выполняет при этом функции модератора, обеспечивающего обсуждение альтернативных вариантов в процессе дискуссии (схема работы на примере двух экспертов на рис.2). При этом следует отметить, что в рассматриваемом подходе инженер по знаниям должен особенно хорошо владеть предметной областью.

Рис. 2. Коррекция ситуации при работе с двумя экспертами

При работе в группе, информация первого эксперта, основанная на опыте в целом и памяти о конкретных ситуациях в прошлом, включая уникальные прецеденты, корректируется другими экспертами на основе их представлений, также сформировавшихся на базе опыта и переработанных (пропущенных через личную практику) литературных данных. Таким образом, при дополнении или столкновении мнений экспертов удается, с одной стороны, получить синтезированное знание, а с другой, наблюдать процесс контрдоводов и обоснования каждым из участников своей точки зрения при совместном осуществлении дифференциальной диагностики, т.е. в ходе аргументированного вывода. Благодаря этому повышается качество знаний для формирования аргументированного вывода. Одновременно достигается повышение непротиворечивости базы знаний как результата взаимной корректировки фактов и высказываний группы экспертов.

Что касается роли первого эксперта, то она последовательно может передаваться тому из участников группы, который наиболее хорошо владеет конкретным вопросом или готов предложить нетривиальное решение при возникших трудностях в постановке диагноза.

извлечение знание эксперт групповой

3. ДВА ПОДХОДА К УПРАВЛЯЕМОЙ ДИСКУССИИ ЭКСПЕРТОВ

Два различных подхода к групповому извлечению знаний, реализованные в процессе работы над экспертными системами в Медицинском центре новых информационных технологий Московского НИИ педиатрии и детской хирургии, в определенной степени послужили толчком к теоретическому осмыслению рассмотренного в данной статье группового метода извлечения экспертных знаний. Остановимся кратко на работе двух экспертных групп, в деятельности которых были реализованы разные варианты работы со знаниями.

Первый вариант, реализованный в интеллектуальной системе для диагностики наследственных заболеваний ДИАГЕН [9], можно назвать дополняющим обсуждением. В этом случае 1-й эксперт предлагал свое описание картины заболевания и свое диагностическое решение, включая аргументированное отклонение других нозологических форм определенного дифференциального круга. При объяснении своей точки зрения он мог использовать также аналогии и прецеденты. В процессе последующей дискуссии между экспертами происходило уточнение роли диагностических признаков, при необходимости предлагались дополнительные заболевания, с которыми должна осуществляться дифференциальная диагностика, и анализировался механизм принятия решения. В ряде случаев диагностика первого эксперта, основанная на интуиции, подвергалась сомнению, что позволяло наблюдать представление с его стороны объясняющей наблюдаемый феномен информации. Благодаря этому полнота и непротиворечивость данных в этой системе была значительно выше. Косвенным доказательством эффективности сформированной базы знаний можно считать долгожительство данного интеллектуального продукта - почти полтора десятилетия работы в практическом здравоохранении.

В экспертной системе ВЕСТ для нозологической диагностики инфантильных спазмов процесс первоначально независимо формируемых оценок экспертов сопровождался последующим совместным обсуждением выявленных несовпадений для выработки компромиссного решения [10]. Здесь можно отметить определенную аналогию с вербальным анализом решений, использованным в системе поддержки принятия решений UNICOMBOS [11], где информация, получаемая от лица, принимающего решения (ЛПР), также проверяется на непротиворечивость, а выявленные противоречия предъявляются тому же ЛПР для анализа, объяснения и исправления. В ЭС ВЕСТ серия первоначально полученных экспертных оценок проверяется на соответствие теореме Байеса и экспериментальным данным. Порождаемые заключениями виртуальные встречаемости признаков должны быть независимы от характера проявлений одной и той же болезни, представленной рядом частично различающихся описаний, которые получили название «портретов» (см. табл.1) и принадлежать диапазону полученных на основе клинического опыта и/или известных из литературы частот встречаемости (математическое выражение встречаемости признака (симптома) это статистики правдоподобия Ls (Logical Sufficiency) и Ln (Logical Necessity), которые являются функциями от встречаемостей: Ls = встречаемость симптома в диагнозе / встречаемость симптома вне диагноза; Ln= невстречаемость симптома в диагнозе / невстречаемость симптома вне диагноза). Этот подход допускает также нечеткие словесные заключения типа “вероятность этого диагноза незначительна” для оценки того или иного «портрета». При таком способе работы не исключено, что эксперты задействуют свои скрытые знания, включая интуитивно-образные представления.

Таблица 1. Оценка клинических портретов синдрома Сьегрена-Ларсена в ЭС ВЕСТ

Крайне важным является возможность расширения числа потенциальных экспертов, каждый из которых может на первом этапе независимо предлагать свои оценки. Однако необходимость достижения консенсуса на этапе согласования мнений в случае несовпадения средневзвешенной оценки экспертов с расчетными данными является ограничителем количества участвующих специалистов, так как при большом их числе возникают уже чисто психологические проблемы, аналогично тому, как это имеет место при попытках объединения в одном коллективе представителей принципиально различных научных школ. И когнитолог, наряду с управлением обсуждения спорных вопросов и поиском приемлемого соглашения, в этом случае должен учитывать еще и психологическую совместимость экспертов.

ЗАКЛЮЧЕНИЕ

Как говорится, каждый человек - это мир, и соответственно этому скрытые, в первую очередь интуитивные представления, у каждого эксперта свои, сугубо индивидуальные, особенные. И «вскрываться» они могут в первую очередь в своем профессиональном круге, общении с коллегами, в особенности при дискуссии. Таким образом, в групповом варианте появляется возможность шире задействовать персональные знания эксперта, что является основной целью при извлечении знаний. Другими словами, появляется возможность коллегиально сформулировать разумно-рациональное решение с учетом интуитивных представлений экспертов. То же касается решений, которые можно назвать непредсказуемыми, но которые неожиданно для окружающих формулируются путем привлечения прецедентов, в отличие от зависимостей, справедливых для определенных, относительно стандартных, ситуаций по принципу «характерные симптомы - заболевание».

Можно сделать предположение, что реализованный подход в определенной степени позволяет преодолевать эффект, который в литературе по когнитивной психологии получил название слабой корреляции между вербальными сообщениями и ментальным поведением эксперта. Представляется также, что по отношению к групповому обсуждению вопросов можно говорить о снижении когнитивной защиты эксперта, которую принято объяснять с позиций теории личностных психологических конструктов [12]. В результате совокупная работа группы экспертов, оперативно корригирующих возникающие несоответствия, неполноту и ошибки способствует снижению уровня противоречий в системе на этапе извлечения знаний. Это достигается путем интеграции фрагментов концептуальной модели предметной области, являющихся следствием особенностей личностного знания экспертов, в процессе управляемой дискуссии.

Предложенный подход может представлять особый интерес при работе со специалистами различных научных школ. В этих случаях возможен поиск совпадений их позиций по отдельным вопросам, сближение позиций на основе уточнения лежащих в их основе постулатов, а также формирование альтернативных сценариев, выбор которых в последующем может осуществляться пользователями экспертных систем в соответствии с их предпочтениями.

ЛИТЕРАТУРА

1. Хэгглин Р. Дифференциальная диагностика внутренних болезней / Пер. с нем. - М.: Фирма “МИКЛОШ”, Изд-во “ИНЖЕНЕР”, 1993.

2. Виноградов А.В. Дифференциальный диагноз внутренних болезней: Справочное руководство для врачей. - М.: Медицина, 1987.

3. Осипов Г.С. Приобретение знаний интеллектуальными системами: Основы теории и технологии. - М.: Наука. Физматлит, 1997.

4. Гельфанд И.М., Розенфельд Б.И., Шифрин М.А. Очерки о совместной работе математиков и врачей. - М.: Наука, 1989.

5. Гаврилова Т.А. Активные индивидуальные методы извлечения знаний и данных // Enterprise Partner. Корпоративные системы. 2001. №18 (35). С.6-9.

6. Ригельман Р. Как избежать врачебных ошибок. Книга практикующего врача / Пер. с англ. - М.: Практика, 1994.

7. Кобринский Б.А., Фельдман А.Е. Анализ и учет ассоциативных знаний в медицинских экспертных системах // Новости искусственного интеллекта. 1995. №3. С.90-96.

8. Кобринский Б.А. К вопросу о формальном отражении образного мышления и интуиции специалиста в слабо структурированной предметной области // Новости искусственного интеллекта. 1998. №3. С.64-76.

9. Марьянчик Б.В. Метод виртуальных статистик и его применение в партнерских системах для компьютеризированных системах для компьютерной диагностики // Компьютерная хроника. 1996. №5. С.65-74.

10. Ларичев О.И., Ашихмин И.В., Ройзензон Г.В., Фуремс Е.М. Поддержка выбора лучшего объекта на основе независимости критериев по предпочтениям и транзитивности // Новости искусственного интеллекта. 2003. №4. С.12-19.

11. Kelly G.A. The Psychology of Personal Constructs. - N.Y.: Norton, 1955.

Размещено на Allbest.ru