Интеллектуальные информационные системы
Назначение, методология разработки и принципы построения интеллектуальных информационных систем. Направления искусственного интеллекта: экспертные системы; общение на естественном языке; обработка визуальной информации; речевое общение; машинный перевод.
Рубрика | Программирование, компьютеры и кибернетика |
Вид | учебное пособие |
Язык | русский |
Дата добавления | 14.09.2017 |
Размер файла | 729,3 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Этап концептуализации. На этом этапе эксперт и инженер по знаниям эксплицируют ключевые понятия, отношения (упомянутые на этапе идентификации) и характеристики, необходимые для описания процесса решения задачи. На этапе концептуализации определяются следующие особенности задачи: типы доступных данных; исходные и выводимые данные, подзадачи общей задачи; используемые стратегии и гипотезы; виды взаимосвязей между объектами предметной области, типы используемых отношений (иерархия, причина -- следствие, часть -- целое и т.п.); процессы, используемые в ходе решения задачи; типы ограничений, накладываемых на эти процессы; состав знаний, используемых для решения задачи; состав знаний, применяемых для оправдания (объяснения) решения.
Для определения перечисленных характеристик задачи целесообразно составить детальный протокол действий и рассуждений эксперта в процессе решения хотя бы одной конкретной задачи.
Протокол обеспечивает инженера по знаниям словарем терминов (объектов) и некоторым приблизительным представлением о тех стратегиях, которые использует эксперт, кроме того, он помогает ответить на многие другие вопросы, возникающие в ходе разработки. На этом этапе инженер по знаниям рассматривает вопросы, относящиеся к представлению знаний и методам решения, но говорить о выборе конкретных способов и методов здесь еще рано.
На этапе концептуализации (как и на этапе идентификации) может потребоваться несколько повторных взаимодействий между экспертом и инженером по знаниям, что приводит к значительным затратам времени. Опыт разработок ЭС убеждает в том, что на данном этапе невозможно (да и не нужно) добиться корректности и полноты разрабатываемой ЭС. Необходимо как можно раньше переходить к следующим этапам (формализации и выполнению). На этом этапе у инженера по знаниям появляются некоторые соображения о представлении знаний и ИС.
Инженер по знаниям на этапе концептуализации должен обеспечить достаточность введенных ключевых понятий и отношений для описания всех имеющихся примеров решения рассматриваемой проблемы.
Этап формализации. На данном этапе все ключевые понятия и отношения, введенные на этапе концептуализации, выражаются на некотором формальном языке, предложенном (выбранном) инженером по знаниям. Он определяет, подходят ли имеющиеся ИС для решения рассматриваемой проблемы или необходимы оригинальные разработки. Выходом этапа формализации является описание того, как рассматриваемая задача может быть представлена в выбранном или разработанном формализме.
Процесс формализации зависит от трех основных факторов: структуры пространства поиска, характеризующей особенности решаемой задачи; модели, лежащей в основе процесса решения задачи; свойств данных рассматриваемой задачи.
Чтобы понять структуру пространства поиска, необходимо формализовать понятия (объекты, их характеристики и значения) и определить, как они могут связываться друг с другом при образовании гипотез, используемых для направления поиска. При этом следует ответить на вопросы: являются понятия примитивными или имеют внутреннюю структуру; нужно ли представлять причинные и пространственно-временные отношения между понятиями и должны ли они быть определены явно; необходима ли иерархия гипотез; относится коэффициент определенности (или другие средства для выражения мнения) только к окончательным гипотезам или он нужен для промежуточных гипотез; необходимо ли рассматривать понятия и процессы на различных уровнях абстракции.
Важный шаг в процессе формализации знаний -- построение модели исследуемой задачи, т.к. наличие модели позволяет генерировать решение. Могут быть использованы и поведенческие, и математические модели. Если эксперт применяет при рассуждении и обосновании решения хотя бы простейшую поведенческую модель, то это позволяет выработать важные понятия и отношения. Если же эксперт использует математическую модель (аналитическую или статистическую), то она может быть непосредственно включена в ЭС как для формирования решения, так и для объяснения (оправдания) причинных отношений, обнаруживаемых в БЗ.
Для формализации знаний весьма важно понимать природу данных предметной области. Необходимо определить свойства данных, которые существенно влияют на решение исходной проблемы. Это могут быть следующие свойства: объяснимость (необъяснимость) данных в терминах гипотез; тип отношений между данными (причинные, определительные, корреляционные); объяснимость (необъяснимость) взаимосвязанности данных, гипотез и целей в процессе решения; редкость (обильность) или недостаточность (избыточнность) данных; определенность (неопределенность) данных, т.е. необходимость использования коэффициентов уверенности; зависимость (независимость) интерпретации данных от порядка их появления во времени; стоимость приобретения данных и знаний; метод их приобретения (какие вопросы необходимо задавать для получения данных); способ извлечения необходимых характеристик объектов из входного сообщения (сигнал, изображение, текст на естественном языке, устная речь и т.п.); надежность (ненадежность), точность (неточность) данных; согласованность (не согласованность), полнота (неполнота) данных.
Часто на этапе формализации выясняется, что для различных частей общей задачи нужны различные языки или ИС.
Этап выполнения. Цель этого этапа -- разработка одного или нескольких прототипов ЭС, решающих требуемые задачи. Затем на данном этапе по результатам этапов тестирования и опытной эксплуатации создается конечный продукт, пригодный для промышленного использования. Разработка прототипа состоит в программировании его компонентов или выборе их из имеющихся ИС и наполнении БЗ. Проектирование первой версии прототипа ЭС следует начинать, как только будет хорошо понят первый тестовый пример.
Обычная ошибка разработчиков при создании прототипа состоит в том, что процесс приобретения знаний откладывают до полного завершения программирования. Тем самым эта наиболее трудоемкая часть работы отодвигается на поздние этапы, и в процессе накопления знаний приходится вносить изменения в уже готовые программы. Поэтому следует начинать процесс приобретения знаний, как только составлены или выбраны программы, позволяющие работать с простейшим представлением знаний и простейшими управляющими структурами, а следовательно, максимально рано приступать к выполнению отдельных подзадач, чтобы обнаружить необходимость дополнительных знаний для их решения. Иными словами, первый прототип экспертной системы -- демонстрационный (ЭС-1) должен появиться через несколько месяцев (обычно два-три), а не через годы после начала работы.
Разработка прототипа -- чрезвычайно важный шаг в создании системы. Некоторые программы прототипа могут войти в окончательную версию ЭС. Однако не это наиболее важная цель разработки прототипа. Главное, чтобы прототип обеспечил проверку адекватности идей, методов и способов представления, выбранных при создании данной ЭС, решаемым задачам. Функционирование первого прототипа должно подтвердить, что выбранные методы решений и способы представления пригодны для успешной реализации, по крайней мере, ряда задач из области экспертизы, а также показать, что с увеличением объема знаний и улучшением стратегии поиска ЭС сможет дать высококачественные и эффективные решения всех задач данной предметной области. При разработке первого прототипа обычно оставляют в стороне вопросы, требующие значительных трудозатрат: понимание и синтез фраз ограниченного естественного языка; построение сложных моделей; учет сложных временных, причинных и модальных отношений; понимание намерений пользователей (экспертов); моделирование рассуждений, содержащих неточные понятия.
Итак, можно сделать вывод, что в первом прототипе реализуется (используется) простейшая процедура вывода. При его создании основная цель -- получить решение задачи, не заботясь пока об эффективности.
После разработки первого прототипа необходимо расширить круг задач, решаемых системой для того, чтобы собрать пожелания и замечания, которые будут учтены в очередной версии системы (ЭС-2). Для этого осуществляется развитие ЭС-1 путем добавления следующих компонентов: «дружественного» интерфейса; средств для исследования как БЗ, так и цепочек выводов, генерируемых системой (что обеспечивает прозрачность системы и понимаемость ее разработчиком); средств хранения библиотеки задач, решенных системой. Библиотека необходима для того, чтобы при каждой модификации системы можно было проверить, решаются ли все старые задачи и в новой версии. Расширенная версия ЭС-1 может рассматриваться как исследовательский прототип ЭС.
В ходе приобретения знаний инженер по знаниям должен получить знания от эксперта, структурировать их и представить в виде, понятном ЭС. Данный процесс сложен и длителен, т.к. эксперт часто или не осознает, какими знаниями он пользуется, или не может их вербализовать.
Для достижения эффективного функционирования ЭС необходимо осуществить структурирование знаний. Наиболее важным средством для этого являются абстрактные понятия промежуточного уровня. Во многих случаях данные понятия могут явно не упоминаться (а возможно, и не осознаваться) экспертом. Инженер по знаниям должен выделять такие понятия, обнаруживая сходные действия эксперта при обработке различных ситуаций.
При представлении правил в виде, понятном ЭС, особое внимание следует уделять двум ситуациям: некоторое правило слишком громоздко; имеется много похожих правил. Громоздкость правила может объясняться тем, что в нем отражено несколько фактов из данной предметной области. Если это так, то правило надо разбить на несколько мелких. Вторая ситуация возникает тогда, когда в предметной области существует понятие, явно не указанное экспертом, а возможно, и не имеющее имени. В этом случае новое понятие необходимо ввести в явном виде, присвоить ему специальное имя и, используя его, сформулировать одно правило взамен группы подобных.
Выполнение экспериментов с расширенной версией ЭС-1, анализ пожеланий и замечаний служат отправной точкой для создания второго прототипа. Процесс разработки ЭС-2 итеративный. Анализ результатов прогонов тестовых примеров позволяет выявить недостатки ЭС и разработать пути для их устранения. Этот итеративный процесс может продолжаться от нескольких месяцев до нескольких лет в зависимости от сложности предметной области, гибкости выбранного представления и степени соответствия управляющего механизма решаемым задачам (возможно, потребуется разработка ЭС-3 и т.д.). При разработке ЭС-2, кроме перечисленных задач, решаются следующие:
-- анализ функционирования системы при значительном расширении БЗ;
-- исследование возможностей системы в решении более широкого круга задач и принятие мер для обеспечения таких возможностей;
-- анализ мнения пользователя о недостатках систем, о том, какую дополнительную помощь он хочет получить от ЭС и т.п.;
-- создание системы ввода-вывода, осуществляющей анализ или синтез предложений ограниченного естественного языка, что позволит пользователю общаться с ЭС-2 в форме, близкой к форме общения со стандартными учебниками для данной области.
Если ЭС успешно прошла этап тестирования, то она может классифицироваться как промышленная система.
Этап тестирования. В ходе этого этапа осуществляется оценка выбранного способа представления знаний и ЭС в целом. Как только ЭС оказывается в состоянии обработать от начала до конца два или три примера, необходимо приступать к проверке на более широком круге примеров, чтобы определить недостатки БЗ и управляющего механизма (процедур вывода). Инженер по знаниям должен подобрать примеры, обеспечивающие всестороннюю проверку ЭС.
Обычно выделяют следующие источники неудач в работе системы: тестовые примеры, ввод-вывод, правила вывода, управляющие стратегии.
Наиболее очевидной причиной неудачной работы ЭС являются недостаточно показательные тестовые примеры. В худшем случае тестовые примеры могут оказаться вообще вне предметной области, на которую рассчитана ЭС, однако чаще множество тестовых примеров находится в рассматриваемой предметной области, но является однородным и не позволяет охватить всю предметную область. При подготовке тестовых примеров целесообразно квалифицировать их по подпроблемам предметной области, выделяя стандартные случаи, определяя границы трудных ситуаций и т.п.
Ввод-вывод можно характеризовать данными, приобретенными в ходе диалога с экспертом, и заключениями, предъявленными ЭС в ходе объяснений. Иногда методы приобретения данных не дают нужных результатов, т.к. задавались неправильные вопросы или собрана не вся необходимая информация. Кроме того, вопросы системы могут быть трудными для понимания, многозначными и не соответствующими знаниям пользователя. Ошибки при вводе часто возникают из-за неудобного для пользователя входного языка. В ряде приложений для пользователей удобен ввод не только в печатной, но и в звуковой форме, может понадобиться ввод и в графическом виде.
Выходные сообщения (заключения) системы могут оказаться непонятны пользователю (эксперту) либо потому, что их слишком много, либо потому, что их слишком мало. Они могут быть организованы, упорядочены способом, непонятным (неудобным) пользователю, кроме того, выражены на неподходящем для пользователя уровне абстракции с использованием незнакомой ему лексики.
Типичным источником ошибок в рассуждениях являются правила вывода. Важная причина здесь -- неучет зависимостей между правилами (точнее, между их означиваниями). Дело в том, что правила редко независимы друг от друга, хотя на первом этапе отладки удобно считать их таковыми. Среди других причин несоответствий в рассуждениях можно отметить ошибочность, противоречивость и неполноту правил. Если неверна посылка правила, то это может привести к использованию правила в неподходящем контексте. В данной ситуации система не замечает частных подслучаев. Если ошибочно действие правила, то конечный результат трудно предсказать. Правило может быть ошибочно, если при корректности его условия и действия нарушено соответствие между ними. Так как правила зависят друг от друга, важно учесть возможность влияния одних правил на другие. Контекстные зависимости следует принимать во внимание, в частности, при расстановке различных коэффициентов, характеризующих правила. Необходимо принять меры против порождения гипотез (промежуточных заключений), которые правдоподобны каждая в отдельности, но комбинируются в бессмысленные последовательности. Требуется разработать специальные правила, препятствующие образованию ошибочных комбинаций.
Весьма часто к ошибкам в работе ЭС приводят управляющие стратегии. Возможно, изменение стратегии необходимо, если ЭС рассматривает сущности в порядке, отличном от «естественного» для эксперта. Последовательность, данные которой рассматриваются ЭС, не только влияет на эффективность работы системы, но и может вызвать изменение конечного результата. Например, рассмотрение правила X до правила Y иногда приводит к тому, что правило Y всегда будет игнорироваться системой. Изменение стратегии необходимо и в случае неэффективной работы ЭС. Кроме того, недостатки в управляющих стратегиях могут привести к чрезмерно сложным заключениям и объяснениям ЭС.
Критерии, с помощью которых оценивается ЭС, зависят от того, с чьей точки зрения дается оценка. Например, при тестировании ЭС-1 оценка осуществляется с точки зрения экспертов, для которых важна в первую очередь полнота и безошибочность правил вывода. При тестировании промышленной системы оценка производится в основном инженером по знаниям, которого интересует эффективность работы ЭС. При тестировании ЭС после опытной эксплуатации оценка осуществляется пользователем, заинтересованным в первую очередь в удобстве работы и получении практической пользы.
Этап опытной эксплуатации. На данном этапе проверяется пригодность ЭС для конечного пользователя. Здесь ЭС должна продемонстрировать решение всех возможных задач при работе с различными пользователями. Целесообразно организовать функционирование ЭС не на стенде разработчика, а на месте работы пользователей. К этому этапу следует переходить лишь после того, как эксперты будут уверены, что система успешно справится практически со всеми требуемыми задачами, чтобы ошибки в решениях не создавали у пользователя отрицательного представления о ЭС. Пригодность ЭС для пользователя определяется в основном удобством работы с ней и ее полезностью. Под полезностью ЭС понимается способность ее в ходе диалога определять потребности пользователя, выявлять и устранять причины неудач в работе, а также удовлетворять потребности пользователя (т.е. решать поставленные задачи). Другими словами, пользователю важно довести «до сознания» ЭС свою информационную потребность, несмотря на возможные ошибки, допускаемые им из-за недостаточного знания ЭС. Конечно, для пользователя имеют значение также полнота и правильность решений, но эти характеристики должны быть проверены экспертом на предыдущем этапе.
Под удобством работы ЭС понимается естественность взаимодействия с ней (общение в привычном, не утомляющем пользователя виде), ее гибкость (способность настраиваться на различных пользователей, а также учитывать изменения в квалификации одного и того же пользователя) и устойчивость к ошибкам (способность не выходить из строя при ошибочных действиях неопытного пользователя).
По результатам эксплуатации может потребоваться не только модификация программ и данных (совершенствование или изменение языка общения, диалоговых средств, средств обнаружения и исправления ошибок настройка на пользователя и т.д.), но и изменение устройств ввода-вывода из-за их неприемлемости для пользователя. По результатам этого же этапа принимается решение о переносе системы на другие ЭВМ (например, для расширения сферы использования ЭВМ и/или снижения ее стоимости). После успешного завершения этапа опытной эксплуатации и использования различными пользователями ЭС может классифицироваться как коммерческая.
Модификация системы. В ходе создания ЭС почти постоянно осуществляется модификация. Можно выделить следующие виды модификации системы: переформулирование понятий и требований, переконструирование представления и усовершенствование прототипа (см. рисунок 4).
Усовершенствование прототипа осуществляется в процессе циклического прохождения через этапы выполнения и тестирования для отладки процедур вывода. Циклы повторяются до тех пор, пока система не будет вести себя ожидаемым образом. Изменения, осуществляемые при усовершенствовании, зависят от выбранного способа представления и класса задач, решаемых ЭС. Если в процессе усовершенствования желаемое поведение не достигается, то необходимо осуществить более серьезные модификации архитектуры и БЗ. Возврат от этапа тестирования на этап формализации приводит к пересмотру выбранного ранее способа представления знаний. Данный цикл называют переконструированием.
Если возникшие проблемы еще более серьезны, то после неудачи на этапе тестирования может потребоваться возврат на этапы концептуализации и идентификации. В этом случае речь будет идти о переформулировании понятий, используемых в системе, -- о проектировании всей системы практически заново.
1.5 Приобретение знаний для экспертных систем
Под приобретением знаний в ЭС искусственного интеллекта понимают процесс получения знаний от эксперта (или каких-либо источников знаний) и передачи их ЭС. Сам процесс приобретения знаний важен и сложен. Его важность заключается в том, что эффективность работы ЭС целиком и полностью зависит от качества приобретения знаний и правильности их представления. Сложность же обусловливается большим объемом используемых знаний, которые не всегда осознаются самим экспертом или расплывчато представлены каким-либо источником знаний.
Для начала рассмотрим общую схему приобретения знаний с точки зрения его деления на различные фазы.
Наличие нескольких фаз приобретения знаний не вызывает никакого сомнения и признается практически всеми специалистами, работающими в области построения систем ИИ. Однако разные авторы выделяют различные фазы. К примеру, некоторые считают, что фазы в процессе приобретения знаний идентичны стадиям создания ЭВМ, т.е. к ним относятся: идентификация, концептуализация, формализация, выполнение и тестирование. Другие авторы выделяют всего три фазы: определение предметной области, формирование начальных (фундаментальных) знаний, формирование основного состава знаний. Но ни в первом, ни во втором случаях не приводятся обоснования выбора соответствующих фаз.
Если рассмотреть процесс приобретения знаний с точки зрения взаимодействия ЭС с экспертом и инженером по знаниям, то можно выделить следующие три основные фазы: предварительную, начальную, накопительную (рисунок 5).
На первой фазе (предварительной) инженер по знаниям получает от эксперта или другого какого-либо источника общие сведения об области экспертизы и формирует на их основе общее представление о принципах построения ЭС. Инженер по знаниям определяет основные понятия, отношения, подзадачи, структуру данных и т.п. Он осуществляет выбор ИС, подходящего для целей этой ЭС.
На второй фазе инженер по знаниям заполняет систему знаниями о представлении, т.е. значениями, определяющими организацию, структуру и способ представления базы знаний. Для этого необходимо детально знать возможности ИС по созданию ЭС, понимать особенности будущей ЭС.
Формирование знаний на данной фазе (исходя из перечисленных выше требований) может осуществлять только инженер по знаниям.
Рисунок 5. Схема процесса приобретения знаний в типовой ЭС: I -- предварительная фаза, II -- начальная фаза, III -- накопительная фаза; 1 -- передача, 2 -- разработка, 3 -- воздействие
Третья фаза характеризуется приобретением основных знаний об области экспертизы. Здесь предусматриваются:
-- обнаружение неправильности, неполноты или противоречивости знаний, используемых ЭС;
-- извлечение новых знаний, устраняющих определенную противоречивость, неполноту или неправильность;
-- преобразование новых знаний в вид, понятный ЭС;
-- корректировка базы знаний.
Процесс приобретения знаний на этой фазе предполагает совместную работу инженера по знаниям (либо специалиста, понимающего другие источники знаний) с экспертом и получение полного объема знаний, необходимого для успешного функционирования ЭС.
В научной литературе дано неоднозначное толкование процесса приобретения знаний и совместно с ним самой ЭС. Действительно, для постоянного обогащения знаниями уже функционирующей ЭС нужна лишь накопительная фаза. Когда же ЭС только проектируется, следует рассматривать все три фазы.
Необходимо выделить ЭС, проектируемые или функционирующие в рамках действующей системы автоматизированного управления производством (САУП). В таких системах, как правило, имеется большая база данных, позволяющая существенно упростить (сократить) диалог системы с пользователем. Подобное обстоятельство предъявляет к рассмотренным выше фазам дополнительные требования по первоначальному формированию и последующему введению в актуальное состояние распределенной системы.
Обычно в этом случае базы данных содержат статистическую и текущую информацию об экспертируемой области знаний, причем особую значимость приобретает достоверность используемой информации. При наличии в базе данных недостоверной информации или ее отсутствии ЭС обращается за ответом к пользователю.
На промышленных предприятиях будут использоваться ЭС не типовые, а второго вида (с базой данных), следовательно, и состав фаз приобретения знаний должен включать: предварительную фазу (I), начальную (II), накопительную (III), информационную (IV) (рисунок 6).
Как ранее было отмечено, процесс приобретения знаний является наиболее сложным и ответственным этапом разработки ЭС, что объясняется довольно просто: инженер по знаниям плохо разбирается в экспертируемой области, а сегодняшний эксперт не обладает ни опытом создания ЭС искусственного интеллекта, ни опытом программирования, а иногда вообще далек от информатизационных технологий.
В процессе приобретения знаний необходимо совместное участие эксперта по данной предметной области и инженера по знаниям. Основная задача последнего заключается в том, чтобы помочь эксперту структурировать знания о предметной области.
Рисунок 6. Схема процесса приобретения знаний в ЭС, работающей (проектируемой) в информационной взаимосвязи с САУП
Процесс приобретения знаний сводится к выполнению следующих задач:
-- определению необходимости модификации или расширения знаний (если таковой необходимости нет, то процесс приобретения знаний на этом заканчивается);
-- извлечению новых знаний о предметной области;
-- преобразованию знаний в форму, «понятную» ЭС;
-- модификации знаний системы.
В реализации этих задач могут принимать участие эксперт, инженер по знаниям и ЭС. В зависимости от того, кто выполняет задачу, можно выделить различные модели приобретения знаний.
Простейшая модель, соответствующая ранним стадиям работ по ИИ, когда взаимодействие с системой осуществлял только инженер по знаниям, предполагает решение перечисленных выше задач путем освоения им с помощью эксперта предметной области и последующую разработку системы только инженером по знаниям. Недостаточное знание предметной области не позволяло гарантировать полноту и непротиворечивость приобретенных знаний. Из-за отсутствия разделения системы на базу знаний и механизм вывода сохранить однажды достигнутую непротиворечивость знаний при неизбежных модификациях системы было невозможно.
Рисунок 7. Простейшая модель приобретения знаний
Отделение знаний от программ, оформление их в виде простых информационных структур (баз знаний) позволило организовать взаимодействие эксперта с системой либо непосредственно, либо через инженера по знаниям (см. рисунок 7). База знаний существенно упростила модификацию знаний. В приведенной модели первую и вторую задачи приобретения знаний выполняет эксперт с помощью инженера по знаниям, третью -- инженер по знаниям, четвертую -- ЭС.
Существуют более совершенные модели приобретения знаний, использующие интеллектуальный редактор, обладающий развитыми диалоговыми способностями.
Как же приобрести знания для построения ЭС?
Попытки отчуждения профессиональных знаний предпринимались людьми издавна. Обычно проводилась формализация математическими методами. Те области профессиональных знаний, которые оказались доступными для такого подхода, получили название точных наук. Однако существует множество областей знаний, где строгой формализации математическими методами достичь не удается (медицина, биология, геология и др.). Даже разработанные и функционирующие в рамках АСУ экономико-математические модели зачастую не учитывают множество факторов, которые в силу ряда причин невозможно включить в модель.
Если рассмотреть структуру профессиональных знаний, накопленных человечеством, то станет ясно, что большинство из них индивидуальны, непередаваемы другим лицам (иначе говоря, это профессиональное искусство конкретного высококвалифицированного специалиста в определенной предметной области). Как отмечает Г.Р. Громов [2, с. 83], общую структуру фонда накопленных человечеством профессиональных знаний можно представить в виде быстро сужающейся по высоте пирамиды (рисунок 8), в основании которой -- индивидуально накопленные знания, принципиально не отчуждаемые от их авторов традиционными методами формализации: «Могу сделать, но не знаю, как это объяснить» (I); далее -- знания, которые могут быть переданы в процессе длительной совместной работы: «Делай как я!» (II); знания, передаваемые в процессе педагогической процедуры: «Могу объяснить в течение определенного периода времени, но не уверен, что все можно формально описать» (III); вершину составляют знания, формализованные математическими методами (IV).
Рисунок 8. Структура фонда профессиональных знаний
Известно, что знания подразделяются на декларативные и процедурные, образующиеся в результате осуществления процедур (алгоритмов, программ, аналитических преобразований и т.п.) над фактами как исходными данными. Успех в реализации ЭС тем больше, чем выше удельный вес декларативных знаний по отношению к процедурным. Если же преобладают процедурные знания, значит, имеются следующие трудности:
-- эксперт не может четко сформулировать правила принятия решения;
-- эксперт не желает передавать кому-либо свои знания, методы и правила, сохраняя за собой статус уникального специалиста;
-- в исследуемой предметной области трудно найти эксперта.
Чтобы избежать этого, необходимо знать требования, предъявляемые к эксперту и работающему с ним инженеру по знаниям.
Эксперту должны быть присущи качества:
-- компетентность,
-- умение объяснять свои действия,
-- доброжелательность и некоторые педагогические способности.
Инженер по знаниям должен обладать такими качествами:
-- как общительность, но не навязчивость;
-- высокая компетентность в области ИИ, когнитивность в психологии и других смежных науках;
-- умение настроиться на роль ученика;
-- полинезависимость (стиль познания, при котором рассуждения инженера по знаниям самостоятельны, не зависят от рассуждений эксперта).
Основные этапы, или фазы, приобретения знаний были подробно рассмотрены ранее. Однако хотелось бы подчеркнуть, что приобретение знаний на предварительной фазе является решающим этапом при создании ЭС. К сожалению, именно этот этап наиболее слабо разработан и почти не освещен в специальной литературе.
Главная и практически единственная рекомендация инженеру по знаниям на предварительной фазе заключается в строгом и тщательном документировании деятельности эксперта. Ряд авторов предлагает знания, полученные от эксперта, оформлять в виде отчета, имеющего следующие разделы:
-- общее описание задачи, для решения которой разрабатывается ЭС;
-- перечень ссылок на документы, содержащие детальное описание предметной области;
-- используемые источники знаний;
-- словарь терминов предметной области;
-- описание критериев, оценивающих качество и эффективность выполнения ЭС;
-- описание «сценариев», т.е. детальных примеров, поясняющих решения реальных задач из области экспертизы;
-- описание базовых объектов и отношений;
-- описание основных стратегий.
Среди наиболее известных на сегодняшний день методов получения знаний от экспертов можно выделить четыре.
1. Свободный диалог -- самый простой и распространенный метод. Не требует значительной предварительной подготовки. Недостатком является отсутствие достаточно полного протокола диалога, затрудняющее последующий анализ деятельности эксперта, поэтому данный метод желательно сочетать с методом протоколирования «мыслей вслух».
2. Протоколирование «мыслей вслух» применяется в случае, когда эксперт способен четко и подробно излагать свои мысли. Его использование также не требует значительной предварительной подготовки. Но в отличие от метода свободного диалога в качестве результата совместной деятельности эксперта и инженера по знаниям имеется протокол беседы, что позволяет успешно проводить последующий анализ полученных от эксперта знаний.
3. Метод анкетирования или интервью предполагает достаточную осведомленность инженера по знаниям о предметной области. Заранее продумываются вопросы, которые впоследствии задаются эксперту. Ответы тщательно записываются и анализируются.
4. Экспертные игры -- наиболее сложный из всех вышеперечисленных методов и вместе с тем один из наиболее эффективных. Его использование требует значительной подготовки. Заранее продумываются типичные для данной предметной области ситуации или задачи. Затем, используя уже полученные знания, инженер по знаниям находит решение для каждой ситуации. После этого задачи передаются для решения эксперту. Проверив решение задачи экспертом и сравнив его с подготовленным решением, вносят изменения и дополнения в создаваемую базу знаний. Если база знаний не содержит достаточного числа правил, то можно обойтись без предварительного решения задачи.
Изложенные подходы к организации и построению АРМ, в том числе интеллектуальных, оказывают существенное влияние на гуманизацию процесса общественного производства, освобождение человека от рутинной, механической работы для решения подлинно творческих задач, понимания происходящих в мире процессов, выражения своих мыслей и коммуникации с другими людьми.
1.6 Представление знаний и выводы в экспертных системах
В экспертных системах не только не выбран определенный способ для представления знаний. Как будет показано далее, в них используются самые различные подходы и пока еще не получены оценки, какой из них предпочтительнее. Подобная ситуация сложилась потому, что опыт применения знаний как информации весьма поверхностен и недостаточно определено понятие о том, каким же условиям должно удовлетворять представление знаний. Этот вопрос будет рассмотрен далее, а сначала проанализируем принципы работы экспертной системы на примере продукционных правил -- наиболее простого способа представления знаний. В такой экспертной системе все знания представлены описаниями в форме если -- то. Часть правила если называется посылкой, а то -- выводом или действием.
Рассмотрим правило:
Если (1) Y является отцом X,
(2) Z является братомY,
тo Z является дядей X.
Механизм вывода связывает знания воедино, а затем выводит из последовательности знаний заключение. Положим, например, что в базе знаний вместе с описанными выше знаниями содержатся и такие:
Если (1) Z является отцом X,
(2) Z является отцом Y,
(3) X и Y не являются одним и тем же лицом,
то X и Y являются братьями.
Здесь X, Y, Z -- переменные. Данная запись показывает, что при условии подстановки одинаковых значений в одинаковые переменные, входящие в одинаковые знания, последние будут обладать общностью.
Эта полностью формализованная процедура, использующая такие методы, как согласование образов (при котором устанавливается, совпадают ли между собой две формы представления, предусматривается также получение подстановки переменных, при которой совпадают формы), поиск в базе данных, возврат (возврат к исходному состоянию при неудачной попытке решения), представляет собой механизм выводов. В настоящее время механизмы выводов реализуются программными средствами, однако в ближайшем будущем станет возможным и их аппаратное воплощение.
Если подобным образом задать формализм представления знаний и построить на базе этого представления механизм выводов, аналогичный определенному выше, то на основе знаний в форме, допустимой в данном представлении, можно автоматически выводить заключения. Все это отличается от формализованных процедур (программ) и стандартных данных (баз данных) и позволяет реализовать в системе представление, которое можно использовать более гибко. Фактически, если добавлять новые знания, то, как правило (при условии, что в системе последовательно воплощены принципы обработки знаний), они будут использоваться точно так же, как и до их введения.
Таким образом, выводы (точнее -- дедуктивные выводы) определены как способ применения базы знаний, однако все сказанное выше относится к выводам, базирующимся на продукционных правилах, и если представление знаний будет иметь другой вид, то будет другой и форма выводов. Исходя из этого обстоятельства, ознакомимся с характерными способами представления знаний, используемыми в настоящее время, и с выводами, обусловленными этими способами.
Характерная особенность экспертных систем, отличающая их от традиционных систем обработки информации, -- использование нового вида информации, называемого знаниями. Формализм описания такого рода знаний определяется как представление знаний. Компонент, который использует для решения проблем знания экспертов, описанные в заранее выбранной для них форме представления, является механизмом вывода. В системах с базами знаний, в том числе и экспертных системах, представление знаний выступает как фундаментальное понятие, а решение о выборе способа представления оказывает непосредственное влияние на любую их составную часть. Возможность применения знаний возникла вместе с появлением механизма выводов, а механизм выводов был определен, в свою очередь, из представления знаний. Поскольку представление знаний является средством описания знаний человека, то желательно, чтобы его описательные возможности были как можно выше; с другой стороны, если форма представления становится излишне сложной, то усложняется механизм выводов, при этом не только затрудняется проектирование экспертной системы, но и возникает опасность потери достоверности выполняемых ею действий. В конечном итоге проектирование представления знаний предусматривает выработку всех этих условий, а затем и выбор решения на основе некоторого компромисса между ними. Кратко ознакомимся с отдельными характерными представлениями знаний, используемыми в современных экспертных системах.
Продукционные правила. Продукционные правила, как уже говорилось, описывают знания в форме если -- то. Простота и наглядность этого способа обусловили его применение во многих системах. Системы обработки знаний, использующие представление знаний на основе продукционных правил, получили название продукционных систем. В состав продукционной системы входит база правил, глобальная база данных, интерпретатор правил. База правил -- это область памяти, которая содержит базу знаний -- совокупность знаний, представленных в форме правил вида, если -- то; глобальная база данных -- это область памяти, содержащая фактические данные (факты), которые описывают вводимые данные и состояние системы. Базы данных у различных систем имеют различную форму, однако все они могут быть описаны как группа данных, содержащая имя данных, атрибуты и значения атрибутов. Интерпретатор представляет собой механизм вывода, и он является тем компонентом системы, который формирует заключения, используя базу правил и базу данных (рисунок 9).
Механизм, реализованный сегодня как средство выводов в продукционной системе, в принципе несложен. Он имеет функции поиска в базе знаний, последовательного выполнения операций над знаниями и получения заключений.
Рисунок 9. Продукционная система
В языке экспертных систем термин «правило» имеет более узкое значение, чем при обычном словоупотреблении. Оно связано с наиболее популярным способом представления знаний, т.е. представлением, основанным на правилах. Правила обеспечивают формальный способ представления рекомендаций, указаний или стратегий, они часто подходят в тех случаях, когда предметные знания возникают из эмпирических ассоциаций, накопленных за годы работы по решению задач в данной области. Правила выражаются в виде утверждений, если -- то, как показано ниже:
(1) Если горючая жидкость была пролита, вызовите пожарных;
(2) Если pH жидкости меньше 6, разлившийся материал -- кислота;
(3) Если разлившийся материал -- кислота, и он пахнет уксусом, разлившийся материал -- уксусная кислота.
Эти правила из экспертной системы по управлению кризисной ситуацией помогают определить, что разлитая жидкость -- нефть или какое-то химическое вещество. Правила иногда записываются через стрелку (), чтобы указать, где часть если, а где часть то данного правила. Правило 2 в этих обозначениях будет выглядеть так:
Если pH жидкости меньше 6 разлившийся материал -- кислота.
В экспертных системах, основанных на правилах, предметные знания представляются набором правил, которые проверяются по группе фактов или знаний о текущей ситуации. Когда часть правила если -- то удовлетворяет правилам, то действие, указанное в части то, выполняется. Когда это происходит, то говорят, что правило выполнено. Интерпретатор правил сопоставляет части правил если с фактами и выполняет то правило, часть, если которого согласуется с фактами, как показано на рисунке 10.
Рисунок 10. Работа интерпретатора правил в цикле «сопоставить -- выполнить» с формированием последовательности действий
Действия правила могут состоять в модификации набора фактов в базе знаний, например в добавлении нового факта, как это показано на рисунке 11.
Новые факты, добавленные к базе знаний, сами могут быть использованы для сопоставления с частями правил если, как показано на рисунке 12.
Факты
Рисунок 11. Изменение факта в базе знаний вследствие выполнения правил
Факты
Рисунок 12. Добавление нового факта к базе знаний
Действие, предпринимаемое при выполнении правила, может непосредственно взаимодействовать с внешней средой, как показано на рисунке 13.
Процесс сопоставления с фактами частей если правил может порождать то, что называется цепочкой выводов. Цепочка выводов, полученная в результате последовательного выполнения правил 2 и 3, показана на рисунке 14. Эта цепочка выводов показывает, как система, используя правила, выводит заключение о пролившейся жидкости. Цепочки выводов экспертной системы могут быть предъявлены пользователю, что помогает понять, как система достигает своих заключений.
Рисунок 13. Влияние выполнения правил на реальный мир
Рисунок 14. Цепочка рассуждений для вывода заключения о природе разлитого вещества
Существует два важных способа использования правил в системе, основанной на правилах: один называется прямой цепочкой рассуждения, а другой -- обратной цепочкой рассуждения.
В приведенном выше примере о разлившейся жидкости использовалась прямая цепочка рассуждений.
На рисунке 15 детально показано, как прямая цепочка рассуждений работает в случае простого набора правил.
Правила в этом примере используют буквенные символы F&BZ. Это значит:
Если существуют и ситуация F , и ситуация В, то существует также ситуация Z.
Набор известных фактов мы будем называть базой данных.
Рисунок 15. Пример прямой цепочки рассуждений
Давайте посмотрим, как эти правила работают. Мы допустим, что каждый раз, когда набор правил проверяется относительно базы данных, только первое (самое верхнее) правило, согласующееся с данными, выполняется. Поэтому на рисунок 15 правило А_D выполняется лишь один раз, хотя оно всегда согласуется с базой данных.
Первое правило, которое исполняется, -- это A_D, поскольку А уже находится в базе данных. Как следствие этого правила, выводится факт существования D, и D помещается в базу данных. Это приводит к выполнению второго правила F&E_Z, Z помещается в базу данных.Такой метод называется прямой цепочкой рассуждений, поскольку поиск новой информации происходит в направлении стрелок, разделяющих левые и правые части правил.
Система использует информацию из левых частей, чтобы вывести информацию, содержащуюся в правых частях. Цепочка выводов, полученная в примере, представленном на рисунке 15, изображена на рисунке 16.
Было выведено, что существует ситуация Z наряду с F и D.
Рисунок 16. Цепочка выводов, полученная на основе рассуждений (см. рисунок 15)
Предположим теперь, что вы использовали эту систему, чтобы установить, существует ли ситуация Z. Вы можете думать, что она работает вполне хорошо, быстро устанавливая, что Z действительно существует. К сожалению, это лишь артэффект, связанный с данным примером. У реально существующих экспертных систем было бы не три правила, а сотни, даже тысячи. Поэтому, если ваша цель состоит в том, чтобы установить один частный факт, вроде Z, то прямая цепочка рассуждений может оказаться напрасной тратой времени и денег.
В таких ситуациях обратная цепочка, возможно, будет наиболее рентабельной. При этом методе вывода система начинает с доказательства, например, того, что ситуация Z существует и выполняет только те правила, которые относятся к установлению этого факта. На рисунке 17 показано, как обратная цепочка рассуждений должна работать, используя правила из прямой цепочки рассуждений.
На шаге 1 системе дается команда установить (если она может), что ситуация Z существует. В поисках Z система сначала проверит базу данных и в случае неудачи будет искать среди правил то, которое приводит к установлению Z, т.е. правило, у которого Z стоит справа от стрелок.
Она находит правило F&B_Z и решает, что должна установить факты F и B, чтобы выйти на Z. На шаге 2 система пытается установить факты F, проверяя базу данных, а затем находит правило, в правой части которого стоит F. Из правила C&D_F система решает, что должна установить существование фактов С и D для получения заключения о F. На шагах 3--5 система находит С в базе данных, но решает, что должна установить факт А, прежде чем она получит заключение о D. И затем она находит факт А в базе данных.
Рисунок 17. Пример обратной цепочки рассуждений
На шагах 6--8 система выполняет третье правило, чтобы установить D, затем выполняет второе правило, чтобы установить F, и, наконец, выполняет первое правило, чтобы установить основной факт -- факт существования Z.
Цепочка выводов, созданная здесь, идентична той, что была получена в результате прямой цепочки рассуждений. Отличие этих подходов заключается в способе поиска правил и данных.
Знаниями можно называть описание отношений между абстрагированными понятиями и сущностями, выступающими конкретными объектами реального мира. Понятия и отношения между ними можно описать сетью, состоящей из узлов и дуг. Узлы в такой сети выражают сущности и понятия, а дуги являются описаниями их отношений; все узлы снабжены метками, которые показывают, что именно они описывают. Подобного рода формализм представления знаний получил название семантической сети. На рисунке 18 приведен пример данного метода представления. Этот рисунок описывает ситуацию, когда под некоторый объект заказываются детали и стоимость этих деталей должна быть выплачена поставщику.
Рисунок 18. Пример семантической сети
Термин «семантическая сеть» применяется для описания метода представления знаний, основанного на сетевой структуре. Семантические сети были первоначально разработаны для использования их в качестве психологических моделей человеческой памяти, но теперь это стандартный метод представления знаний в экспертный системах. Семантические сети состоят из точек, называемых узлами, и связывающих их дуг, описывающих отношения между узлами. Узлы в семантических сетях соответствует объектам, концепциям или событиям. Дуги могут быть определены разными методами, зависящими от вида представления знаний. Обычно дуги, используемые для представления иерархии, включают дуги типа «isa» («является») и «has-part» («имеет часть»). Семантические дуги, применяемые для описания естественных языков, состоят из дуг типа «агент», «объект», «реципиент». На рисунке 19 представлена структура семантической сети.
Рисунок 19. Структура семантической сети
Название «семантическая сеть» не только отражает возможность получения определенного формализма, как это имеет место в продукционных системах, оно охватывает все то, что рассмотрено выше, составом отношений сущностей и понятий. Следовательно, методы реализации конкретной системы различаются в зависимости от того, каким образом используется в них представление знаний.
Специфические свойства семантических сетей обусловили их широкую популярность среди исследователей как средство умозаключений, а среди структур данных, нашедших применение в компьютерах, используются структуры такого же вида, что и семантические сети.
Сейчас трудно точно установить, кто первым воспользовался сетями, однако хорошо известно, что Куиллиман использовал семантику терминов для описания отношений концептов (понятий) на самых ранних этапах исследований по прикладному искусственному интеллекту, когда сети служили вполне определенной цели -- представлению семантики и знаний [5].
Куиллиман, исходя из описания семантики одних терминов другими, представил в виде сети отношения концептов, присущих этим терминам. На рисунок 20 показана такая сеть. Он поставил перед собой задачу сетевого представления и снижения объема знаний при использовании сети с целью решения проблем.
Рисунок 20. Семантическая сеть Куиллимана: отн. -- отношения, С -- сущность, об. -- объект, явл. -- является
Исходя из того факта, что если в сети задан один концепт, то непосредственно получается и другой, находящийся с ним в тесной взаимосвязи, были проведены исследования (главным образом в области психологии) по применению семантических сетей как ассоциативных моделей.
В качестве простого примера рассмотрим предложения «"Красная заря" является фабрикой» и «Каждая фабрика является предприятием». Они могут быть представлены через семантическую сеть, как показано на рисунок 21. Этот пример использует важный тип дуг -- является. Поскольку мы знаем свойства дуг, связывающих узлы, мы можем вывести из сети третье утверждение: «"Красная заря" является предприятием». Отношение является и другие (типа имеет часть) устанавливают свойство иерархии наследования в сети -- «является предприятием». Это означает, что элементы более низкого уровня в сети могут наследовать свойства элементов более высокого уровня. При этом экономится память, поскольку информацию он является сходных узлов не нужно повторять в каждом узле сети. Она может размещаться в одном центральном узле сети, как показано на рисунке 22.
Рисунок 21. Семантическая сеть для предложений «Каждая фабрика является предприятием» и «"Красная заря" является фабрикой»
Например, в семантической сети, представляющей предприятие, такие его части, как управление, дирекция, включены один раз на уровне предприятия, вместо того чтобы повторять данные узлы на более низком уровне иерархии. Это может сберечь огромные объемы памяти, даже если мы работаем с несколькими предприятиями и их частями.
Рисунок 22. Простая семантическая сеть для понятия «предприятие»: и. ч. -- имеет часть, явл. -- является
По сети можно затем осуществить поиск, применяя знания о смысле отношений, обозначаемых дугами сети, чтобы устанавливать факты. Семантические сети также успешно используются в научных работах по естественному языку для представления сложных грамматических предложений (рисунок 23, 24).
...Подобные документы
Возможность поиска информации в режиме продвинутого диалога на естественном языке. Системы с интеллектуальным интерфейсом. Экспертные, самообучающиеся и адаптивные системы. Интеллектуальные базы данных. Системы контекстной и когнитивной помощи.
презентация [224,2 K], добавлен 16.10.2013Понятие искусственного интеллекта. Представление знаний и разработка систем, основанных на знаниях. Распознавание образов и машинный перевод. Нейрокомпьютеры и сети. Экспертные системы, их структура,классификация и инструментальные средства построения.
курсовая работа [922,1 K], добавлен 12.01.2009Информация, как сырье и как товар: абсолютная, относительная и аналитическая информация. Автоматизированные системы распознавания образов. Система искусственного интеллекта. Признаки и этапы жизненного цикла интеллектуальных информационных систем.
шпаргалка [60,4 K], добавлен 10.06.2009История развития искусственного интеллекта. Экспертные системы: их типы, назначение и особенности, знания и их представление. Структура идеальной и инструменты построения экспертных систем. Управление системой продукции. Семантические сети и фреймы.
реферат [85,7 K], добавлен 20.12.2011Понятие искусственного интеллекта как свойства автоматических систем брать на себя отдельные функции интеллекта человека. Экспертные системы в области медицины. Различные подходы к построению систем искусственного интеллекта. Создание нейронных сетей.
презентация [3,0 M], добавлен 28.05.2015Информация: свойства, измерение, передача; характеристики информационных каналов. Обработка и формы представления информации. Понятие "искусственного интеллекта". Назначение экспертных систем: оценки, фреймы, семантические сети и реляционные графы.
контрольная работа [74,0 K], добавлен 03.12.2012Экспертные системы как наиболее значительное практическое достижение в области искусственного интеллекта, их современная известность и применение. Назначение систем и обоснование их важности, структура и обязательные элементы, требования к системам.
контрольная работа [144,6 K], добавлен 02.09.2009Определение экспертных систем, их достоинство и назначение. Классификация экспертных систем и их отличие от традиционных программ. Структура, этапы разработки и области применения. Классификация инструментальных средств и технология разработки систем.
курсовая работа [78,0 K], добавлен 03.06.2009Понятие базы знаний для управления метаданными. Особенности баз знаний интеллектуальной системы. Языки, используемые для разработки интеллектуальных информационных систем. Классические задачи, решаемые с помощью машинного обучения и сферы их применения.
реферат [16,9 K], добавлен 07.03.2010Предмет и основные понятия информационных систем. Базовые стандарты корпоративных информационных систем. Характеристика входящих и исходящих потоков информации. Основные понятия искусственного интеллекта. Обеспечение безопасности информационных систем.
курс лекций [295,6 K], добавлен 11.11.2014История развития компьютерного анализа текста на естественном языке; выделение его проблем. Принципы извлечения информации и обработки разговорной речи. Ознакомление с программными продуктами, реализующими машинный перевод и проверку орфографии.
реферат [371,0 K], добавлен 13.02.2011Построение баз знаний для семантической сети. Цели создания и язык представления онтологий. Структура исследований в области многоагентных интеллектуальных информационных систем, архитектура агента. Экономическое обоснование разработки базы знаний.
дипломная работа [1,6 M], добавлен 29.09.2013Экспертные системы как направление исследований в области искусственного интеллекта по созданию вычислительных систем, умеющих принимать решения, схожие с решениями экспертов в заданной предметной области. Принципы построения алгоритма и его оценка.
курсовая работа [517,2 K], добавлен 12.06.2015Искусственный интеллект – научное направление, связанное с машинным моделированием человеческих интеллектуальных функций. Черты искусственного интеллекта Развитие искусственного интеллекта, перспективные направления в его исследовании и моделировании.
реферат [70,7 K], добавлен 18.11.2010Основные виды и технологии интеллектуальных информационных систем. Аспекты представления знаний. Функциональная структура использования ИИС. Интеллектуальная поддержка дистанционного образования и экстерната. Электронные учебники и тесты.
контрольная работа [93,8 K], добавлен 29.11.2006История развития интеллектуальных информационных технологий. Основные виды экономической деятельности, в которых применяются информационные технологии. Наиболее известные на отечественном экономическом рынке интеллектуальные информационные технологии.
курсовая работа [580,5 K], добавлен 10.06.2014Понятие искусственного интеллекта и интеллектуальной системы. Этапы развития интеллектуальных систем. Модели представления знаний, процедурный (алгоритмический) и декларативный способы их формализации. Построение концептуальной модели предметной области.
презентация [80,5 K], добавлен 29.10.2013Эволюция систем искусственного интеллекта. Направления развития систем искусственного интеллекта. Представление знаний - основная проблема систем искусственного интеллекта. Что такое функция принадлежности и где она используется?
реферат [49,0 K], добавлен 19.05.2006Особенности построения и функционирования информационных систем. Понятие, цель и задачи информационной логистики, информационные потоки и системы. Виды и принципы построения логистических информационных систем. Повышение качества логистического процесса.
контрольная работа [25,4 K], добавлен 11.11.2010Задачи информационных потоков в логистике. Виды и принципы построения, структура и элементы информационных логистических систем, основные требования к ним. Рекомендации по созданию, внедрению и режиму работы информационных систем в сфере логистики.
реферат [25,9 K], добавлен 14.01.2011