Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Содержание

Введение

1. Основные понятия

2. Показатели и критерии оценки систем. Виды критериев качеств

3. Шкала уровней качества систем

Заключение

Используемая литература

Приложение

Пример №1

Введение

система качество управление

Весь промышленный мир сходит с ума по качеству. Японское экономическое чудо, похоже, нашло свое выражение в простой формуле: "Система качества". Сложилась целая отрасль со своей наукой, своими авторитетами, "всемирно известными" методами, международными и национальными премиями, стандартами.

Разработчики программного обеспечения также охвачены лихорадкой качества. Хотя абсолютно все авторы и начинают свои публикации со слов: "Всем известно, что качество программного обеспечения не поддается точному определению и измерению", тем не менее, задача поставлена и требует решения. Что удается с трудом.

Оценка качественной стороны определенной системы управления, соответственно, не является исключением. Искусственные системы создаются, как правило, для реализации одной или ряда операций. Достижение поставленной цели - является основной задачей для данной интеллектуальной системы. Однако, идеальное мышление вида «задача выполнение превосходный результат» всего лишь одна из многих невыполнимых моделей. В общем случае, цель, заложенная как основная для системы, частично достигается посредством различных алгоритмов и процессов, протекающих в ней. И естественно отметить, что подобные алгоритмы еще не столь совершенны как и у любой другой системы. Поэтому при оценке систем принято различать качество систем и эффективность реализуемых системами процессов. Эффективность относят не к самой системе, а к выполняемой ею операции. Эффективность, как группа свойств, представляет только качество функционирования системы соответствие требуемого и достигаемого результата. Качественные же характеристики относят больше к самой системе в комплексном отношении.

Оценка системы производится с двух принципиально различных точек зрения. Во-первых, могут быть сформулированы показатели, характеризующие требования субъекта к вновь создаваемой или модернизируемой системе. Во-вторых, часто требуется определить качество уже существующей искусственной или естественной системы. В последнем случае показатели могут быть созданы или возникнуть для решения задач, о которых субъект имеет смутное представление, и воплощать неизвестные ему свойства.

1. Основные понятия

Качество ИС связано с дефектами, заложенными на этапе проектирования и проявляющимися в процессе эксплуатации. Свойства ИС, в том числе и дефектологические, могут проявляться лишь во взаимодействии с внешней средой, включающей технические средства, персонал, информационное и программное окружение.

В зависимости от целей исследования и этапов жизненного цикла ИС дефектологические свойства разделяют на дефектогенность, дефектабельность и дефектоскопичность.

Дефектогенность определяется влиянием следующих факторов:

· численностью разработчиков ИС, их профессиональными психофизиологическими характеристиками;

· условиями и организацией процесса разработки ИС;

· характеристиками инструментальных средств и комплексов ИС;

· сложностью задач, решаемых ИС;

· степенью агрессивности внешней среды (потенциальной возможностью внешней среды вносить преднамеренные дефекты, например воздействие вирусов).

Дефектабельность характеризует наличие дефектов ИС и определяется их количеством и местонахождением. Другими факторами, влияющими на дефектабельность, являются:

· структурно-конструктивные особенности ИС;

· интенсивность и характеристики ошибок, приводящих к дефектам.

Дефектоскопичность характеризует возможность проявления дефектов в виде отказов и сбоев в процессе отладки, испытаний или эксплуатации. На дефектоскопичность влияют:

· количество, типы и характер распределения дефектов;

· устойчивость ИС к проявлению дефектов;

· характеристики средств контроля и диагностики дефектов;

· квалификация обслуживающего персонала.

Оценка качества ИС является крайне сложной задачей из-за многообразия интересов пользователей. Поэтому невозможно предложить одну универсальную меру качества и приходится использовать ряд характеристик, охватывающих весь спектр предъявляемых требований. Наиболее близки к задачам оценки качества ИС модели качества программного обеспечения, являющегося одним из важных составных частей ИС. В настоящее время используется несколько абстрактных моделей качества программного обеспечения, основанных на определениях характеристики качества, показателя качества, критерия и метрики.

Критерий может быть определен как независимый атрибут ИС или процесса ее создания. С помощью такого критерия может быть измерена характеристика качества ИС на основе той или иной метрики. Совокупность нескольких критериев определяет показатель качества, формируемый исходя из требований, предъявляемых к ИС. В настоящее время наибольшее распространение получила иерархическая модель взаимосвязи компонентов качества ИС. Вначале определяются характеристики качества, в числе которых могут быть, например:

· общая полезность;

· исходная полезность;

· удобство эксплуатации.

Далее сформулированы показатели качества. Каждому показателю ставится в соответствие группа критериев. Для указанных показателей приведем возможные критерии. Надо отметить, что один и тот же критерий может характеризовать несколько показателей:

· практичность -- работоспособность, возможность обучения, коммуникативность, объем ввода, скорость ввода-вывода;

· целостность -- регулирование доступа, контроль доступа;

· эффективность -- эффективность использования памяти, эффективность функционирования;

· корректность -- трассируемость, завершенность, согласованность;

· надежность -- точность, устойчивость к ошибкам, согласованность, простота;

· удобство обслуживания -- согласованность, простоту, краткость, информативность, модульность;

· оцениваемость -- простота, наличие измерительных средств, информативность, модульность;

· гибкость -- распространяемость, общность, информатированность, модульность;

· адаптируемость -- общность, информативность, модульность, аппаратную независимость, программную независимость;

· мобильность -- информативность, модульность, аппаратную независимость, программную независимость;

· возможность взаимодействия -- модульность, унифицируемость процедур связи, данных.

С помощью метрик можно дать количественную или качественную оценку качества ИС. Различают следующие виды метрических шкал для измерения критериев.

Первый тип -- метрики, которые используют интервальную шкалу, характеризуемую относительными величинами реально измеряемых физических показателей, например, временем наработки на отказ, вероятностью ошибки, объемом информации и других.

Второй тип -- метрики, которым соответствует порядковая шкала, позволяющая ранжировать характеристики путем сравнения с опорными значениями.

Третий тип -- метрики, которым соответствуют номинальная, или категорированная шкала, определяющая наличие рассматриваемого свойства или признака у рассматриваемого объекта без учета градаций по этому признаку. Так, например, интерфейс может быть "простым для понимания", "умеренно простым", "сложным для понимания".

Развитием иерархического подхода является модель классификации критериев качества информационных систем. С помощью функциональных критериев оценивается степень выполнения ИС основных целей или задач. Конструктивные критерии предназначены для оценки компонент ИС, независящих от целевого назначения.

Рис. 1. Модель классификации критериев качества систем

Одним из путей обеспечения качества ИС является сертификация.

Сформулируем также основные понятия, необходимые для определения качественных показателей систем:

Идеальная система - гипотетическая модель исследуемой системы, идеально соответствующая всем критериям качества.

Область адекватности - некоторая окрестность значений показателей существенных свойств. На радиус области адекватности накладываются ограничения, зависящие от семантики предметной области. Как правило, определение данной величины является результатом фундаментальных научных исследований или экспертной оценки.

Оптимизация системы - процедура (процесс) управления системой для достижения экстремального значения критерия ее качества. При этом управление понимается в широком смысле, как целенаправленная трансформация структуры системы, ее параметров введения новых связей (переменных) - собственно управлений.

Рис. 2. Процесс оптимизации системы

Обобщенный показатель качества j-ой системы - вектор, компоненты которого есть суть показателей его отдельных свойств. Размерность этого вектора определяется числом существенных свойств системы.

2. Показатели и критерии оценки систем. Виды критериев качества

Каждая существенная (с точки зрения качества системы) характеристика системы (социальная, юридическая, техническая, экономическая и др.) может быть описана с помощью одного или нескольких показателей, значения которых характеризуют меру (интенсивность) этого свойства. Эту меру называют частным показателем качества системы. Показатели могут быть количественными или качественными.

Количественные показатели (параметры) можно измерить и оценить числом (например, производительность, стоимость). Качественные показатели не имеют общепризнанных единиц измерения (например, эстетические свойства, удобство использования и др.). Однако следует иметь в виду, что четко осознанные качественные показатели, как правило, тоже оцениваются числом (например, простота обслуживания измеряется временем, необходимым на обнаружение и устранение неисправности).

Все критерии качества системы в общем случае могут быть отнесены к одному из трех типов.

1. Критерий пригодности: система считается пригодной, если значения всех частных показателей качества этой системы принадлежат области адекватности, а радиус области адекватности соответствует допустимым значениям всех частных показателей.

2. Критерий оптимальности: система считается оптимальной по i-му показателю качества, если существует, хотя бы один частный показатель качества , значения которого принадлежат области адекватности с оптимальным радиусом () по этому показателю.

3. Критерий превосходства: система считается превосходной, если значения частных показателей качества принадлежат области адекватности с оптимальным радиусом по всем показателям.

Критерии должны обладать следующими свойствами:

1. представительность означает оценку основных (а не второстепенных) целей системы и учет всех главных сторон ее деятельности;

2. критичность (эластичность) к исследуемым параметрам состоит в значительных изменениях величины критерия при сравнительно малых изменениях исследуемых параметров;

3. простота.

3. Шкала уровней качества систем

При оценивании качества систем с управлением признают целесообразным введение нескольких уровней качества, проранжированных в порядке возрастания сложности рассматриваемых свойств. Эмпирические уровни качества получили названия: устойчивость, помехоустойчивость, управляемость, способность, самоорганизация.

Система, обладающая качеством данного порядка, имеет и все другие более простые качества, но не имеет качеств более высокого порядка.

Первичным качеством любой системы является ее устойчивость. Для простых систем устойчивость объединяет такие свойства, как прочность, стойкость к внешним воздействиям, сбалансированность, стабильность, гомеостазис (способность системы возвращаться в равновесное состояние при выводе из него внешними воздействиями). Для сложных систем характерны различные формы структурной устойчивости, такие, как надежность, живучесть и т.д.

Более сложным, чем устойчивость, является помехоустойчивость, понимаемая как способность системы без искажений воспринимать и передавать информационные потоки. Помехоустойчивость объединяет ряд свойств, присущих в основном системам управления. К таким свойствам относятся надежность информационных систем и систем связи, их пропускная способность, возможность эффективного кодирования/декодирования информации, электромагнитная совместимость радиоэлектронных средств и т.д.

Следующим уровнем шкалы качества системы является управляемость - способность системы переходить за конечное (заданное) время в требуемое состояние под влиянием управляющих воздействий. Управляемость обеспечивается, прежде всего, наличием прямой и обратной связи, объединяет такие свойства системы, как гибкость управления, оперативность, точность, производительность, инерционность, связность, наблюдаемость объекта управления и др. На этом уровне качества для сложных систем управляемость включает способность принятия решений по формированию управляющих воздействий.

Следующим уровнем на шкале качеств является способность. Это качество системы, определяющее ее возможности по достижению требуемого результата на основе имеющихся ресурсов в заданный период времени. Данное качество характеризуется такими свойствами, как результативность (производительность, мощность и т.п.), ресурсоемкость и оперативность.

Наиболее сложным качеством системы является самоорганизация. Самоорганизующаяся система способна изменять свою структуру, параметры, алгоритмы функционирования, поведение для повышения эффективности. Принципиально важными свойствами этого уровня являются свобода выбора решений, адаптируемость, самообучаемость, способность к распознаванию ситуаций и образов.

Рис. 3. Шкала уровней качества и дерево свойств систем с управлением

Заключение

Современные интеллектуальные системы весьма различны по своим функциям, но алгоритмы, на которых они базируются, до сих пор не совершенны в абсолютном смысле. Системный анализ позволяет проследить определенные погрешности построения таких информационных систем на различных уровнях проектирования. Качественный и количественный методы анализа - неотъемлемая часть данного процесса.

Совершенствование и разработка новых технологий в области теории систем и системного подхода - это актуальное направление научных исследований. Поэтому изучение этих методов являет собой перспективу совершенствования информационных процессов и систем на многих уровнях качественных показателей.

Используемая литература

1. «Системный анализ в управлении», В.С. Анфилатов, А.А. Емельянов, А.А. Кукушкин, Москва, 2002г.

2. «Основные процедуры системных исследований», Р.Г. Мирзоев, А.Ф. Харченко, Санкт-Петербург, 2000г.

3. «Методология систем», В.Д. Могилевский, Москва, Экономика, 1999г.

4. www.intuit.ru, Курс «Интеллектуальные САПР».

5. http://www.intuit.ru/department/human/isrob/6/1.html, «Методология построения экспертных систем»

6. http://www.asknet.ru/, Поисковик использовался для анализа ЭС.

7. http://ecpert.ru/1/index2.html, Курс «Экспертные системы».

8. http://ai.obrazec.ru/aiexpert.htm С.Л. Сотник «Экспертные системы».

9. «Интеллектуальные информационные системы», А.В. Андрейчиков, О.Н. Андрейчикова, Москва, «Финансы и статистика», 2004 г.

Приложение

Примеры оценки качества систем

Пример №1 Оценка качества системы MYCIN.

MYCIN была ранней экспертной системой разработанной за 5 или 6 лет в начале 1970х годов в Стендфордском университете. Она была написана на Лиспе как докторская диссертация Edward Shortliffe под руководством Bruce Buchanan, Stanley N. Cohen и других. В этой же лаборатории была ранее создана экспертная система Dendral, но на этот раз внимание было акцентировано на использовании решающих правил с элементами неопределенности. MYCIN был спроектирован для диагностирования бактерий, вызывающих тяжелые инфекции, такие как бактериемия и менингит, а также для рекомендации необходимого количества антибиотиков в зависимости от массы тела пациента. Название системы происходит от суффикса «мицин», часто встречающегося в названиях антибиотиков. Также Mycin использовалась для диагностики заболеваний свертываемости крови.

Еще в 1974 году, на самой ранней стадии разработки системы MYCIN, были получены весьма обнадеживающие результаты. Команда из пяти высококвалифицированных экспертов в области диагностики инфекционных заболеваний подтвердила правильность 72% рекомендаций, сделанных системой, которые относились к 15 реальным заболеваниям. Главной проблемой оказалась не точность диагноза, а отсутствие правил, которые позволяли бы судить о серьезности заболевания.

В 1979 году были организованы более формальные испытания усовершенствованной версии MYCIN по диагностике таких заболеваний, как бактеремия и менингит. Окончательное заключение, вынесенное программой в 10 реальных случаях, сравнивалось с заключениями ведущих медиков Станфордского университета и рядовых врачей, причем рассматривались и такие случаи, в которых лечение уже проводилось. Затем были привлечены восемь других экспертов, которых попросили оценить рейтинг 10 рекомендаций о курсе лечения в каждом из рассмотренных случаев. Для каждого из предлагавшихся наборов рекомендаций была определена максимальная оценка 80 баллов, причем экспертам было неизвестно, что некоторые из них предложены не врачом, а компьютером.

Отличие между оценкой, полученной MYCIN, и оценками качества рекомендаций ведущих специалистов Станфорда, невелико, а по сравнению с рядовыми врачами система оказалась даже на более высоком уровне.

Однако по ряду причин (в том числе и перечисленных ниже) экспертная система MYCIN так никогда и не использовалась в реальной врачебной практике.

· База знаний системы, включающая около 400 правил, все-таки недостаточна для реального внедрения в практику лечения больных инфекционными болезнями.

· Внедрение системы требует приобретения достаточно дорогой вычислительной машины, что не могло себе позволить в те времена большинство лечебных учреждений.

· Врачи-практики не испытывают никакого желания работать за терминалом компьютера, что совершенно необходимо для применения на практике экспертной системы. К тому же существующий в 1976 году интерфейс с пользователем в той версии системы MYCIN не был тщательно продуман.

Система MYCIN при всей ее практической направленности была и осталась все-таки экспериментальной исследовательской системой, не рассчитанной на коммерческое применение.

Пример №1

Оценка качества системы Wolfram Alpha.

Wolfram Alpha - это система, предназначенная для хранения, обработки и выдачи пользователям структурированных данных по запросам на естественном английском языке. Wolfram Alpha не является поисковой системой. Это обусловлено тем, что она не предназначена для автоматической обработки неструктурированных текстов. Для ее работы необходимо предварительно вручную ввести фактографическую информацию в базу данных, а также разработать и реализовать алгоритмы ее обработки. Данные процедуры выполняются вручную сообществом разработчиков и экспертов системы Wolfram Alpha.

Из анализа описания системы система Wolfram Alpha следует, что получения ответов система Wolfram Alpha должна:

· - уметь правильно разобрать запрос пользователя на естественном языке;

· - иметь соответствующую структурированную фактографическую информацию;

· - иметь алгоритмы обработки фактографической информации, обеспечивающие формирование ответа на запрос пользователя.

Таким образом, система Wolfram Alpha автоматически способна обрабатывать только заранее структурированную вручную фактографическую информацию, хранящуюся в СУДБ. Для синтеза ответов могут использоваться детерминированные алгоритмы выборки дополнительной информации и проведения расчетов по фактографическим данным. По данным формальным признакам система Wolfram Alpha может быть отнесена к известному классу систем Business Intelligence. Системы данного класса являются узко специализированными, что обусловливает незначительный спектр вопросов, на которые можно получить ответы системы Wolfram Alpha. Данное ограничение является системным, так как заложено в концепцию ее функционирования.

Система Wolfram Alpha принципиально не позволяет пользователям искать ответы на любые интересующие их вопросы. Для этого предназначены вопросно-ответные поисковые системы. В отличие от системы Wolfram Alpha вопросно-ответные поисковые системы автоматически выявляют фактографическую информацию в обрабатываемых текстах и проводят ее индексацию без участия человека. За счет этого достигается существенное повышение полноты поиска. Для обобщения, проведения логического вывода и синтеза ответов вопросно-ответные поисковые системы также используют правила обработки фактографической информации. Однако, в отличие от системы Wolfram Alpha, правила логической обработки при этом представляют из себя не отдельные алгоритмы, направленные на решение заранее определенных сравнительно простых задач, а логические правила, которые могут автоматически применяться в динамически формируемой последовательности, определяющей порядок обработки первичной фактографической информации и формирования ответа на вопрос пользователя. Для проверки данных положений проведем сравнительное тестирование систем Wolfram Alpha и AskNet.ru.

Тестирование систем было проведено по первым 71 тестовым случаям из 500. Это было обусловлено получением результатов тестирования, явно отражающих характеристики систем и позволяющих сформулировать достоверные выводы.

Результаты сравнительного тестирования систем Wolfram Alpha и AskNet.ru

Обобщенные результаты сравнительного тестирования систем Wolfram Alpha и AskNet.ru представлены в таблице.

Таблица

При анализе выдачи вопросно-ответной поисковой системы AskNet.ru проводился учет наличия и номера позиции правильного ответа. Среднее значение позиции правильного ответа на странице, если ответ был найден, составляет 1,63. Это означает, что в среднем правильный ответ находился в выдаче вопросно-ответной поисковой системы AskNet.ru на первом или на втором месте.

Система Wolfram Alpha в 57 случаях не могла определить смысл запроса пользователя и выдавала сообщение «Wolfram Alpha isn't sure what to do with your input». В трех тестовых случаях система Wolfram Alpha вывела диалог уточнения смыслового содержания введенного пользователем запроса.

Результаты сравнительного тестирования систем Wolfram Alpha и AskNet.ru подтвердили правильность выше изложенных теоретических оценок.

Система Wolfram Alpha не является «универсальным вычислителем ответов», как это было заявлено в ходе ее рекламной компании в Интернете. Практическая полезность системы Wolfram Alpha для получения смысловой информации на произвольные вопросы крайне низка. На это указывает низкая вероятность получения правильного ответа в ее выдаче. Действительно, для получения правильного ответа в системе Wolfram Alpha должно выполниться много условий: система должна корректно разобрать вопрос пользователя и корректно составить шаблон семантического поиска, в системе должна быть соответствующая фактографическая информация и алгоритмы ее обработки. Фактографическая информация и алгоритмы ее обработки в системе Wolfram Alpha вводятся вручную, поэтому данная система может быть использована для поиска и обработки информации ограниченного объема. Подключение расчетных задач для обработки результатов предварительно отбираемой системой структурированной информации при формировании ответа пользователю характерно для систем класса Business Intelligence. Однако, как известно, системы данного класса имеют четко выраженную узкую прикладную направленность.

Таким образом, при существующей концепции функционирования, система Wolfram Alpha ориентирована на сравнительно узкие прикладные области применения, определяемые вручную вводимыми фактографическими данными и алгоритмами их обработки.

Размещено на Allbest.ru