Этапы когнитивного анализа

Размещено на http://www.allbest.ru/

1. Когнитивный анализ

Когнитивный анализ иногда именуется исследователями «когнитивной структуризацией».

Когнитивный анализ рассматривается как один из наиболее мощных инструментов исследования нестабильной и слабоструктурированной среды. Он способствует лучшему пониманию существующих в среде проблем, выявлению противоречий и качественному анализу протекающих процессов. Суть когнитивного (познавательного) моделирования - ключевого момента когнитивного анализа - состоит в том, чтобы сложнейшие проблемы и тенденции развития системы отразить в упрощенном виде в модели, исследовать возможные сценарии возникновения кризисных ситуаций, найти пути и условия их разрешения в модельной ситуации. Использование когнитивных моделей качественно повышает обоснованность принятия управленческих решений в сложной и быстроизменяющейся обстановке, избавляет эксперта от «интуитивного блуждания», экономит время на осмысление и интерпретацию происходящих в системе событий.

В.И. Максимов и С.В. Качаев для объяснения принципов использования информационных познавательных (когнитивных) технологий для совершенствования управления используют метафору корабля в бушующем океане - так называемую модель «фрегат-океан». Большинство видов коммерческой и некоммерческой деятельности в нестабильной и слабоструктурированной среде «неизбежно связаны с риском, вызываемым как неопределенностью будущих условий работы, так и возможными ошибочными решениями, принимаемыми руководством…. Руководству очень важно уметь предвидеть подобные трудности и заранее разработать стратегии их преодоления, т.е. иметь заранее проработанные установки возможного поведения». Эти разработки предлагается проводить на моделях, в которых информационная модель объекта управления («фрегат») взаимодействует с моделью внешней среды - экономической, социальной, политической и т.д. («океан»). «Цель такого моделирования - дать рекомендации “фрегату” как пересечь “океан” с наименьшими “усилиями”… Интерес… представляют способы достижения цели с учетом попутных “ветров” и “течений” … Итак, ставим цель: определить “розу ветров”… [внешней среды], а там посмотрим, какие “ветры” будут попутными, какие - встречными, как ими воспользоваться и как обнаружить важные для… [объекта] свойства внешней ситуации».

Таким образом, сущность когнитивного подхода заключается, как уже упоминалось, в том, что бы помочь эксперту отрефлексировать ситуацию и разработать наиболее эффективную стратегию управления, основываясь не столько на своей интуиции, сколько на упорядоченном и верифицированном (насколько это возможно) знании о сложной системе.

2. Этапы когнитивного анализа

Когнитивный анализ состоит из нескольких этапов, на каждом из которых реализуется определённая задача. Последовательное решение этих задач приводит к достижению главной цели когнитивного анализа. Исследователи приводят разную номенклатуру этапов в зависимости от специфики изучаемого объекта (объектов). Если суммировать и обобщить все эти подходы, то можно выделить следующие этапы, характерные для когнитивного анализа любой ситуации.

1. Формулировка цели и задач исследования.

2. Изучение сложной ситуации с позиций поставленной цели: сбор, систематизация, анализ существующей статистической и качественной информации относительно объекта управления и его внешней среды, определение присущих исследуемой ситуации требований, условий и ограничений.

3. Выделение основных факторов, воздействующих на развитие ситуации.

4. Определение взаимосвязи между факторами путем рассмотрения причинно-следственных цепочек (построение когнитивной карты в виде ориентированного графа).

5. Изучение силы взаимовлияния разных факторов. Для этого используются как математические модели, описывающие некоторые точно выявленные количественные зависимости между факторами, так и субъективные представления эксперта относительно неформализуемых качественных взаимоотношений факторов.

В результате прохождения этапов 3 - 5 строится, в конечном итоге, когнитивная модель ситуации (системы), которая отображается в виде функционального графа. Поэтому можно сказать, что этапы 3 - 5 представляют собой когнитивное моделирование. Более подробно все эти стадии и основные понятия когнитивного моделирования будут рассмотрены в пунктах 4 - 7).

6. Проверка адекватности когнитивной модели реальной ситуации (верификация когнитивной модели).

7. Определение с помощью когнитивной модели возможных вариантов развития ситуации (системы), обнаружение путей, механизмов воздействия на ситуацию с целью достижения желаемых результатов, предотвращения нежелательных последствий, то есть выработка стратегии управления. Задание целевых, желаемых направлений и силы изменения тенденций процессов в ситуации. Выбор комплекса мероприятий (совокупности управляющих факторов), определение их возможной и желаемой силы и направленности воздействия на ситуацию (конкретно-практическое применение когнитивной модели).

Рассмотрим детально каждый из приведённых этапов (за исключением первого и второго, которые являются, по существу, подготовительными), механизмы реализации частных задач каждого из этапов, а также проблемы, возникающие на разных стадиях когнитивного анализа.

3. Цели, этапы и основные понятия когнитивного моделирования

3.1 Цель построения когнитивной модели

Когнитивное моделирование способствует лучшему пониманию проблемной ситуации, выявлению противоречий и качественному анализу системы. Цель моделирования состоит в формировании и уточнении гипотезы о функционировании исследуемого объекта, рассматриваемого как сложная система, которая состоит из отдельных, но все же связанных между собой элементов и подсистем.

3.2 Этапы когнитивного моделирования

В общих чертах этапы когнитивного моделирования рассмотрены выше. В трудах специалистов ИПУ РАН содержится конкретизированное изложение этих этапов. Выделим основные из них.

§ Выявление факторов, характеризующих проблемную ситуацию, развитие системы (среды). Например, суть проблемы неплатежей налогов можно сформулировать в факторах «Неплатежи налогов», «Собираемость налогов», «Доходы бюджета», «Расходы бюджета», «Дефицит бюджета» и др.

§ Выявление связей между факторами. Определение направления влияний и взаимовлияний между факторами. Например, фактор «Уровень налогового бремени» влияет на «Неплатежи налогов».

§ Определение характера влияния (положительное, отрицательное, +\-) Например, увеличение (уменьшение) фактора «Уровень налогового бремени» увеличивает (уменьшает) «Неплатежи налогов» - положительное влияние; а увеличение (уменьшение) фактора «Собираемость налогов» уменьшает (увеличивает) «Неплатежи налогов» - отрицательное влияние. (На этом этапе осуществляется построение когнитивной карты в виде ориентированного графа.)

§ Определение силы влияния и взаимовлияния факторов (слабо, сильно) Например, увеличение (уменьшение) фактора «Уровень налогового бремени» «значительно» увеличивает (уменьшает) «Неплатежи налогов» (Окончательное построение когнитивной модели в виде функционального графа).

Таким образом, в когнитивную модель входят когнитивная карта (ориентированный граф) и веса дуг графа (оценка взаимовлияния или влияния факторов). При определении весов дуг ориентированный граф превращается в функциональный.

Проблемы выявления факторов, оценки взаимовлияния факторов и типология факторов будут рассмотрены в пунктах 5 и 6; здесь же рассмотрим такие базовые понятия когнитивного моделирования как когнитивная карта и функциональный граф.

3.3 Ориентированный граф (когнитивная карта)

В рамках когнитивного подхода довольно часто термины «когнитивная карта» и «ориентированный граф» употребляются как равнозначные; хотя, строго говоря, понятие ориентированный граф шире, а термин «когнитивная карта» указывает лишь на одно из применений ориентированного графа.

Когнитивная карта состоит из факторов (элементов системы) и связей между ними.

Для того чтобы понять и проанализировать поведение сложной системы, строят структурную схему причинно-следственных связей элементов системы (факторов ситуации). Два элемента системы А и В, изображаются на схеме в виде отдельных точек (вершин), соединённых ориентированной дугой, если элемент А связан с элементом В причинно-следственной связью: А В, где: А - причина, В - следствие.

Факторы могут влиять друг на друга, причем такое влияние, как уже указывалось, может быть положительным, когда увеличение (уменьшение) одного фактора приводит к увеличению (уменьшению) другого фактора, и отрицательным, когда увеличение (уменьшение) одного фактора приводит к уменьшению (увеличению) другого фактора. Причём, влияние может иметь и переменный знак в зависимости от возможных дополнительных условий.

Подобные схемы представления причинно-следственных связей широко используются для анализа сложных систем в экономике и социологии.

Пример когнитивной карты некоторой экономической ситуации приведен на рис. 1.

Рисунок 1 Ориентированный граф

3.4 Функциональный граф (завершение построения когнитивной модели)

Когнитивная карта отображает лишь факт наличия влияний факторов друг на друга. В ней не отражается ни детальный характер этих влияний, ни динамика изменения влияний в зависимости от изменения ситуации, ни временные изменения самих факторов. Учет всех этих обстоятельств требует перехода на следующий уровень структуризации информации, то есть к когнитивной модели. На этом уровне каждая связь между факторами когнитивной карты раскрывается соответствующими зависимостями, каждая из которых может содержать как количественные (измеряемые) переменные, так и качественные (не измеряемые) переменные. При этом количественные переменные представляются естественным образом в виде их численных значений. Каждой же качественной переменной ставится в соответствие совокупность лингвистических переменных, отображающих различные состояния этой качественной переменной (например, покупательский спрос может быть «слабым», «умеренным», «ажиотажным» и т.п.), а каждой лингвистической переменной соответствует определенный числовой эквивалент в шкале [0,1]. По мере накопления знаний о процессах, происходящих в исследуемой ситуации, становится возможным более детально раскрывать характер связей между факторами. Формально, когнитивная модель ситуации может, как и когнитивная карта, быть представлена графом, однако каждая дуга в этом графе представляет уже некую функциональную зависимость между соответствующими факторами; т.е. когнитивная модель ситуации представляется функциональным графом.

Пример функционального графа, отражающего ситуацию в условном регионе представлен на рис. 2.

Рисунок 2 Функциональный граф

4. Основные проблемы построения когнитивной модели

Существуют две главные проблемы построения когнитивной модели.

Во-первых, трудности вызывает выявление факторов (элементов системы) и ранжирование факторов (выделение базисных и второстепенных) (на этапе построения ориентированного графа).

Во-вторых, выявление степени взаимовлияния факторов (определение весов дуг графа) (на этапе построения функционального графа).

4.1 Выявление факторов (элементов системы)

Можно констатировать, что исследователями не разработан чёткий алгоритм выявления элементов исследуемых систем. Предполагается, что изучаемые факторы ситуации уже известны эксперту, проводящему когнитивный анализ.

Обычно при рассмотрении крупных (например, макроэкономических) систем применяется так называемый PEST-анализ (Policy - политика, Economy - экономика, Society - общество, Technology - технология), предполагающий выделение 4-х основных групп факторов, посредством которых анализируется политический, экономический, социокультурный и технологический аспекты среды. Подобный подход хорошо известен во всех социально-экономических науках.

PEST-анализ - это инструмент исторически сложившегося четырехэлементного стратегического анализа внешней среды. При этом для каждого конкретного сложного объекта существует свой особый набор ключевых факторов, которые непосредственно и наиболее существенным образом влияет на объект. Анализ каждого из выделенных аспектов проводится системно, так как в жизни все эти аспекты между собой тесно взаимосвязаны.

Кроме того, предполагается, что эксперт может судить о номенклатуре факторов, сообразуясь со своими субъективными представлениями. Так, «Фундаментальный» анализ финансовых ситуаций, близкий по некоторым параметрам к когнитивному анализу, базируется на наборе базисных факторов (финансово-экономических показателей) - как макроэкономических, так и более низкого порядка, как долгосрочных, так и краткосрочных. Эти факторы, в соответствие с «фундаментльным» подходом определяются на основе здравого смысла.

Таким образом, единственный вывод, который можно сделать относительно процесса выявления факторов, заключается в том, что аналитик, преследуя эту цель, должен руководствоваться уже готовыми знаниями разных социально-экономических наук, занимающихся конкретным изучением разнообразных систем, а также своим опытом и интуицией.

4.2 Два подхода к выявлению связей между факторами

Для отображения характера взаимодействия факторов используются позитивный и нормативный подходы.

Позитивный подход основывается на учете объективного характера взаимодействия факторов и позволяет провести дуги, приписать им знаки (+ / -) и точные веса, то есть отразить характер этого взаимодействия. Этот подход применим в том случае, если взаимосвязь факторов может быть подвергнута формализации и выражена математическими формулами, устанавливающими точные количественные взаимосвязи.

Однако далеко не все реальные системы и их подсистемы описываются теми или иными математическими формулами. Можно сказать, что формализованы лишь некоторые частные случаи взаимодействия факторов. Более того, чем сложнее система, тем менее вероятность её исчерпывающего описания посредством традиционных математических моделей. Это связано прежде всего с фундаментальными свойствами нестабильных, слабоструктурированных систем, описанными в пункте 1. Поэтому позитивный подход дополняется нормативным.

Нормативный подход основывается на субъективном, оценочном восприятии взаимодействия факторов и его использование также позволяет приписать дугам веса, т. е. отразить силу (интенсивность) взаимодействия факторов. Выяснение влияний факторов друг на друга и оценки этих влияний опираются на «прикидки» эксперта и выражаются в количественном виде с помощью шкалы [-1,1] или лингвистическими переменными типа «сильно», «слабо», «умеренно». Иначе говоря, при нормативном подходе перед экспертом стоит задача интуитивно определить силу взаимовлияния факторов, основываясь на своих знаниях о качественной взаимосвязи.

Кроме того, как уже упоминалось, эксперту требуется определить отрицательный или положительных характер влияния факторов, а не только силу влияния. При осуществлении этой задачи, очевидно, возможно использование двух означенных выше подходов.

4.3 Примеры выделения факторов и связей между ними

Приведём некоторые примеры, использующиеся исследователями для иллюстрации выделения факторов и установления связей между ними.

Так, В. Максимов, С. Качаев и Е. Корноушенко для построения когнитивной модели процессов, происходящих в кризисной экономике, выделяют следующие базовые факторы: 1. Валовый внутренний продукт (ВВП); 2. Совокупный спрос; 3. Инфляция; 4. Сбережения; 5. Потребление; 6. Инвестиции; 7. Государственные закупки; 8. Безработица; 9. Предложение денег; 10. Государственные трансфертные платежи; 11. Государственные расходы; 12. Государственные доходы; 13. Дефицит государственного бюджета; 14. Налоги; 15. Неплатежи налогов;16. Ставка процента; 17. Спрос на деньги.

В. Максимов, Е. Гребенюк, Е. Корноушенко в статье «Фундаментальный и технический анализ: интеграция двух подходов» приводят ещё один пример выявления факторов и раскрывают характер связей между ними: «Важнейшими экономическими показателями, оказывающими влияние на рынок акций США и Европы, являются: валовый национальный продукт (ВНП), индекс производственной продукции (ИПП), индекс потребительских цен (ИПЦ), индекс производственных цен (ИПрЦ), уровень безработицы, цена на нефть, курс доллара… Если рынок растет и экономические показатели подтверждают стабильное развитие экономики, то можно ожидать дальнейшего роста цен… Акции повышаются в цене, если прибыли компании растут и есть перспектива их дальнейшего роста… Если реальные темпы роста экономических показателей расходятся с ожидаемыми, то это приводит к панике на фондовом рынке и к его резким изменениям. Изменение валового национального продукта в норме составляет 3-5% в год. Если годовой рост ВНП превышает 5%, то это называют экономическим бумом, который в итоге может привести к обвалу рынка. Изменение ВНП можно предвидеть по изменениям индекса производственной индустрии. Резкое увеличение ИПП указывает на возможный рост инфляции, который приводит к падению рынка. Рост ИПЦ и ИПрЦ и цен на нефть также приводит к падению рынка. Высокий уровень безработицы в США и в Европе (свыше 6%) вынуждает федеральные службы понижать ставку банковского процента, что приводит к оживлению экономики и подъему цен акций. Если безработица уменьшается постепенно, то рынок на эти изменения не реагирует. Если уровень ее резко падает и становится меньше ожидаемого значения, то рынок начинает падать, потому что резкое уменьшение безработицы может увеличить сверх ожидаемого уровень инфляции».

5. Проверка адекватности модели

Исследователями предложено несколько формальных процедур проверки адекватности выстроенной модели. Однако, поскольку модель строится не только на формализованных отношениях факторов, математические методы проверки ее правильности не всегда дают точную картину. Поэтому исследователи предложили своего рода «исторический метод» проверки адекватности модели. Иначе говоря, разработанная модель какой-либо ситуации применяется к подобным ситуациям, существовавшим в прошлом и динамика которых хорошо известна. В том случае, если модель оказывается работоспособной (то есть выдаёт прогнозы, совпадающие с реальным ходом событий), она признаётся правильной. Конечно же, не один из метод верификации модели в отдельности не является исчерпывающим, поэтому целесообразно применение комплекса процедур проверки правильности.

6. Использование когнитивной модели

когнитивный управление стратегический

6.1 Применение когнитивных моделей в системах поддержки принятия решений

Главное назначение когнитивной модели - помочь эксперту в процессе познания и соответственно выработки правильного решения. Поэтому когнитивный подход используется в системах поддержки принятия решений.

Когнитивная модель визуализирует и упорядочивает информацию об обстановке, замысле, целях и действиях. При этом визуализация выполняет важную когнитивную функцию, иллюстрируя не только результаты действий субъекта управления, но и подсказывая ему способы анализа и генерирования вариантов решений.

Однако когнитивная модель служит не только для систематизации и «прояснения» знаний эксперта, но и для выявления наиболее выгодных «точек приложения» управляющих воздействий субъекта управления. Иначе говоря, когнитивная модель объясняет, на какой фактор или взаимосвязь факторов необходимо воздействовать, с какой силой и в каком направлении, чтобы получить желаемое изменение целевых факторов, то есть, чтобы добиться цели управления с наименьшими затратами.

Управляющие воздействия могут быть кратковременными (импульсными) или продолжительными (непрерывными), действующими вплоть до достижения цели. Возможно и совместное использование импульсных и непрерывных управляющих воздействий.

При достижении заданной цели сразу же встает задача удержания ситуации в достигнутом благоприятном состоянии до тех пор, пока не появится новая цель. В принципе, задача удержания ситуации в требуемом состоянии не отличается от задачи достижения цели.

Комплекс взаимосвязанных управляющих воздействий и их логичная временная последовательность составляют целостную стратегию управления (модель управления).

Применение разных моделей управления может привести к разным результатам. Здесь важно уметь предсказать, к каким последствиям приведёт, в конечном итоге, та или иная управленческая стратегия.

Для разработки такого рода прогнозов используется сценарный подход (сценарное моделирование) в рамках когнитивного анализа. Иногда сценарное моделирование называют «динамическое имитационное моделирование».

Сценарный подход представляет собой своего рода «разыгрывание» разных вариантов развития событий в зависимости от избранной модели управления и поведения непредсказуемых факторов. Для каждого сценария выстраивается триада «исходные предпосылки - наше воздействие на ситуацию - полученный результат». Когнитивная модель в этом случае позволяет учесть весь комплекс эффектов управляющих воздействий для разных факторов, динамику факторов и их взаимосвязей при разных условиях.

Таким образом, выявляются все возможные варианты развития системы и вырабатываются предложения по поводу оптимальной стратегии управления для реализации желаемого сценария из возможных.

Исследователи довольно часто включают сценарное моделирование в число этапов когнитивного анализа или же рассматривают сценарное моделирование как дополнение к когнитивному анализу.

Если суммировать и обобщить мнения исследователей относительно стадий сценарного моделирования, то в самом общем виде этапы сценарного анализа можно представить следующим образом.

1. Выработка цели управления (желаемого изменения целевых факторов).

2. Разработка сценариев развития ситуации при применении разных стратегий управления.

3. Определение достижимости поставленной цели (реализуемости сценариев, ведущих к ней); проверка оптимальности уже намеченной стратегии управления (если таковая имеется); выбор оптимальной стратегии, соответствующей наилучшему, с точки зрения поставленной цели, сценарию.

4. Конкретизация оптимальной управленческой модели - разработка конкретно-практических рекомендаций руководителям. Эта конкретизация включает в себя выявление управляющих факторов (посредством которых можно влиять на развитие событий), определение силы и направленности управляющих воздействий на управляющие факторы, предсказание вероятных кризисных ситуаций вследствие влияния непредсказуемых внешних факторов и т.п.

Следует заметить, что этапы сценарного моделирования могут меняться в зависимости от объекта исследования и управления.

На начальном этапе моделирования может быть достаточно качественной информации, не имеющей точного числового значения и отражающей суть ситуации. При переходе к моделированию конкретных сценариев все более значимым становится использование количественной информации, представляющей собой числовые оценки значений каких-либо показателей. В дальнейшем для проведения необходимых вычислений используется в основном количественная информация.

Самым первым сценарием, который не требует никаких действий исследователя по его формированию, является саморазвитие ситуации (в данном случае вектор управляющих воздействий «пуст»). Саморазвитие ситуации является отправной точкой для дальнейшего формирования сценариев. Если исследователя устраивают результаты, полученные при саморазвитии (другими словами, если в ходе саморазвития достигаются поставленные цели), то дальнейшее сценарное исследование сводится к изучению влияния на ситуацию тех или иных изменений внешней среды.

Существуют два основных класса сценариев: сценарии, моделирующие внешние воздействия и сценарии, моделирующие целенаправленное (управляемое) развитие ситуации.

6.2 Пример работы с когнитивной моделью

Рассмотрим пример работы с когнитивной моделью, приведённый в статье С.В. Качаева и Д.И. Макаренко «Интегрированный информационно-аналитический комплекс для ситуационного анализа социально-экономического развития региона».

«Применение интегрированного информационно-аналитического комплекса ситуационного анализа можно рассмотреть на примере разработки стратегии и программы социально-экономического развития региона.

На первом этапе строится когнитивная модель социально-экономической ситуации в регионе… Далее моделируются сценарии потенциальной и реальной возможности изменения ситуации в регионе и достижения поставленных целей.

В качестве целей социально-экономической политики были выбраны:

· увеличение объемов производства

· улучшение уровня жизни населения региона

· сокращение бюджетного дефицита

Для достижения поставленных целей были выбраны следующие “рычаги” (управляющие факторы - Ю.М.), с помощью которых лицо, принимающее решение, может или хочет влиять на ситуацию:

· доходы населения;

· инвестиционный климат;

· издержки производства;

· развитие производственной инфраструктуры;

· собираемость налогов;

· налоговые льготы;

· политические и экономические преференции региону.

В результате моделирования выясняется потенциальная и реальная возможность достижения поставленных целей с помощью выбранных рычагов и полученных управляющих воздействий (см. рис. 3).

Рисунок 3 Когнитивное и динамическое имитационное (сценарное) моделирование

На следующем этапе переходят от выработки стратегии достижения целей к разработке программы конкретных действий. Инструментом реализации стратегии является региональная бюджетная и налоговая политика.

Выбранным на предыдущем этапе рычагам и определенным воздействиям соответствуют следующие направления бюджетной и налоговая политики.

Таким образом, интегрированный информационно-аналитический комплекс ситуационного анализа является мощным инструментом выработки стратегии развития региона и претворения этой стратегии в жизнь».

Необходимо заметить, что в исследованиях примеры использования когнитивного и сценарного моделирования обычно приводятся в весьма общем виде, поскольку, во-первых, подобного рода информация является эксклюзивной и представляет определённую коммерческую ценность, и, во-вторых, каждая конкретная ситуация (система, среда, объект управления) требует индивидуального подхода.

Существующая теоретическая база когнитивного анализа, хотя и требует уточнений и развития, позволяет разным субъектам управления заняться разработкой собственных когнитивных моделей, поскольку, как упоминалось, предполагается, что для каждой области, для каждой проблемы, составляются специфические модели.

Список литературы

1. Интеллектуализированные компьютерные технологии поддержки принятия решений. (http://www.ipu.ru/labs/lab51/projects.htm)

2. ИЦ 'Socio Ego' Когнитивная психология. (http://www.socioego.ru/teoriya/cent/cog_psi.html)

3. Качаев С.В., Макаренко Д.И. Интегрированный информационно-аналитический комплекс для ситуационного анализа социально-экономического развития региона. (http://www.hmao.wsnet.ru/Infopm/Seminar/24_05_00/kachaev.htm)

4. Когнитивный анализ и управление развитием ситуаций // Конференции и семинары. (http://www.ipu.ru/semin/arhiv/kogn2001)

5. Кулинич А.А.Методология когнитивного моделирования сложных плохо определенных ситуаций. (http://www.raai.org/about/persons/kulinich/)

6. Макаренко Д.И., Максимов В.И. Роль геополитических факторов при когнитивном моделировании открытых систем. (http://www.sbcinfo.ru/articles/8th_2000conf/1_14.htm)

7. Максимов В., Гребенюк Е., Корноушенко Е. Фундаментальный и технический анализ: интеграция двух подходов. // Банковские Технологии, №9, 2009. (http://www.bizcom.ru/analisys/1999-09/01-03.html).

8. Максимов В., Качаев С., Корноушенко Е. Анализ и управление в нестабильной среде. // Банковские Технологии, №3, 1999. (http://www.bizcom.ru/analisys/1999-03/01-07.html)

Размещено на Allbest.ru