Экспертно-аналитические методы форсайт-исследований: информационные технологии и компьютерный инструментарий

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Экспертно-аналитические методы форсайт-исследований: информационные технологии и компьютерный инструментарий

Коломейченко А.С., Шуметов В.Г.

Важным фактором повышения эффективности бизнес-процессов является применение прогрессивных технологий цифровой экономики на всех уровнях. Однако выбор приоритетных направлений хозяйственной деятельности субъектов экономики, как правило, не затрагивает вопросы их стратегического развития, хотя именно здесь заключены основные резервы роста эффективности бизнес-процессов Шуметов В.Г., Коломейченко А.С. Экспертно-аналитическое обеспечение процесса принятия рациональных решений в стратегическом менеджменте // Россия: Тенденции и перспективы развития. Ежегодник. Вып. 14 / РАН. ИНИОН. Отд. науч. сотрудничества; Отв. ред. В.И. Герасимов. - М., 2019. - Ч. 2. - С. 599-603.. Такая задача относится к классу выбора решений в условиях неопределенности исходной информации, причем здесь требуется не столько теоретический взгляд на будущее, сколько практический, и она, по сути, является одной из составляющих Форсайта Непогодина А.В. Форсайт как методология предвидения // Молодой ученый. 2020. - № 2 (292). - С. 290-291..

Общепризнано, что Форсайт строится на основе метода экспертных оценок и включает в себя: активное формирование образа будущего, нацеленность на определение ключевых приоритетов развития, участие в исследовании ключевых акторов и предполагает взаимосвязь с процессом принятия управленческих решений Карасев О.И., Муканина Е.И. Метод экспертных оценок в форсайт-исследованиях // Статистика и экономика. 2019. - Т. 16, № 4. - С. 4-13.. Отличие Форсайта от других методов прогнозирования - в том, что «это технология и формат коммуникации, позволяющие участникам договориться по поводу образов будущего, а также, определив желаемый, согласовать действия в его контексте» https://www.rbc.ru/trends/futurology/5eb542c89a79470ed74f2d21.

В настоящее время существуют различные модификации Форсайта, отличающиеся технологиями экспертных оценок. Изначально это была «тяжеловесная» и довольно дорогая методология, в рамках которой на протяжении месяцев трудилось огромное количество экспертов. Наиболее часто при этом используются такие мощные методы экспертных оценок, как метод Дельфи, метод критических технологий, экспертные панели, разработка сценариев, дорожное картирование и др. http://foresight.sfu-kras.ru/node/49. Однако в стороне оказались эффективные технологии экспертных оценок, основанные на методах парных сравнений - методе анализа иерархий и его развитии - методе аналитических сетей, предложенных американским математиком Т. Саати еще в 70-80-е годы прошлого столетия Саати Т. Принятие решений при зависимостях и обратных связях: Аналитические сети. Пер. с англ. / Науч. ред. А.В. Андрейчиков, О.Н. Андрейчикова. - М.: Издательство ЛКИ, 2008. - 360 с.; Саати Т.Л. Об измерении неосязаемого. Подход к относительным измерениям на основе главного собственного вектора матрицы парных сравнений // Cloud of Science. 2015. - T. 2, № 1. - С. 5-39..

Одной из немногих работ, посвященных характеристике этих методов для Форсайт-исследований, является публикация А.В. Андрейчикова и О.Н. Андрейчиковой Андрейчиков А.В., Андрейчикова О.Н. Методы и интеллектуальные системы принятия решений для проведения Форсайт-исследований // Cloud of Science. 2014. - Т. 1, № 3. - С. 353-382.. В ней представлены новые интеллектуальные методы принятия решений: метод анализа иерархий с динамическими суждениями, который можно применять для прогнозирования возможных последствий решений; метод аналитических сетей, позволяющий определить приоритеты альтернатив в условиях взаимного влияния; метод нечеткого логического вывода, обеспечивающий поддержку процессов принятия решений путем моделирования рассуждений на основе экспертных знаний; метод логического синтеза сценариев развития сложных систем, позволяющий прогнозировать будущее с учетом появления новых тенденций и событий, которые могли не иметь места в прошлом. Но не раскрыты особенности применения этих интеллектуальных методов принятия решений для Форсайт-исследований. В частности, не обсуждены экспертные процедуры в Форсайте, затрагивающие взаимодействие и учет мнений ведущих специалистов в предметной области, в том числе лиц, принимающих решения, тогда как основными преимуществами Форсайта являются вовлеченность различных сторон в процесс выработки управленческих решений, а также организация взаимодействия между экспертами в ходе исследования Экспертные процедуры в форсайте: особенности взаимодействия с экспертами в проектах по долгосрочному прогнозированию / О.И. Карасёв, А.Е. Китаев, И.И. Миронова, Т.B. Шинкаренко // Вестник СПбГУ. Социология. 2017. - Т. 10, Вып. 2. - С. 169-184..

С учетом важности экспертных процедур интеллектуальных методов принятия решений и сопутствующих вопросов, рассмотрим особенности метода анализа иерархий (МАИ) и метода аналитических сетей (МАС), которые обусловливают эффективность их применения для Форсайт-исследований. бизнес форсайт стратегический

Для понимания сущности этих особенностей обратимся к основам методологии экспертно-аналитического моделирования и прогнозирования Шуметов В.Г. Экспертно-аналитическое моделирование - эффективная методология решения задач в сфере управления // Современные проблемы физико-математических наук «СПФМН-2013». Труды междунар. н.-практ. конф. - Орел: ОГУ, 2014. - С. 74-80..

Под экспертно-аналитическим моделированием понимается процесс построения и исследования информационных моделей, основанных на использовании метода анализа иерархий, как одного из эффективных методов системного анализа слабо структурированных процессов. По-видимому, этот термин впервые был введен в монографии Шуметов В.Г. Управление инновационным процессом в хозяйственной системе на основе современных информационных технологий: Монография / Под общ. ред. А.Ю. Егорова. - М.: Изд-во «Палеотип», 2004. , посвященной применению информационных технологий к управлению инновационными процессами в экономических системах различного уровня. Вслед за этим появляется ряд работ, в названиях которых ключевым словом является термин «экспертно-аналитические» - экспертно-аналитическое моделирование, экспертно-аналитические методы, экспертно-аналитические технологии и т.п. Милых Ф.Г., Болотских Д.И., Барбашова Е.В. Методология планирования развития предприятий легкой промышленности на основе экспертно-аналитических методов // Системная модель российского общества XXI века и корректировка реформ (Общество, которое мы выбираем): Сб. тр. конф. Орел, 2003; Алабин В.Е. Управление инновационной деятельностью в сфере консалтинговых услуг на основе экспертно-аналитического моделирования. Автореф. дис. … к-та экон. наук. - М.: ГАСИС, 2007; Покровский А.М. Оценка эффективности инвестиционных проектов на основе экспертно-аналитических технологий информационного обеспечения: монография. - М.: Риалтекс, 2008; Левко М.Н. Модели управления инновационным развитием предприятий легкой промышленности на базе экспертно-аналитических методов. Автореф. дис. … к-та экон. наук. - М.: ГАСИС, 2008; Батин Б.А. Развитие методов оценки рисков инвестиционных проектов промышленного предприятия на основе экспертно-аналитического моделирования. Автореф. дис. … к-та экон. наук. - М.: ГАСИС, 2009..

Особый интерес представляет возможность путем экспертно-аналитического моделирования и последующего исследования построенных информационных моделей выполнять прогнозирование слабо структурированных процессов. В Интернет-источнике Константиновская Л.В. Методы и приемы прогнозирования. - http://www.astronom2000.info/mipp/ приводится такая оценка - свыше 90% всех сделанных в мире прогнозов выполнено с помощью экспертизы и фактографических методов. При этом несомненным положительным свойством экспертно-аналитических моделей является их устойчивость к изменениям входных параметров и широкая возможность проведения имитационных (вычислительных) экспериментов.

Основой МАИ является иерархическая модель. Различают два типа иерархических моделей: 1) концептуальную, или общую, представляющую собой иерархическую структуру проблемы с учетом ситуации; 2) конкретную, или информационную, получаемую в результате «наполнения» концептуальной модели экспертными знаниями. В простейшем варианте концептуальная модель проблемы включает три иерархических уровня: фокус (цель) иерархии, систему оценочных критериев на следующем иерархическом уровне и альтернативы управленческого решения на нижнем уровне иерархии. Интеграция мнений экспертов на стадии создания концептуальной модели носит коллективный характер, и процесс подобной интеграции осуществляется неформальным путем, в то время как интеграция оценок экспертов на стадии создания информационной модели может и должна быть формализована. Эта задача решается с помощью информационных технологий, поддерживающих алгоритмы МАИ.

Одной из таких информационных технологий является разработанная в 2000-2001 гг. специалистами Орловского государственного технического университета и Орловской региональной академии государственной службы система поддержки принятия решений (СППР) Expert Decide Кузнецов А.И., Шуметов В.Г. Expert Decide для Windows 95, 98, NT, 2000, Ме. Версия 2.2. Руководство пользователя. - Орел: ОРАГС, 2001., которая фактически выполняет роль интерактивной экспертной системы. СППР Expert Decide, наряду с реализацией расчетных и графических функций, выполняет и некоторые аналитические функции, предоставляя эксперту возможность оперативного просмотра результатов, полученных другими экспертами, оценки степени их близости или же, напротив, различия.

В общем случае иерархическая модель может иметь не три, а большее число уровней. В качестве примера приведем пятиуровневую модель прогноза развития системы высшего профессионального образования (ВПО), рассмотренную в работе Шуметов В.Г. Экспертно-аналитическое моделирование - эффективная методология решения задач в сфере управления // Современные проблемы физико-математических наук «СПФМН-2013». Труды междунар. н.-практ. конф. - Орел: ОГУ, 2014. - С. 74-80.. Для решения данной задачи в данной работе построена концептуальная модель, содержащая пять иерархических уровней:

- уровень I - фокус (цель): прогноз развития инновационной структуры системы ВПО;

- уровень II - основные факторы развития: экономические, политические, социальные, технологические;

- уровень III - действующие силы (акторы): студенты, профессорско-преподавательский состав, администрация вуза, власти (государство, правительство), бизнес-структуры, общество;

- уровень IV - мотивирующие цели акторов: для студентов - достижение высокого социального статуса, профессиональная подготовка, навыки самообразования; для профессорско-преподавательского состава - престиж, стабильная работа, профессиональный рост; для администрации вуза - стабильность, финансовая обеспеченность вуза; для властей - благосостояние населения, общественный порядок, людские ресурсы; для бизнес-структур - прибыль, технология, капиталовложения; для общества - знания, культура;

- уровень V - контрастные сценарии: проекция (проекция настоящего на будущее); профессиональные навыки (ориентация на приобретение студентами профессиональных навыков; обучение (в вузах не проводятся широкие научные исследования, акцент преимущественно на обучение); инновационное развитие (в вузах проводятся научные исследования, инициирующие инновационный характер обучения).

Очевидно, что обобщенный сценарий развития инновационной структуры системы ВПО будет являться суперпозицией контрастных сценариев, проявляющих себя с вероятностями, пропорциональными их приоритетам.

Описанная пятиуровневая иерархическая модель, однако, слишком сложна для работы экспертов, поэтому целесообразно разбить ее на несколько более простых моделей, каждая из которых решает свою частную задачу. В данной работе, прежде всего, устанавливали соотношение приоритетов акторов, влияющих на развитие системы ВПО. Для этого использовали трехуровневую иерархию, включающую первые три уровня - цель, факторы и акторы. В результате опроса экспертов получена информационная модель, представленная на рис. 1.

Из этой модели следует, что наиболее приоритетными являются экономические факторы, на которые падает 51% суммарного приоритета, менее значимы социальные и технологические факторы с приоритетами 0,237 и 0,182 соответственно, и завершают ранжирование социальные факторы с приоритетом 0,072.

Рисунок 1. Информационная модель влияния акторов на развитие инновационной инфраструктуры системы ВПО (экспортирована из СППР Expert Decide 2.2)

Поскольку на власти, бизнес-структуры и общество приходится более 80% воздействия на основные факторы, влияющие на развитие инновационной структуры системы ВПО, в дальнейшем для прогнозирования приоритетов контрастных сценариев использованы только эти три агента.

На следующем этапе экспертам для получения информационных моделей, описывающих распределения приоритетов целей акторов, были предложены три двухуровневые иерархии, фокусами которых являлись власти, бизнес-структуры и общество, а на нижнем уровне - мотивирующие цели акторов: для властей - благосостояние населения, общественный порядок, людские ресурсы; для бизнес-структур - прибыль, технология, капиталовложения; для общества - знания, культура. Полученные при этом результаты приведены в таблице 1.

Таблица 1. Приоритеты целей основных акторов

В четвертой графе табл. 1 приведены абсолютные приоритеты целей, равные произведению относительных приоритетов (графа 3) на приоритеты акторов. Видно, что наиболее значимыми целями являются: общественный порядок (приоритет 0,279), прибыль (приоритет 0,131) и капиталовложения (приоритет 0,122). После нормирования имеем следующее распределение приоритетов этих целей: 0,524 : 0,246 : 0,229.

Поскольку для получения весов контрастных сценариев можно ограничиться только этими тремя целями, экспертам была предложена иерархия, содержащая три уровня: фокус - развитие инновационной инфраструктуры, мотивирующие цели и контрастные сценарии. В результате получена информационная модель, представленная на рис. 2.

Рисунок 2. Информационная модель развития системы ВПО (экспортирована из СППР Expert Decide 2.2)

Как видно из этой модели, эксперты очень сдержанно оценивают вероятность перехода системы высшего профессионального образования на инновационный путь развития - этот сценарий, наравне со сценарием «проекция» (сохранения существующей ситуации), получил приоритет 0,170, тогда как сценарий «обучение» получил вдвое больший приоритет - 0,369. Обращает на себя также внимание достаточно высокий приоритет сценария «профессиональные навыки» - 0,293, что, по-видимому, отражает неприятие экспертами усиленно насаждаемой Министерством науки и образования системы «бакалавр-магистр-аспирантура» и надежду вернуться к годами проверенной системе высшего профессионального образования «специалитет-аспирантура».

Таким образом, обобщенный сценарий развития системы ВПО выглядит следующим образом: наиболее вероятным вариантом ее развития является ориентация на обучение и привитие студентам профессиональных навыков, тогда как создание инноваций как самостоятельное направление будет занимать по-прежнему скромное место в миссии вуза.

Этот пример показателен. Из него следует, что используя метод анализа иерархий, можно не только дать прогноз ожидаемого будущего, но и наметить пути воздействия на него в желаемом направлении.

Вернемся теперь к рассмотрению этапов Форсайт-исследования.

Первым этапом Форсайт-исследований является определение состава и численности экспертных групп, в ходе которого подбираются наиболее компетентные участники, представляющие различные субъектные позиции в контексте предмета Форсайт-сессии Методология Rapid Foresight. Версия 0.4. - М.: Агентство стратегических инициатив, 2017. - http://docplayer.ru/58510874-Rapid-metodologiya-foresight-versiya-0-4.html. Здесь могут быть реализованы самые разнообразные подходы, начиная от экспертизы заказчика и его предположений о людях, имеющих необходимую экспертизу, и заканчивая составлением списков, рейтингов и рэнкингов по данной теме, поиском авторов публикаций по теме, библиометрией и анализом патентов.

Чрезвычайно важен вопрос численности группы экспертов. Считается, что при коллективной дискуссии оптимальной по продуктивности является группа из 10-15 экспертов Обзор существующих в научно-технической сфере экспертных технологий (из опыта работы отечественных экспертных систем) / Ю.Л. Рыбаков, В.П. Голубев, Н.А. Дивуева, В.И. Медведев, Б.И. Ефимов // Инноватика и экспертиза: научные труды. 2012. - № 2. - С. 173-182. Мы придерживаемся точки зрения автора методов анализа иерархий и аналитических сетей Т. Саати на обеспечение консенсуса в группе: из-за ограничения на объем кратковременной памяти, препятствующего выработке согласованного решения большой группой экспертов, оптимальной является ее численность от 5 до 9 экспертов (так называемое «магическое» число Миллера 7±2 Саати Т. Принятие решений. Метод анализа иерархий. - М.: Радио и связь, 1993. - 278 с.).

Это же ограничение - 7±2 - накладывается и на предельное число элементов, рассматриваемых на каждом уровне иерархической модели; при необходимости сравнивать друг с другом большее количество элементов (факторов, критериев, акторов, сценариев и т.п.) их следует объединять в подгруппы.

Следующий этап Форсайт-исследования - формирование объекта исследования Гусакова Я.В. Форсайт-исследование: содержание и преимущества // Материалы VI Международной студенческой научной конференции «Студенческий научный форум». - http://scienceforum.ru/2014/article/2014001985. В рамках метода анализа иерархий на этом этапе разрабатывается иерархическая модель прогнозирования будущего. Так, в приведенном выше примере прогнозирования будущего высшего профессионального образования это пятиуровневая модель, содержащая не только возможные сценарии развития ВПО, но и факторы развития, действующие силы, их цели. Модель прогноза будущего разрабатывается группой экспертов под руководством модератора, в качестве которого может выступать заказчик Форсайт-исследования. Процесс создания модели - итеративный, причем, в общем случае, важно добиваться консенсуса. Однако не исключается возникновение разногласий, тогда разрабатывается не одна, а несколько моделей, и не исключено, что в результате все они приведут к одному результату.

В рамках этапа формирования объекта исследования реализуется и следующий этап Форсайт-исследования - формирование существенных условий, которых желательно достичь. В терминах МАИ соответствующее исследование носит название планирования с двухточечным граничным значением - от достигнутого и от конечного результата Саати Т. Принятие решений. Метод анализа иерархий. - М.: Радио и связь, 1993. - С.124.. Приведенный выше пример представляет собой планирование от достигнутого. Планирование от достигнутого позволяет увидеть, насколько результаты в будущем близки к желаемым. Это процесс прогнозирования того, что может случиться. Если прогноз далек от желаемого, проводится планирование от конечного результата, при этом оценивается уже иная иерархическая модель, по которой «цели, политика и даже желаемые в будущем результаты изменяются для достижения большего успеха» Там же.. Иногда требуется выполнить несколько итераций планирования от достигнутого и планирования от конечного результата с учетом требуемых видоизменений, чтобы процесс с двухточечным граничным значением привел к необходимому сближению возможного и желаемого.

Как правило, иерархическая модель планирования от достигнутого (иерархия прямого процесса) содержит следующие уровни:

уровень 1 - фокус: проецируемое будущее;

уровень 2 - акторы, которые будут влиять на будущее (проводится оценка их относительной важности);

уровень 3 - политики или цели каждого важного актора, которые будут влиять на планирование (проводится оценка их относительной важности для соответствующего актора);

уровень 4 - альтернативные сценарии будущего относительно политики акторов.

В результате реализации такого прямого процесса планирования проводится оценка относительной вероятности осуществления каждого сценария.

Иерархия обратного процесса планирования (от конечного результата) содержит следующие уровни:

уровень 1 - фокус: желаемое будущее;

уровень 2 - желаемые сценарии (проводится оценка их относительной желательности);

уровень 3 - проблемы и препятствия, которые должны быть преодолены для реализации одного или более сценариев (проводится оценка относительной важности каждой проблемы);

уровень 3 - акторы, контролирующие решение каждой проблемы (проводится оценка относительной значимости этих сил);

уровень 4 - политики/цели каждого актора, воздействующие на стратегию поведения по отношению к проблемам.

В результате реализации обратного процесса планирования проводится оценка относительной важности каждой противодействующей политики.

Ввиду исключительной важности построения обобщенного сценария из совокупности сценариев, определяющих «конус» будущего, приведем наиболее важные компоненты его построения Там же, с. 125. :

1. Определение общей системы, внешних и внутренних ограничений, а также идентификация подсистем.

2. Построение иерархической структуры подсистем и идентификация регулирующих компонент.

3. Определение состояний системы и моделирование истории ее развития.

4. Рассмотрение развития сценария во времени (исторический анализ) для освещения эволюции системы и влияния на характеристики одновременно с исследованием внутренней динамики модели.

5. Определение целей сценария с обсуждением их значений.

6. Выбор типов используемых сценариев.

7. Разработка основных данных прошлой, настоящей и будущей информации.

8. Идентификация структурных компонент, факторов, обеспечивающих равновесие и тенденции развития системы.

9. Описание трений, присущих функциональным механизмам.

10. Анализ механизмов регулирования в системе и их связей.

11. Критика и пересмотр предыдущего анализа, усовершенствование сценария посредством проверки ограничений, неравновесности, трений, сил, противоречий: вмешательства механизмов регулирования, а также установление противодействий, которые влияют на выживание системы.

12. Создание усовершенствованного сценария.

Из представленного выше перечня компонент построения обобщенного сценария следует, что методология экспертно-аналитического прогнозирования полностью отвечает логике Форсайт-исследований.

До сих пор мы обсуждали методику Форсайт-исследований с позиции метода анализа иерархий. При всей эффективности этого метода системного анализа он обладает тем недостатком, что учитывает только прямые связи, т.е. все элементы нижних уровней иерархии строго подчинены элементам верхних уровней, при этом не учитываются обратные связи и взаимодействия элементов. Этот недостаток преодолен в развитии метода анализа иерархий - в методе аналитических сетей. В отличие от МАИ, где сравнение элементов каждого уровня производится друг с другом по их вкладу в конечный результат или же относительно других элементов (факторов) вышестоящих уровней, МАС «оперирует сетями, которые могут принимать произвольную форму и содержать в себе всевозможные виды связей, включая обратные и циклические, когда фактор может влиять сам на себя непосредственно либо опосредованно» Середкин К.А., Коробов В.Б., Тутыгин А.Г. О применении метода аналитических сетей в задачах геоэкологии // Проблемы региональной экологии. 2012. - № 4. - С. 63..

Метод аналитических сетей в «классическом» варианте достаточно сложен для практической реализации Середкин К.А. О границах применимости метода аналитических сетей в задачах принятия решений в естественных науках // Искусственный интеллект и принятие решений. 2018. - № 2. - С. 95-102., и нами рекомендуется использование так называемого «базового» варианта МАС, поддерживаемого экспертно-аналитической системой Expert Solution 1.0, разработанной специалистами Российского экономического университета им. Г.В. Плеханова Покровский А.М. Свидетельство о государственной регистрации программы для ЭВМ №2012615377 Expert Solution / И.В. Барбашов, А.М. Покровский. Зарегистрировано в Реестре программ для ЭВМ 15 июня 2012 г.. В этом варианте МАС ограничение на обратную связь снимается и, помимо «прямой» иерархии (фокус - критерии - альтернативы), рассматривается также «обратная» иерархия, в которой на нижнем уровне находятся критерии, а альтернативы - на среднем уровне. Тем самым учитывается не только зависимость приоритетов альтернатив от критериев, но и влияние альтернатив на приоритеты критериев. Взаимодействия элементов уровней при этом не учитываются: разработчики базового варианта МАС справедливо полагают, что при выборе элементов уровней необходимо исходить из их независимости. Заметим, что даже в таком упрощенном варианте работа экспертов существенно усложняется. В то же время, наш опыт показал, что несмотря на большую трудоемкость, расчеты по сетевой модели обеспечивают существенно большую надежность выводов, и при использовании соответствующего программного обеспечения, в частности, экспертно-аналитической системы Expert Solution 1.0, не доставляют значительных неудобств как организаторам экспертизы, так и самим экспертам Shumetov V., Kolomeychenko A., Mikhaylov M. Expert and analytical technologies in the sphere of agribusiness management // Advances in Intelligent Systems Research. 2019. - Vol. 167. - P. 354-358..

Применение в «быстрых» Форсайт-исследованиях экспертно-аналитических технологий на базе эффективных методов системного анализа - МАИ и МАС, отнюдь не снимает применения «классических» методов Форсайта. Цель авторов данной публикации, являющейся развитием работы Шуметов В.Г., Коломейченко А.С. Экспертно-аналитическое обеспечение процесса принятия рациональных решений в стратегическом менеджменте // Россия: Тенденции и перспективы развития. Ежегодник. Вып. 14 / РАН. ИНИОН. Отд. науч. сотрудничества; Отв. ред. В.И. Герасимов. - М., 2019. - Ч. 2. - С. 599-603., - обратить внимание исследователей на широкие возможности, предоставляемые экспертно-аналитическими технологиями на основе алгоритмов методов анализа иерархий и поддерживаемые соответствующим компьютерным инструментарием. Читателей, интересующихся вопросами применения МАИ и МСА в условиях отечественной прикладной науки, адресуем к многочисленным публикациям, из которых следует выделить статьи и монографии энтузиастов этих методов А.В. Андрейчикова и О.Н. Андрейчиковой Андрейчиков А.В., Андрейчикова О.Н. Интеллектуальные информационные системы. - М.: Финансы и статистика, 2004; Андрейчиков А.В., Андрейчикова О.Н. Прогнозирование вступления России во Всемирную торговую организацию // Инновации. - СПБ., 2004. - № 10. - С. 76-79; Андрейчикова О.Н., Андрейчиков А.В. Исследования проблемы вступления России во Всемирную торговую организацию методом аналитических сетей // Известия вузов. Машиностроение. 2006. - № 1. - С. 63-73; Андрейчиков А.В., Андрейчикова О.Н. Анализ, синтез, планирование решений в экономике. - М.: Финансы и статистика, 2006; Андрейчиков А.В., Андрейчикова О.Н. Системный анализ и синтез стратегических решений в инноватике. Концептуальное проектирование инновационных систем. - М.: Книжный дом «ЛИБРОКОМ», 2013..

Размещено на Allbest.ru