Основы компьютерного представления экспертных знаний для мониторинга программно-целевой деятельности

Разработка концептуальных основ и моделей компьютерного представления экспертных знаний, формируемых для индикаторного оценивания программно-целевой деятельности, а также отображения динамики формирования личностных и коллективных знаний экспертов.

Рубрика Программирование, компьютеры и кибернетика
Вид автореферат
Язык русский
Дата добавления 28.10.2018
Размер файла 717,5 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

На правах рукописи

Автореферат

диссертации на соискание ученой степени

доктора технических наук

ОСНОВЫ КОМПЬЮТЕРНОГО ПРЕДСТАВЛЕНИЯ ЭКСПЕРТНЫХ ЗНАНИЙ ДЛЯ МОНИТОРИНГА ПРОГРАММНО-ЦЕЛЕВОЙ ДЕЯТЕЛЬНОСТИ

Специальность 05.13.17 "Теоретические основы информатики"

Зацман Игорь Моисеевич

Москва - 2011

Работа выполнена в Учреждении Российской академии наук Институт проблем информатики РАН/

Официальные оппоненты:

доктор технических наук, профессор Антопольский Александр Борисович;

доктор филологических наук, профессор Гиляревский Руджеро Сергеевич;

доктор технических наук, профессор Дулин Сергей Константинович.

Ведущая организация: Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации.

Защита диссертации состоится _____________ в ___ часов на заседании диссертационного совета Д 002.073.01 при Учреждении Российской академии наук Институт проблем информатики РАН (ИПИ РАН) по адресу: 119333, Москва, ул. Вавилова, 44, корп. 2.

С диссертацией можно ознакомиться в библиотеке ИПИ РАН.

Отзывы в одном экземпляре, с заверенной подписью, просим направлять по адресу: 119333, Москва, ул. Вавилова, 44, корп. 2, в диссертационный совет.

Автореферат разослан " ___" _______ 2011 г.

Ученый секретарь диссертационного совета Д 002.073.01 доктор технических наук, профессор С.Н. Гринченко.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. Новые условия и предпосылки, которые определяют актуальность диссертационного исследования, сформулированы в Концепции реформирования бюджетного процесса в РФ в 2004-2006 годах, одобренной Постановлением Правительства РФ от 22 мая 2004 года № 249 "О мерах по повышению результативности бюджетных расходов" (далее - Постановление 249). В процессе реформирования бюджетного процесса программно-целевая деятельность становится доминирующей во всех сферах, финансируемых за счет бюджетных средств. Согласно данной Концепции осуществляется переход на реализацию долгосрочных программ с явным описанием их целей, задач, ресурсов и ожидаемых результатов, а также с использованием индикаторов для мониторинга и оценивания полученных результатов, эффективности и результативности программно-целевой деятельности.

Реализация долгосрочных целевых программ и применение в новых условиях индикаторов, которые традиционно использовались при статистическом наблюдении и принятии решений по бюджетированию до реформирования бюджетного процесса, выявили нерелевантность и неполноту традиционно используемых наборов индикаторов. Принятие решений в новых условиях сформировало спрос на разработку программно-ориентированных индикаторов. Их разработка сопряжена с созданием новых концептуальных подходов, методов и алгоритмов вычисления значений индикаторов.

Целенаправленное формирование знаний, ориентированное на создание новых концептуальных подходов и методов, стало актуальной проблемой в разных сферах деятельности, что нашло отражение в официальных документах. Так, разработка новых методов индикаторного оценивания научной деятельности включена в тематическое направление "29. Системы автоматизации, CALS-технологии, математические модели и методы исследования сложных управляющих систем и процессов" Программы фундаментальных научных исследований РАН на 2008-2012 годы, утвержденной Распоряжением Правительства РФ от 27 февраля 2008 г. № 233-р (далее - Распоряжение 233).

Принятие Постановления 249 и Распоряжения 233 определило основную область применения результатов диссертационного исследования: проектирование систем информационного мониторинга и индикаторного оценивания программно-целевой деятельности. В Концепции реформирования бюджетного процесса в России предусматривается создание систем информационного мониторинга и оценивания, которые должны развиваться по мере накопления опыта применения новых методов бюджетного планирования. При этом с развитием этих систем сферу применения новых методов программно-целевого планирования предполагается расширять.

В настоящее время спектр исследований процессов целенаправленного формирования новых знаний и их компьютерного представления образует в информатике новое научное направление, результаты которого в будущем найдут свое применение в различных сферах, финансируемых на программно-целевой основе. На становление этого научного направления оказал существенное влияние процесс разработки 7-ой Рамочной программы Европейского Союза (ЕС), принятой на период 2007-2013 годы, в частности, подготовка в рамках этой программы концептуальных и конкурсных документов для тем и проектов по созданию информационно-коммуникационных технологий (ИКТ) нового поколения.

В этих документах определен широкий спектр актуальных исследований и разработок, включая исследование возможностей существующих и разработку новых поколений ИКТ, обеспечивающих представление в информационных системах формируемых (генерируемых) знаний человека в их динамике и целенаправленное влияние на процесс их формирования. Ключевая роль ИКТ в проблематике формирования и представления новых знаний послужила основанием для включения этой проблематики в тематические исследовательские программы 7-ой Рамочной программы ЕС по ИКТ.

Степень разработанности проблематики. Цели формирования новых или развития существующих систем знаний во многом зависят от предметной области, в рамках которой формируются или развиваются системы знаний. Известная в настоящее время спиральная модель формирования знаний, которая описана в работах Нонака и Такеучи По данным Google Scholar на 17.06.2011 общее число цитирований следующих двух работ равно 22344: 1) Nonaka I. The knowledge-creating company // Harvard Business Review. 1991. Vol. 69. N. 6. - Pp. 96-104; 2) Nonaka I., Takeuchi H. The knowledge-creating company. - Oxford; N.Y.: Oxford University Press, 1995., и ее обобщение, предложенное в работах Вежбицки и Накамори Wierzbicki A.P., Nakamori Y. Basic Dimensions of Creative Space. In: Creative space: Models of Creative Processes for Knowledge Civilization Age. / Ed. by A.P. Wierzbicki and Y. Nakamori. - Springer Verlag: Berlin-Heidelberg, 2006. - Pp. 59-90; Wierzbicki A.P., Nakamori Y. Knowledge sciences: Some new developments // Zeitschrift fьr Betriebswirtschaft. 2007. Vol. 77. No. 3. - Pp. 271-295., не зависят от целей формирования, предметной области и с этой точки зрения они являются универсальными. Поэтому спиральная модель формирования знаний и ее обобщение Вежбицки и Накамори были выбраны в качестве исходной позиции для диссертационного исследования.

Опыт применения ИКТ, разработанных в институте JAIST (Japan Advanced Institute of Science and Technology) для поддержки процесса формирования научных знаний, позволяет утверждать следующее: несмотря на то, что модели формирования знаний, предложенные Нонака и Такеучи, Вежбицки и Накамори, уже используются на практике, имеется ряд нерешенных проблем и задач, ограничивающих сферу применения этих моделей.

Перечислим четыре таких задачи: 1) в моделях не фиксируются изменения состояния формируемых личностных знаний человека в зависимости от времени, 2) не определены объекты интерпретации, являющиеся источниками новых знаний человека, 3) не выделены структурные элементы формируемых знаний, соответствующие объектам интерпретации, и 4) не фиксируется момент времени генерации каждого нового структурного элемента. Комплексное решение поставленной в диссертации проблемы, включающей четыре перечисленные задачи, на основе единой модели формирования и компьютерного представления личностных и коллективных знаний в настоящее время отсутствует.

В связи с вышесказанным актуальными являются исследования, направленные на создание концептуальных основ формирования и компьютерного представления формируемых знаний человека в динамике их направляемого развития.

Предлагаемые в диссертации концептуальные основы формирования и компьютерного представления экспертных знаний представляют собой существенное развитие спиральной модели формирования знаний и ее обобщения, предложенного Вежбицки и Накамори. При этом в диссертации получено комплексное решение проблемы, включающей четыре перечисленные задачи, на основе единой модели формирования и компьютерного представления экспертных знаний, которая позволяет фиксировать изменения личностных и коллективных знаний во времени применительно к мониторингу и индикаторному оцениванию программно-целевой деятельности.

В процессе исследования использовались результаты работ Г.Б. Клейнера, Е.Б. Козеренко, К.К. Колина, И.П. Кузнецова, Н.В. Лукашевич, Г.С. Поспелова, Д.А. Поспелова, Ю.И. Шемакина, Ю.А. Шрейдера, B.C. Brooks, J. Farradane, P. Ingwersen, F. Machlup, S. Gorn и многих других.

Целью работы является разработка концептуальных основ и моделей компьютерного представления экспертных знаний, формируемых для мониторинга и индикаторного оценивания программно-целевой деятельности, а также отображения динамики формирования личностных и коллективных знаний экспертов.

Для достижения поставленной цели необходимо было решить следующие задачи.

1. Сформулировать проблему компьютерного представления знаний, формируемых экспертами для мониторинга и оценивания программно-целевой деятельности.

2. Разработать концептуальные основы компьютерного представления экспертных знаний об индикаторах в динамике их формирования, включая описание используемой системы терминов.

3. Разработать модели компьютерного представления экспертных знаний, которые описывают процесс формирования программно-ориентированных индикаторов и позволяют фиксировать изменения формируемых знаний об индикаторах во времени.

4. На основе моделей компьютерного представления экспертных знаний в динамике их формирования разработать архитектуру лингвистического обеспечения систем информационного мониторинга и индикаторного оценивания программно-целевой деятельности, а также провести ее экспериментальное исследование.

Объектом исследования являются долгосрочные целевые программы, которые реализуются в интересах удовлетворения научных, образовательных, технологических, культурных, экономических и иных общественно значимых потребностей, и для которых определены объекты мониторинга и индикаторного оценивания, включая цели, задачи, ресурсы и ожидаемые результаты программ.

Предметом исследования являются мониторинг и оценивание долгосрочных целевых программ с помощью программно-ориентированных индикаторов, формируемых экспертами.

Методы исследования. Проводимые в работе теоретические и практические исследования базируются на методах системного анализа, семиотики, теории алгоритмов, искусственного интеллекта и технологии программирования.

Научная новизна. Основной результат диссертационной работы состоит в постановке и решении проблемы компьютерного представления экспертных знаний, формируемых для мониторинга и индикаторного оценивания программно-целевой деятельности. При этом впервые получены следующие научные результаты:

- предложена система терминов, включающая новые понятия "формокода" и "семокода", которые используются в описании способов кодирования смыслового содержания (концептов) программно-ориентированных индикаторов и их названий (имен);

- предложено развитие понятия креативного пространства по Вежбицки и Накамори, которое в отличие от определенного ими пространства с двумя измерениями (социальным и эпистемологическим) включает третье средовое измерение этого пространства;

- определено новое понятие неактуального концепта для номинативной шкалы Номинативная шкала социального измерения креативного пространства Вежбицки и Накамори включает индивидуальные, коллективные и конвенциональные знания. социального измерения креативного пространства Вежбицки и Накамори, которое дает возможность на любом этапе формирования индикаторов зафиксировать то их подмножество, которое на этом этапе эксперты исключили из рассмотрения;

- креативное пространство дополнено денотатами В рассматриваемой проблеме денотат представляет собой совокупность программы вычисления значений индикатора, данных, используемых программой для определения значений этого индикатора, а также его значений, вычисленных этой программой., на основе концептуализации которых формируются экспертные знания для мониторинга и оценивания программно-целевой деятельности, что отличается от подхода Вежбицки и Накамори, в котором источники генерации знаний не определены;

- разработана стационарная семиотическая модель компьютерного кодирования, отображающая треугольник Фреге, вершины которого имеют разную природу (ментальную, социально-коммуникационную, цифровую или материальную), на цифровой семиотический треугольник, принадлежащий полностью цифровой электронной среде Согласно ГОСТ Р 52292-2004, электронная среда - это среда технических устройств (аппаратных средств), функционирующих на основе физических законов и используемых в информационной технологии при обработке, хранении и передаче данных. В диссертации и автореферате цифровая электронная среда - это цифровые технические устройства (аппаратные средства) электронной среды. (далее - цифровая среда); в отличие от существующих моделей стационарная семиотическая модель дает возможность назначать компьютерные коды одновременно стабильным объектам интерпретации, соответствующим структурным элементам знаний, формируемых экспертами, и их названиям;

- определено пространство Фреге, включающее ось времени и несколько осей компьютерных кодов для объектов интерпретации, соответствующих структурных элементов знаний, формируемых экспертами, и для их названий (имен); в отличие от креативного пространства Вежбицки и Накамори пространство Фреге дает возможность отображать одновременно динамику изменений денотатов, соответствующий процесс генерации экспертных знаний и процесс назначения названий (имен) структурным элементам знаний, формируемых экспертами;

- разработана нестационарная семиотическая модель компьютерного представления экспертных знаний, которая описывает процесс формирования программно-ориентированных индикаторов; в отличие от существующих моделей нестационарная семиотическая модель дает возможность описать объекты интерпретации и соответствующие им структурные элементы знаний об индикаторах в динамике их формирования;

- разработана архитектура лингвистического обеспечения систем информационного мониторинга для компьютерного представления экспертных знаний, формируемых для мониторинга и оценивания, которая в отличие от существующих архитектур включает полиструктурную динамическую классификацию индикаторов и проективный словарь программно-ориентированных индикаторов, разрабатываемых экспертами.

Теоретическая значимость работы состоит в постановке и решении проблемы компьютерного представления знаний, формируемых экспертами для мониторинга и оценивания программно-целевой деятельности. Решение этой проблемы включает в себя: компьютерное эксперт знание

- разработку концептуальных основ компьютерного представления экспертных знаний в динамике их формирования, представляющих собой дальнейшее развитие обобщенной спиральной модели формирования знаний;

- построение стационарной и нестационарной семиотических моделей представления личностных и коллективных знаний экспертов в системах информационного мониторинга;

- разработку принципов проектирования лингвистического обеспечения для компьютерного представления экспертных знаний об индикаторах в динамике их формирования, разрабатываемых для мониторинга и оценивания программно-целевой деятельности.

В диссертации предложен новый подход к разработке моделей компьютерного представления экспертных знаний в динамике их формирования. Его суть заключается в явном определении объектов интерпретации и выделении соответствующих им структурных элементов знаний, формируемых экспертами, а также в использовании нескольких осей компьютерных кодов для отображения изменений денотатов, процессов формирования соответствующих им структурных элементов знаний и их имен.

Практическая значимость работы заключается:

- в построении и апробации системы терминов, которая была использована в разработке концептуальных основ компьютерного представления экспертных знаний;

- в создании концептуальных основ и семиотических моделей компьютерного представления личностных и коллективных знаний, формируемых экспертами, которые используются при разработке индикаторов оценивания программно-целевой деятельности;

- в разработке архитектуры лингвистического обеспечения, включающего проективный словарь индикаторов, разрабатываемых группой экспертов, и использовании созданного лингвистического обеспечения для компьютерного представления экспертных знаний (включение проективного словаря в состав лингвистического обеспечения дало возможность разрабатывать новые алгоритмы для программно-ориентированных индикаторов, фиксируя этапы формирования их смыслового содержания, различия в трактовке, т.е. несовпадения в рубриках, дефинициях, именах формируемых индикаторов, и степень согласованности их трактовки между экспертами);

- в совершенствовании технологии автоматизированного формирования аналитических отчетов по целевым программам в сфере науки, включающих программно-ориентированные индикаторы, разработанные (разрабатываемые) экспертами.

Достоверность и обоснованность результатов исследования подтверждена:

- опытом практической реализации результатов исследования и их использованием в научных исследованиях, имеющих государственную регистрацию (НИР "Разработка методов и принципов создания информационных технологий для оценивания результатов влияния фундаментальных исследований", выполняемая с 2010 года в ИПИ РАН в соответствии с Программой фундаментальных научных исследований РАН на 2008-2012 годы, номер госрегистрации темы 01201000917);

- использованием теоретических результатов работы в проектах по грантам Российского фонда фундаментальных исследований (№09-07-00156а, №06-07-07001ано) и Российского гуманитарного научного фонда (09-02-00006а, №06-02-04043a, №05-03-03230а, № 05-03-12328в);

- совпадением результатов исследования с данными проведенных экспериментов;

- сопоставлением результатов исследования с данными зарубежного и отечественного опыта;

- обсуждением результатов диссертационного исследования на международных и всероссийских научных мероприятиях.

Соответствие диссертации паспорту научной специальности. Проблематика диссертации соответствует следующим положениям формулы специальности 05.13.17 "Теоретические основы информатики": создание и исследование информационных моделей, моделей данных и знаний, методов работы со знаниями, методов обнаружения новых знаний.

Результаты диссертационного исследования соответствуют следующим положениям п. 4 паспорта специальности: разработка средств представления знаний, отражающих динамику процессов, концептуальных и семиотических моделей предметных областей.

Апробация результатов диссертации. Основные положения и результаты работы докладывались и обсуждались на следующих 34 международных и всероссийских научных мероприятиях:

1. Семинары "Компьютерная лингвистика и ее приложения" Диалог-99, (Таруса, 1999), Диалог-2000 (Протвино, 2000), Диалог-2001 (Аксаково, 2001), Диалог-2002 (Протвино, 2002);

2. Конференции "Компьютерная лингвистика и интеллектуальные технологии" Диалог-2003 (Протвино, 2003), Диалог-2005 (Звенигород, 2005), Диалог-2006 (Бекасово, 2006), Диалог-2007 (Бекасово, 2007), Диалог-2008 (Бекасово, 2008);

3. 20ty International Cartographic Conference (Пекин, 2001);

4. 3-я, 4-я, 7-я, 8-я, 9-я и 10-я Всероссийские конференции "Электронные библиотеки: перспективные методы и технологии, электронные коллекции" (Петрозаводск, 2001), (Дубна, 2002), (Ярославль, 2005), (Суздаль, 2006), (Переславль-Залесский, 2007), (Дубна, 2008);

5. 5-я и 6-я Всероссийские конференции "Технологии информационного общества - Интернет и современное общество" (Санкт-Петербург, 2002), (Санкт-Петербург, 2003);

6. 5th International Interdisciplinary Symposium "Picture language - visualization - diagrammatics" (Вена, 2002);

7. 8th, 9th, 10th Congresses of International Association of Semiotic Studies (Лион, 2004), (Хельсинки-Иматра, 2007), (Ла-Корунья, 2009);

8. The international conference "Innovation and Reproduction in Cultures and Societies" (Вена, 2005);

9. Atlanta Conference on Science, Technology and Innovation Policy (Атланта, 2007);

10. 10th, 11th International Conferences on Science and Technology Indicators (Вена, 2008), (Лейден, 2010);

11. 9-й Международный Форум "Высокие технологии 21-го века" (Москва, 2008);

12. Information and Brokerage Conference on Information and Communication Technologies in the EU's 7th Framework Programme (Москва, 2008);

13. Atlanta Conference on Science and Innovation Policy (Атланта, 2009);

14. The World Congress in Computer Science, Computer Engineering, and Applied Computing (Лас-Вегас, 2009);

15. 7th Framework Programme Information and Communication Technologies Proposers' Day (Будапешт, 2009);

16. XII International Conference "Cognitive Modelling in Linguistics" (Дубровник, 2010);

17. 3rd European Network of Indicators Designers Conference (Париж, 2010);

18. 7th Conference of the Nordic Association for Semiotic Studies (Лунд, 2011).

Под руководством автора и по тематике исследования защищена кандидатская диссертация по специальности 05.13.17 "Теоретические основы информатики" по теме "Технология разработки семантического словаря системы информационного мониторинга".

Публикации. Основные результаты исследования опубликованы в 52 работах, в том числе, в 1 монографии, 2 книгах и 14 статьях в журналах, входящих в Перечень журналов ВАК.

Структура диссертации. Диссертационная работа состоит из Введения, 4 глав, Заключения, списка литературы, 49 рисунков, 7 таблиц, 5 приложений. Основное содержание работы изложено на 252 стр. Список литературы включает 228 наименований.

СОДЕРЖАНИЕ РАБОТЫ

Во Введении обоснована актуальность исследования, сформулированы цель и задачи исследования, показана научная новизна, теоретическая и практическая значимость результатов работы.

В первой главе диссертации сформулирована проблема компьютерного представления знаний, формируемых экспертами для мониторинга и оценивания программно-целевой деятельности, показана ее актуальность и современное состояние.

Необходимость формирования экспертами новых или развития существующих систем знаний в той или иной предметной области может определяться по-разному, например, в процессе анализа и сопоставления новых социально-экономических, технологических и других потребностей общества с уже имеющимися теориями, методами, способами и средствами их удовлетворения. В диссертации рассматриваются вопросы формирования и компьютерного представления тех экспертных знаний, которые используются для мониторинга и индикаторного оценивания программно-целевой деятельности (ПЦД), которая понимается как совокупность целевых программ, объединенных по некоторому признаку. Так, объединяемые программы могут относится к некоторой предметной области. Целенаправленно формируемые системы знаний для мониторинга и индикаторного оценивания одной программы или ПЦД в целом предлагается называть целевыми (далее по тексту - целевые системы знаний или ЦСЗ).

Наиболее известные работы Нонака и Такеучи по созданию моделей процессов формирования знаний относятся к последнему десятилетию прошлого века и рубежу веков. В этих работах была предложена спиральная модель формирования знаний или SECI-модель Аббревиатура SECI образована первыми буквами английских названий процессов socialization (социализация), externalization (экстернализация), combination (синтез) и internalization (интернализация)..

Обобщение этой модели было предложено в работах Вежбицки и Накамори, в которых было введено понятие креативного пространства для описания процессов формирования знаний.

Важно отметить, что в классической и обобщенной моделях отсутствует количественная ось времени (поэтому неизвестно, за какое время происходят изменения в системе знаний) и не определены объекты смысловой интерпретации, связанные с процессом порождения новых структурных элементов систем знаний, формируемых экспертами.

Для создания ИКТ, обеспечивающих поддержку процессов целенаправленного формирования знаний, недостаточно разработанных к настоящему времени моделей и методов, так как в них не фиксируются изменения состояния формируемых личностных и коллективных знаний во времени, не определены объекты интерпретации и не выделены соответствующие им структурные элементы знаний, формируемых экспертами.

Вопросы разработки новых методов и моделей целенаправленного формирования систем знаний с использованием возможностей ИКТ рассматривались приглашенными экспертами при подготовке 7-й Рамочной программы ЕС в рамках семинара "Knowledge Anywhere Anytime: "The Social Life of Knowledge"" (Брюссель, 29-30 апреля 2004 г.). Материалы этого семинара использовались при формировании программ работ по ИКТ 7-й Рамочной программы ЕС. В них отмечается, что сегодня исследование процессов целенаправленного формирования новых и развития существующих систем знаний является актуальной проблематикой. Участники семинара определили четыре актуальных направления исследований в рамках этой проблематики, которые описаны в диссертации.

Анализ этих направлений позволяет утверждать, что участники этого семинара отметили ключевую роль ИКТ в решении проблемы формирования новых и развития существующих систем знаний. При этом они существенно расширили границы предметной области целенаправленного формирования и представления знаний. Расширенная предметная область исследований включает в себя, в дополнение к традиционным вопросам представления знаний, следующие три проблемы:

- формирование и компьютерное представление в цифровой среде личностных и согласованных концептов В описаниях направлений исследований приглашенные эксперты семинара "Knowledge Anywhere Anytime: "The Social Life of Knowledge"" трактуют концепт как структурный элемент системы знаний человека. как структурных элементов ЦСЗ, формируемой экспертами - проблема представления ЦСЗ;

- анализ и оценивание степени релевантности разных вариантов ЦСЗ социальным, экономическим, технологическим и другим общественно значимым потребностям, в интересах которых они были сформированы - проблема релевантности ЦСЗ;

- целенаправленное влияние средствами ИКТ на формирование и эволюцию ЦСЗ, необходимое для получения запланированных результатов - проблема направляемого развития ЦСЗ.

Область исследования диссертации относится к первой из трех перечисленных проблем, то есть к проблеме представления ЦСЗ. Эта поставленная в диссертации проблема исследуется, в основном, с точки зрения создания систем информационного мониторинга и индикаторного оценивания ПЦД, в интересах которого необходимо формировать ЦСЗ о программно-ориентированных индикаторах.

В проблеме формирования ЦСЗ об индикаторах мониторинга и оценивания ПЦД ключевыми являются процессы интерпретации и концептуализации, т.е. формирование смыслового содержания индикаторов в процессе их разработки экспертами. Понятия интерпретации и концептуализации являются ключевыми в постановке и решении проблемы представления ЦСЗ.

Концептуализация определена в диссертации как итерационный процесс формирования экспертом в течение некоторого периода времени концепта (смыслового содержания) нового индикатора. Концепт индикатора как структурный элемент знаний эксперта является результатом содержательного анализа алгоритма изменяемой экспертом компьютерной программы и данных, используемых для определения значений этого индикатора, а также его значений, вычисленных этой программой.

Предполагается, что в течение любой отдельно взятой итерации (этапа) формирования концепта нового индикатора, компьютерная программа и данные, используемые этой программой для определения значений индикатора, остаются неизменными. Изменения могут происходить только между этапами содержательного анализа алгоритма, данных и значений индикатора.

Для обозначения объекта концептуализации, который состоит из компьютерной программы, данных и вычисленных значений индикатора, в диссертации используется термин "денотат индикатора" или просто "денотат".

Интерпретация определена в диссертации как процесс содержательного анализа экспертом денотата или состояния денотата индикатора, если программа и/или данные изменяются в течение концептуализации, который завершает каждую итерацию (этап) концептуализации.

Эксперты, разрабатывающие новые индикаторы и формирующие их концепты, руководствуются явно заданными целями генерации ЦСЗ о программно-ориентированных индикаторах. В начале каждой итерации (этапа) концептуализации, но до начала интерпретации, эксперты могут вносить изменения в алгоритмы компьютерных программ и в данные, используемые для определения значений индикаторов.

Если на некотором этапе концептуализации денотата экспертом был сгенерирован концепт нового индикатора, а затем эксперт изменил алгоритм и/или данные (будем называть это получением нового состояния денотата), то на следующем этапе концептуализации им может быть сгенерирован другой концепт разрабатываемого индикатора как результат интерпретации нового состояния денотата.

Постановка проблемы представления ЦСЗ. Предположим, что перед группой экспертов поставлена задача формирования ЦСЗ о новых программно-ориентированных индикаторах, предназначенных для мониторинга и оценивания ПЦД, используя заданную систему классификации индикаторов.

Процесс формирования ЦСЗ об индикаторах состоит из серии этапов концептуализации денотатов. Каждое состояние денотата (как зафиксированный в цифровой среде объект смысловой интерпретации) представляет собой совокупность трех следующих компонентов, которые не изменяются в процессе интерпретации:

- программы определения значений нового индикатора;

- данных, которые обрабатываются программой определения его значений;

- значений нового индикатора, которые получены в результате выполнения программы.

Между этапами эксперты имеют возможность изменять программы и данные, которые обрабатываются программой. Эксперт может написать новую (изменить существующую) программу определения значений индикатора и/или подготовить (изменить) данные, которые обрабатываются этой программой, затем выполнить этот вариант программы и получить результаты вычислений. На каждом этапе концептуализации эксперт анализирует алгоритм программы, использованные данные и полученные значения с целью формирования на этом этапе его личностного концепта (смыслового содержания) варианта нового индикатора.

Каждый этап концептуализации денотата индикатора необязательно завершается формированием концепта индикатора (например, эксперт изменил алгоритм и/или данные, но не смог интерпретировать полученное состояние денотата). В случае формирования концепта эксперт выражает свое личностное понимание индикатора сначала в виде позиции (рубрики) в заданной системе классификации индикаторов, а затем дефиницией. Также он может присвоить индикатору имя.

Кроме того, он начинает процесс согласования полученного им личностного концепта, выраженного в виде рубрики, дефиниции и имени индикатора, с другими экспертами группы. Цель процесс согласования - убедить других экспертов в корректности построения и правильности своей интерпретации индикатора, представленной в виде позиции (рубрики) в заданной системе классификации и дефиниции, а также обосновать выбор имени индикатора.

Если он получит согласование еще хотя бы одного эксперта, то концепт этого индикатора получает статус согласованного концепта (вопрос степени согласованности индикатора в пределах группы экспертов рассматривается в Главе 4 диссертации).

Каждый этап концептуализации денотата индикатора может завершиться одним из следующих четырех результатов:

- написана новая (изменена существующая) программа вычисления значений варианта нового индикатора и/или подготовлены (изменены) данные, которые обрабатываются этой программой, и получены результаты вычислений, но личностный концепт не сформирован (получено новое неинтерпретированное состояние денотата, но его понимание отсутствует);

- сформирован личностный концепт и определена его позиция (рубрика) в заданной системе классификации, но отсутствуют дефиниция и имя для полученного варианта нового индикатора (первый уровень выражения концепта);

- дополнительно сформулирована дефиниция и выбрано имя для нового индикатора (второй уровень выражения концепта);

- позиция (рубрика) в системе классификации, дефиниция и имя нового индикатора согласованы хотя бы еще с одним экспертом.

На следующем этапе концептуализации эксперт может сформировать новый денотат (изменить состояние существующего денотата) и повторить перечисленные операции или продолжить процесс согласования ранее созданных индикаторов с другими экспертами группы. В последнем случае, если согласование состоялось, то результатом будет изменение степени согласованности индикаторов. Предполагается, что задан некоторый пороговый уровень степени согласованности, при достижении которого индикатор получает статус сформированного.

При перечисленных исходных условиях и определенном выше порядке формирования индикаторов требуется:

- определить пространство кодов состояний денотатов индикаторов, их концептов и имен, включающее ось времени, для отражения в этом пространстве результатов концептуализации денотатов (предполагается, что коды присваиваются системой информационного мониторинга);

- разработать модели компьютерного представления экспертных знаний для описания процессов формирования индикаторов в пространстве кодов состояний денотатов, концептов и имен индикаторов;

- разработать архитектуру лингвистического обеспечения систем информационного мониторинга для компьютерного представления экспертных знаний о формируемых программно-ориентированных индикаторах и для последующего использования этих индикаторов.

Существенной особенностью сформулированной проблемы является представление в многомерном пространстве результатов концептуализации. Сама постановка проблемы представления ЦСЗ говорит о том, что в ней охватываются сущности трех разных сред: ментальной (концепты индикаторов), социально-коммуникационной (имена индикаторов, присвоенные экспертами) и цифровой (компьютерные коды концептов, имен и состояний денотатов, присвоенные системой информационного мониторинга).

В приведенной постановке проблемы рассматриваются денотаты, компонентами которых являются программы, обрабатываемые ими данные и вычисленные значения индикаторов, т.е. эти компоненты относятся к цифровой среде. В диссертации на примерах из гидрологии и переводоведения показано, что разработанные модели могут также применяться для денотатов материальной и социально-коммуникационной природы.

Позиционируем проблематику диссертации в рамках классификации подходов к представлению знаний согласно МакГиннесс McGuinness D.L. Ontologies come of age. In: Fensel D., Hendler J., Lieberman H., Wahlster W. (Eds). Spinning the Semantic Web: Bringing the World Wide Web to Its Full Potential. - Cambridge, MA: MIT Press, 2003. - Pp. 171-194. (см. Рисунок 1). В рамках этой классификации проблематика диссертации и предлагаемые решения по созданию лингвистического обеспечения систем информационного мониторинга ближе всего к словарям терминов, тезаурусам и неформальным таксономиям.

Предлагаемые в диссертации концептуальные основы представления знаний, формируемых экспертами, базируются на следующих положениях:

- средовой принцип разделения предметной области информатики согласно структуре научных исследований, предложенный К.К. Колиным,

- определение сферы незнания как сферы мысленно представляемого, но еще не познанного, через ее противопоставление со сферой знания, предложенное В.Л. Макаровым и Г.Б. Клейнером,

- разграничение между знаковой информацией и данными по источнику их генерации, предложенное Ю.И. Шемакиным: человек как генератор знаковой информации и внешние по отношению к человеку технические цифровые измерительные системы как генераторы данных,

- соотнесение объектов предметной области информатики со средами (ментальной, социально-коммуникационной, цифровой) по признаку принадлежности рассматриваемых объектов (концепты, информация и коды) к этим средам,

- разграничение личностных, согласованных (коллективных) и общепринятых (конвенциональных) знаний согласно обобщенной спиральной модели формирования знаний Вежбицки и Накамори.

Рисунок 1. Классификация подходов по степени формальности представления знаний

Во второй главе диссертации дано краткое описание спиральной модели формирования знаний, ее обобщения и сформулированы девять направлений развития модели. Эти направления развития являются концептуальными основами разработки моделей компьютерного представления экспертных знаний (концептуальными решениями).

В классической спиральной модели формирования знаний или SECI-модели, Нонака и Такеучи определили две категории знаний: индивидуальные (личностные) знания человека и коллективные знания группы людей. Каждая из этих категорий разделена на два вида: выраженные и невыраженные знания (или выражаемые и невыражаемые знания). Всего классическая SECI-модель включает следующие четыре понятия:

1) индивидуальные невыраженные знания,

2) коллективные невыраженные знания,

3) индивидуальные выраженные знания,

4) коллективные выраженные знания.

Обобщение SECI-модели, разработанной Нонака и Такеучи, было предложено в работах Вежбицки и Накамори. В основном, это обобщение было связано с разделением знаний, не на две категории, как в работах Нонака и Такеучи, а на три: индивидуальные знания человека, коллективные знания и, дополнительно, конвенциональные знания. Деление на эти три категории Вежбицки и Накамори назвали социальным измерением креативного пространства формирования знаний.

С учетов деления каждой из трех категорий на два вида (выраженные и невыраженные знания) Вежбицки и Накамори добавили к четырем перечисленным понятиям Нонака и Такеучи два новых понятия:

5) конвенциональные невыраженные знания

6) конвенциональные выраженные знания.

Деление перечисленных понятий на выраженные и невыраженные знания Вежбицки и Накамори назвали эпистемологическим измерением креативного пространства формирования знаний.

В SECI-модели, кроме четырех понятий, определены следующие четыре процесса В автореферате описание процессов дано на примере разработки индикаторов.:

- социализация индивидуальных невыраженных знаний - `socialization' - обозначает процесс передачи невыраженных знаний от одного эксперта-разработчика индикаторов к другим участникам совместной деятельности, например, путем предъявления им программ и данных, используемых для вычисления значений индикаторов, а также самих полученных значений;

- экстернализация коллективных невыраженных знаний - `externalization' - обозначает процесс порождения коллективных выраженных знаний, например, в виде дефиниций индикаторов, на основе коллективных невыраженных знаний;

- синтез индивидуальных выраженных знаний - `combination' - обозначает процесс образования экспертом его индивидуальных выраженных знаний на основе коллективных выраженных знаний с целью решения стоящих перед ним задач разработки индикаторов;

- интернализация индивидуальных выраженных знаний - `internalization' - обозначает процессы формирования экспертом его индивидуальных невыраженных знаний на основе его индивидуальных выраженных знаний, используемых им в процессе решения стоящих перед ним задач разработки индикаторов.

Используя четыре перечисленных термина, Нонака и Такеучи ввели метафорическое понятие спирали формирования знаний, каждый виток которой включает последовательность процессов: социализация > экстернализация > синтез > интернализация > социализация (как начало следующего витка спирали).

Описание предлагаемых концептуальных решений, являющихся основой разработки моделей компьютерного представления знаний, формируемых экспертами для мониторинга и оценивания ПЦД, начинается в диссертации с определения нового, третьего, измерения креативного пространства формирования знаний, которое назовем средовым измерением.

В диссертации средовое измерение креативного пространства определяется номинативной шкалой Номинативная шкала средового измерения креативного пространства включает ментальную, социально-коммуникационную и цифровую среды. для трех категорий знаний: индивидуальные, коллективные и конвенциональные знания. При этом невыраженные знания всех трех категорий относятся только к ментальной среде.

Таким образом, средовое измерение креативного пространства по определению включает следующие три среды (см. Рисунок 2):

- ментальная среда знаний, к которой относятся выражаемые и невыражаемые знания всех трех категорий;

- социально-коммуникационная среда, к которой относятся формы представления только выраженных знаний (индивидуальных, коллективных или конвенциональных);

- цифровая среда, к которой относятся коды представления выражаемых знаний (индивидуальных, коллективных или конвенциональных) и коды форм представления выраженных знаний.

Предлагаемое средовое измерение является первым направлением развития обобщенной спиральной модели формирования знаний (у креативного пространства Вежбицки и Накамори появляется третье измерение).

Еще одно направление развития модели связано с дополнением креативного пространства денотатами, на основе концептуализации которых формируются экспертные знания для мониторинга ПЦД, а также с определением в некоторый дискретный момент времени объекта интерпретации как состояния денотата, изменяемого в процессе концептуализации. Предложенное дополнение креативного пространства денотатами и определение объекта интерпретации как состояния денотата являются вторым направлением развития обобщенной спиральной модели формирования знаний.

Кроме объектов интерпретации, в диссертации определяются структурные элементы экспертных знаний, каждый из которых является результатом интерпретации некоторого состояния денотата. Определение структурных элементов новых знаний экспертов на каждом из этапов концептуализации является третьим направлением развития обобщенной спиральной модели формирования знаний. Это дает возможность фиксировать по завершении каждого этапа (в частном случае, витка спирали) прирост экспертных знаний в виде новых структурных элементов, сгенерированных только на этом этапе.

В диссертации предлагается регистрировать на оси времени период выполнения каждого этапа концептуализации и случаи появления на этом этапе новых структурных элементов знаний, чтобы описать в динамике весь процесс формирования и развития экспертных знаний. Введение в креативное пространство оси времени является четвертым направлением развития обобщенной спиральной модели формирования знаний.

Для дальнейшего развития обобщенной модели в диссертации используется перечень из девяти процессов, включая четыре процесса классической SECI-модели (т.е. социализация, экстернализация, синтез и интернализация), которые Вежбицки и Накамори определили в креативном пространстве. Среди пяти процессов, которые используются только в обобщенной спиральной модели, есть процесс перехода от индивидуальных (личностных) невыраженных знаний к выраженным (enlightenment). Выделим два уровня для этого процесса перехода и соотнесем эти уровни с формами выражения знаний.

В диссертации определены два вида форм выражения структурных элементов знаний: 1) в виде позиции (рубрики) в некоторой системе классификации (классификационная форма) и 2) в вербальной, образной или вербально-образной формах. Сначала, на первом уровне перехода от индивидуальных невыраженных знаний к выраженным, определяется позиция (рубрика) для каждого нового структурного элемента знаний в некоторой системе классификации, а затем, на втором уровне перехода, определяется вербальная, образная или вербально-образная форма представления этого элемента. Введение двух уровней для процесса перехода от индивидуальных (личностных) невыраженных знаний к выраженным является пятым направлением развития обобщенной спиральной модели формирования знаний.

Вышеупомянутое разделение модальностей (вербальной, образной и вербально-образной) форм выражения структурных элементов знаний является шестым направлением развития обобщенной спиральной модели.

Седьмым направлением развития является определение в креативном пространстве процесса концептуализации в виде повторяемых изменений денотатов и процессов интерпретации состояний измененных денотатов.

Восьмым направлением развития является описание четырех возможных вариантов завершения процесса интерпретации:

- личностный концепт не сформирован (индивидуальное понимание объекта интерпретации экспертом отсутствует);

- сформирован личностный концепт и определено его место в заданной системе классификации (первый уровень перехода от индивидуальных невыраженных знаний к выраженным);

- личностный концепт как новый структурный элемент знаний выражен в вербальной (естественно-языковой), образной или вербально-образной формах (второй уровень перехода от индивидуальных невыраженных знаний к выраженным);

- формы выражения личностного концепта согласованы с одним или несколькими экспертами группы (переход от индивидуальных выраженных знаний к коллективным).

В обобщенной спиральной модели формирования знаний отсутствует упомянутый процесс перехода от индивидуальных выраженных знаний к коллективным. Добавление этого процесса в креативное пространство является девятым направлением развития модели. Этот процесс перехода назовем согласованием индивидуальных выраженных знаний с другими участниками совместной деятельности, в данном случае, с экспертами мониторинга и оценивания ПЦД.

Рассмотренные девять направлений развития обобщенной спиральной модели формирования знаний, определенной Вежбицки и Накамори, и разработанная система терминов (см. Рисунок 2) представляют собой концептуальные основы разработки моделей компьютерного представления экспертных знаний.

В третьей главе диссертации дано описание разработанных автором семиотических моделей компьютерного представления знаний об индикаторах, формируемых экспертами, в системах информационного мониторинга. Лингвистическое обеспечение этих систем включает в себя проективный словарь, состоящий из дескрипторов новых индикаторов. Дескриптор описывает концепт, фиксирует название (имя) и состояние денотата индикатора.

Каждый дескриптор, который строится экспертом в целях описания формируемого им индикатора, включает три уникальных идентификатора:

- семантический идентификатор, который в диссертации назван кодом первой категории, предназначенный для компьютерного представления значения (смысла) дескриптора, т.е. концепта индикатора;

- информационный идентификатор, который назван кодом второй категории, предназначенный для компьютерного кодирования названия (имени) индикатора;

- объектный идентификатор, который назван кодом третьей категории, предназначенный для кодирования состояния денотата индикатора.

Дескриптор включает в себя набор связей, фиксирующих его положение внутри словаря, и набор внешних связей с компонентами видов обеспечения системы информационного мониторинга.

В целях построения семиотических моделей компьютерного представления экспертных знаний в диссертации для каждого дескриптора определено новое понятие семокода как совокупности концепта дескриптора и уникального семантического идентификатора дескриптора в словаре. Концепт дескриптора выражается набором внутренних связей дескриптора в словаре, его дефиницией и набором внешних связей дескриптора с видами обеспечения систем информационного мониторинга.

Аналогично для каждого дескриптора определено новое понятие формокода как сочетания названия (имени) индикатора, для которого построен дескриптор, и уникального информационного идентификатора дескриптора.

Кроме построения этих двух новых понятий, в диссертации для описания семиотических моделей сформирована система терминов, включающая следующие понятия с явным отнесением каждого из них к одной трех сред (см. Рисунок 2):

- знания - результаты познавательной и креативной деятельности человека, носителем которых может быть только человек и в которых могут быть выделены отдельные "кванты" знаний (ментальная среда);

- концепты - элементарные единицы или сочетания элементарных единиц плана содержания, выраженные в рамках некоторого естественного языка (в общем случае, в рамках той или иной знаковой системы); концепты делятся на личностные, согласованные группой экспертов и конвенциональные концепты (ментальная среда);

- ментальные образы - структурные единицы невыраженных знаний человека, соответствующие сенсорно воспринимаемым данным и не являющиеся концептами (ментальная среда);

- информация - авторские, коллективные или общепринятые формы эксплицитного (явного) и отчужденного от человека представления его знаний, предназначенные для передачи, непосредственного сенсорного восприятия и понимания их другими людьми (социально-коммуникационная среда);

- знаковая информация - результат процесса представления концептов человеком в плане выражения некоторой знаковой системы в любой отчужденной форме, которая является сенсорно воспринимаемой другими участниками коммуникаций и содержательно интерпретируется ими в рамках этой знаковой системы (социально-коммуникационная среда);

Размещено на http://www.allbest.ru/

Рисунок 2. Термины для описания семиотических моделей и их распределение по трем средам третьего измерения креативного пространства

...

Подобные документы

  • Преимущества и недостатки моделей представления знаний. Модель, основанная на правилах, фреймовая модель. Семантическая сеть. Структура экспертных систем и этапы их разработки. Механизмы логического вывода. Стратегия "вверх-снизу", "от цели к ситуации").

    презентация [195,3 K], добавлен 29.10.2013

  • Понятия, классификация и структура экспертных систем. Базы знаний и модели представления знаний. Механизмы логического вывода. Инструментальные средства проектирования и разработки экспертных систем. Предметная область ЭС "Выбор мобильного телефона".

    курсовая работа [2,2 M], добавлен 05.11.2014

  • Классы и группы моделей представления знаний. Состав продукционной системы. Классификация моделей представления знаний. Программные средства для реализации семантических сетей. Участок сети причинно-следственных связей. Достоинства продукционной модели.

    презентация [380,4 K], добавлен 14.08.2013

  • Сущность данных и информации. Особенности представления знаний внутри ИС. Изучение моделей представления знаний: продукционная, логическая, сетевая, формальные грамматики, фреймовые модели, комбинаторные, ленемы. Нейронные сети, генетические алгоритмы.

    реферат [203,3 K], добавлен 19.06.2010

  • Проблема представления знаний в компьютерных системах – одна из основных проблем в области искусственного интеллекта. Исследование различных моделей представления знаний. Определения их понятия. Разработка операции над знаниями в логической модели.

    курсовая работа [51,9 K], добавлен 18.02.2011

  • Определения знаний и приобретения знаний человеком. Виды знаний и способы их представления. Приобретение и извлечение знаний. Визуальное проектирование баз знаний как инструмент обучения. Программное обеспечение для проведения лабораторных работ.

    дипломная работа [960,9 K], добавлен 12.12.2008

  • Изучение фреймового способа представления знаний, его специфики и основных характеристик. Обзор других методов представления знаний, их плюсы и минусы. Иерархическая структура данных фрейма. Механизм управления выводом с помощью присоединенной процедуры.

    реферат [2,6 M], добавлен 22.12.2014

  • Синтаксис логики предикатов. Преобразование унарных предикатов в бинарные. Функции, выполняемые экспертной системой. Правила "если-то" для представления знаний. Разработка оболочки в экспертных системах. Рассуждения, использующие логические формулы.

    курс лекций [538,1 K], добавлен 16.06.2012

  • Представление знаний в когнитологии, информатике и искусственном интеллекте. Связи и структуры, язык и нотация. Формальные и неформальные модели представления знаний: в виде правил, с использованием фреймов, семантических сетей и нечетких высказываний.

    контрольная работа [29,9 K], добавлен 18.05.2009

  • База знаний - структурированная информация из области знаний для использования кибернетическим устройством (человеком). Классификация, структура, формат представления знаний, интеллектуальные системы поиска информации. Базы знаний на примере языка Пролог.

    презентация [51,3 K], добавлен 17.10.2013

  • Анализ процессов диагностики повреждений трубопровода. Разработка модели продукционной базы знаний: обзор методов представления знаний, описание создания базы знаний и разработки механизма логического вывода. Экономическое обоснование концепции проекта.

    дипломная работа [3,0 M], добавлен 16.04.2017

  • Проблема представления знаний. Представление декларативных знаний как данных, наделенных семантикой. Представление процедурных знаний как отношений между элементами модели, в том числе в виде процедур и функций. Представление правил обработки фактов.

    курсовая работа [33,1 K], добавлен 21.07.2012

  • Рассмотрение теоретических и методологических основ создания компьютерных тестов. Описание практической разработки программного обеспечения для контроля знаний студентов. Сравнение экономических и технических параметров аналогичных тестовых программ.

    дипломная работа [1,3 M], добавлен 14.07.2010

  • Фреймы как один из распространенных формализмов представления знаний в электронных системах, их классификация и типы, структура и элементы. Иерархические фреймовые структуры и принципы их построения. Код программы Интерфейс. Разработка программного кода.

    лабораторная работа [524,2 K], добавлен 02.11.2013

  • Структура контрольно-оценочной деятельности. Разработка набора инструментальных средств поддержки тестового контроля знаний. Расчет затрат на разработку программной системы с использованием постархитектурной модели COCOMO II. Нормирование шума и вибрации.

    дипломная работа [5,4 M], добавлен 21.11.2012

  • Структура экспертных систем, их классификация и характеристики. Выбор среды разработки программирования. Этапы создания экспертных систем. Алгоритм формирования базы знаний с прямой цепочкой рассуждений. Особенности интерфейса модулей "Expert" и "Klient".

    курсовая работа [1,1 M], добавлен 18.08.2009

  • Обобщенная структура и принципы функционирования экспертных систем. Выбор модели представления знаний. Разработка логического блока программы и графического пользовательского интерфейса. Текст программы и экспериментальная оценка результатов работы.

    дипломная работа [2,4 M], добавлен 06.03.2013

  • Проверка и коррекция знаний учащихся в системе личностно ориентированной технологии образования с использованием тестирования. Подготовка материалов для компьютерного контроля знаний. Разработка проекта "тестирующая программа". Понятие и виды тестов.

    дипломная работа [696,2 K], добавлен 16.06.2015

  • Фреймовые модели представления знаний. Разработка структуры фреймов для реализации экспертной системы. Разработка экспертной системы с фреймовой моделью представления знаний. Редактирование базы фактов кандидатов и описание режима консультации.

    курсовая работа [1,3 M], добавлен 13.10.2012

  • Изучение в реальных условиях способов представления знаний во Всемирной сети. Представления данных в интернет и способы эффективной публикации данных. Конфигурация Web-сервера на виртуальном хостинге. Настройка и отладка работы сайтов на разных CMS.

    отчет по практике [947,2 K], добавлен 09.02.2012

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.