Социальное прогнозирование

Исторические условия возникновения и развития социального прогнозирования. Концепция "технологического прогнозирования" и ее сущность. Технология прогнозных разработок социальных процессов. Прогнозирование конкретных проблемных ситуаций на примере России.

Рубрика Социология и обществознание
Вид курс лекций
Язык русский
Дата добавления 28.11.2012
Размер файла 509,6 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Следует иметь в виду, что в отличие от прогнозов в естественных и технических науках, объекты которых почти или совершенно неуправляемы, прогнозы в общественных науках осуществляются в отношении объектов, практически всегда поддающихся видоизменению, в том числе посредством действия на основе решений, принятых с учетом прогноза. Это делает некорректным простое (безусловное) предсказание, т.к. происходит эффект самоосуществления или саморазрушения прогноза средствами управления и обуславливает методологическую ориентацию социального прогноза на содействие повышения степени обеспеченности объективно принимаемых решений, как бы заблаговременно «взвешивая» их последствия. Такая цель, как уже говорилось, достигается разработкой сугубо условных предсказаний в социальных прогнозах двух типов: поискового, цель которого -- выявление перспективных социальных проблем, подлежащих решению средствами управления, и нормативного -- определение альтернативных путей оптимального решения перспективных проблем. С целью повышения эффективности целеполагания, планирования, программирования, проектирования, организационно-управленческих решений разрабатываются соответствующие (целевые, плановые и т.д.) прогнозы обоих типов. Для достижения поставленной цели необходимо последовательно решить несколько задач.

6. Задачи прогностического исследования -- это система конкретных требований, предъявляемых к разработке и решению сформированной проблемы. По отношению к цели, задачи -- необходимое средство ее реализации, они указывают на возможность ее достижения с помощью проведения процедур исследования. В совокупности задачи образуют структуру исследования (предпрогнозная ориентация, построение исходной модели и прогнозного фона, разработки поискового и нормативного прогнозов, их верификация, выработка рекомендаций для повышения эффективности управления).

7. Главным методологическим инструментом исследования являются рабочие гипотезы, подтвердить или опровергнуть которые призвано предпринимаемое исследование. При этом необходимы гипотезы двух типов: 1) методологические (инструментальные): предположения, что применяемая методика при таких-то условиях способна дать достоверные результаты), 2) концептуальные (содержательные): предположения об ожидаемом или желаемом состоянии изучаемого объекта в будущем.

В программе с самого начала должен быть определен период основания прогноза (рестроспекция) -- отрезок времени, на котором строятся динамические ряды развития параметров исходной модели в прошлом и настоящем, и период упреждения прогноза (проспекция) -- отрезок времени, на который рассчитан прогноз.

По времени упреждения социальные прогнозы, как и планы, делятся на оперативные, краткосрочные, среднесрочные, долгосрочные, сверхдолгосрочные, или дальнесрочные.

Оперативные (в пределах года) -- независимо от конкретного времени упреждения основываются на предположении о том, что в прогнозируемом периоде с объектом исследования не произойдет никаких изменений, кроме некоторых частных количественных.

Краткосрочные (1 год -- 5 лет) -- предполагают серьезные количественные изменения и соответствующие оценки.

Среднесрочные (5 лет -- 10--15 лет) -- неизбежны количественно-качественные изменения, следовательно, необходимо давать также некоторые качественные оценки.

Долгосрочные (15 лет -- 20--30 лет) -- в них оценки принимают качественно-количественный характер, т.е. приходится учитывать неизбежность серьезных количественных изменений.

Сверхдолгосрочные (свыше 30 лет) -- ограничиваются обычно лишь общими качественными оценками на уровне общих закономерностей развития объектов, т.к. давать какие-то конкретные количественные оценки становится все более затруднительно.

Существуют три взаимодополняющих источника прогнозной информации: накопленный опыт, основанный на знании закономерностей развития исследуемых процессов; экстраполяция существующих тенденций, закономерности развития которых в простом и настоящем достаточно хорошо известны; построение моделей исследуемых объектов применительно к ожидаемым или намечаемым условиям. Сообразно этим источникам существуют три дополняющие друг друга способа (т.е. совокупности однотипных методов) разработки прогнозов: экспертиза, основанная на очных и заочных, индивидуальных и коллективных опросах экспертов; экстраполяция -- изучение предшествующего развития объекта и перенесение закономерностей этого развития в прошлом и настоящем на будущее; моделирование -- построение и исследование моделей объекта с учетом его возможного или желательного изменения по имеющимся или косвенным данным о масштабах и направлении изменений. Наиболее эффективная прогнозная модель -- система уравнений. Существуют и другие виды моделей: сценарии, имитации, графы, матрицы и т.д.

Приведенное разделение способов прогнозирования достаточно условно, т.к. на практике они взаимно пересекаются и дополняют друг друга. Ни один из них, взятый сам по себе, не может обеспечить значительную степень достоверности, точности, дальности прогноза. В определенных же сочетаниях они оказываются в высокой степени эффективными. Так, прогнозная оценка обязательно включает элементы экстраполяции и моделирования; процессы экстраполяции невозможны без элементов оценки и моделирования; моделирование подразумевает предварительную оценку и экстраполирование. В практике прогнозирования постоянно применяются 10--15 (а в теории существует свыше полутораста) методов прогнозирования, куда входит несколько методов опроса экспертов, а также несколько способов разработки экстраполяционных и различных других (сценарных, матричных, сетевых, имитационных и т.д.) моделей.

Прогностическое исследование требует тщательной организации. Опыт показывает, что даже для относительно несложного социального прогноза требуется исследовательская группа в 5--7 специалистов и срок в несколько месяцев (обычно от квартала до полугода). Более сложные прогнозы требуют группы из 10--15 специалистов (превышение этой величины нерационально и диктуется обычно непринципиальными соображениями) и срок в 2--3 года (более продолжительные сроки обесценивают прогноз вообще, и в качестве предплановых разработок -- в особенности). Состав исследовательской группы:

* руководитель (желательно -- генератор идей);

* 2--3 его помощника (желательно -- один с критическим складом мышления -- модератор идей; один с конструктивным складом мышления -- аниматор идей, и один с аналитическим складом мышления -- систематизатор идей);

* 1--2 разработчика -- математика, способных формализовать аппарат исследования на должном уровне;

* секретарь-делопроизводитель.

Развертывание группы до 10--15 человек происходит за счет удвоения числа помощников и включения нескольких вспомогательных работников для сбора и обработки информации, т.е. предварительного реферирования источников и литературы, проведения опросов экспертов и населения (опросы населения в практике прогнозирования применяются пока сравнительно редко), подготовки материалов для формализации в моделях и т.д. (при группе в 5--7 человек этим занимаются непосредственно помощники руководителя).

Такая организация группы предполагает полный объем «внешнего» обслуживания исследования силами других специализированных подразделений научного учреждения или даже ряда научных учреждений (интервьюеры, кодировщики и пр.). Опыт показывает, что стремление сосредоточить все эти вспомогательные службы в рамках исследовательской группы ведет к неполной загруженности сотрудников (неизбежной в перерывах между различными циклами исследования) с очень негативными последствиями в смысле производственной дисциплины, и это не может не сказаться на результатах исследования.

Что касается формирования экспертных групп, то опыт социального прогнозирования показывает желательность оптимального сочетания в них экспертов различной степени опытности, различного уровня обобщения представленной на экспертизу информации (диалектика «более широкого» и «более глубокого подхода») и различного отношения к информации по характеру своей работы («теоретиков» -- работников научных учреждений и «практиков» -- работников общественных, хозяйственных и других органов). По ряду аспектов в социальном прогнозировании допускается поднимать опрос населения до уровня опроса экспертов там, где респонденты способны давать в высокой степени обоснованные оценки на базе своего жизненного опыта.

Примерный перечень рабочих документов исследования

1. Предварительные контуры (сводная матрица) исходной модели.

2. Макет анкеты-интервью для уточнения и конкретизации параметров исходной модели.

3. То же -- для уточнения и конкретизации параметров поисковой и нормативной прогнозных моделей.

4. Макет анкеты параллельного экспертного опроса для то же цели.

5. Шкалы измерения.

6. Инструкция интервьюеру.

7. Инструкция кодировщику.

8. Инструкция по проведению коллективного опроса экспертов.

9. Инструкция по обработке материалов опроса экспертов.

10. Перечень показателей уточненной исходной модели.

11. Конспект прогнозного фона.

12. Проспект предмодельного сценария.

13. Рабочие гипотезы поисковой модели.

14. Проспект критериев построения нормативной модели.

Количество, состав, объем и характер рабочих документов всецело определяются особенностями, целями и задачами исследования.

Лекция 11. ПОСТРОЕНИЕ ИСХОДНОЙ (БАЗОВОЙ) МОДЕЛИ И ЕЕ АНАЛИЗ. ПОСТРОЕНИЕ МОДЕЛИ ПРОГНОЗНОГО ФОНА

Прогноз явлений социальной жизни начинается и завершается построением прогнозной модели. В отличие от естественных наук, оперирующих главным образом теоретическими моделями, основанными на уже познанных закономерностях окружающего мира с высоким уровнем формализации и широкими возможностями измерения с помощью ЭВМ, в социологических исследованиях до сегодняшнего дня используются по преимуществу описательные модели. Причина -- в низком уровне математизации социологических исследований, недостаточной готовности общественных наук к строгой формализации исследуемых объектов. Поэтому социологическая прогнозная модель чаще выглядит как система уравнений, набор правил, таблица и т.п. и представляет собой совокупность более или менее строго измеряемых данных, достаточно полно отображающих структуру и характер предмета исследования. Прогноз в этом случае выступает как преобразование индикаторов конкретных значений одной модели (исходной) в измененные по определенным законам и правилам индикаторы двух других (поисковой и нормативной). Иначе говоря, модель предмета социологического прогностического исследования -- это объект исследования, формализованный настолько, чтобы предстать в форме, поддающейся количественным оценкам аналитического, диагностического и прогностического характера.

Все эти признаки распространяются, в частности, и на исходную модель. Особая же, специфическая ее функция состоит в том, что она выполняет роль основы, ядра прогнозной разработки. Все остальные операции по составлению прогноза согласно законам прогностики являются, по сути, преобразованием параметров исходной модели. Поэтому и необходима тщательная разработка исходной модели: интерпретация недостаточно основательно разработанной системы исходных показателей сведет на нет сам прогноз как специфически научное исследование, подменив его одной из форм простого или сложного предвосхищения.

Простейший тип исходной модели -- упорядоченный набор показателей. Показатель -- это операционная характеристика социально значимого явления или процесса, которая отражает его свойства, связи или отношения и является одновременно инструментом измерения последних.

Показатель как инструмент социологического измерения имеет вид некоторого суждения о наличии или отсутствии, а также интенсивности проявления определенного эмпирически наблюдаемого свойства объекта. Например, характеристика среднего дохода на душу населения может служить одним из показателей материального благосостояния общества, а степень загрязненности воздуха -- охраны окружающей среды.

В широком смысле показатель -- это любая потенциально или актуально поддающаяся эмпирической проверке характеристика объекта. «Динамика правонарушений», качество питания, «доля экспорта в национальном доходе» -- показатели функционирования различных сфер жизнедеятельности общества. Имея достаточно четкое и емкое содержание, они не дают представления о способах сбора и источниках информации и ее объеме. Социальный показатель -- характеристика социально значимого явления или процесса, которая отражает его свойства, связи или отношения; показатель является инструментом измерения последних.

Структура показателя: индикатум (измеряемое) и индикатор (измеряющее). Индикатум и индикатор в структуре показателя аналогичны субъекту и предикату суждения и вследствие этого поддаются всем операциям и преобразованиям логики предикатов. Индикатум почти всегда имплицитно присутствует, подразумевается в содержании индикатора. Например: «средний возраст вступления в брак» -- характеристика, являющаяся индикатумом, подразумевает определенное число-индикатор. Индикатум «среднее число учащихся на одного преподавателя» тоже предполагает соответствующее число-индикатор. То же самое относится к индикатуму «отношение к спорту» и т.п. Наиболее адекватная интерпретация социального показателя -- таблица, состоящая из индикатумов и индикаторов.

Любой социальный показатель, имеющий структуру «индикатум» -- «индикатор», можно изобразить функцией Р(х) (объект х имеет свойство Р). Это эмпирическая форма показателя. Однако социологическое исследование имеет целью объяснить изучаемые явления и процессы, выявить функциональные и причинные связи между переменными. Показатели функциональных связей могут быть выражены импликативной логической формой Р(х) ЙК(х) -- если объект х имеет свойство Р, то он имеет свойство К. Этой же формой можно выразить взаимосвязи между свойствами разных объектов. В этом случае формула имеет вид Р(х)ЙК(у) -- если объект х имеет свойство Р, то объекту имеет свойство К. Поскольку социальные процессы нередко имеют вероятностный характер, в приведенные формулы можно ввести модельные операторы.

Все изложенное касается только таких показателей, которые имеют непосредственное конкретное содержание и выражаются в вещественных единицах. Однако показатели могут быть получены расчетным путем на основе некоторого количества других показателей и выражаться невещественными величинами. Показатели, утратившие свое вещественное содержание, называются индексами. Показатели-индексы имеют комплексную структуру и описываются формулой (К(х) б L(x) б M()...N(x)ЙР(х)) -- если объект х имеет некоторые свойства К, L и т.д., то он имеет свойство Р. Индикатор в структуре индекса, как правило, отражает ненаблюдаемое свойство объекта. Основное отличие показателя от индексов заключается в опосредованной, усложненной процедуре расчета последних, а также в особенностях теоретической интерпретации. В остальном они, как правило, совпадают.

Виды социальных показателей

1. Качественные и количественные

Качественные показатели только констатируют наличие или отсутствие качества в терминах номинальной шкалы (пол, национальность, возраст).

Количественные показатели свидетельствуют об интенсивности проявления свойства в значениях «больше-меньше». Могут быть дискретными (принимающими значения, отличающиеся на целую величину, например численность населения) и непрерывными (принимающими любые целые или дробные значения в зависимости от требуемой степени точности: возраст, затраты времени).

2. Единичные и групповые

Единичные -- всякий показатель, индикатум которого мыслится как единичный предмет; среди них бывают:

а) абсолютные -- отражают такие характеристики субъектов, которые конструируются без использования информации как о группе в целом, так и о взаимоотношениях в ней (возраст, семейное положение);

б) относительные -- выводятся на основе информации об отношениях между членами группы (широко используются в социометрии);

в) сравнительные -- характеризуют субъект посредством сравнения значения, которое приобретается на некотором континууме, со значениями других членов группы;

г) контекстуальные -- описывают члена группы свойством группы в целом (работник торговли, дошкольник).

Групповые показатели бывают трех типов:

а) аналитические -- формируются посредством статистического обобщения данных о каждом единичном объекте; имеют дополнительные различия:

-- один и тот же индикатор может быть использован для описания как всей группы в целом, так и ее каждого отдельного члена;

-- сами показатели могут быть выражены мерами изменчивости статистического распределения: стандартным отклонением, дисперсией, параметрами кривизны и т.п. Будучи рассчитанными на основе единичных, экстраполироваться на них эти показатели не могут;

б) структурные -- основываются на данных об отношениях членов группы;

в) глобальные -- описывают только группы в целом и не сводятся к свойствам индивидов.

Возможно соединение нескольких типов в одном показателе, одновременная характеристика одних и тех же объектов как групп и как индивидов.

Сами по себе социальные показатели опосредуют переход от теории к методологии исследования социального явления или процесса к сбору эмпирической информации и обратно через анализ и интерпретацию данных к концептуальной модели объекта.

Разработка исходной модели

Процесс построения исходной модели социального объекта, представленной как система показателей, включает следующие этапы:

1) разработку концептуальной модели объекта;

2) построение тезауруса показателей;

3) экспертные оценки значимости показателей;

4) математико-статистические оценки значимости показателей.

1. Разработка концептуальной модели объекта

Сущность предпринимаемого для этой цели анализа заключается в том, что объект представляется в виде некоторого ограниченного числа основных измерений, описывающих его с более или менее достаточной полнотой. Затем идентифицируются и оцениваются все возможные состояния, которые данный объект может принимать. По сути своей эта операция аналогична логико-аналитической схеме объекта. Например, при построении модели такого объекта как «структура ценностных ориентации» могут быть выделены следующие структурные компоненты: ориентация на трудовую, бытовую, культурную, общественную деятельность.

Далее необходимо установить качественные формы каждого компонента, отражающие сущность социальных изменений в данной области. Сложность этого этапа исследования социального объекта состоит в том, что результаты его могут быть следствием только содержательного анализа, а не выводиться с помощью набора формальных процедур. Сама модель должна быть в определенной мере формализована, т.к. становится основой построения системы эмпирических показателей.

Обычно при построении модели в виде набора показателей допускается, что каждый из структурных компонентов может принимать несколько нормативных форм, например, три: высшую (1), среднюю (2), низшую (3). Эти формы не исчерпывают всего многообразия проявлений жизнедеятельности объекта, но для его формализации это упрощение вынужденное и может быть в дальнейшем компенсировано теоретическим анализом результата. В итоге отдельные измерения, конкретизированные с точки зрения их нормативных форм, образуют многомерную аналитическую модель объекта. Схема представляет собой матрицу, где объект («ценностные ориентации») представлен пересечением четырех видов его проявления (трудовая, бытовая, культурная, общественная деятельность), каждый из которых имеет три нормативных формы (высшая, средняя, низшая).

Схема идентична часто применяемому при разработке инструментария социологических исследований «логическому квадрату», который позволяет выработать агрегированный индекс сложного социального объекта. Каждой клетке приписывается индекс в соответствии с суммарными баллами нормативов. В итоге выборочная совокупность распределяется на одномерном континууме индексов. Такая схема не может быть реализована без эмпирической интерпретации нормативов, т.е. индексирования, основная сложность которого заключается в нахождении и отборе наиболее значимых показателей исследуемого объекта. Если представить это в виде схемы, то процесс такой операционализации будет состоять из двух уровней:

-- основные компоненты, перечисленные выше;

-- каждый из них представляется в виде составляющих, образуя формальную иерархическую структуру типологии показателей.

2. Построение тезауруса показателей

Сложность анализа социального объекта состоит в том, что максимально полный перечень его характеристик охватывает все без исключения его проявления и практически реализован быть не может. Поэтому разумнее поставить цель, отобрать, с одной стороны, сравнительно немногочисленную, компактную совокупность переменных, с другой -- обеспечить полноту и всестороннее рассмотрение путем отбора наиболее существенных характеристик.

На основе перечня всех вопросов, задаваемых исследователями в процессе сбора информации, и классификации их по рубрикам создается тезаурус, обеспечивающий относительную полноту набора показателей

Тезаурус -- это перечень социальных показателей исследуемого объекта, отобранных в результате анализа содержания методических документов, полученных в процессе сбора социологической информации и систематизированных в соответствии с принятой классификационной схемой. Относительная полнота набора показателей обусловлена тем, что речь идет об используемых показателях (а их количество весьма ограниченно), тогда как за пределами системы, возможно, остаются такие характеристики, которые существенны для понимания исследуемого объекта, но по тем или иным причинам не принимаются во внимание. Однако здесь есть и некоторый позитивный момент, связанный с тем, что содержание используемых показателей отражает насущные практические задачи, стоящие перед наукой, поэтому полученная типология показателей будет прежде всего отражать главные проблемы исследуемого объекта.

Теоретической гипотезой построения системы может служить предположение, что существенная проблематика социологических исследований и, следовательно, виды показателей по содержанию могут быть типологизированы согласно построенной исходной схеме.

Методическая гипотеза может состоять в том, что количество показателей, используемых в современной социологии, достаточно ограниченно и поддается учету.

Эмпирическим полем исследования может служить совокупность методических документов, полученных в процессе сбора социологической информации, имеющейся в библиотеках, архивах и банках данных организаций. Каждый показатель (вопрос системы вместе с вариантами ответов) заносится на отдельную перфокарту с краевой перфорацией и шифруется в соответствии с предварительно разработанным рубрикатором. Составляется картотека обследованных документов.

Опыт показывает, что достаточно репрезентативная информация о содержании социальных показателей, используемых в практике социологических исследований для объектов типа «национальные отношения», «ценностные ориентации», «культура», «общественная жизнь», «социальное обеспечение» и т.п., может быть выявлена путем анализа 200--300 документов. Кроме того, исследователь получает представление о количественных и содержательных приоритетах по направлениям исследования объекта (например, в социологических исследованиях в области антиобщественных явлений стабильное первенство занимает анализ правовых и морально-этических аспектов нарушения норм общежития, и сравнительно незначительное внимание уделяется анализу мотивации антиобщественных действий).

Представляется полезным сравнить разработанную систему данных с результатами уже проведенных аналогичных исследований. Это дает возможность более объективно оценить достоверность полученных вами данных. При этом важно помнить, что система не исчерпывает всего многообразия показателей исследуемого объекта, однако обладает относительной полнотой с точки зрения практической направленности социологических исследований, осуществляемых в этой области. Основная ее функция -- служить информационной основой для построения системы показателей исследуемого объекта.

3. Экспертные оценки значимости показателей

Одна из важных методологических проблем построения системы показателей -- определение критериев отбора показателей. Среди различных подходов к этой проблеме по значению выделяются логический и исторический. Первый связан с анализом формальной структуры исследуемого объекта, второй -- с конкретно-историческим контекстом функционирования объекта. Последний обладает тем преимуществом, что позволяет выдвинуть гипотезу методологического характера о том, что эффективным критерием отбора социально значимых показателей может служить степень отражения им наиболее актуальных социальных проблем и наиболее важных социальных целей общества. До проведения социальных исследований проблемно-целевых аспектов изучаемого объекта наиболее подходящим способом проверки данной гипотезы представляется использование методов экспертных оценок. При этом социальные проблемы следует рассматривать в единстве с социальными целями.

Наиболее важные этапы поискового и нормативного прогнозов -- построение соответственно «дерева проблем» и «дерева целей». «Дерево целей» не должно строиться чисто умозрительно-дедуктивно, в отрыве от реально существующих проблем, оно не должно строиться и чисто эмпирически-индуктивно, в отрыве от определенного, теоретически разработанного социального идеала. Односторонний подход таит в себе опасность ошибок при постановке целей. Кроме того, при построении «дерева проблем» не следует игнорировать теоретически разработанные цели во избежание разрыва между теорией и практикой. В идеале нижний (наиболее детальный) уровень «дерева целей» должен совпадать с нижним уровнем «дерева проблем», Иначе говоря, ближайшие практические цели должны сводиться к решению наиболее актуальных социальных проблем, но иметь четко ориентированную долгосрочную перспективу.

С учетом этих особенностей взаимосвязи между «деревом целей» и «деревом проблем» к экспертизе приходится предъявлять довольно строгие требования. Эксперты должны быть специалистами по конкретным социальным проблемам и вместе с тем иметь представление о всей проблематике исследуемого социального явления, о тенденциях развития его каждого конкретного аспекта. Предъявлять такого рода требования к какой-то одной группе экспертов в условиях недостаточно разработанной пока проблематики большинства социальных явлений и процессов было бы нереальным. Поэтому для участия в опросе полезно привлекать различные группы экспертов. Совокупность этих групп призвана обеспечить большую степень репрезентативности выборки респондентов в целом.

Для обеспечения надежности результатов желательно использовать несколько (две-три) методик опроса экспертов. Опросы должны иметь определенную логическую последовательность.

Разовый заочный опрос экспертов

Участие экспертов в определении проблем и целей исследуемого объекта является весьма эффективным приемом. Специалисты по экспертизе считают, что по существу ни один иной метод прогнозирования не является столь эффективным. Это объясняется не столько достоинствами самого метода, сколько ограничениями, возникающими при использовании более точных и сложных методов, прежде всего недостаточностью исходной информации и необходимостью трудоемких подготовительных процедур. Что же касается экспертных оценок, то они достаточно экономичны и эффективны при сравнительно незначительной потере точности.

В методическом отношении цель разовой заочной экспертизы сводится к выработке элементов типовой методики заочного экспертного опроса, способной обеспечить эффективное использование экспертов при построении систем социальных показателей.

В содержательном отношении целью такого опроса является определение степени социальной значимости перспективных проблем (и соответствующих им показателей) исследуемого объекта.

Успех экспертизы во многом определяется составом и компетентностью опрашиваемой группы. Выбор экспертов, а также членов параллельной контрольной группы -- один из важных вопросов этого этапа исследования. Полезно составить группу экспертов из специалистов-практиков, имеющих опыт работы в различных отраслях народного хозяйства. Контрольная же группа может быть представлена теоретиками научными сотрудниками, исследующими различные аспекты избранной проблемы.

На первом этапе работы по проведению экспертизы составляют исходный перечень основных проблем изучаемого объекта, обобщают и уточняют его путем контент-анализа. Панельный очный опрос экспертов из параллельной контрольной группы «методом комиссии» позволяет обобщить формулировки проблем, устранить дублирующие друг друга или носящие специфический, частный характер, относящиеся не ко всему объекту в целом, а к его отдельным деталям. В итоге будет получен перечень, который станет основой материала экспертизы -- окончательного варианта «Анкеты эксперта». Цель экспертизы -- упорядочить выделенные социальные проблемы и соответствующие им показатели, первые -- по степени их актуальности в общественной жизни, вторые -- по степени эффективности отражения связанных с ними проблем. Проблемы и показатели могут оцениваться при помощи двух независимых методик: ранжирования и непосредственно балльных оценок. Обработка результатов экспертизы проводится традиционными математико-статистическими методами.

Панельный опрос экспертов

Следующую задачу -- определение значимости социальных целей исследуемого объекта следует рассматривать в плане решения социальных проблем. Последние ранжируют по степени важности и актуальности, но теперь уже в диалектической взаимосвязи с целями. Для решения этой задачи используют технику деструктивной отнесенной оценки, касающуюся группы экспертных интуитивных методов, коллективное обсуждение мнений и генерацию новых идей. Метод основан на хорошо известных правилах проведения одной экспертизы и принадлежит к классу управляемых экспертных опросов, но с такой степенью свободы высказываний экспертов, которая позволяет рассчитывать как на конструктивную критику даваемых оценок, так и на получение оригинальных, нетривиальных оценок.

Сущность этой техники получения экспертных оценок заключается в стимулировании творческого потенциала экспертов с помощью критики (деструкции) предложенных оценок и выработки (отнесения) новых известными приемами «мозговой атаки». Стимулирующий эффект создается, во-первых, за счет искусственной элиминации ограничений при высказывании критических экспертных суждений на первом (деструктивном) этапе работы, во-вторых, за счет «расковывания» творческого потенциала экспертов при высказывании оригинальных конструктивных суждений на втором этапе работы (отнесение оценок), в-третьих, за счет нового, неожиданного «видения» экспертом проблемы глазами своих коллег по ходу дискуссии с ними. Все это позволяет рассчитывать на высокую эффективность применения данной техники при экспертизе сложных социальных явлений.

Наиболее эффективна эта техника при вынесении оценок, предполагающих ряд альтернативных вариантов, один из которых может быть расценен как оптимальный по заранее заданным критериям. При таком подходе цель экспертизы сводится к определению набора альтернатив. Кроме того, метод достаточно конструктивен при оценках, связанных с выявлением факторов, влияющих на характер альтернатив.

Процедуры метода деструктивной отнесенной оценки включают следующие этапы:

1. Составление проблемной записки (материала для обсуждения), включающей описание процедуры опроса и формулировку предмета обсуждения. Она начинается с постановки проблемы и перечня задач опроса. Здесь очень важна четкость формулировки, поэтому сложные объекты обычно расчленяются на более простые элементы.

2. Формирование экспертной группы. Оптимальная численность ее найдена эмпирическим путем: один человек -- при рассмотрении сравнительно простых вопросов, несколько больше -- при сложных. Желательно, чтобы в группу включались эксперты с сильно развитыми критическими наклонностями (модераторы), обладающие конструктивным мышлением (генераторы), хорошо знакомые с одним из аспектов рассматриваемой проблемы или со всей проблемой в целом. Желательно также, чтобы в группе были представлены специалисты из разных областей знания с высоким уровнем общей эрудиции.

3. Генерация идей на основе обсуждения проблемной записки по правилам «мозговой атаки». Она начинается с того, что ведущий ставит проблему обсуждения, т.е. раскрывает основное содержание проблемной записки, которая раздается экспертам за несколько дней до опроса (им предоставляется возможность освежить ее в памяти непосредственно перед началом опроса), отвечает на вопросы, возникшие у экспертов при ознакомлении с запиской, формулирует подлежащие обсуждению положения и концентрирует внимание участников на правилах проведения «мозговой атаки»:

-- высказывания экспертов должны быть четкими и сжатыми (регламент: не более 1--2 минут);

-- скептические замечания и критика предыдущих выступлений не допускаются;

-- каждый эксперт имеет право выступать несколько раз;

-- не разрешается зачитывать ответы, приготовленные заранее;

-- слово предоставляется в первую очередь желающему высказаться в связи с предыдущим выступлением;

-- ведущий поощряет экспертов за оригинальный подход к рассматриваемым вопросам;

-- создается по возможности самая непринужденная обстановка собеседования, «расковывающая» инициативу и творческие потенции экспертов, активизирующая обмен мнениями.

4. Систематизация идей, высказанных на предыдущем этапе. Ее осуществляет специальная аналитическая группа организаторов опроса;

-- составляется перечень всех высказанных идей;

-- каждая идея формулируется в общепринятых терминах, стандартных для данного исследования;

-- выявляются дублирующие или взаимодополняющие друг друга идеи, которые сводятся в комплексы;

-- идеи классифицируются по группам, и создается перечень групп с перечислением составляющих их идей в логическом порядке значимости;

-- составляется записка (доклад), представляющая собой тезисы-вопросы для последующего этапа (деструкции). Опыт показывает, что если представить экспертам для деструкции просто развернутую записку (доклад), то повышается риск отвлечения их внимания в сторону от обсуждаемых вопросов.

5. Деструкция идей и выдвижение контр идей (желательно на одном и том же задании группы). Обсуждение проводится так же, как и на этапе «мозговой атаки», с той лишь разницей, что при деструкции от экспертов требуется возможно более смелая, последовательная и исчерпывающая критика поочередно каждого выдвинутого положения (в порядке очередности выдвигаемых положений, а не выступающих). При выработке новых оценок процедура «мозговой атаки» повторяется полностью. Результатом данного этапа являются материалы для дальнейшего уточнения содержания проблемной записки.

6. Подведение итогов экспертизы: составляется систематический перечень всех критических замечаний, полученных на этапе деструкции, сводный список идей и контридей, не опровергнутых критическими замечаниями.

Использование этого метода позволяет уточнить и систематизировать экспертные оценки социальных целей исследуемого объекта, необходимые для разработки проблемно-целевой модели, которая может выступать в роли исходной (базовой) модели прогноза социального явления.

Экспертные оценки значимости возможных показателей исследуемого объекта

Предыдущие типы опроса экспертов ставили задачу апробировать различные методические подходы к использованию экспертизы с целью совершенствования систем показателей сложных социальных явлений. Особое внимание при этом уделялось вопросам определения степени компетентности экспертов и структуры экспертных групп. Однако огромный интерес представляют и содержательные экспертные оценки, дающие возможность развивать и совершенствовать различные направления социальной статистики.

Процедуры экспертизы включают следующие этапы:

1. Уточнение исходного набора показателей. Для этого проводится специальный очный опрос экспертов, осуществляемый одним из методов, имеющихся в распоряжении исследователей. В роли экспертов выступают специалисты исследуемой области. Серия таких опросов позволяет существенно уточнить исходный набор показателей.

2. Формирование экспертной группы для оценки уточненного набора показателей. Этому вопросу следует уделить особое внимание. Опыт опроса экспертов в заранее формализованных группах (отдел или сектор научно-исследовательского учреждения, группа ведущих практических работников и т.п.) наряду с очевидными достоинствами имеет и недочеты: чрезмерная однородность экспертной группы по уровню и профилю компетентности порождает односторонние оценки, даваемые почти под одним и тем же углом зрения без учета иных точек зрения.

Возникает проблема поисков оптимума в сочетании экспертов разного уровня и профиля компетентности, способных дать сложному социальному явлению основательную, разностороннюю оценку.

В этом плане наиболее предпочтителен метод так называемого «снежного кома»: проводится серия экспертных опросов, где каждому эксперту предлагается назвать одного или несколько специалистов, наиболее подходящих, по его мнению, для включения в сводную экспертную группу.

Можно прибегнуть к другим методам, например к использованию авторского библиографического указателя по исследуемой проблеме, а также к приемам отбора из первоначального списка наиболее компетентных экспертов с помощью документального метода, эксперимента, голосования и самооценки.

Документальный метод позволяет определить компетентность эксперта по формальным данным -- ученой степени и званию, должности, стажу работы в соответствующей области и т.д. Экспериментальный метод учитывает эффективность работы экспертов в предыдущих опросах. Метод голосования предполагает взаимооценки экспертов при условии достаточно устойчивых научных контактов между ними. Метод самооценки позволяет определить компетентность эксперта в зависимости от его ответов: занимался ли он рассматриваемой проблемой специально, знаком с ней только по специальной литературе или имеет о ней лишь самое общее представление.

Используя эти методы, следует помнить, что по экспертным оценкам не всегда можно с достаточной точностью выявить различие между научным статусом эксперта, фиксируемым документально, и степенью его действительной компетентности, а также связи между действительной компетентностью и самооценкой. Данные, приводящиеся в специальной литературе по экспертным оценкам, свидетельствуют, что наиболее эффективным показателем компетентности эксперта является самооценка (разумеется, подкрепленная данными, полученными другими методами).

Что касается достижения оптимальности в структуре экспертной группы (соотношение специалистов различных областей знания), для того чтобы быть уверенным, что выявленная система показателей отражает все стороны исследуемого объекта на одинаково высоком уровне, в экспертной группе должны быть более или менее равномерно представлены специалисты всех профилей исследуемой области. Оптимальное же соотношение специалистов широкого и узкого профиля -- величина непостоянная и требует специального расчета для каждого конкретного исследования.

Оптимальная численность экспертной группы как величина формальных способов определения не имеет. Очевидно, что минимальный предел должен обеспечивать возможность применения статистических процедур и известную гарантию против односторонности подбора экспертов, а максимальный диктуется реальными возможностями подготовки, проведения и обработки результатов экспертизы.

3. Проведение собственно экспертизы одним из известных методов. Методические сложности этого этапа состоят в необходимости сосредоточить внимание на таких аспектах, как заинтересованность экспертов в точности их оценок, выборе адекватных методов групповой оценки, согласованности мнений и ряда других моментов.

4. Сравнительный анализ аналогичных моделей

Изучение уже разработанных систем, сравнение их друг с другом, выявление преимуществ и недостатков каждой из них -- один из апробированных методов совершенствования системы показателей. Сложность этого вида исследования состоит в том, что подобрать достаточное количество однотипных систем с одинаковым содержанием, структурой и целенаправленностью практически невозможно Обычно приходится иметь дело со сложным информационным массивом сравнений (компаративным массивом), состоящим из разнотипных систем. Процедуры сравнения в подобных случаях значительно затрудняются, т.к. появляется опасность случайных, субъективных произвольных выводов.

В информатике, статистике и компаративистике имеется достаточно много методик сравнительного анализа рассматриваемого объекта. Здесь же целесообразно остановиться на проблеме методологии формирования компаративного массива, компаративных процедур и получения выводов из проведенного сравнения.

* Формирование компаративного массива. Опыт показывает, что минимальное количество различных показателей, с которым можно вести сравнительное исследование -- не более нескольких десятков единиц. Иначе потребуются годы работы большого исследовательского коллектива при значительных затратах времени и средств. Кроме того, наращивание информационного массива сверхдостаточного репрезентативного минимума существенно снижает эффективность выходных данных.

Имеются два метода отбора репрезентативного минимума: концентрического сужения потенциального массива информации по заранее заданным критериям; последовательного расширения какого-либо элемента указанного массива, принятого за исходный.

Сужение потенциального массива информации ведут несколькими этапами с удалением на каждом из них тех частей, которые признаются выходящими за рамки исследования или не имеют к нему непосредственно отношения. В итоге определяются узкие рамки окончательного отбора системы социальных показателей изучаемого объекта в целом, изложенные в специальных изданиях в определенном временном промежутке. Такому жесткому критерию обычно удовлетворяет лишь несколько названий работ в советской и зарубежной социологической литературе. Для обеспечения минимума достаточной репрезентативности требуется некоторое его расширение по другому ряду критериев.

Однако этот список необходимо дополнить работами, в названиях которых не фигурирует сам термин, обозначающий исследуемые явления, но которые по своему содержанию посвящены социальным показателям именно этого явления. Это относится в первую очередь к зарубежным работам, затем -- к социальной статистике, охватывающей проблематику изучаемого объекта в целом, далее -- к литературе по тем или иным социальным проблемам, где в центре внимания автора оказалась фактически интересующая нас проблематика.

Последний критерий наиболее сложен: тщательное изучение каждого издания и вынесение решения о включении или исключении его на основании индивидуальной экспертной оценки связано с повышением риска ошибки, особенно в тех случаях, когда содержание, структура и направленность издания не могут быть определены однозначно. Здесь возможен наибольший процент ошибочного выбора.

Перечисленные процедуры касаются содержательной стороны информационного массива. Аналогичную работу следует проделать и по критериям формальной стороны. Часто число изданий, опубликованных в виде монографий строго по данной проблематике по указанным критериям, насчитывает всего несколько единиц. Поэтому есть смысл добавить к ним статьи этого же характера из специальной научной периодики, издания по социальной статистике, полностью отвечающие установленным критериям, а также ротапринтные или ксерокопированные доклады. Эта последняя группа не уступает по своей содержательности монографиям и статьям, а по степени оперативности информации может их и превосходить.

В схематическом виде компаративный массив может быть представлен как совокупность блоков показателей (или отдельных агрегированных показателей) исследуемого объекта.

В целом сформированный таким образом информационный массив достаточно репрезентативен, чтобы вести сравнительное исследование, выводы которого могли бы иметь значение для всей совокупности систем и показателей исследуемого объекта в отечественной и зарубежной литературе.

* Компаративные процедуры: блоки показателей. Сравнительное исследование делится на два этапа: сравнение блоков показателей; исследовательские процедуры, той части компаративного массива, которая содержит сведения о конкретных показателях. Собственно процедуры таковы:

а) сравнение числа блоков показателей (или отдельных агрегированных показателей) в различных системах;

б) сравнительный анализ структуры блоков изучаемых систем. Процедура количественно-качественного характера, где на первом плане стоят вопросы соотношения различных блоков;

в) сравнительный анализ внутренней структуры каждого блока обозреваемых систем, для чего необходим частичный выход за рамки простой номенклатуры сопоставительной таблицы и изучение особенностей названий отдельных блоков. Здесь наиболее приемлем способ членения основных блоков типичной компактной системы, в котором выделяют три главных подхода:

* Разделение основных блоков на подблоки, выступающие в качестве самостоятельных наряду с основными.

* Разделение блока на несколько подгрупп показателей, образующих относительно самостоятельные подблоки. Это деление близко к первому, но отличается от него гораздо большей степенью детализации, причем каждый блок обычно выступает как совокупность нескольких подблоков под одной рубрикой.

* Сведение нескольких подблоков в один сложный блок, выступающий как совокупность подблоков под одной рубрикой. Достигается примерно тот же результат, что и в предыдущем случае, но уже не дифференциацией (декомпозицией) блока на подблоки, а, напротив, интеграцией (композицией) подблоков в блок, значительно более агрегированный и более сложный по своей структуре, чем обычные. По характеру -- это качественно-количественная процедура;

г) сравнительный анализ внутреннего содержания систем, для чего необходим полный выход за рамки номенклатуры сопоставительной таблицы и изучение внутренней структуры каждого блока. Процедура сугубо качественного характера.

* Компаративные процедуры: отдельные показатели. Для того, чтобы выработать рекомендации по дальнейшему совершенствованию отдельных показателей, необходимо путем сравнительного анализа выявить наиболее эффективные частные типы показателей. С этой целью проводятся еще три процедуры исследования:

д) сравнение систем, состоящих не из блоков, а из отдельных агрегированных показателей;

е) сравнение блоков остальных систем компаративного массива, содержащих не только блоки, но и конкретные показатели;

ж) сравнительно-качественный анализ выявленных частных типов показателей.

Приведенный перечень не исчерпывает все существующие и потенциально возможные частные типы показателей (см. табл. 3). Требуется специальное исследование, чтобы свести эти типы в систему, сопряженную с системами классификации показателей.

Таблица 3

Примерная типология показателей, используемых для построения исходной модели социального объекта

п/п

Показатель

Качественная характеристика

1

2

3

1

Простой, числовой абсолютный (например, численность населения)

Наиболее простой и наименее трудоемкий показатель. Пригоден в тех случаях, когда известен сравнительно-исторический контекст индицируемого информационного массива

2

Простой числовой относительный (например, число телевизоров на 1000 человек)

Сравнительно простой и нетрудоемкий показатель: также требует конкретного сравнительно-исторического контекста

3

Простой процентный (процентная доля)

Сравнительно нетрудоемкий (но более трудоемкий, чем два предшествующих) и самый эффективный среди простейших показателей, чем объясняется его подавляющее господство в современных индикаторных системах

4

Динамический процентный (например, темпы развития в процентах к предыдущему итогу)

Относится к числу простейших показателей, используется для характеристики темпов роста. За пределами этой задачи не несет почти никакой информации, чем снижает информативность всей системы. Используется сравнительно ограниченно

5

Средний числовой абсолютный (например, средняя величина зарплаты, дохода и т.п.)

Более трудоемкий, но и более информативный показатель, поскольку дает больше материала для обобщения. Однако действие показателей этого типа, как и предыдущего, весьма ограничено, поэтому удельный вес его незначителен

6

Сложный процентный (например, соотношение процентных долей в структуре населения)

Гораздо более трудоемкий, но и гораздо более информативный показатель. Наиболее распространен в практике индицирования среди сложных типов показателей

7

Сложный числовой относительный (например, соотношение количества квартир в государственном, кооперативном и частном секторах)

Показатели этого типа используются в тех случаях, когда выявить процентное (долевое) соотношение практически невозможно или затруднительно. В особенности это касается соотношения разнокачественных объектов.

8

Нормативный относительный (уровень приближения к заранее заданной величине-норме: например, уровень питания в сопоставлении с научно обоснованными нормами)

Наиболее трудоемкий показатель, требующий предварительной нормативной разработки соответствующего социального объекта. Но и чрезвычайно информативный, особенно для нормативного социального прогноза, а также для плана, программы, проекта, целеполагания, организационного решения

9

Балльный (оценка в баллах)

Получение балльных оценок весьма трудоемкая процедура, а их применение очень ограничено. Но в ряде ситуаций, когда другие типы показателей малоэффективны, баллы могут оказаться незаменимыми

10

Динамичный балансовый, особая разновидность типа 4. Оценка состояния явления по принципу «меньше больше» (например, баланс миграции населения)

Показатели этого типа близки по своим особенностям к показателям типа, хотя и не совпадают с ними

11

Нормативный процентный, представляющий своеобразное сочетание типов 3 и 8. Здесь за норму принимается не заранее заданная величина, а 100%, которые рассматриваются либо как исходный, либо как предельный уровень. Соответственно показатель формируется либо как процент роста от уровня исходного года, либо как процент приближения к установленному пределу-норме

Высокоперспективный, минимизирующий недостатки, свойственные близким ему типам 3 и 8. Важно не подменять данный тип другими, базировать систему показателей на предварительной проблемно-нормативной разработке индицируемого объекта

12

Средний числовой относительный (например, среднее число учеников на одного учителя)

Показатели близки по своим особенностям к показателям типа 5, хотя и не совпадают с ними

...

Подобные документы

  • Сущность, содержание и основные аспекты технологий социального прогнозирования. Дж. Форрестер - основоположник глобального прогнозирования на основе системного анализа. Виды и типы социологических прогнозов. Этапы процесса социального прогнозирования.

    реферат [21,8 K], добавлен 07.08.2010

  • Проблемы прогностических исследований в социальной сфере. Возникновение и влияние социального прогнозирования. Основы социального прогнозирования. Методы социального прогнозирования. Принципы действия и условия надежности социального прогнозирования.

    контрольная работа [20,7 K], добавлен 04.02.2008

  • Основные предпосылки возникновения и сущность социального прогнозирования как инструмента обоснования социальной политики государства. Система социальных прогнозов и программ в Российской Федерации. Прогнозные расчеты показателей социального развития.

    курсовая работа [1,2 M], добавлен 17.12.2014

  • Основные этапы морфологического прогнозирования. Виды поискового прогнозирования. Объекты прогноза при использовании стабилизационной модели менеджмента. Содержание метода коллективных экспертных оценок. Сущность эвристического метода прогнозирования.

    контрольная работа [34,6 K], добавлен 24.09.2010

  • Цели и принципы социального прогнозирования - прогнозирования всего связанного с обществом, с общественными отношениями, в центре чего находится человек. Содержание подходов И.В. Бестужева-Лады, Д. Джонсона и В.А. Лисичкина. Временная градация прогнозов.

    презентация [611,6 K], добавлен 22.06.2016

  • Понятия и определения социального прогнозирования, его методы. Типология прогнозов социальных процессов. Исследование глобальных проблем современности. Сравнение методов прогнозирования и обеспечения национальной безопасности, используемых в США и России.

    курсовая работа [465,9 K], добавлен 20.12.2012

  • Социальное прогнозирование как метод научного познания. Понятие и сущность методологии социального прогнозирования. Основные способы получения прогнозной информации. Основные преимущества коллективных экспертных оценок. Метод прогнозной экстраполяции.

    курсовая работа [316,7 K], добавлен 08.06.2016

  • Определение вариантов развития. Изучение потребностей и интересов различных категорий людей, их сознания и социально значимого поведения. Сущность социального прогнозирования. Этапы процедуры прогнозирования. Закономерности общественного развития.

    контрольная работа [20,4 K], добавлен 26.01.2013

  • Понятие и содержание методологии социального прогнозирования, его основные принципы и критерии, пути совершенствования. Анализ системы показателей и методов социального прогнозирования. Классификация и характеристика методов социального прогнозирования.

    курсовая работа [57,5 K], добавлен 03.11.2010

  • Методологическая несостоятельность ориентации прогнозирования в общественных науках. Роль интуиции в социальном предвидении. Сравнительное планирование и моделирование. Технологическая культура. Методы социального прогнозирования: краткая характеристика.

    контрольная работа [21,1 K], добавлен 29.12.2008

  • Основные понятия социального прогнозирования. Методы и типы прогнозов. Сущность социального проектирования. Направленность социальных процессов. Прогнозная социально-проектная деятельность в коммуникативном контексте. Методы социального проектирования.

    курсовая работа [47,5 K], добавлен 20.12.2012

  • Социальное проектирование как отрасль социологической науки. Разработка различных вариантов решения социальных проблем. Технология социального прогнозирования. Метод ассоциации. Формулировка задания. Социальное проектирование новых производств, городов.

    реферат [23,9 K], добавлен 25.04.2016

  • Методы прогнозирования. Результаты прогнозов и требования к ним. Основные недостатки процесса прогнозирования и факторы, их предопределяющие. Прогнозирование и моделирование в социальной работе. Теоретические основы социального проектирования.

    реферат [14,2 K], добавлен 15.03.2005

  • Основы прогнозирования развития системы образования. Роль образования в решении задач социально-экономического развития России. Концепция инновационного развития образования, целеполагание прогнозирования. Обеспечение его доступности и качества.

    контрольная работа [27,4 K], добавлен 23.05.2015

  • Социальное прогнозирование: понятие, объект, философские аспекты и виды. Особенности прогнозирования уровня жизни населения, специфика методов и моделей. Анализ прогнозирования демографической ситуации, занятости и доходов, рынка товаров и услуг.

    курсовая работа [47,9 K], добавлен 29.11.2012

  • Социальное проектирование как отрасль социологической науки. Идея проектирования социальных систем. Научное и техническое проектирование. Сущность социального проектирования и прогнозирования. Конкретные проблемы социального проектирования в России.

    реферат [44,4 K], добавлен 14.12.2008

  • Сущность, истоки возникновения и развитие социального прогнозирования: понятия, термины, этапы и функции. СП на рубеже 19-20 столетий, Римский клуб и его роль в исследованиях. Дети-сироты как объект социальной работы, проблемы и программа их адаптации.

    курсовая работа [66,4 K], добавлен 11.11.2010

  • Роль социального прогнозирования в качественном развитии общества в целом. Методы построения прогнозов. Экспертная оценка-значение и функции экспертной оценки и ее отличия от информации массового опроса. Ценность социального прогнозирования.

    контрольная работа [18,7 K], добавлен 27.10.2007

  • Сущность проблем прогнозирования. Анализ уровня и условия надежности прогностической деятельности. Принципиальные и методологические факторы к подходам и технологиям проведения социального прогнозирования. Характеристика положения современного мира.

    контрольная работа [30,9 K], добавлен 12.12.2008

  • Понятие социальных, экономических и политических процессов. Типы и типология политических изменений. Теоретико-методологические основы методов социально-экономического прогнозирования. Гипотеза как форма развития. Классификация методов прогнозирования.

    курсовая работа [131,5 K], добавлен 03.09.2010

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.