8.1 Группы статистических пакетов

Потребность в средствах статистического анализа данных в различных областях деятельности, особенно в науке, очень велика, что и послужило причиной развития рынка компьютерных программ для статистической обработки данных. За последние 20 лет активное развитие получили компьютерные программы, позволяющие проводить статистический анализ больших объемов данных с целью выявления закономерностей, сравнения вероятных альтернатив выбора, построения прогнозов развития событий, обнаружения связей между явлениями и процессами и пр. Существующие программы постоянно совершенствуются в части ускорения работы с данными, улучшения представления результатов анализа данных, повышения удобства интерфейса, совершенствования справочной системы, увеличения числа встроенных в программу статистических процедур, средств обработки данных и пр.

Отрасль развивается стремительными темпами. На сегодняшний день на рынке представлено около тысячи компьютерных программ для статистической обработки данных (далее - статистические пакеты). Разнообразие статистических пакетов обусловлено многоплановостью задач обработки данных с применением различных типов статистических процедур анализа для поиска ответов на вопросы из различных областей человеческой деятельности.

Рынок компьютерных программ для статистического анализа данных характеризуется высокой конкуренцией, нередки случаи консолидации и поглощений компаний-разработчиков. Например, один из самых активных игроков на рынке компания SPSS Inc. в 1994 г. поглотила компанию SYSTAT Software Inc., а в 1996 г. - BMDP Statistical Software Inc. Эти приобретения позволили компании усовершенствовать собственные программные продукты. В частности, поглощение BMDP Software позволило усилить графические инструменты представления данных в SPSS, а поглощение SYSTAT - технологии обработки и анализа данных, полученных при биологических и медицинских исследованиях¹. В 2009 году компания IBM Inc. поглотила компанию SPSS Inc.

Перед пользователями различных категорий встает вопрос выбора оптимального статистического пакета для поиска верных ответов на существующие вопросы. Очевидно, что оптимальным является вариант, сочетающий в себе необходимые функциональные возможности, высокое качество работы и умеренную цену. При выборе пакета учитываются следующие параметры:

· соответствие характеру решаемых задач;

· объем обрабатываемых данных;

· требования, предъявляемые к квалификации пользователя (уровень знаний в области статистики);

· имеющееся в наличии компьютерное оборудование.

Статистические пакеты по признаку функциональности могут быть разделены на 3 основные группы.

1. Универсальные пакеты, или пакеты общего назначения (например, SPSS, STATA, STATISTICA, S-PLUS, Stadia, STATGRAPHICS, SYSTAT, Minitab).

Эти пакеты не ориентированы на специфическую предметную область и могут применяться для анализа данных из различных областей деятельности. Как правило, они предлагают широкий диапазон статистических методов и имеют относительно простой интерфейс. С такими пакетами рекомендуется работать начинающим пользователям, владеющим лишь базовыми знаниями в области статистики, а также опытным пользователям на начальных этапах работы с данными, когда еще четко не определены статистические методы, которые будут применяться для решения того или иного вопроса. Многопрофильность универсального пакета позволяет провести пробный анализ различных типов данных с использованием широкого диапазона статистических методов. Большинство существующих универсальных пакетов имеют много пересечений по составу встроенных статистических процедур.

Для того чтобы статистический пакет считался универсальным, он должен удовлетворять ряду требований:

· содержать достаточно широкий набор стандартных статистических методов;

· быть достаточно простым для быстрого освоения и использования непрофессиональным пользователем;

· работать с достаточно большими базами данных и отвечать высоким требованиям к вводу, преобразованию и организации хранения данных;

· осуществлять обмен данными с широко распространенными пакетами и базами данных;

· иметь обширный набор средств графического представления данных и результатов их анализа;

· иметь подробное документационное сопровождение и справочную систему, позволяющую начинающему пользователю с легкостью находить ответы на вопросы, связанные с работой программы и возможностями применения средств анализа данных.

2. Профессиональные пакеты (например, SAS, BMDP).

Профессиональные пакеты отличаются от универсальных тем, что позволяют работать со сверхбольшими объемами данных, применять узкоспециализированные методы анализа, создавать собственную систему обработки данных. Как правило, подобные пакеты сложны в освоении для непрофессионалов. В то же время подготовленным пользователям работа с профессиональным пакетом предоставит больше возможностей для глубокого и детального анализа данных, построения сложных моделей и адаптации системы к собственным потребностям. Профессиональные пакеты более дорогостоящи, чем универсальные. Например, стоимость покупки SAS Analytics Pro на один год для индивидуального пользования составляет 5 360 EUR2. Эти факторы делают современные профессиональные статистические пакеты слишком тяжеловесными для массового применения в различных областях деятельности.

3. Специализированные пакеты (например, BioStat, MESOSAUR, DATASCOPE).

В некоторых областях деятельности анализируемые данные настолько специфичны, что к ним следует применять особые методы статистического анализа, как правило, не представленные в универсальных пакетах.

Специализированные пакеты позволяют проводить анализ с использованием ограниченного числа специализированных статистических методов или применимы к использованию для решения вопросов, относящихся к отдельно взятой предметной области. Как правило, с подобными статистическими пакетами работают специалисты, хорошо знакомые с методами анализа данных в той области, на которую ориентирован пакет. Так, статистический пакет BioStat создан для анализа данных в области биологии и медицины и будет подробнее рассмотрен ниже. Российский статистический пакет MESOSAUR специализируется на анализе одномерных и многомерных временных рядов и построении регрессионных моделей. Еще один российский статистический пакет DATASCOPE специализируется на проведении анализа многомерных данных.

Целесообразно пользоваться соответствующими специализированными пакетами, когда требуется систематически решать задачи из конкретной области или применять ограниченный круг сложных статистических процедур для анализа данных из нескольких областей человеческой деятельности.

Большинство представленных на рынке статистических пакетов обладают гибкой модульной структурой, которая может пополняться и расширяться за счет пользовательских модулей, дополнительно закупаемых или находящихся в свободном доступе в Интернете. Подобная гибкость позволяет адаптировать большинство пакетов к потребностям конкретного пользователя.

По мнению профессионалов, статистический пакет должен удовлетворять следующему минимальному набору требований:

· модульность;

· ассистирование при выборе способа обработки данных;

· использование простого проблемно-ориентированного языка для формулировки задания пользователя;

· автоматическая организация процесса обработки данных;

· ведение банка данных пользователя и составление отчета о результатах проделанного анализа;

· диалоговый режим работы пользователя с пакетом;

· совместимость с другим программным обеспечением.

Как правило, представленные на рынке статистические пакеты регулярно обновляются. При этом в новой версии сохраняются или совершенствуются возможности предыдущей, а также добавляются новые возможности работы с данными. В большинстве случаев обновленные версии пакета сохраняют исходное название, изменяется лишь порядковый номер, присваиваемый конкретной версии. Самые распространенные пакеты имеют русскоязычную версию.

Разработчики большинства статистических пакетов часто утверждают, что разработанная ими программа является наилучшей для обработки данных. Учитывая многообразие предложения, подчас бывает сложно сделать правильный выбор. По мнению М. Митчелла, имеющего 20-летний опыт работы со статистическими пакетами и 11-летний опыт работы в качестве консультанта по статистике в Калифорнийском университете в Лос-Анджелесе, статистический пакет - всего лишь инструмент в руках мастера. Если специалист не обладает достаточными знаниями и компетенциями, то даже самый совершенный программный продукт не позволит провести качественный анализ данных. В то же время неправильно подобранный пакет, не обладающий необходимыми для анализа техническими характеристиками, способен замедлить работу даже выдающегося ученого, затруднив выявление необходимых закономерностей и получение верных результатов анализа данных⁴.

В этой главе представлен обзор наиболее известных программных продуктов, разработанных для статистической обработки данных на компьютере и относящихся к упомянутым ранее трем основным группам программ (см. таблицу 11.1), перечислены их основные характеристики и возможности статистического анализа данных.

При рассмотрении каждого пакета отдельно будут отмечены возможности статистического анализа, которые он предоставляет пользователям. Необходимо отметить, что существует минимальный набор статистических методов анализа, который включен во все рассмотренные пакеты:

· описательная статистика (базовые статистические методы, проверка нормальности распределения данных);

· дисперсионный анализ;

· непараметрическая статистика (анализ таблиц сопряженности, непараметрические сравнения, дисперсионный анализ);

· контроль качества;

· анализ выживаемости;

· кластерный анализ;

· факторный анализ;

· дискриминантный анализ;

· регрессионный анализ;

· обработка данных (сортировка, отбор, трансформация данных).

8.2 Пакет SPSS

· высокие требования к системе компьютера (требуется 1GB оперативной памяти, 800MB памяти на жестком диске и процессор с частотой 1GHz и выше);

· высокая цена по сравнению со статистическими пакетами аналогичного уровня (стоимость покупки для индивидуального пользования сроком на год составляет около 1000 долл.⁶).

Последняя версия SPSS включает в себя следующие новые возможности:

· импорт данных из Excel и SAS;

· экспорт результатов в MS Office, PDF; сохранение результатов в формате HTML;

· одновременная работа с несколькими наборами данных;

· построение диаграммы для переменных с множественными ответами;

· построение диаграммы с двумя осями Y;

· улучшенный редактор синтаксиса с поддержкой автозавершения и цветового кодирования команд;

· быстрая подготовка данных к анализу посредством Автоматизированной подготовки данных (IBM SPSS Data Preparation), позволяющей облегчить процесс интеллектуального анализа данных, выявляя и исправляя ошибки в данных и объясняя пропущенные значения. Также посредством этой функции можно подготовить отчет с рекомендациями о возможности использования данных для анализа.

На рис. 8.1 представлено окно редактора данных SPSS. В левом нижнем углу окна расположены две вкладки: Данные (Data View) и Переменные (Variable View), позволяющие переключаться с режима просмотра значений переменных в режим просмотра их характеристик.

Рис. 8.1. Окно редактора данных SPSS

Результаты статистического анализа приводятся в диалоговом окне под названием Вывод (Output) (рис. 8.2).

Рис. 8.2. Окно вывода SPSS

8.3 Пакет Stata

· широкий набор средств статистического анализа данных;

· широкий спектр возможностей по управлению данными (возможности комбинирования и изменения наборов данных, управления переменными и пр.);

· возможность программирования всей последовательности команд (начиная от загрузки данных до проведения всех этапов их анализа);

· использование координатного указателя;

· интерактивный справочник;

· создание графики полиграфического качества;

· возможность написания собственных программных модулей;

· совместимость с операционными системами Windows, Macintosh и Unix (включая Linux);

· полное документационное сопровождение («Базовое справочное руководство» с более чем 1800 страницами информации, содержащее подробные примеры и ссылки на литературу по статистике);

· экспорт результатов в MS Office и SAS;

· для работы программы требуется лишь 512 MB оперативной памяти, сама программа занимает 250 MB на жестком диске компьютера;

· возможность запуска команды, как через соответствующий пункт меню, так и через написание команды в командной строке.

Недостатки Stata:

· отсутствие возможности полноценного экспорта и импорта данных в базы данных, электронные таблицы и текстовые процессоры;

· возможность прямого открытия в программе лишь файлов с разрешением.dta.

В ежеквартальном журнале Stata Journal (http://www.stata-journal.com) публикуются статьи, посвященные вновь разрабатываемым функциям и возможностям анализа данных в статистическом пакете Stata. Интернетресурс Statalist (http://www.stata.com/statalist) представляет собой независимый сервер, на котором более 2500 пользователей поддерживают диалог по широкому кругу вопросов, связанных с работой со статистическими пакетами и анализом статистических данных, в частности, по вопросам работы со Stata.

На рис. 8.3 представлено диалоговое окно Stata. Оно разделено на 4 основные области.

1. Область Обзор (Review) отображает историю выполненных в сеансе команд и позволяет пользователю сохранять команды для последующего использования.

2. Область Переменные (Variables) отображает название, метку, тип и формат переменных находящихся в открытой базе данных.

3. Область Результат (Result) отображает результаты проведенного анализа и журнал событий.

4. Область Команды (Command) предназначена для написания команд пользователями.

Рис. 8.3. Диалоговое окно Stata

Лекция 9. Статистические пакеты программ (продолжение)

Пакет Minitab

Пакет Minitab - универсальный статистический пакет, разработанный Государственным университетом Пенсильвании в 1972 году. Выпускается компанией Minitab Inc8. Последняя версия Minitab 16 позиционируется разработчиками как статистический пакет для аналитической работы на современных предприятиях. Версия представлена на семи различных языках (английском, французском, немецком, японском, корейском, китайском и испанском).

Программа предоставляет пользователям следующие возможности статистического анализа данных:

· управление процессом статистической обработки данных;

· оценка мощности и объема выборки;

· планирование экспериментов;

· матричные функции;

· анализ измерительных систем, анализ надежности / выживаемости, анализ временных рядов и прогнозирование, многомерный анализ.

Достоинства Minitab:

· система консультационной поддержки пользователя (интерактивное дерево принятия решений позволяет отыскать правильный подход к анализу данных для поиска ответа на поставленные вопросы), настройка меню и панелей инструментов для быстрого доступа к используемым методам;

· интерпретация полученных результатов;

· осуществление импорта данных из текстовых и табличных процессоров, HTML-файлов, сохранение результатов анализа в форматах TIFF, JPEG, PNG, BMP, GIF, EMF;

· удобный инструмент для размещения нескольких графиков на одной странице, автоматическое обновление графиков при изменении исходных данных, создание и вращение трехмерных графиков;

· автоматизация заданий и создание новых функций с помощью языка макропрограммирования;

· для работы программы требуется лишь 512 MB оперативной памяти, сама программа занимает 160 MB на жестком диске компьютера;

· работа с файлами, содержащими до 4000 переменных и неограниченное число наблюдений.

Основной недостаток Minitab - несовместимость с операционными системами, отличными от Windows.

Диалоговое окно Minitab

Окно сеанса (Session) содержит результаты анализа в виде текста. Кроме того, в нем можно вводить выполняемые команды вручную.

Окно данных (Worksheet) представляет собой рабочий лист, напоминающий электронную таблицу. Можно одновременно использовать несколько рабочих листов, каждый из них откроется в отдельном окне данных.

Окно редактора ReportPad, в который можно добавить результаты, полученные во время сеанса работы с программой Minitab. Выполняет функции простейшего текстового редактора. Позволяет быстро распечатать отчет и сохранить его в формате RTF или HTML.

Графики отображаются в отдельных окнах.

Пакет STATISTICA

Пакет STATISTICA - универсальный статистический пакет компании StatSoft Inc1. Первая версия пакета (STATISTICA for DOS) была выпущена в 1991 г. На сегодняшний день разработана 9-я версия пакета (STATISTICA 9). Русифицирована только 6-я версия (STATISTICA 6).

Стандартную комплектацию пакета STATISTICA составляют три модуля, которые могут приобретаться как единым пакетом, так и отдельно.

1. Базовый пакет STATISTICA Base предоставляет обширные возможности выбора основных типов статистического анализа. Для эффективной работы базового пакета требуется как минимум 256 MB оперативной памяти. Минимальные требования к скорости процессора - 500 MHz.

2. Модуль Линейные и Нелинейные Модели (Advanced Linear/NonLinearModels) содержит большой набор инструментов для моделирования и прогнозирования, включая возможности автоматического выбора модели и расширенные интерактивные средства визуализации.

3. Модуль Многомерные разведочные технологии анализа (Multivariate Exploratory Techniques) служит для применения разведочного анализа различных типов данных в сочетании с интерактивными средствами визуализации.

Помимо общих статистических и графических средств в системе имеются специализированные модули, например, для проведения социологических или биомедицинских исследований, решения технических и промышленных задач, - карты контроля качества, модули анализа процессов и планирования эксперимента.

Разработчики STATISTICA утверждают, что пакет может применяться для решения задач в таких областях, как:

· НИОКР, контроль качества, процесс мониторинга в химической, фармацевтической промышленности и в производстве потребительских товаров;

· гарантийный анализ и приложения для удаленного мониторинга в обрабатывающей промышленности;

· анализ рисков, сегментация потребителей и оценка кредитоспособности заемщиков в банковской сфере, в сфере предоставления финансовых услуг и в страховой деятельности.

· Возможны различные варианты установки пакета в зависимости от целей и задач пользователя:

· однопользовательская версия (Single-User);

· сетевая версия (Concurrent Network) для работы в локальных вычислительных сетях;

· Enterprise - версия для применения в вычислительных системах и крупных организациях

· Web-Based - версия для использования в крупных сетях через веббраузер.

Пакет предоставляет пользователям следующие возможности статистического анализа данных:

· исследование корреляций между переменными;

· диаграмма рассеяния, матричная диаграмма рассеяния;

· быстрые основные статистики и блоковые статистики (интерактивные средства, позволяющие одним щелчком мыши вычислять основные статистики и строить графики в любой момент в течение сеанса работы);

· интерактивный калькулятор вероятностных распределений (позволяет интерактивно исследовать структуру распределений, например, зависимость вероятности от параметров);

· анализ многомерных откликов, многомерное шкалирование;

· анализ при помощи временных рядов и прогнозирование временных зависимостей, в том числе анализ сезонных колебаний.

Достоинства STATISTICA:

· реализован обмен данными между STATISTICAи Windows-приложениями;

· результаты анализа в виде графиков, таблиц и текста могут быть сохранены в файле с форматом RTF, который открывается и редактируется в MS Word;

· возможность расширения системы при помощи создания программ на встроенном в STATISTICA языке программирования;

· исходные данные из MS Excel можно легко импортировать в STATISTICA;

· возможность записи макросов для автоматизации выполнения однотипных задач;

· программа способна обрабатывать большие массивы данных - базы данных с числом переменных до 32 000 и практически неограниченным числом наблюдений.

В пакете представлены несколько сотен типов графиков 2D, 3D и 4D, матрицы и пиктограммы; предоставляется возможность разработки собственного дизайна графика. Средства управления графиками позволяют работать одновременно с несколькими графиками, изменять размеры сложных объектов, добавлять художественную перспективу и ряд специальных эффектов, разбивку страниц и быструю перерисовку. Например, 3D-графики можно вращать, накладывать друг на друга, сжимать или увеличивать⁹.

STATISTICA обладает огромными возможностями для построения графиков непосредственно из таблиц исходных данных и таблиц результатов. Построение графических объектов и анализ данных в пакете тесно интегрированы. После получения результатов статистического анализа их можно с легкостью представить графически посредством команды Быстрые статистические графики. В разных модулях системы имеются свои специальные графики, учитывающие особенности получаемых в них результатов.

Начинающие пользователи могут начать работу со специальной версии, разработанной для обучения основам статистических методов - Studеnt Еditiоn оf STATISTICA. Эта версия представляет собой урезанный вариант пакета и позволяет анализировать файлы данных, включающих не более 400 наблюдений.

Внешний вид диалогового окна STATISTICA представлен на рис. 8.5.

Пакет STATGRAPHICS