Эффективность информационных систем: проблемы определения и измерения

Размещено на http://www.allbest.ru/

Эффективность информационных систем: проблемы определения и измерения

М.И. Лугачев,

Проблема экономической эффективности ИТ активно обсуждается в научном сообществе по меньшей мере с начала 1980-х гг. К концу 80-х суть проблемы была определена как «парадокс производительности»: несмотря на крупномасштабные инвестиции в ИТ и ИС, ни на микро-, ни на макроуровне не удавалось обнаружить отдачу от этих инвестиций в виде прироста прибыли фирм или хотя бы роста выпуска. В целом ряде последующих работ «парадокс производительности» на теоретическом уровне был разрешен. Более того, было продемонстрировано не только наличие экономического эффекта, но и механизмы его достижения -- комплементарные взаимосвязи между ИТ- сервисами, организационными практиками, требованиями к сотрудниками и мотивацией последних.

Тем не менее на практическом уровне проблема осталась. Сегодня она состоит прежде всего в том, что развитие экономической теории слабо повлияло на методики оценки экономической эффективности ИТ, используемые на практике. На наш взгляд, это связано с тем, что практические методики обычно нацелены на определение финансового результата внедрения ИТ и ИС либо иную количественную оценку такого результата. При этом изменения, происходящие в фирме и ее бизнесе, не всегда имеют сколько-нибудь достоверную количественную оценку, а если и имеют, переход от количественного показателя к стоимостной оценке -- отдельная нетривиальная задача, которая далеко не всегда имеет решение.

В работе в качестве возможной причины этой ситуации рассматривается изначальная неадекватность стоимостных или иных скалярных значений задаче оценки результатов внедрения ИТ и ИС. Корень проблемы может быть в различии между результативностью (способностью достигать результатов, в том числе и принципиально новых) и экономичностью (соотношением результатов и затрат в денежной форме). С нашей точки зрения, стоимостные методики обычно измеряют экономичность, тогда как внедрение ИТ и ИС влияет прежде всего на результативность.

Работа имеет следующую структуру. В первом разделе описываются основные результаты по измерению производительности ИТ и ИС. Второй раздел посвящен различию между результативностью и экономичностью, а также ограничениям, накладываемым излишне широким использованием показателя экономичности в управлении фирмой. В третьем разделе рассматриваются подходы к практическому измерению результативности. Наконец, в заключительном разделе предлагаются направления дальнейших исследований.

«Парадокс производительности» и основные результаты, связанные с его разрешением

Проблема влияния ИТ на производительность была поставлена на повестку дня во второй половине 80-х гг. прошлого века. В это время в ряде работ (например, [1], [2], [3], анализ литературы, например, в [4]) было продемонстрировано, что крупные вложения в ИТ и ИС, проводимые в 70--80-е гг., не обнаруживают сколько-нибудь значимой связи с производительностью фирм, которые эти вложения осуществляют. В [1] исследовался сектор услуг, в [2] -- выборка крупных фирм из различных отраслей, в [3] -- отрасли промышленности США на уровне двузначной классификации. Хотя методология работы [2] спорна, а работа [3] посвящена относительно узкому вопросу (влияние инвестиций в ИТ на издержки), единство вывода этих и других работ по отсутствию связи между инвестициями в ИТ и производительностью фирмы стало серьезной проблемой. Эта проблема и получила название «Парадокс производительности» Также «Парадокс Солоу» или «Парадокс производительности ИТ»..

В 1990-е гг. было предложено несколько направлений разрешения данного парадокса (рис. 1):

1. Новые методы измерения на основе новых, более детальных исходных данных демонстрируют искомую связь. В частности, такая связь была обнаружена при использовании производственной функции, в которой одна из переменных -- компьютерный капитал (все ИТ- активы фирмы) [5].

Связь появляется в том случае, если наряду с внедрением ИТ создаются новые организационные практики, новые требования к человеческому капиталу и новые способы его мотивации.

Рис. 1. Основные направления разрешения парадокса производительности

При анализе на макроуровне (ИТ-отрасль в целом) это привело к модели технологии общего назначения [6]. Анализ на уровне фирмы породил теоретическую модель комплементарных взаимосвязей [7], а также ряд методов ее эмпирической проверки. Поскольку вложения в организационный и человеческий капитал не могут быть наблюдаемы в явном виде, их можно оценить при помощи производственной функции, в которой выделяется не только компьютерный, но также организационный и человеческий капитал [8]. Альтернативный подход -- оценка влияния тех же переменных не на выпуск, а на капитализацию фирмы [9].

Институциональный анализ позволяет оценивать влияние новых технологий на институты фирмы. В [10] описывается влияние ИТ на трансакционные издержки в фирме и вытекающие из него изменения в ее организации. Наконец, в работе [11], более социологической, чем экономической, описывается влияние ИТ и ИС на содержание труда на производстве и в офисе.

Относительно простым, но и приоритетным вопросом была проверка наличия положительной связи как таковой. В частности, в [5] была построена и оценена на выборке 367 крупных фирм производственная функция, в которой как капитал, так и труд были разделены на «компьютерный» и обычный (остаток за вычетом «компьютерного»). В результате было впервые обнаружено положительное влияние ИТ на выпуск фирмы.

Более сложной проблемой был анализ механизмов влияния ИТ и ИС на производительность фирм и экономики в целом. Одним из наиболее общих подходов стал подход технологии общего назначения [6]. Согласно ему ИТ как технология общего назначения не приносят выгод сами по себе, но порождают множество новых прикладных технологий, которые, в свою очередь, дают выигрыш в производительности. Среди условий появления таких технологий -- создание и широкое распространение комплементарных продуктов (сетей передачи данных, программного обеспечения, периферийных устройств и др.), а также адекватное новой технологии изменение «технико-экономического режима» -- совокупности подходов к созданию технических систем и использования их в бизнесе.

Эти условия были детально исследованы на уровне фирмы. Прежде всего авторы работы [7] обратили внимание на целый ряд новых практик работы, появившихся на автоматизированных производствах, и на комплементарные связи между этими практиками. Результатом стала теория комплементарных взаимосвязей, включая необходимый математический аппарат. Эта теория была проверена в ряде работ, например, [8], [9], [12].

В [8] был проведен ряд тестов комплементарных взаимосвязей с использованием косвенных оценок вложений в организационный и человеческий капитал. Эти оценки были получены путем анкетирования примерно 300 фирм о применении ряда организационных практик и практик управления персоналом. Далее было проведено эмпирическое тестирование комплементарных связей и их влияния на производительность фирмы. Во-первых, были обнаружены корреляции между организационными практиками, что говорит об их совместном применении. Во-вторых, была построена функция спроса на компьютерный капитал в зависимости от уровня организационного и человеческого капитала, которая оказалась статистически значимой. Наконец, была построена производственная функция, учитывавшая не только компьютерный капитал (аналогично [5]), но также организационный и человеческий капитал. Коэффициенты при организационном и человеческом капитале оказались значимыми, а коэффициент детерминации при включении этих переменных существенно возрастал.

В [9] было проверено наличие влияния компьютерного и организационного капитала на капитализацию предприятия. Авторы исходили из так называемого соотношения 0 Дж.Тобина:

Согласно современной теории корпоративных финансов фондовый рынок рассматривает как актив то и только то, что генерирует денежный поток, независимо от отражения в бухгалтерском учете. Отсюда Q < 1 означает, что часть активов, учтенных в бухгалтерских книгах, не генерирует денежный поток и, следовательно, активом не является. Напротив, Q > 1 означает наличие скрытых активов, не отраженных в бухгалтерском учете, но генерирующих денежный поток. Поэтому отношение Q позволяет обнаружить организационный и человеческий капитал в явном виде, хотя он и не отражается в бухгалтерском учете.

В работе была построена регрессия рыночной стоимости (капитализации) фирмы на относительную величину компьютерного и организационного капитала (отклонение от среднего по отношению к стандартному отклонению). Результаты приведены на рис. 2. Как мы видим на графике, наивысшая капитализация достигается при совместных вложениях в компьютерный и организационный капитал.

Подобные исследования отнюдь не ограничены американскими компаниями. Например, в [12] оценивается влияние компьютерного и организационного капитала на производительность голландских фирм. Результаты также подтверждают положительное влияние обоих видов капитала, при этом производственные функции для обрабатывающей промышленности и сферы услуг существенно отличаются.

Таким образом, работы 1990--2000-х гг. и более поздние демонстрируют как положительное влияние ИТ и ИС на производительность фирмы, так и механизмы такого влияния: комплементарные вложения в компьютерный и организационный капитал. Вместе с тем это значительное продвижение в области экономической теории мало влияет на прикладные методики оценки результата информационных систем, которые не демонстрируют существенных изменений по меньшей мере с начала 2000-х гг. Причины этого мы рассмотрим ниже.

Результативность или экономичность?

В англоязычной экономической и управленческой литературе давно уже различаются два ракурса эффективности: результативность (англ. effectiveness) и экономичность (англ. efficiency). Под результативностью понимается способность решить поставленную задачу, а под экономичностью -- соотношение затрат и результатов в ходе такого решения [13, с. 89]. Важность этого деления в следующем: результативность характеризуется натуральными количественными показателями, такими, как качество продукта Измеряемое, например, количеством дефектов на 1000 изделий. или гибкость производства Измеряемая, например, временем и издержками переключения. в обрабатывающей промышленности, номенклатура продаваемых товаров и время их оборота в торговле, возможная широта студенческой аудитории и свобода графика занятий в образовании и т.д. При этом таких показателей может быть несколько, как мы уже видели в приведенных примерах. Напротив, экономичность всегда оценивается денежным потоком, связанным с проектом, а также финансовыми показателями, рассчитанными для этого денежного потока (NPV, IRR и др.).

Для того чтобы оценить экономичность, необходимо перевести показатели результативности в денежные оценки и представить их в виде денежного потока. Во многих случаях такие оценки характеризуются высокой неопределенностью, например, влияние качества на денежный поток определяется способностью потребителя распознать это качество, что для технически сложных товаров весьма непросто. Имеют значение и действия конкурентов, и результаты сравнений разных продуктов, и крупные инциденты, вообще говоря, случайные. В итоге количественные оценки влияния качества на доходность фирмы будут иметь весьма широкий доверительный интервал. Однако денежный поток крайне редко представляется в интервальной форме, поэтому такая неопределенность не учитывается в расчете экономичности.

Как следствие, если фирма отдает предпочтение экономичности, целый ряд факторов представляется в расчетах с крайне низкой точностью и достоверностью. В этих условиях у лиц, принимающих решение, возникает соблазн исключить соответствующие факторы из расчетов. Г. Минцберг в [14] отмечает важные следствия такого подхода:

1. Поскольку затраты, как правило, легче измерить, чем выгоды, экономичность слишком часто сводится к экономии затрат.

2. Поскольку экономические издержки часто легче измерить, чем социальные, экономичность нередко порождает нарастание социальных издержек, которые рассматриваются как «внешние эффекты».

3. Поскольку экономические выгоды, как правило, легче измерить, чем социальные выгоды, экономичность часто подталкивает организацию к экономической морали, которая может дойти до социальной аморальности.

Эти весьма общие выводы применимы и к экономической оценке результатов внедрения ИТ. Будучи технологией общего значения, ИТ порождают широкий спектр результатов, которые нередко представляют значительную ценность для клиента, даже если не имеют адекватной денежной оценки (например, разнообразие). В то же время эти результаты совершенно не обязательно должны снижать затраты или повышать выручку «здесь и сейчас», особенно в том случае, если все участники рынка придерживаются сходных стратегий. И, наконец, как уже давно замечено, эти ценные для клиента результаты нередко становятся не столько инструментом получения дополнительного дохода, сколько возможностью сохранить свою рыночную позицию или даже присутствие на рынке как таковое [15].

Таким образом, в экономической оценке вложений в ИТ и ИС необходимо оценивать не столько денежный поток, сколько широкий спектр разнообразных результатов для клиента и фирмы, многие из которых крайне сложно представить в виде денежного потока. Ситуацию усугубляет необходимость преобразований в организационном и человеческом капитале, которые должны стать комплементарными вложениям в ИТ.

Проблема дополнительно осложняется следующим. Система комплементарных взаимосвязей в конечном счете охватывают всю совокупность организационных практик фирмы, «привязку» этих организационных практик к технической системе и, наконец, соотнесение свойств организации с характеристиками нанимаемых работников. Это наглядно показано в [16, с. 25--30], хотя и без употребления самого термина «комплементарные взаимосвязи». Такая сложная совокупность связей делает уникальной каждую организацию, а вместе с тем делает уникальным и используемый набор показателей результативности.

Итак, с точки зрения современной экономической и управленческой теории в оценке ИТ и ИС результативность имеет приоритет над экономичностью Это не исключает использования показателей экономичности для оценки определенных классов проектов.. В то же время прикладная методика оценки ИТ и ИС в силу самой своей природы тяготеет к стандартизированным решениям, ориентированным в первую очередь на денежный поток и на рассчитанные по нему финансовые показатели. Именно в этом и состоит, на наш взгляд, наиболее сложная проблема перехода от теоретического анализа механизмов экономической эффективности ИТ и ИС к их использованию на практике. Тем не менее в следующем разделе мы рассмотрим ряд практических подходов. информационный организационный капитал модификация

Измерение результативности: некоторые подходы к проблеме

Как видно на рис. 3, матрица изменений состоит из двух частей. В горизонтальной части перечислены организационные практики, существующие на момент внедрения ИС или иного изменения. Кроме названий практик, в матрице описываются взаимосвязи между ними(в треугольной части в левом нижнем углу), «+» обозначает положительную (комплементарную) связь, «--» -- отрицательную (практики выступают субститутами), пустая клетка означает отсутствие какой- либо связи. Аналогичная вертикальная фигура в правой части изображает практики «как будет», внедряемые в ходе проекта, и взаимосвязи между ними. На пересечении фигур указываются взаимосвязи между старой и новой системами практик. Наконец, в нижней строчке («Важность») указывается важность каждой практики «как будет» по шкале Ликерта от +2 -- очень важно до --2 -- очень мешает.

На рис. 3 также приведен пример использования матрицы. В частности, выясняется, что обучение программистов стандартной функциональности системы 8ЛР Я/3 (п. 4 в матрице «как есть») и обучение их руководителей современному менеджменту (п. 5 там же) противоречат их существующей практике работы. В самом деле, заказчик требует жесткого соблюдения сроков (п. 1) даже ценой снижения качества получаемого продукта (п. 1, п. 3) и его последующей доработки. В этой ситуации естественна мотивация программистов по объему написанного кода (п. 2). При такой «гонке за сроками», подкрепленной мотивацией по объему работ, программист предпочитает использование внутреннего языка программирования использованию стандартной функциональности. Что касается руководителей проектов, они решают изначально несовместную задачу (сроки и ресурсы не соответствуют друг другу), а в этой ситуации регулярный менеджмент также бесполезен. Система практик дополняется соответствующей системой.

Исходя из этого, в практиках «как будет» предложен переход к менеджменту качества, ставящему таковое на первое место. Важная составная часть такого перехода -- управление потребностями пользователей и заказчиков, позволяющее привести в соответствие сроки и ресурсы, что, в свою очередь, обеспечивает качественный продукт, не требующий доработок. Это дополняется полным документированием кода и соответствующей системой стимулирования. В таком наборе практик комплементарными оказываются также обучение стандартной функциональности 8ЛР Я/3 и регулярному менеджменту.

Таким образом, матрица изменений представляет собой по существу единственный на сегодняшний день инструмент анализа комплементарных взаимосвязей между организационными практиками предприятия. В то же время этот инструмент не лишен недостатков:

• взаимосвязи не квантифицированы, хотя степень их влияния на результат процесса может сильно отличаться;

• размерность матрицы ограничена примерно десятком строк и столбцов, превышение этого предела приводит к запретительно высоким трудозатратам на создание матрицы и ее анализ.

Для устранения этих недостатков мы предлагаем расширенную матрицу изменений. Ее отличия от матрицы изменений, приведенной на рис. 3, состоят в следующем:

1. Расширенная матрица представляет собой базу данных, поддерживающую иерархическое описание организационных практик: каждая практика может быть раскрыта в несколько практик нижнего уровня. В то же время для каждого отдельно взятого уровня можно собрать матрицу текущего состояния (сходную с горизонтальной частью матрицы на рис. 3), а для оценки планируемого проекта собрать обе части матрицы изменений. Матрица во всех случаях содержит дополнительную информацию, перечисленную ниже.

Наконец, на верхнем уровне такого иерархического описания предлагается использовать модель результативности, предложенную М. Портером, в частности, в [18, с. 72--85]. В своей работе М. Портер показывает, что успешная долгосрочная конкурентная стратегия основывается на системе взаимосвязанных видов деятельности и предлагает средства отображения таковой. На рис. 4 приведен пример такой системы видов деятельности и иных характеристик для крупной российской нефтегазовой компании.

Таким образом, предлагаемая единая иерархическая база организационных практик с моделью производительности на верхнем уровне устраняет целый ряд недостатков исходной матрицы производительности.

Возможные направления развития

Хотя отображение комплементарных взаимосвязей в организации несет чрезвычайно важную информацию, оно имеет важный недостаток: отсутствие взаимосвязи с современными моделями бизнес-процессов и архитектуры предприятия. Как было показано в [19], основные современные стандарты моделирования бизнес-процессов не содержат информации о комплементарных взаимосвязях в организации.

Рис. 4. Пример модели производительности

Между тем именно эти модели широко используются для описания бизнес-процессов организации и предложений по их изменению. В отсутствие информации о комплементарных взаимосвязях и их зависимости от определенных видов деятельности последние могут быть просто-напросто исключены в рамках очередного «реинжиниринга бизнес-процессов». С другой стороны, модели бизнес-процессов и архитектуры предприятия содержат огромные массивы данных, ценных в том числе и для выявления комплементарных взаимосвязей. Поэтому интеграция с моделями бизнес-процессов -- заключительный шаг к практическому использованию информации о комплементарных связях и вообще подходов, основанных на результативности.

Следует понимать, что для этого необходима объемная непростая работа. Прежде всего современные стандарты описания бизнеспроцессов основаны на метафоре потока работ. Между тем комплементарные связи могут возникать между совершенно не связанными друг с другом видами деятельности (см., например, рис. 3). Более того, они могут возникать между видами деятельности, с одной стороны, и ИТ-сервисами или свойствами человеческого капитала -- с другой (см., например, рис. 4). С этой точки зрения более простым и естественным может быть встраивание информации о комплементарных взаимосвязях в один из современных архитектурных стандартов, таких, например, как ЛсИМаОе [20].

Заключение

Современная экономическая наука получила целый ряд важных результатов, касающихся влияния ИТ и ИС на производительность фирмы и механизмов такого влияния. В то же время практическое использование полученных результатов в настоящее время весьма затруднено. Основная причина -- ориентация большинства существующих методик анализа экономической эффективности ИТ на экономичность (соотношение затрат и результатов), а не результативность (принципиально новые результаты, недостижимые ранее). Между тем основной результат использования ИС -- повышение результативности, так что модели оценки экономичности заведомо оценивают второстепенные (хотя в ряде случаев важные) результаты.

Эта проблема имеет и объективную основу -- результативность намного сложнее измерить, нежели экономичность, а если и удается, результаты измерений обычно не столь однозначны. Для того чтобы использовать на практике новейшие теоретические результаты, необходимо построить систему измерения результативности.

Для решения этой проблемы в работе предложено использование расширенной матрицы изменений. Расширения состоят в том, что новая матрица имеет иерархическую структуру (отдельные виды деятельности высокого уровня могут разворачиваться в целые матрицы на более низком уровне), а также в количественной оценке силы взаимосвязи, отсутствовавшей в исходном инструменте.

Литература

1. Roach S. America's Technology Dilemma: a Profile of the Information Economy // Morgan Stanley Special Economic Study. - 1987.

2. Strassmann P. The Business Value of Computer // New Canaan: The Information Economics Press, 1990.

3. Morrison C., Berndt E. Assessing the Productivity of Information Technology Equipment in U.S. Manufacturing Industries // NBER Working Paper No. 3582, January 1991.

4. Brynjolfsson E. The Productivity Paradox of Information Technology // Communications of the ACM, v. 36, No.12 (Dec. 1993), pp. 67-77. Brynjolfsson Erik and Lorin Hitt. Paradox Lost? Firm-Level Evidence of the Returns to Information Systems Spending // Management Science, Apr. 1996, Vol. 42, No. 4, pp. 541-558.David P The Dynamo and the Computer: An Historical Perspective to the Modem Productivity Paradox // American Economic Review. -- 1990 г. -- 2: Т. 80. - С. 355-361.

7. Milgrom P., Roberts J. The Economics of Modern Manufacturing: Technology, Strategy and Organization // American Economic Review, June 1990, Vol. 80, No. 3, pp. 511-528.

8. Bresnahan T., Brynjolfsson E., Hitt L. Information Technology, Workplace Organization and the Demand for Skilled Labor // Quarterly Journal of Economics, Vol. 117, No. 1 (Feb., 2002), pp. 339-376.

9. Brynjolfsson Erik, Lorin Hitt, Shinkyu Yang. Intangible Assets: Computers and Organizational Capital // Brookings Papers on Economic Activity, Vol. 2, No. 1 (2002), pp. 137-181.

10. Ciborra C. Teams, Markets and Systems // Cambridge University Press, 1993, 253 p.

11. Zuboff Sh. In the Age of Smart Machine: the Future of Work and Power // Portsmouth, New-Hampshir (USA): Heinemann Professionals, 1988, 468 p.

12. Zand F., Van Beers C., Van Leeuwen G. Information technology, organizational change and firm productivity: A panel study of complementarity effects and clustering patterns in Manufacturing and Services» // MPRA Paper No. 46469, posted 24. April 2013, доступна по адресу: http://mpra.ub.uni-muenchen. de/46469/.

13. Фостер Р Обновление производства: атакующие выигрывают. - М.: Прогресс, 1987. - 292 с.

14. MintzbergH. A Note on That Dirty Word Efficiency // Interfaces, Vol. 12, No. 5 (Oct 1982), pp. 101-105.

15. Attewell Paul. Why Productivity Remains a Key Measure of IT Impact, paper presented to the Productivity Impacts of Information Technology Investments Conference, Charleston SC., 4-5.

16. MintzbergH. Structure in Fives // Prentice Hall, 1993, 312 p.

17. Brynjolfsson E., Renshaw A., van Alstyne M. The Matrix of Change // Sloan Management Review, Vol. 38, No. 2 (Winter 1997), pp. 37-54.

18. Портер М. Конкуренция: Сборник статей. - М.: Вильямс, 2005. - 603 с.

19. Агиевич В.А., Скрипкин К.Г. Управление бизнес-процессами: проблема учета комплементарных взаимосвязей / Архитектура предприятия: Материалы конференции «Математика и информационные технологии в нефтегазовом комплексе». - Сургут: ОАО «Сургутнефтегаз», 2014. - 88 с.

20. Lankhorst M.M., Proper H.A., Jonkers H. The Anatomy of the ArchiMate Language // International Journal of Information Systems Modeling and Design, Vol. 1, No. 1, pp. 1-31.

Аннотация

Ключевые слова: результативность, экономичность, эффективность, компьютерный капитал, организационный капитал, человеческий капитал, комплементарные связи.

Размещено на Allbest.ru