Метрологический надзор

- описание методов и способов идентификации ПО, а также его метрологически значимых частей, функций и параметров, т.е. проверяется наличие информации о методе (алгоритме) идентификации ПО, способах идентификации ПО в соответствии с принятым методом, о системе кодификации номера версии;

- описание реализованных в ПО расчетных алгоритмов, а также их блок-схемы, т.е. проверяется описание логических схем алгоритмов, функций, реализуемых алгоритмами ПО, а также всех величин, рассчитываемых с их помощью, с их математическим представлением в виде формул; проверяются также данные о степени округления при расчетах (точность алгоритмов);

- описание интерфейсов пользователя, всех меню и диалогов;

- описание интерфейсов связи ПО для передачи, обработки и хранения данных в том числе посредством открытых или закрытых сетей связи, т.е. проверяется наличие информации о методе связи СИ и ПО, о данных, получаемых от и передаваемых в СИ программным обеспечением, наличие описания всех аппаратных и программных компонент СИ, а также описания исполняемых файлов (название, размер в мегабайтах));

- описание реализованных методов защиты ПО и данных, т.е. проверяется описание реализованных методов (авторизация пользователя, журнал событий, кодирование данных и т.д.), защиты ПО и данных от случайных (непреднамеренных) и преднамеренных изменений и искажений, а также наличие в документации описания методов фиксации сообщений об ошибках;

- описание способов хранения измеренных данных на встроенном, удаленном или съемном носителе;

- описание требуемых системных и аппаратных средств, если эта информация не приведена в руководстве пользователя.

ПРОВЕРКА РАЗДЕЛЕНИЯ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ

Разделение ПО СИ проводят в целях выделения в составе ПО СИ метрологически значимой части, т.е. той его части, которая подлежит аттестации.

К метрологически значимой части ПО СИ относятся программы и программные модули, выполняющие функции сбора, передачи, обработки, хранения и представления измерительной информации, а также параметры, характеризующие тип СИ и внесенные в ПО.

После утверждения типа СИ метрологически значимая часть ПО не должна изменяться. Любая модификация метрологически значимой части ПО приводит к изменению его идентификационных данных (признаков) и к необходимости повторной аттестации ПО.

Метрологически не значимая часть ПО аттестации не подлежит. Ее модификация может быть выполнена без уведомления уполномоченных органов, если изменение этой части не проводит к изменению идентификационных данных (признаков) метрологически значимой части ПО СИ.

Если разделение ПО СИ не проведено, то все ПО рассматривается как метрологически значимое.

Разделение ПО на метрологически значимые и не значимые части может быть проведено как на «низком», так и на «высоком» уровнях.

«Низкий» уровень разделения выполняется независимо от операционной системы внутри кода ПО (на уровне языка программирования). Такой уровень разделения ПО может быть реализован как в СИ со встроенным ПО, так и в СИ на основе персонального компьютера.

«Высокий» уровень разделения означает, что оно реализуется в виде независимых объектов операционной системы (например, части ПО содержатся в отдельных файлах операционной системы). «Высокий» уровень разделения возможен только в СИ на основе универсального компьютера.

На основе анализа документации и проведения функциональных проверок определяется правильность разделения ПО СИ или устанавливается отсутствие разделения. При этом проверяется, что к метрологически значимой части ПО относятся:

- программы и программные модули, принимающие участие в обработке (расчетах) результатов измерений или влияющие на них;

- программы и программные модули, осуществляющие представление измерительной информации, ее хранение и передачу, идентификацию и обновление (загрузку) ПО, защиту ПО и данных;

- параметры ПО СИ, участвующие в вычислениях и влияющие на результат измерений;

- компоненты защищенного интерфейса для обмена данными между метрологически значимыми и незначимыми частями ПО СИ.

В случаях, когда проводятся испытания сложных измерительных систем, систем, используемых при коммерческих расчетах, или когда к этим системам предъявляются исключительные требования по безопасности и надежности их функционирования, правильность разделения ПО СИ дополнительно проверяется при помощи анализа его исходного кода.

УСТАНОВЛЕНИЕ ИДЕНТИФИКАЦИОННЫХ ДАННЫХ (ПРИЗНАКОВ) И ПРОВЕРКА МЕТОДОВ ИДЕНТИФИКАЦИИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ

Установление идентификационных данных (признаков) ПО и проверку методов его идентификации проводят в целях обеспечения проведения идентификации ПО СИ при поверке (калибровке) СИ. Идентификация ПО СИ, осуществляемая при поверке (калибровке) СИ, представляет собой проверку соответствия ПО СИ тому ПО, которое было зафиксировано (документировано) при испытаниях в целях утверждения типа СИ, с последующим обеспечением защиты ПО от несанкционированного доступа во избежание искажений результатов измерений.

Установление идентификационных данных (признаков) ПО и проверку методов его идентификации проводят при аттестации ПО СИ на основе анализа документации и проведения функциональных проверок.

На основе анализа документации определяют, какими из следующих способов осуществляется идентификация ПО СИ:

- с помощью интерфейса пользователя (например, по команде пользователя на дисплее СИ);

- в процессе штатного функционирования ПО (например, на дисплее СИ через определенные интервалы времени);

- с помощью интерфейса связи (например, на экране персонального компьютера, подключенного к СИ).

К идентификационным данным (признакам) относятся:

- наименование ПО СИ;

- номер версии метрологически значимой части ПО СИ;

- контрольная сумма метрологически значимой части ПО СИ.

На основе анализа документации и проведения функциональных проверок определяют реализованные в ПО СИ методы идентификации ПО. Идентификация ПО СИ может быть реализована следующими методами:

- с помощью ПО СИ или аппаратно-программных средств, разработанных организацией - производителем СИ (ПО СИ);

- с использованием специальных аттестованных аппаратно-программных средств и/или сертифицированного ПО.

Проверяются наличие и достаточность идентификационных данных (признаков) ПО СИ для его однозначной идентификации.

Проверяется, что расчет контрольной суммы производится для метрологически значимой части ПО СИ. При этом реализованный в ПО СИ алгоритм расчета контрольной суммы также относится к метрологически значимой части ПО СИ.

ПРОВЕРКА СТРУКТУРЫ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ

Под проверкой структуры ПО понимают:

- проверку отсутствия недопустимого влияния на метрологически значимую часть ПО и данные, осуществляемого через интерфейс пользователя;

- проверку отсутствия недопустимого влияния на метрологически значимую часть ПО и данные, осуществляемого через интерфейсы связи;

- проверку правильности взаимодействия между метрологически значимой и незначимой частями ПО.

ОЦЕНКА ВЛИЯНИЯ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ НА МЕТРОЛОГИЧЕСКИЕ ХАРАКТЕРИСТИКИ СРЕДСТВ ИЗМЕРЕНИЙ

Оценка влияния ПО на МХ СИ определяется методикой аттестации и может включать в себя:

- анализ ПО и его алгоритмов (например, адекватность измерительной задаче, их сложность и возможность использования при разработке опорного («эталонного») ПО и т.д.);

- определение критерия оценки влияния ПО на метрологические характеристики СИ (например, значение вклада ПО в суммарную погрешность (неопределенность) СИ);

- выбор (или разработка) опорного («эталонного») ПО;

- выбор (определение) исходных данных и/или их получение методом генерации или какими-либо другими методами;

- получение результатов обработки исходных данных в тестируемом ПО (получение тестовых результатов);

- получение опорных («эталонных») результатов;

- получение оценки влияния ПО на метрологические характеристики СИ посредством обработки результатов тестирования (сравнения тестовых результатов с опорными («эталонными»);

- дополнительные исследования свойств, параметров и характеристик используемых алгоритмов (область устойчивости, время, затрачиваемое на обработку результатов измерений и т.п.).

Основными методами, применяемыми при оценке влияния ПО на МХ СИ, являются:

- сравнительные испытания с применением опорного («эталонного») ПО;

- в отсутствие опорного («эталонного») ПО - сравнительные испытания с использованием моделей исходных данных, либо с применением метода генерации «эталонных» данных;

- при наличии нескольких ПО сопоставимого уровня вычислительных возможностей и в отсутствие опорного («эталонного») ПО - сличения, подобные сличению эталонных СИ;

- испытания на основе анализа исходного кода ПО, а также комбинации указанных методов.

Метод оценки влияния ПО на МХ СИ выбирают с учетом наличия или возможности разработки того или иного вида опорного («эталонного») ПО, а также возможности применения указанных методов в каждом конкретном случае.

Представление результатов оценки влияния ПО на МХ СИ.

На основе используемых методов оценки влияния ПО на МХ СИ, перечисленных в предыдущих пунктах настоящей Рекомендации, рассчитывают характеристики точности тестируемых алгоритмов, например его исполнительную характеристику, относительное отличие тестовых результатов вычислений от опорных («эталонных»).

Могут быть оценены и другие характеристики алгоритмов такие, как их сложность, скорость исполнения, адекватность измерительной задаче, выбор численной схемы расчета, коэффициент обусловленности (устойчивости), область устойчивости и т.п.

Исполнительная характеристика алгоритма вычисляется по формуле

,

где - коэффициент обусловленности (устойчивости) (для устойчивых алгоритмов ),

- предельная относительная вычислительная точность (),

- норма (длина) вектора отличия тестовых результатов от «эталонных». Например, если в процессе вычислений получено m тестовых результатов и опорных («эталонных») , то норма вычисляется по формуле

,

- норма вектора «эталонных результатов», т.е. .

Исполнительная характеристика показывает число потерянных цифр точности в аттестуемом ПО по сравнению с опорным («эталонным»).

ПРОВЕРКА ЗАЩИТЫ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ И ОПРЕДЕЛЕНИЕ ЕЕ УРОВНЯ

Проверку защиты ПО СИ проводят с целью установления наличия средств защиты метрологически значимой части ПО СИ и измеренных данных и определения уровня защиты ПО СИ от непреднамеренных и преднамеренных изменений. Под проверкой защиты программного обеспечения понимается:

- проверка защиты метрологически значимой части ПО СИ и измеренных данных от случайных или непреднамеренных изменений;

- проверка защиты метрологически значимой части ПО СИ и измеренных данных от преднамеренных изменений.

Возможными причинами случайных или непреднамеренных изменений метрологически значимой части ПО СИ и измеренных данных могут быть:

- непредсказуемые физические воздействия;

- эффекты, обусловленные действиями пользователя.

На основе анализа документации и проведения функциональных проверок, имитирующих различного рода ошибки или иные изменения случайного или непреднамеренного характера, проверяется их обнаружение и фиксация в журнале(ах) событий. Метрологически значимая часть ПО СИ в необходимых случаях должна содержать специальные средства защиты, исключающие возможность несанкционированной модификации, загрузки (в том числе загрузки фальсифицированного ПО и данных), считывания из памяти СИ, удаления или иных преднамеренных изменений метрологически значимой части ПО СИ и измеренных данных. К специальным средствам защиты метрологически значимой части ПО СИ и измеренных данных от преднамеренных изменений могут быть, в частности, отнесены:

- средства проверки целостности ПО (например, несанкционированная модификация метрологически значимой части ПО СИ может быть проверена расчетом контрольной суммы для метрологически значимой части ПО СИ и сравнением ее с действительным значением);

- средства обнаружения и фиксации событий;

- средства управления доступом;

- иные средства защиты.

Согласно МИ 2891-2004 назначаются следующие уровни требований к ПО СИ по каждому виду требований: низкий, средний, высокий.

Назначение уровней производится ГЦИ СИ или органом, проводящим аттестацию ПО, по согласованию с Заказчиками испытаний (аттестации) ПО.

При назначении уровней требований учитываются технические особенности СИ и их назначение, ввиду чего требования к ПО могут назначаться в различном объеме.

ПО СИ оценивается в соответствии с выбранными уровнями по:

* жесткости испытаний (табл. 2);

* степени соответствия (идентификация) (табл. 3);

* уровню защиты (табл. 4).

Таблица 2. Жесткость испытаний программного обеспечения

Низкая:	Функции ПО проверяются в ходе обычных испытаний по утверждению типа СИ в соответствии с программой испытаний.
Средняя:	ПО испытывается на основании описания программных функций, предоставленных изготовителем. Оценивается влияние ПО на результаты измерений, средства идентификации и защиты.
Высокая:	В дополнение к обычным испытаниям по определению метрологических характеристик и правильности выполняемых функций проверяется исходный код ПО. Предметом испытаний исходного кода программы может являться, например, реализация алгоритма вычислений.

Таблица 3. Степень соответствия программного обеспечения (идентификация)

Низкая:	Применяемое ПО каждого отдельного СИ находится в соответствии с утвержденным.
Средняя:	В дополнение к уровню соответствия «низкий», в отдельных случаях, обусловленных техническими особенностями, некоторые части ПО могут быть определены как «не подлежащие изменению» при утверждении типа. Части, не подлежащие изменению, идентичны утвержденному ПО в каждом СИ.
Высокая:	В каждом СИ используется ПО, полностью идентичное утвержденному.

Таблица 4. Защита программного обеспечения

Низкая:	Не требуется специальной защиты контролируемого ПО и данных от недопустимых изменений.
Средняя:	ПО и данные, подлежащие метрологическому контролю, защищены от недопустимых изменений с использованием простых программных средств, например текстовых редакторов.
Высокая:	ПО и данные, подлежащие метрологическому контролю, защищены от недопустимых изменений с использованием специальных программных средств (отладчики и редакторы жестких дисков, ПО для разработки программ и т.д.).

В качестве практически применяемых методов аттестации ПО средств измерений предлагается использовать два принципиально различающихся подхода: метод «белого ящика» и метод «черного ящика».

Метод «белого ящика» основан на детальной проверке исходного кода (высокий уровень жесткости испытаний), подробном исследовании программных функций и используется при испытаниях очень сложных измерительных систем. метрологический сигнализатор измерение

Рис. 3. Схема испытаний ПО с использованием генерации «эталонных» данных

Аттестацию ПО методом «черного ящика» предлагается проводить в шесть этапов:

1. Спецификация испытываемого ПО.

Спецификация может быть проведена в математических или нематематических терминах, но в каждом случае соответствующая информация должна быть достаточной для избежания неоднозначных толкований. Цель такой спецификации заключается в том, чтобы убедиться в самых общих чертах в адекватности используемых моделей и алгоритмов решаемой задаче, при этом один из способов спецификации заключается в идентификации входа и выхода программного продукта и функциональных соотношений или моделей, связывающих вход и выход.

2. Исполнение (реализация) испытываемого ПО.

Первые два этапа обычно выполняются на стадии разработки ПО.

3. Спецификация наборов «эталонных» данных.

Эти последовательности наборов данных в большинстве своем определяются значениями управляющих параметров, которые должны быть идентифицированы, при этом каждому значению управляющего параметра отвечает своя последовательность наборов данных. В процессе испытаний ПО исследуется его функционирование для разных последовательностей наборов данных.

Часто управляющему параметру придаются функции контрольного параметра, или параметра, который ранжирует последовательности наборов данных по степени их трудности для обработки испытуемым ПО. Использование таких ранжированных в указанном смысле наборов данных позволяет выявить случаи, когда тестируемое ПО основано на неверном выборе математического алгоритма. К «эталонным» наборам данных часто предъявляется требование максимального соответствия наборам, которые могут быть получены при практических измерениях на базовом средстве измерений. Спецификация наборов «эталонных» данных должна устанавливать наличие перечисленных требований.

4. Спецификация выполняемых измерений и требований испытаний.

При испытаниях ПО необходимо пользоваться показателями качества (или, как говорят, метриками качества) для установления количественных различий между обработками, производимыми испытываемым ПО над разными наборами «эталонных» данных. Посредством спецификации требований к ПО и пользователь, и разработчик испытывают программный продукт в терминах этих метрик, что в конечном итоге дает возможность объективной оценки ПО в плане соответствия цели, которой оно должно достигать.

5. Генерация «эталонных» пар.

«Эталонные» пары, т.е. совокупность наборов «эталонных» данных и соответствующих «эталонных» результатов, могут быть получены, в частности, методом генерации «эталонных» данных.

6. Представление и интерпретация исполненных измерений и испытаний.

Применение испытываемого ПО к «эталонным» данным приводит к появлению результатов тестирования, которые сравниваются с «эталонными» результатами, из которых был генерирован этот «эталонный» набор. Сравнение, происходит с помощью показателя (метрики) качества, которые при этом вычисляются. Параметры (метрики) качества представляются как функции управляющего параметра (или параметров) в табличной и/или в графической форме. Удобно также пользоваться статистикой испытаний (численной или графической), включающей в себя значения математического ожидания, СКО, минимума, максимума обнаруженных различий.

В таблице 5 приведены виды методов аттестации ПО СИ.

Таблица 5. Виды методов аттестации ПО СИ

Сокращения	Описание	Применение	Предварительные условия, инструменты для применения	Особые навыки для выполнения задачи
АД	Анализ документации и оценка пригодности разработки	Всегда	Документация	--
ФПМС	Аттестация методом функциональной проверки метрологических свойств	Корректность алгоритмов, неопределенность, алгоритмы компенсации и коррекции, правила калькуляции цены	Документация	Документация, обычные программные средства
ФПСПО	Аттестация методом функциональной проверки свойств программного обеспечения	Правильное функционирование связи, индикации, защита от мошенничества, от ошибок оператора, защита параметров, обнаружение ошибок	Документация, обычные программные средства	Документация, обычные программные средства
АПМД	Анализ потоков метрологических данных	Разделение программного обеспечения, оценка воздействия команд на функции прибора	Исходный код, обычные программные средства (простая процедура), инструменты (углубленная процедура)	Знание языков программирования. Необходима методическая инструкция
САИК	Сквозной анализ на основе исходного кода	Для любых целей	Исходный код	Знание языков программирования, протоколов и другие навыки в сфере ИТ
ИМПО	Испытания модулей программного обеспечения	Для любых целей, когда можно четко определить вход и выход	Исходный код, условия испытаний, специальные программные средства	Знание языков программирования, протоколов и другие навыки в сфере ИТ. Инструкция по использованию необходимых инструментов

2.4 Повышение качества метрологической аттестации программного обеспечения СИ ВН

Согласно WELMEC 7.2 необходимо проводить оценку уровней серьезности ошибок, степени жесткости испытаний и выбор классов риска ПО СИ.

В настоящее время сложилось несколько различных подходов к оценке уровней серьезности ошибок, степени жесткости испытаний и выбору классов риска, которые, по сути дела, не противоречат кардинально друг другу.

Первый подход использует только два таких уровня:

- (I) обычный уровень защиты от фальсификации, а также уровень подтверждения соответствия, надежности и вида измерения;

- (II) повышенный уровень серьезности ошибки с усиленными контрмерами.

При выборе уровней серьезности ошибок для конкретной категории приборов и области применения (торговля, непосредственная продажа населению, здравоохранение, усиление законов, ...) могут быть учтены следующие аспекты:

а) риск мошенничества:

- социальные общественно опасные последствия неправильного функционирования,

- стоимость товаров, параметры которых измеряются,

- используемая платформа (специализированные приборы или приборы, основанные на универсальных компьютерах),

- подверженность источникам потенциального мошенничества (оставляемые без присмотра устройства самообслуживания);

б) требуемое соответствие:

- практические возможности промышленности соответствовать предписанному уровню;

в) требуемая надежность:

- условия окружения,

- социальные общественно опасные последствия ошибок;

г) интерес борца с мошенничеством:

- способность предотвратить мошенничество может стать достаточным фактором мотивации;

д) возможность повторить измерение или прервать его.

Процедура аттестации и уровень серьезности (риска) ошибок связаны между собой сложным образом. Когда предполагается повышенный уровень серьезности ошибки, должен быть выполнен глубокий анализ программного обеспечения для того, чтобы обнаружить недостатки программного обеспечения или слабость защиты. Второй подход присваивает средствам измерений шесть классов риска: A, B, C, D, E и F (табл. 6). При этом в настоящий момент обычно используются только три класса: B, C и D («низкий», «средний» и «высокий»), и только в редких случаях применяется класс риска Е. Два класса риска, а именно А и F, оставлены как бы «на всякий случай», «про запас», на неизведанное будущее. Каждое СИ должно быть приписано к классу риска, т. к. специальные программные требования, которые необходимо применять, регулируются классом риска, к которому принадлежит СИ. Класс риска определяется комбинацией соответствующих уровней, необходимых для защиты, проверки и совместимости ПО.

Рис. 4.Совершенствование процесса метрологической аттестации ПО СИ ВН в записи нотации IDEF0

Таблица 6. Определение классов риска

Класс риска	Уровень защиты	Уровень проверки	Уровень соответствия ПО
A	Низкий	Низкий	Низкий
B	Средний	Средний	Низкий
C	Средний	Средний	Средний
D	Высокий	Средний	Средний
E	Высокий	Высокий	Средний
F	Высокий	Высокий	Высокий

Истолкование классов риска:

Класс риска A: Это низший класс риска из всех. Не требуется никаких особых мер защиты от преднамеренного изменения программного обеспечения. Испытания программного обеспечения являются частью функционального тестирования устройства. Требуется соответствие на уровне документации. Не ожидается, что какое-либо СИ будет классифицироваться как СИ класса риска А. Однако введением этого класса соответствующая возможность допускается.

Класс риска B: По сравнению с классом риска А защита ПО требуется на «среднем» уровне. Соответственно, уровень проверки также становится «средним». Уровень соответствия остается такой же, как у класса риска А.

Класс риска С: По сравнению с классом риска В уровень соответствия поднимается до «среднего». Это означает, что при утверждении типа части ПО могут быть заявлены как жестко фиксированные. Остальная часть ПО должна соответствовать на функциональном уровне. Уровни защиты и проверки остаются без изменений относительно класса риска B.

Класс риска D: Существенное отличие по сравнению с классом риска С заключается в том, что уровень защиты возрастает до «высокого». Так как уровень проверки остается, как прежде, «средний», документация должна быть достаточно информативной для того, чтобы показать, что предпринятые меры защиты приемлемы. Уровень соответствия остается без изменений относительно класса риска C.

Класс риска Е: По сравнению с классом риска D уровень проверки возрастает до «высокого». Уровни защиты и соответствия остаются прежними.

Класс риска F: Уровни, касающиеся всех показателей (защита, проверка и соответствие), устанавливаются «высокими». Как и для класса риска А, не ожидается, что какое-либо СИ будет классифицироваться как СИ класса риска F. Однако введением этого класса соответствующая возможность допускается.

Также Согласно WELMEC 7.2 необходимо использование контрольных таблиц для обоснования выбора соответствующих наборов требований к ПО СИ. К таким таблицам относятся: первая контрольная таблица помогает пользователю решить, какую базовую конфигурацию (P или U) применять к тестируемому СИ; Вторая контрольная таблица помогает решить, какую из конфигураций информационных технологий (ИТ) применять к аттестуемому СИ; специальные контрольные таблицы для основных требований к СИ типа Р и к СИ типа U.

На основании изложенных положений и требований можно предложить совершенствование процесса метрологической аттестации ПО СИ ВН в записи нотации IDEF0.

3. Оценка качества измерений результатов испытаний СИ ВН

3.1 Общие положения о качестве измерений

Непосредственной целью измерений является определение истинных значений постоянной или изменяющейся измеряемой величины. Результат измерений является реализацией случайной величины, равной сумме истинного значения измеряемой величины и погрешности измерений.

Устанавливают следующие характеристики качества измерений:

- среднеквадратичное отклонение погрешности измерений или стандартную неопределенность измерений (точечные характеристики качества измерений);

- границы интервала, в котором погрешность измерений находится с заданной вероятностью, или расширенную неопределенность измерений (интервальные характеристики качества измерений).

Среднеквадратичное отклонение погрешности эквивалентно стандартной неопределенности или суммарной стандартной неопределенности; границы интервала, в котором погрешность находится с заданной вероятностью, эквивалентны расширенной неопределенности.

В качестве характеристик случайной составляющей погрешности измерений используют: среднее квадратическое отклонение случайной составляющей погрешности измерений и (при необходимости) нормализованную автокорреляционную функцию случайной составляющей погрешности измерений или характеристики этой функции.

В качестве характеристик систематической составляющей погрешности измерений используют: среднее квадратическое отклонение неисключенной систематической составляющей погрешности измерений или границы, в которых неисключенная систематическая составляющая погрешности измерений находится с заданной вероятностью (в частности, с вероятностью, равной единице).

При необходимости средние квадратические отклонения случайной и (или) неисключенной систематической составляющих погрешности измерений сопровождают указанием принятой аппроксимации закона распределения вероятностей погрешности или его качественным описанием (например, симметричный, одномодальный и т.п.).

В случаях, когда результаты измерений (испытаний) используют (могут быть использованы) совместно с другими результатами измерений, а также при расчетах погрешностей величин, функционально связанных с результатами измерений (например, критериев эффективности, функций потерь, результатов косвенных измерений и др.), в качестве характеристик погрешности измерений применяют, в основном, точечные характеристики погрешности - средние квадратические отклонения погрешности.

В случаях, когда результаты измерений являются окончательными, пригодными для решения определенной технической задачи и не предназначены для совместного использования с другими результатами измерений и для расчетов, применяют, в основном, интервальные характеристики погрешности - границы, в пределах которых погрешность находится с известной (заданной) вероятностью.

Согласно ГОСТ Р ИСО 5725-1-2002:

Принятое опорное значение: Значение, которое служит в качестве согласованного для сравнения и получено как:

- теоретическое или установленное значение, базирующееся на научных принципах;

- приписанное или аттестованное значение, базирующееся на экспериментальных работах какой-либо национальной или международной организации;

- согласованное или аттестованное значение, базирующееся на совместных экспериментальных работах под руководством научной или инженерной группы;

- математическое ожидание измеряемой характеристики, то есть среднее значение заданной совокупности результатов измерений (лишь в случае, когда предыдущие варианты недоступны).

Точность: Степень близости результата измерений к принятому опорному значению.

Термин «точность», когда он относится к серии результатов измерений (испытаний), включает сочетание случайных составляющих и общей систематической погрешности.

Правильность: Степень близости среднего значения, полученного на основании большой серии результатов измерений (или результатов испытаний), к принятому опорному значению.

Показателем правильности обычно является значение систематической погрешности.

Систематическая погрешность: Разность между математическим ожиданием результатов измерений и истинным (или в его отсутствие - принятым опорным) значением.

Большее систематическое отклонение от принятого опорного значения находит свое отражение в большем значении систематической погрешности.

Систематическая погрешность лаборатории при реализации конкретного метода измерений: Разность между математическим ожиданием результатов измерений (или результатов испытаний) в отдельной лаборатории и истинным (или в его отсутствие - принятым опорным) значением измеряемой характеристики.

Систематическая погрешность метода измерений: Разность между математическим ожиданием результатов измерений, полученных во всех лабораториях, применяющих данный метод, и истинным (или в его отсутствие принятым опорным значением) измеряемой характеристики.

Лабораторная составляющая систематической погрешности: Разность между систематической погрешностью лаборатории при реализации конкретного метода измерений и систематической погрешностью метода измерений.

Прецизионность: Степень близости друг к другу независимых результатов измерений, полученных в конкретных регламентированных условиях.

Прецизионность зависит только от случайных погрешностей и не имеет отношения к истинному или установленному значению измеряемой величины.

Меру прецизионности обычно выражают в терминах неточности и вычисляют как стандартное отклонение результатов измерений. Меньшая прецизионность соответствует большему стандартному отклонению.

«Независимые результаты измерений (или испытаний)» - результаты, полученные способом, на который не оказывает влияния никакой предшествующий результат, полученный при испытаниях того же самого или подобного объекта. Количественные значения мер прецизионности существенно зависят от регламентированных условий. Крайними случаями совокупностей таких условий являются условия повторяемости и условия воспроизводимости.

Повторяемость: Прецизионность в условиях повторяемости.

Условия повторяемости (сходимости): Условия, при которых независимые результаты измерений (или испытаний) получаются одним и тем же методом на идентичных объектах испытаний, в одной и той же лаборатории, одним и тем же оператором, с использованием одного и того же оборудования, в пределах короткого промежутка времени.

Предел повторяемости (сходимости): Значение, которое с доверительной вероятностью 95 % не превышается абсолютной величиной разности между результатами двух измерений (или испытаний), полученными в условиях повторяемости (сходимости).

Воспроизводимость: Прецизионность в условиях воспроизводимости.

Условия воспроизводимости: Условия, при которых результаты измерений (или испытаний) получают одним и тем же методом, на идентичных объектах испытаний, в разных лабораториях, разными операторами, с использованием различного оборудования.

Предел воспроизводимости: Значение, которое с доверительной вероятностью 95 % не превышается абсолютной величиной разности между результатами двух измерений (или испытаний), полученными в условиях воспроизводимости.

Согласно РД 50-502-84 в отношении достоверности измерений вводят следующие понятия:

- вероятность ложного соответствия объекта испытаний (риск потребителя) - вероятность того, что объект испытаний, признанный соответствующим установленным требованиям, в действительности им не соответствует;

- вероятность ложного несоответствия объекта испытаний (риск поставщика) - вероятность того, что объект испытаний, признанный несоответствующим установленным требованиям, в действительности им соответствует.

Понятие «погрешность измерений» базируется на понятии истинное (действительное) значение измеряемой величины, которое по определению является непознаваемым. В ещё большей степени это относится к испытаниям партии образцов, которые являются сами по себе уникальными и которые характеризуются разными «реальными» номинальными значениями своих параметров. Таким образом, если при проведении эталонных измерений или при процедурах сличений эталонов возможно корректное применение понятия «погрешность измерений», то при испытаниях более корректным является применение понятия «неопределённость измерений». Также немаловажным аспектом является уже давнее применение за рубежом понятия «неопределённость измерений», что отражается в описании иностранной продукции, в том числе средств измерений.

Согласно РМГ 43-01:

Неопределенность измерений: Параметр, связанный с результатом измерений и характеризующий рассеяние значений, которые могли бы быть обоснованно приписаны измеряемой величине.

Стандартная неопределенность: Неопределенность результата измерений, выраженная в виде среднего квадратического отклонения (СКО).

Суммарная стандартная неопределенность: Стандартная неопределенность результата измерений, полученного через значения других величин, равная положительному квадратному корню суммы членов, причем члены являются дисперсиями или ковариациями этих других величин, взвешенными в соответствии с тем, как результат измерений изменяется при изменении этих величин.

Расширенная неопределенность: Величина, определяющая интервал вокруг результата измерений, в пределах которого, как можно ожидать, находится большая часть распределения значений, которые с достаточным основанием могли бы быть приписаны измеряемой величине.

Различие между погрешностью и неопределенностью измерений сводится к различию систем координат, относительно которых рассматривают истинное значение измеряемой величины и результат измерений. При рассмотрении погрешности измерений систему координат привязывают к истинному значению измеряемой величины, наблюдая рассеяние результата измерений (рис. 4); при рассмотрении неопределенности измерений - к результату измерений, что и создает эффект рассеяния единственного значения измеряемой величины (рис. 5).

Таким образом, неопределенность измерений может быть определена как параметр центрированной случайной величины, представляющей собой разность между истинным значением измеряемой величины и результатом измерений, т.е. величины, совпадающей по модулю с погрешностью измерений, но противоположной ей по знаку. Закон распределения вероятностей этой случайной величины ц(-Д) представляет собой зеркальное отражение закона распределения вероятностей погрешности измерений. Количественно характеристики погрешности измерений и соответствующие виды неопределенности измерений совпадают.

Рис. 5. Пояснения к понятию погрешность измерений: а_р - результат измерений (А_pi - реализации результата измерений); А_ист - истинное значение измеряемой величины (А_истi - реализация истинного значения измеряемой величины в системе координат, привязанной к результату измерений); Д - погрешность измерений; ц(а_р) - плотность распределения вероятности результата измерений; ц(Д) - плотность распределения вероятностей погрешности измерений; ц(а_ист) - плотность распределения вероятностей единственного истинного значения измеряемой величины, наблюдаемая в системе координат, привязанной к результату измерений.

Рис. 6. Пояснения к понятию неопределённость измерений

3.2 Обзор нормативных документов о качестве измерений

Приведём перечень нормативных документов по метрологическим критериям оценки качества результатов испытаний.

ПМГ 96-2009. «Государственная система обеспечения единства измерений (ГСИ). Результаты и характеристики качества измерений. Формы представления» устанавливают характеристики качества измерений - параметры, отражающие близость результата измерений к значению измеряемой величины, и формы их представления; предназначены для применения при разработке нормативных, методических и технических документов [проектно-конструкторской и технологической документации, стандартов, технических условий, технических заданий, отчетов, протоколов, программ, документов на методики испытаний и контроля образцов продукции, руководящих документов, руководящих технических материалов, документов на методики выполнения измерений (МВИ)], содержащих требования к измерениям или описывающих измерения, проводимые в научных исследованиях, при разработке, производстве, эксплуатации продукции; при охране окружающей природной среды; в здравоохранении и др.

МИ 1317-86. «Государственная система обеспечения единства измерений (ГСИ). Результаты и характеристики погрешности измерений. Формы представления. Способы использования при испытаниях образцов продукции и контроле их параметров» устанавливает формы представления результатов измерений, характеристики погрешности измерений и формы их представления для всех возможных случаев применения, а также способы использования характеристик погрешности измерений для определения характеристик погрешности таких испытаний и достоверности такого контроля параметров образцов (проб) продукции, которые проводят с помощью измерений.

МИ 2867-04. «Государственная система обеспечения единства измерений (ГСИ). Метрологические критерии оценки степени соответствия безопасности и качества объекта испытаний нормативным требованиям» распространяется на объекты испытаний и устанавливает метрологические количественные критерии:

* оценки соответствия безопасности и качества объекта испытаний нормативным требованиям,

* оценки соответствия качества методик испытаний (в т.ч. методик выполнения измерений) нормативным требованиям,

* оценки уровня качества испытаний,

* оценки степени соответствия безопасности и качества объекта испытаний нормативным требованиям.

МИ 2612-00. «Государственная система обеспечения единства измерений (ГСИ). Метрологические критерии оценки соответствия качества объекта сертификации нормативным требованиям».

РД 50-502-84. «Система государственных испытаний продукции (СГИП). Показатели точности, достоверности и воспроизводимости результатов испытаний. Основные положения».

ГОСТ Р ИСО 5725-1-2002. «Точность (правильность и прецизионность) методов и результатов измерений. Часть 1. Основные положения и определения» изложены основные положения, которые следует иметь в виду при оценке точности (правильности и прецизионности) методов и результатов измерений, их применении, а также при экспериментальной оценке различных показателей точности.

ГОСТ Р ИСО 5725-2-2002. «Точность (правильность и прецизионность) методов и результатов измерений. Часть 2. Основной метод определения повторяемости и воспроизводимости стандартного метода измерений» регламентирован основной метод экспериментальной оценки двух экстремальных показателей прецизионности методов измерений.

ГОСТ Р ИСО 5725-3-2002. «Точность (правильность и прецизионность) методов и результатов измерений. Часть 3. Промежуточные показатели прецизионности стандартного метода измерений» регламентирована процедуру получения промежуточных показателей прецизионности, изложены условия их применения и методы их оценки.

ГОСТ Р ИСО 5725-4-2002. «Точность (правильность и прецизионность) методов и результатов измерений. Часть 4. Основные методы определения правильности стандартного метода измерений» регламентированы основные методы определения правильности метода измерений.

ГОСТ Р ИСО 5725-5-2002. «Точность (правильность и прецизионность) методов и результатов измерений. Часть 5. Альтернативные методы определения прецизионности стандартного метода измерений» регламентированы несколько альтернатив основным методам, приведенным в ГОСТ Р ИСО 5725-2 и ГОСТ Р ИСО 5725-4 для определения прецизионности и правильности методов измерений, при выполнении измерений в иных заданных условиях.

ГОСТ Р ИСО 5725-6-2002. «Точность (правильность и прецизионность) методов и результатов измерений. Часть 6. Использование значений точности на практике» дать представление о некоторых практических применениях показателей правильности и прецизионности.

МИ 3281-10. «Государственная система обеспечения единства измерений (ГСИ). Оценка результатов измерений - Пояснения к "Руководству по выражению неопределенности измерений"» рассматривает вопросы, связанные с выражением неопределенности в процессе измерений величины, характеризуемой условным истинным значением.

РМГ 91-2009. «Государственная система обеспечения единства измерений (ГСИ). Совместное использование понятий "погрешность измерения" и "неопределенность измерения". Общие принципы» содержат основные принципы совместного применения понятий «погрешность измерения» и «неопределенность измерения» и производных от них понятий, рекомендуемые для использования при разработке нормативных документов по различным метрологическим задачам.

РМГ 43-01. «Государственная система обеспечения единства измерений (ГСИ). Применение "Руководства по выражению неопределенности измерений"».

МИ 2552-99. «Государственная система обеспечения единства измерений (ГСИ). Применение "Руководства по выражению неопределенности измерений"».

3.3 Повышение качества оценки результатов испытаний СИ ВН

Представляемый подход к повышению качества оценки результатов испытаний СИ ВН предполагает использование для этого всех основных метрологических критериев качества, таких как точность, достоверность и воспроизводимость (повторяемость) измерений, а также связанных с ними параметров.

Для начала рассмотрим процесс оценки точности результатов испытаний СИ ВН, представляемой в форме погрешности измерений. Методика обработки результатов измерений с многократными наблюдениями выполняется в следующей последовательности:

1. Исключить известные систематические погрешности из результатов наблюдений.

2. Вычислить среднее арифметическое значение исправленных результатов наблюдений, принимаемое за результат измерения.

3. Вычислить оценку среднего квадратического отклонения результата наблюдения.

4. Вычислить оценку среднего квадратического отклонения результата измерения.

5. Проверить гипотезу о том, что результаты наблюдений принадлежат нормальному распределению.

6. Вычислить оценку среднеквадратического отклонения, характеризующего суммарную неисключённую систематическую погрешность результата измерения.

7. Вычислить оценку среднеквадратического отклонения, характеризующего суммарную погрешность результата измерения.

8. Вычислить доверительные границы случайной составляющей погрешности результата измерения.

9. Вычислить границы неисключенной систематической погрешности результата измерения.

10. Вычислить доверительные границы погрешности результата измерения.

11. Представить результат измерения в соответствии с установленными требованиями.

При выполнении этой последовательности действий руководствуются следующими правилами:

? проверку гипотезы о принадлежности результатов наблюдений нормальному распределению проводят с уровнем значимости б, выбираемым в диапазоне от 0,02 до 0,1.

? при определении доверительных границ погрешности результата измерения доверительную вероятность Pд принимают равной 0,95.

? в тех случаях, когда измерение нельзя повторить, помимо границ, соответствующих доверительной вероятности Рд=0,95, допускается указывать границы для Рд=0,99.

1. Исключение систематических погрешностей.

Исключение систематических погрешностей из результатов наблюдений проводится либо расчетным путем, либо по результатам поверки. После исключения систематических погрешностей все дальнейшие вычисления проводятся для исправленного ряда наблюдений.

2. Вычисление среднего арифметического значения ряда наблюдений.

Среднее арифметическое ряда наблюдений (результатов наблюдений) рассчитывают по формуле:

,

где x_i - i-й исправленный результат наблюдения, - среднее арифметическое исправленного ряда наблюдений, n - число результатов наблюдений.

3. Вычисление оценки среднего квадратического отклонения ряда наблюдений.

Среднее квадратическое отклонение ряда наблюдений рассчитывают по формуле:

.

Среднее квадратическое отклонение S_x является основной характеристикой размера случайных погрешностей результатов наблюдений.

4. Вычисление оценки среднего квадратического отклонения результата измерения.

Для расчета среднего квадратического отклонения результата измерения S(x) используется формула:

Среднее квадратическое отклонение является основной характеристикой размера случайных погрешностей результата измерений.

5. Проверка гипотезы о принадлежности результатов наблюдений нормальному распределению

Чтобы установить принадлежат (или не принадлежат) результаты наблюдений тому или иному распределению, необходимо сравнить экспериментальную функцию распределения с предполагаемой теоретической. Сравнение осуществляется с помощью критериев согласия.

При числе результатов наблюдений 15<n<50 производят приближенную проверку их принадлежности к нормальному распределению путем оценки коэффициента асимметрии и эксцесса.

При n<15 гипотеза о принадлежности результатов наблюдений к какому-либо распределению не проверяется. Если при этом имеется априорная информация о том, что нет причин, которые могли бы вызвать заметное отклонение распределения результатов от нормального закона, для обработки результатов наблюдений используется распределение Стьюдента.

При небольшом числе наблюдений 15<n<50 для проверки гипотезы о принадлежности результатов наблюдений к нормальному распределению можно использовать тот факт, что и коэффициент асимметрии и эксцесс для нормального распределения равны нулю. Эмпирическая оценка Г1 коэффициента асимметрии находится по формуле:

Эмпирическая оценка Г2 эксцесса находится по формуле:

Степень рассеяния для величин Г1 и Г2 может быть приближенно оценена путем сравнения с оценкой среднего квадратического отклонения коэффициентов асимметрии уГ1 и эксцесса уГ2:

Распределение считают нормальным, если одновременно выполняются соотношения:



6. Вычислить оценку среднеквадратического отклонения, характеризующего суммарную неисключённую систематическую погрешность результата измерения.

Среднее квадратическое отклонение суммарной неисключённой систематической погрешности результата измерения в случае равномерного распределения неисключённых систематических погрешностей внутри своих границ находится по формуле

,

где - производная функциональной зависимости измеряемой величины по j-тому фактору влияния p_j, характеризующемуся неисключённой систематической погрешностью и_j.

7. Вычислить оценку среднеквадратического отклонения, характеризующего суммарную погрешность результата измерения

Среднее квадратическое отклонение суммарной погрешности результата измерения равно

8. Вычисление относительных доверительных границ случайной погрешности результата измерения

Доверительные границы е (без учета знака) случайной погрешности результата измерения находят по формуле:

,

где t - квантиль распределения Стьюдента (табл. 9), который зависит от доверительной вероятности P_д и числа степеней свободы n-1.

9. Вычисление границ неисключенной систематической погрешности результата измерения

Hеисключенная систематическая погрешность результата измерения образуется из составляющих, которыми могут быть неисключенные систематические погрешности метода, средств измерения и другие. За границы составляющих неисключенной систематической погрешности принимают, например, пределы основных и допoлнительных погрешностей средств измерений. При суммировании составляющие неисключенной систематической погрешности рассматриваются как случайные величины с равномерными законами распределения. Границы неисключенной систематической погрешности и результата измерения рассчитывавют по формуле:

,

где иi - граница j-ой неисключенной систематической погрешности, к - коэффициент, определяемый принятой доверительной вероятностью (при Рд = 0,95 полагают к = 1,1; при Рд = 0,99 полагают к = 1,4).

10. Вычисление доверительных границ погрешности результата измерения.

Доверительная граница погрешности результата измерения устанавливается в зависимости от соотношения .

Если , то неисключенными систематическими погрешностями пренебрегают и принимают, что доверительная граница погрешности результата измерения Д = е.

Если то случайной погрешностью пренебрегают и принимают, что доверительная граница погрешности результата измерения Д = и.

Если , то доверительные границы погрешности результата измерения вычисляются по формуле:

,

где К - коэффициент, зависящий от соотношения случайной погрешности и неисключенной систематической погрешности, а SУ - оценка суммарного среднего квадратического отклонения результата измерения.

Коэффициент К рассчитывается по формуле:

.

11. Представление результата измерений

Результат измерения записывается в виде х=±Д при доверительной вероятности P_д,, где - собственно результат измерения.

Интерпретация результата: интервал (-Д; +Д) с доверительной вероятностью содержит погрешность измерений, что равносильно тому, что интервал (-Д; +Д) содержит истинное значение измеряемой величины. Указанные границы накрывают истинное значение измеряемой величины с заданной доверительной вероятностью (частотная интерпретация вероятности).

Отметим, что числовое значение результата измерения должно оканчиваться цифрой того же разряда, что и значение погрешности Д.

...