Дискретные случайные величины

Суммарная длина всех внутренних сегментов равна

Поэтому, рассматривая интервал, говорят что функция - постоянная на множестве меры 1, на множестве меры 0 растет, но без скачков.

Известна теорема Лебега. Любая функция распределения может быть единственным образом представлена в виде суммы трех компонент: дискретной, непрерывной и сингулярной.

Сингулярные распределения практически не встречаются в реальных задачах и поэтому исключаются из нашего дальнейшего изучения.

Математическое ожидание случайной величины

37.1. Функция распределения вероятностей или плотность вероятности являются полными вероятностными характеристиками случайной величины. Однако, во многих задачах такая полная характеристика случайной величины, с одной стороны, может быть неизвестна для исследователя, а с другой стороны и не обязательна, достаточно ограничиться значением некоторых параметров распределения вероятностей, т.е. некоторых чисел (или числовых характеристик). Здесь уместна аналогия с геометрическим описанием сложной формы твердого тела, когда ограничиваются такими характеристиками (числами) как длина, ширина, высота, объем, момент инерции, и т.д., а детальное описание сложной формы этого тела не рассматривается. Числовыми характеристиками случайных величин чаще всего служат так называемые моменты распределения, простейшим из которых является математическое ожидание случайной величины.

Прежде чем вводить определение математического ожидания случайной величины, рассмотрим выражение среднего арифметического результатов измерения дискретной случайной величины. Пусть случайная величина может принимать значения соответственно с вероятностями. Результат измерения случайной величины в каждом опыте - это одно из чисел. Пусть выполнено опытов, среди них в опытах случайная величина принимала значение, в опытах - значение,..., в опытах - значение. Очевидно, - полное число опытов. Пусть - среднее арифметическое результатов измерения случайной величины в опытах, тогда

где - частота появления числа при измерении случайной величины в опытах. С увеличением числа опытов величина приближается к числу. Поэтому для того, чтобы определить теоретический аналог среднего арифметического достаточно в формуле (37.1) частоту заменить на вероятность. Это приводит к следующему определению.

Математическим ожиданием (средним, статистическим средним) дискретной случайной величины, принимающей значения с вероятностями, называется число.

Если множество значений дискретной случайной величины счетно:, то в (37.2) полагается.

Пусть - однозначная функция одной переменной, - дискретная случайная величина, принимающая значения с вероятностями. Тогда - дискретная случайная величина, принимающая значения с вероятностями. Поэтому из определения (37.2) математического ожидания следует

- выражение, определяющее математическое ожидание функции.

Математическим ожиданием непрерывной случайной величины с плотностью распределения вероятностей называется число

Аналогично определяется математическое ожидание случайной величины - как число

где - однозначная функция одной переменной, - плотность распределения вероятностей случайной величины.

37.2. Определения (37.2) и (37.4) согласуются друг с другом. Соотношение (37.4) можно представить приближенно в виде интегральной суммы:

где - малая величина. Тогда, и следовательно, (37.4) формально представимо суммой (37.2).

Если - дискретная величина, принимающая значения с вероятностями, то ее плотность вероятности можно представить через - функцию:

Подставим (37.7) в (37.4), тогда

что совпадает с (37.2). Таким образом, определение (37.4) математического ожидания можно использовать как универсальное определение как для непрерывных, так и для дискретных случайных величин. Однако вычислять математическое ожидание дискретной случайной величины, конечно, удобнее по формуле (37.2).

Выражение (37.4) можно представить через функцию распределения случайной величины. Для этого выполним следующие преобразования:. Далее используем для вычисления интеграла способ «по частям»:

Пусть функция удовлетворяет условиям:,, тогда

Это выражение позволяет вычислять математическое ожидание через функцию распределения.



Примеры вычисления математического ожидания случайной величины

38.1. Пусть гауссова случайная величина имеет плотность распределения вероятностей (35.4). Вычислим ее математическое ожидание. Для этого подставим выражение (35.4) в формулу (37.4), тогда.

Вместо переменной интегрирования введем новую переменную, тогда

Функция является нечетной, поэтому интеграл в первом слагаемом (38.2) равен нулю. Во втором слагаемом

Это равенство представляет собой условие нормировки для гауссовой плотности распределения вероятностей (35.4) с параметрами: и. Таким образом, из (38.2) следует - среднее гауссовой случайной величины является параметром плотности распределения вероятностей (35.4). В данном случае имеет геометрическую интерпретацию (рис. 35.2) как значение аргумента, при котором плотность (35.4) принимает максимальное значение. В дальнейшем символ используется также и для обозначения среднего любой случайной величины.

38.2. Вычислим среднее случайной величины, распределенной по экспоненциальному закону (35.8):

Далее используем способ интегрирования «по частям»:

38.3. Пусть - число успехов в серии из независимых опытов. Тогда вероятности, определяются формулой Бернули. Поэтому

Последнее равенство справедливо, поскольку. Подставим в (38.6) формулу Бернули, тогда:

Введем новый индекс суммирования, тогда

Поскольку - вероятность успехов в серии из опытов, то - как вероятность достоверного события, состоящего в появлении любого числа успехов в интервале. Поэтому из (38.8) следует

38.4. Однако не у всякой случайной величины существует ее математическое ожидание. Причиной этого является расходимость интеграла (37.4), что в свою очередь, обусловлено малой скоростью сходимости к нулю плотности при, так что для функции не существует интеграл вида (37.4). Для примера рассмотрим вычисление математического ожидания случайной величины, распределенной по закону Коши:

Здесь несобственный интеграл расходится, так как

Следовательно, случайная величина не имеет математического ожидания. Однако, если интеграл в (38.10) понимать в смысле главного значения Коши, то, поскольку функция является нечетной. Следовательно, при этом.

Свойства математического ожидания

Основные свойства математического ожидания следуют непосредственно из свойств интеграла в определении (37.5):

1. Пусть представляет собой постоянную, тогда из (39.1) следует поскольку для плотности выполняется условие нормировки (33.6). Таким образом, математическое ожидание постоянной равно самой постоянной.

2. Пусть, где - число и - однозначная функция одной переменной, тогда из (39.1) следует.

Таким образом, постоянный множитель можно вынести за знак математического ожидания.

3. Пусть, где - числа, - однозначные функции одной переменной, тогда из (39.1) следует

Из этого равенства при следует свойство 2, а при и - свойство 1.

Математическое ожидание - это число, которое ставится в соответствие случайной величине. Поэтому можно рассматривать как операцию (оператор, функцию) над случайной величиной. В соответствии со свойствами 1-3 оператор математического ожидания является линейным оператором.

Д



Дисперсия случайной величины

40.1. Дисперсией случайной величины называется число

Дисперсия является удобной характеристикой разброса значений около ее среднего значения. Часто используется для обозначения дисперсии символ. Тогда называется среднеквадратическим уклонением случайной величины. Если дисперсия имеет размерность квадрата случайной величины, то размерность совпадает с размерностью случайной величины. Из (40.1) в соответствии со свойствами математического ожидания следует

Если дискретная случайная величина со значениями и соответствующими вероятностями, то ее дисперсия

Если - непрерывная случайная величина и - ее плотность вероятности, то

40.2. Рассмотрим примеры. Вычислим дисперсию нормальной случайной величины. Ее плотность определяется формулой (35.4). Подставим в (40.5), тогда

Пусть, тогда,

Подстановка пределов в (40.7) дает нулевые результаты, а интеграл равен. Поэтому

Таким образом, параметр в плотности нормальной случайной величины является дисперсией этой величины, а среднеквадратичное уклонение определяет эффективную ширину плотности: значение в раз меньше значения - в точке максимума.

40.3. В некоторых случаях для вычисления дисперсии удобно использовать формулу (40.3). Например, для экспоненциально распределенной случайной величины плотность имеет вид (35.8), а ее среднее. Вычислим

Интеграл в (40.9) вычисляется по частям.

Таким образом,. Полученный результат подставим в формулу (40.3), тогда.

40.4. Вычислим дисперсию числа успехов в вероятностной схеме Бернулли, как пример вычисления дисперсии дискретной случайной величины. При этом также используем формулу (40.3), т.е. на первом шаге вычислим среднее от квадрата, а затем используя ранее полученный результат, дисперсию по формуле (40.3). Итак, среднее от квадрата.

Здесь - вероятность появления успехов в последовательности из опытов. Поэтому, как вероятность достоверного события, состоящего в том, что число успехов будет любым в интервале от до. Первая сумма в (40.13) как математическое ожидание числа успехов в последовательности из опытов в соответствии с формулой (38.9). Подставим эти результаты в (40.13), тогда

Моменты случайной величины

41.1. Математическое ожидание и дисперсия являются примерами моментов случайной величины, которые определяются следующим образом.

Начальным моментом порядка непрерывной случайной величины с плотностью распределения вероятности называется число. (41.1)

Порядок момента - это неотрицательное целое число, т.е.

Начальным моментом порядка дискретной случайной величины, принимающей значения с вероятностями,, называется число. (41.2)

Определение (41.1) можно рассматривать как универсальное определение для непрерывных и для дискретных случайных величин. В последнем случае плотность вероятности выражается через - функцию согласно формуле (34.4). Однако на практике для вычисления момента дискретной величины удобнее использовать соотношение (41.2).

Центральным моментом порядка случайной величины называется число. (41.3)

Для непрерывной случайной величины с плотностью вероятности центральный момент порядка имеет вид:. (41.4)

41.2. Из всего множества начальных и центральных моментов обычно используются моменты невысоких порядков, до включительно, как более простые характеристики случайной величины. Применение моментов высоких порядков,, ограничено. Во-первых, при больших моменты могут не существовать, поскольку могут расходиться интегралы (41.1), (41.4). И во-вторых, интерпретация моментов высших порядков затруднена.

Рассмотрим начальные моменты, начиная с. При этом из (41.1) следует. (41.5)

Итак, начальный момент нулевого порядка для любой случайной величины, следовательно, этот момент не отражает каких-либо свойств случайной величины, т.е. не является ее характеристикой. При из (41.1) следует, что момент первого порядка - это математическое ожидание случайной величины. Разные случайные величины могут иметь разные математические ожидания, и поэтому число является характеристикой случайной величины: число указывает положение центра ее плотности вероятности.

Момент второго порядка(41.6)

- это среднее квадрата случайной величины, и т.д.

Рассмотрим аналогично центральные моменты (41.4). При получаем - одинаковый результат для любой случайной величины. Поэтому данный момент не является характеристикой случайной величины, поскольку не отражает каких-либо ее свойств. При . Этот результат также одинаков для любой случайной величины, поэтому центральный момент первого порядка не является характеристикой случайной величины. При из (41.4) получаем дисперсию (41.7)

- важнейшую числовую характеристику случайной величины и т.д.

Моменты третьего и четвертого порядков будут рассмотрены в дальнейшем.



Неравенство Чебышева

42.1. Пусть случайная величина имеет конечный момент второго порядка, тогда, (42.1)

где - любое действительное число и. Соотношение (42.1) называют неравенством Чебышева.

Сначала рассмотрим доказательство неравенства, следующего из (42.1) при:. (42.2)

Доказательство неравенства Чебышева удобнее рассматривать отдельно для непрерывной и для дискретной случайных величин. При этом доказательства являются относительно простыми, а ход доказательств вполне очевиден. В то время как универсальное доказательство, справедливое и для непрерывной и для дискретной случайных величин оказывается значительно более сложным. Рассмотрим непрерывную случайную величину с плотностью вероятности. Тогда в соотношении первое слагаемое можно представить в виде.

Здесь использовано неравенство - справедливое на области интегрирования. Полученное выражение совпадает с неравенством (42.2). Аналогично выполняется доказательство для дискретной случайной величины.

Теперь случайную величину в (42.2) можно заменить на случайную величину, где - любое действительное число, тогда из (42.2) следует неравенство Чебышева (42.1). Это неравенство определяет границу сверху для вероятности или, как говорят, больших уклонений случайной величины от числа. Большие уклонения понимаются в смысле их превышения над заданным числом.

42.2. Пусть, тогда неравенство Чебышева (42.1) имеет вид. (42.3)

Теперь минимальное уклонение можно измерять в единицах среднеквадратического уклонения случайной величины, т.е. положить, (42.4)

где - коэффициент пропорциональности. Подставим (42.4) в (42.3), тогда. (42.5)

Если правая часть, то (42.5) не представляет какого-либо ограничения на случайную величину, поскольку вероятность не может выходить за пределы интервала. Поэтому коэффициент в (42.5) имеет смысл рассматривать только большим:. Отсюда очевидна интерпретация неравенства Чебышева как неравенства, определяющего границу сверху вероятности больших уклонений.

Пусть - непрерывная случайная величина с плотностью вероятности, тогда неравенству Чебышева (42.1) можно дать простую геометрическую интерпретацию, представленную на рис. 42.1.

Здесь указаны числа, и, заштрихованная площадь - это вероятность

Коэффициент асимметрии

Среднее и дисперсия случайной величины - это числа, которые определяют такие свойства ее плотности вероятности как положение центра и эффективную ширину. Очевидно, эти два числа не отражают всех особенностей плотности, в частности, степень симметрии или асимметрии плотности относительно математического ожидания - это новая характеристика, которую можно определить как некоторое число.

Для любой симметричной плотности центральные моменты нечетного порядка равны нулю (доказательство приводится ниже). Поэтому простейший среди них - центральный момент третьего порядка может характеризовать асимметрию плотности распределения, (43.1)

где - математическое ожидание, - центральный момент - го порядка.

Асимметрию принято характеризовать коэффициентом асимметрии, (43.2)

где - дисперсия случайной величины.

Рассмотрим доказательство утверждения о том, что для симметричной плотности центральные моменты нечетных порядков равны нулю.

1). Пусть - симметричная функция относительно некоторой точки, тогда, (43.3)

поскольку - антисимметричная функция относительно. Отсюда следует. (43.4)

Таким образом, если - симметричная функция относительно точки, то - точка симметрии плотности вероятности - это математическое ожидание случайной величины.

2). Пусть - нечетное целое и - симметричная функция, тогда, поскольку - симметрична относительно математического ожидания, и - антисимметрична относительно.

Выражение (43.2) для можно представить через начальные моменты,. Из определения следует:

Аналогично центральный момент третьего порядка

Пусть случайная величина имеет плотность вероятности, (43.6) (распределение Рэлея), тогда вычисление и подстановка в (43.2) приводит к результату.

Плотность вероятности с имеет более тяжелый «хвост» в области больших положительных аргументов, и наоборот, при более тяжелым является «хвост» плотности в области отрицательных аргументов.

Коэффициент эксцесса

Характеристикой степени сглаженности вершины плотности вероятности является число, (43.1) называемое коэффициентом эксцесса.

Определим для нормального распределения. Поскольку, то осталось вычислить

Вычислим интеграл способом «по частям»:

Таким образом,. Подставим полученные результаты в (43.6), тогда.

Если, то плотность вероятности имеет более высокую и более острую вершину, чем кривая плотности нормального распределения с той же дисперсией. Если, то вершина плотности распределения более плоская, чем у нормального распределения.

Среднеквадратическая ошибка

Пусть - неизвестный параметр (число), характеризующий состояние системы. Для определения параметра проводится опыт (измерение). Ситуация осложняется тем, что в процессе измерения на величину накладывается помеха. Таким образом, измерению подлежит не число, а некоторая случайная величина, значения которой в каждом опыте точно предсказать невозможно.

Случайную величину будем называть оценкой параметра. Тогда - ошибка, также случайная величина. Характеристикой качества оценки является ее среднеквадратическая ошибка. (45.1)

Преобразуем это выражение (45.2)

Величина - детерминированная, поэтому ее можно вынести за оператор, следовательно, второе слагаемое

Первое слагаемое (45.2) по определению

- дисперсия случайной величины. Введем обозначение. (45.3)

Число называется смещением оценки. Таким образом, из (45.2) следует (45.4)

- среднеквадратическая ошибка является суммой двух неотрицательных слагаемых. Первое из них - дисперсия, или случайная (стохастическая) компонента ошибки, а второе - квадрат смещения - систематическая ошибка. Если, то оценка называется несмещенной.

Пусть случайная величина - имеет плотность вероятности. Тогда процедуре измерения можно дать геометрическую интерпретацию. На рис. 45.1 представлен график плотности вероятности оценки и показана систематическая ошибка, и случайная ошибка.

Очевидно, идеальная процедура измерения (с нулевой среднеквадратической ошибкой) - это процедура, для которой плотность близка к функции. Тогда, точка, а эффективная ширина.

Характеристическая функция

Характеристической функцией случайной величины называется функция,. (46.1)

Пусть - непрерывная случайная величина с плотностью вероятности, тогда ее характеристическая функция (46.2)

- является интегральным преобразованием, которое называется преобразованием Фурье от плотности вероятности. Известно, что преобразование Фурье является взаимно однозначным. Поэтому существует обратное преобразование, которое определяет плотность вероятности через характеристическую функцию. Это преобразование имеет вид. (46.3)

Соотношения (46.2) и (46.3) образуют пару преобразований Фурье.

Для дискретной случайной величины, принимающей значения с вероятностями характеристическая функция, как следует из (46.1), имеет вид. (46.4)

Характеристическая функция является полной вероятностной характеристикой случайной величины, также как и функция распределения или плотность вероятности. Смысл введения характеристической функции в теории вероятности состоит в том, что имеется класс задач, которые относительно просто решаются с применением преобразования Фурье от плотности вероятности. Роль этого преобразования оказалась столь велика, что в теории появился специальный термин «характеристическая функция» для обозначения этого преобразования.



Основные свойства характеристической функции

Рассмотрим свойства функции для непрерывной случайной величины. Для дискретной величины эти свойства доказываются аналогично.

1). В общем случае характеристическая функция (46.2) является комплексной. Ее вещественная часть (47.1)

- является - преобразованием от плотности вероятности, и мнимая часть (47.2)

- является - преобразованием от. Если - четная функция, то, тогда характеристическая функция и является вещественной и четной функцией.

2). Это свойство следует из (46.2) и условия нормировки для плотности:. (47.3)

3). - функция имеет глобальный максимум в точке. Доказательство следует из (46.2).

5). Характеристическая функция непрерывна. Для доказательства рассмотрим приращение аргумента функции, такое, что, где - положительное число. Тогда имеет место следующая цепочка преобразований. (47.4)

Таким образом, выполняется определение непрерывности функции: для любого можно выбрать положительное, что из условия следует.

Примеры вычисления характеристической функции

48.1. Пусть - случайная величина с характеристической функцией. Найти характеристическую функцию случайной величины, (48.1)

где - числа. По определению. (48.2)

48.2. Найти характеристическую функцию гауссовой случайной величины. По формуле (46.2)

Выполним замену переменной интегрирования на переменную, тогда и. (48.4)

Показатель в подынтегральном выражении преобразуем следующим образом:

Подстановка этого результата в (48.4) приводит к выражению. (48.5)

Отсюда следует, что характеристическая функция гауссовой случайной величины при является вещественной и четной функцией.

Моменты, кумулянты и характеристическая функция

49.1. Вычислим производную порядка характеристической функции (46.1) при, (49.1)

где - начальный момент порядка случайной величины. Пусть существуют все моменты,, тогда существуют производные (49.1) характеристической функции при. Поэтому функцию можно разложить в ряд Тейлора около точки. (49.2)

Отметим, что здесь первое слагаемое. Выражение (49.2) называют иногда разложением характеристической функции по моментам, имея ввиду тот факт, что коэффициенты при определяются начальными моментами.

Для непрерывной случайной величины с плотностью вероятности соотношение (49.1) можно представить в виде. (49.3)

Таким образом, существование производной порядка характеристической функции при (или начального момента ) определяется поведением плотности вероятности при, от которого зависит существование интеграла (49.3).

называется кумулянтной функцией случайной величины. Кумулянтная функция является полной вероятностной характеристикой случайной величины, также, как и. Смысл введения кумулянтной фукнции заключается в том, что эта функция зачастую оказывается наиболее простой среди полных вероятностных характеристик, т.е. среди. Например, для гауссовой случайной величины из (48.5) следует. (49.5)

Кумулянтную функцию можно представить рядом, аналогично соотношению (49.2) для характеристической функции называется кумулянтом порядка случайной величины. Из (49.7) следует, поэтому суммирование в (49.6) можно начинать с, а поскольку для любой случайной величины, то не является характеристикой случайной величины.

Вычислим кумулянты для гауссовой случайной величины. Из (49.7), (49.5), (49.8). (49.9)

Для производная, следовательно, гауссова случайная величина имеет только два кумулянта и отличных от нуля, остальные кумулянты - нулевые. Поэтому ряд (49.6) для гауссовой величины состоит из двух слагаемых.

Размещено на Allbest.ru

...