Развитие средств и систем обработки информации и создание теории информации (К. Шеннон)

Размещено на http://www.allbest.ru/

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

федеральное государственное автономное образовательное учреждение

высшего профессионального образования

«Национальный исследовательский ядерный университет «МИФИ»

Димитровградский инженерно-технологический институт-филиал НИЯУ МИФИ

РЕФЕРАТ

Развитие средств и систем обработки информации и создание теории информации (К. Шеннон)

Димитровград 2016

СОДЕРЖАНИЕ

Введение

1. Развитие средств и систем обработки информации

2. Вклад К. Шеннона в науку

3. Создание теории информации

Заключение

Список используемой литературы

ВВЕДЕНИЕ

Конец ХХ в. был ознаменован бурным развитием цифровых систем связи. За последние 50 лет многократно возросли потоки информации, циркулирующие по каналам связи. В ряде развитых стран почти 100% населения охвачены телефонной связью, почти каждый пятый житель Земли пользуется услугами систем сотовой связи. Во многих странах мира быстрыми темпами развитие систем цифрового и звукового вещания. Широко развит Интернет - универсальная всемирная сеть связи, позволяющая уже сегодня сотням миллионов людей решать свои насущные проблемы, имея свободный доступ к различным базам данных, содержащим информацию по разным научным, социальным, политическим, профессиональным, бытовым и другим вопросам.

Прогресс достигнут благодаря огромным успехам в познании законов природы в области физики и химии, а также развитию полупроводниковой технологии, позволяющей создавать недорогие и компактные радиоэлектронные устройства для передачи, приема и обработки информации. Благодаря прогрессу человечество вступает в новую эпоху создания информационного общества, которое, в том числе благодаря и средствам связи, приведет человечество к единению, утраченному с библейских времен.

Огромное влияние на этот прогресс оказали работы, установившие важнейшие закономерности в области передачи и приема информации. Выдающийся научный вклад в данном направлении был сделан крупнейшим ученым современности Клодом Шенноном -- создателем теории информации. Его работы вошли в сокровищницу человеческой мысли. Так же как идеи Ньютона, Эйнштейна, Бора оказали и продолжают оказывать влияние на жизнь последующих поколений, так и фундаментальные идеи Шеннона будут направлять исследования и разработки в области информационных систем.

1. РАЗВИТИЕ СРЕДСТВ И СИСТЕМ ОБРАБОТКИ ИНФОРМАЦИИ

Термин «информация» произошел от латинского слова informatio, которое означает разъяснение, осведомление. Данное понятие является одним из ключевых понятий кибернетики и понимается как совокупность каких-либо сведений или данных.

По определению профессора Буаде под информацией подразумевается «все то, что уменьшает степень неопределенности нашего знания о данном предмете». Таким образом, эта мера определяет полезность, ценность переданных сведений для конкретного получателя. Иначе говоря, если в полученных сведениях ничего нового для нас нет, то количество полученной информации будет равно нулю. Поэтому более общим является понятие «данные» - любые сведения без оценки их значимости для потребителя.

До второй половины 19 века основу информационных технологий составляли перо, чернильница и бухгалтерская книга. Передача информации осуществлялась через посредников, почтальонов, курьеров. Такая связь была очень ненадёжной, зависела от множества посторонних факторов, таких как погода, здоровье курьера, даже его настроение. Продуктивность информационной обработки была крайне низкой, каждое письмо копировалось отдельно вручную, помимо счетов, суммируемых так же вручную, не было другой информации для принятия решений.

На смену «ручной» информационной технологии в конце 19 века пришла «механическая». Изобретение пишущей машинки, телефона, диктофона, модернизация системы общественной почты - все это послужило базой для принципиальных изменений в технологии обработки информации и, как следствие, в продуктивности работы. По существу «механическая» технология проложила дорогу к формированию организационной структуры существующих учреждений.

40 - 60-е гг. 20 века характеризуются появлением «электрической» технологии, основанной на использовании электрических пишущих машинок со съемными элементами, копировальных машин на обычной бумаге, портативных диктофонов. Они улучшили учрежденческую деятельность за счет повышения качества, количества и скорости обработки документов.

Появление во второй половине 60-х годов больших производительных ЭВМ на периферии учрежденческой деятельности (в вычислительных центрах) позволило смесить акцент в информационной технологии на обработку не формы, а содержания информации. Это было началом формирования «электронной», или «компьютерной» технологии. Как известно информационная технология управления должна содержать как минимум 3 важнейших компонента обработки информации: учет, анализ и принятие решений. Эти компоненты реализуются в «вязкой» среде - бумажном «море» документов, которое становится с каждым годом все более необъятным.

Существенным недостатком неавтоматизированных информационных систем является обособленность сбора, обработки и использования информации. Причем как отдельные работники, так и подразделения предприятия в целом не имеют доступа к «чужой» базе данных, при необходимости собирая требующуюся им информацию самостоятельно. Если про­вести аналогию со сферой производства и распределения энергии, то такое состояние соответствует средневековью, когда каждый потребитель энергии строил свою плотину с водяным колесом на расположенной рядом речке или ручье. При современном состоянии энергетики в эпоху электричества энергия производится централизованно и распределяется по сети каждому из потребителей, которые могут ее расходовать, сколько и когда им необходимо.

По аналогии одна из основных целей автоматизации - снабдить каждого сотрудника, относящегося к любому подразделению предприятия, информацией в то время и в той форме и объеме, которые ему необходимы (естественно, в пределах его уровня доступа к секретной части базы данных). Для этого необходима единая интегрированная база данных предприятия, локальная вычислительная сеть и соответствующим образом оборудованные автоматизированные рабочие места (АРМ) для каждого из сотрудников. Такой подход подразумевает комплексную автоматизацию предприятия, т.е. создание компьютеризированной системы управления предприятием в целом, в которой подсистемы должны взаимодействовать, предоставлять оперативный доступ к информации, поддерживать принятие решения и т.п.

Первые отечественные автоматизированные системы управления предприятием (АСУП) и системы обработки данных появились еще в 60-е годы. Они строились на базе информационных вычислительных центров предприятия (ИВЦ), оснащенных малопроизводительной, громоздкой вычислительной техникой коллективного пользования (часто одна вычислительная машина на все предприятие). Такие системы охватывали в основном задачи учета и планирования (во многих случаях все сводилось лишь к расчету заработной платы и учету кадров). Трудности работы с данными были обусловлены использованием в информационной системе наряду с вычислительной техникой ручных способов сбора, перемещения информации и подготовки ее для передачи на ИВЦ на бумажном носителе, с которого она для ввода в вычислительную машину, в свою очередь, переносилась на перфокарты. Результаты обработки информации также выдавались на бумажный носитель. Впоследствии понятие АСУП так и осталось связанным с системами первого поколения на базе вычислительных машин коллективного пользования с использованием бумажного носителя информации.

В 80-е годы в США получил широкое распространение термин «автоматизированный офис». Речь идет об использовании компьютерной техники для автоматизации ряда функций управления: подготовка, обработка, редактирование текстов, их систематизация и хранение; поиск информации; информационное обслуживание руководящих работников и т.п. Внедрение такого рода систем позволило изменить функции ряда работников (например, секретарей, референтов), уменьшить их количество и повысить производительность труда. Эта концепция автоматизированного офиса сохранилась и продолжает развиваться на базе современных технических и программных, средств. Ряд крупных фирм - производителей программного обеспечения (Corel, Microsoft) выпускают все новые и новые интегрированные пакеты программ типа MSOffice.

2. ВКЛАД К. ШЕННОНА В НАУКУ

В научных работах Клода Шеннона -- выдающегося математика и инженера ХХ в. сочетаются глубокие математические идеи с конкретным анализом сложнейших технических проблем.

Он является творцом теории информации, на результатах которой в значительной степени основан высокий уровень развития систем связи, достигнутый в последние десятилетия. Он внес существенный вклад в теории автоматов, вероятностных схем и управляющих систем -- научные направления, объединенные общим понятием «кибернетика».

С 1938 по 1960 г. К. Шенноном было опубликовано 34 работы, причем пик его творческой активности приходится на десятилетие с 1948 по 1958 г., когда он получил свои основные научные результаты, опубликованные в 28 научных статьях. Работы Шеннона стали классикой и вошли в «золотой фонд» науки.

Первая работа К. Шеннона, выполненная под руководством доктора В. Буша, была посвящена исследованию дифференциального анализатора -- механического устройства, представляющего собой специализированную аналоговую вычислительную машину, предназначенную для решения системы дифференциальных уравнений. Шеннон рассмотрел математические вопросы теории дифференциального анализатора и определил условия, при которых с помощью этого устройства могут быть смоделированы функции одного или нескольких переменных. Он также рассмотрел пути его совершенствования, используя вместо механических узлов электрические цепи.

Еще в середине 30-х гг. К. Шеннон обратил внимание на то, что булева алгебра является адекватным математическим аппаратом, описывающим работу контактных схем, применяемых в телефонных коммутаторах, в аппаратуре управления двигателями и в большинстве схем, предназначенных для автоматизации сложных процессов. Результаты этой работы были опубликованы в 1938 г. и легли в основу его магистерской диссертации как инженера-электрика и его докторской диссертации в области математики. Они сразу же получили признание и стали применяться при проектировании телефонных систем. За эту работу в 1940 г. Клод Шеннон был удостоен Американским институтом инженеров-электриков (AIEE) премии Альфреда Нобеля. Поскольку цифровые цепи составляют основу современных компьютеров и оборудования связи, то эти результаты являются одними из наиболее важных, полученных в ХХ столетии. Следует отметить, что примерно в те же годы независимо от К. Шеннона к подобным результатам пришли советский ученый В.И. Шестаков и японский -- А. Накасима.

Разработав метод анализа переключающих схем, К. Шеннон занимался исследованиями в данном направлении до 1953 г. и опубликовал еще несколько основополагающих работ. Им были рассмотрены вопросы синтеза двухполюсных переключающих схем, существенно развит метод, впервые предложенный одним из крупнейших математиков ХХ в. Дж. фон Нейманом и позволяющий синтезировать надежные схемы из ненадежных реле, указан метод оценки объема памяти телефонного коммутатора, предложены и обоснованы принципы построения вычислительной машины для проектирования переключающих схем.

Ряд чрезвычайно важных исследований К. Шеннона, выполненных в период с 1950 по 1956 г., был направлен на исследование возможностей создания логических машин, способных решать интеллектуальные задачи. Эти исследования продолжали работу, начатую знаменитыми предшественниками Шеннона в создании теории цифровых вычислительных машин А.М. Тьюрингом и Дж. фон Нейманом. К. Шеннон считал это направление чрезвычайно важным и писал в 1953 г.: «Это -- не поднятая целина для ученых. Речь идет не о разработке старых месторождений, а об открытии новых богатых жил и, пожалуй, в некоторых случаях просто о том, чтобы подобрать самородки, лежащие на поверхности». Шеннон одним из первых занялся разработкой играющих машин, и в частности машин для игры в шахматы.

В 1952 г. К. Шенноном была построена лабиринтная машина -- механическая мышь, названная им Тезеем в честь мифического греческого героя, победившего страшное чудовище -- Минотавра и нашедшего способ выбраться наружу из запутанного лабиринта. Мышь с встроенной памятью могла самостоятельно найти путь в лабиринте, запоминая сделанные ходы и обучаясь выбору правильного пути методом проб и ошибок.

Фундаментальная работа К. Шеннона «Теория связи в секретных системах», завершенная в 1945 г., имела гриф секретности. Лишь в 1949 г. работа была рассекречена и опубликована. Она положила начало целому ряду открытых научных публикаций по проблеме засекречивания сообщений. В эпоху развития и массового применения цифровых систем связи данная проблема приобрела особое значение, поскольку засекречивание требуется не только в военных системах, но и в гражданских, по которым передается конфиденциальная информация коммерческого или личного характера.

Важнейшей работой К. Шеннона, которая сделала его всемирно известным ученым, стала опубликованная в 1948 г. статья «Математическая теория связи». В ней был заложен фундамент современной теории и техники передачи, хранения и обработки любой информации и, в частности, теории и техники связи. Установленные им основные закономерности передачи информации по каналам связи дали направление огромному числу исследований, выполненных множеством ученых в США, СССР, Франции, Израиле и других странах. К. Шеннон ввел понятие информации, содержащейся в сообщениях, подлежащих передаче по каналу связи, обобщил идеи Р.В. Хартли, который предложил в качестве меры информации I, содержащейся в М сообщениях, использовать логарифмическую функцию I = log(М). Обобщение Шеннона состояло в том, что он впервые стал рассматривать статистическую структуру передаваемых сообщений и действующих в канале шумов не только как конечные, но и как непрерывные множества сообщений. Созданная им теория информации дала ключ к решению двух основных проблем теории связи: устранение избыточности источника сообщений и кодирование сообщений, передаваемых по каналу связи с шумами.

Решение первой проблемы позволяет устранить избыточность из сообщения, подлежащего передаче, и достичь высокой эффективности использования канала связи.

Решение второй проблемы дает возможность при заданном отношении сигнал/шум в месте приема, определяющем пропускную способность канала связи, передать по нему сообщения со сколь угодно высокой достоверностью. Для этого необходимо использовать помехоустойчивые коды, а скорость передачи информации по этому каналу должна быть меньше его пропускной способности.

В оригинальных трудах К. Шеннона была доказана принципиальная возможность решения указанных проблем, что явилось в конце 40-х гг. полным откровением для специалистов. Это, как и труды в области теории потенциальной помехоустойчивости, созданной в СССР академиком В. А. Котельниковым, породило целую лавину исследований, продолжающихся уже более 50 лет. Отечественные и американские математики (в СССР -- А.Н. Колмогоров, А.И. Хинчин, Р.Л. Добрушин, М.С. Пинскер и др., в США -- А. Файнштейн, Р. Галлагер, Дж. Вольфовиц и др.) дали строгую трактовку этой теории.

С учетом фундаментальных законов передачи сообщений, установленных К. Шенноном, создаются современные цифровые системы связи. В соответствии с положениями теории информации в этих системах перед передачей сообщения по каналу связи устраняется его избыточность, а затем оно кодируется с использованием помехоустойчивых кодов. На основе этой теории были разработаны алгоритмы, позволившие значительно сократить избыточность факсимильных, речевых и телевизионных сообщений. Это привело к бурному развитию во второй половине ХХ в. Эффективных цифровых систем подвижной, фиксированной и спутниковой связи, а также цифрового звукового и телевизионного вещания. Такие системы уже начали внедряться, а в первом десятилетии XXI в. они полностью заменят системы, разработанные в середине прошлого века.

Следует отметить, что некоторые положения общей теории связи были разработаны предшественниками Шеннона. В США Г. Найквистом в 1924 г. была установлена связь между скоростью передачи информации и полосой пропускания канала связи, а Р.В. Хартли в 1928 г. предложил логарифмическую меру информации, содержащуюся в сообщении. В нашей стране академик В.А. Котельников еще в 1933 г. Сформулировал теорему отсчетов, лежащую в основе преобразования аналоговых сигналов в цифровую форму, а профессор Д.В. Агеев в 1935 г. разработал общие принципы линейной селекции сигналов.

Исследования в области теории связи К. Шеннон продолжал до 1960 г. Им было опубликовано 14 важнейших научных работ, в которых развивалась теория информации и методы вычисления скорости передачи информации и пропускной способности каналов связи. В работе «Каналы с дополнительной информацией на передатчике», опубликованной в 1948 г., была впервые исследована система передачи информации с обратной связью. В таких системах из места приема сигналов по обратному каналу на передающую сторону посылаются сообщения о качестве приема сигналов. Это позволяет обеспечить весьма надежную связь даже по каналам с низким качеством приема.

Интересно отметить, что подобные системы получили распространение после 1953 г., когда известным голландским специалистом Ван Дюреном для коротковолновых линий связи был предложен новый метод передачи цифровых сигналов с автозапросом -- ARQ (Automatic Request Queuing). Метод состоял в том, что для передачи сообщений использовались коды, обнаруживающие ошибки, а на приеме при обнаружении ошибок осуществлялся автоматический запрос передатчика на повторение кодовых комбинаций, принятых с ошибками. Системы ARQ широко применялись на линиях коротковолновой связи, позволяя существенно повысить их помехоустойчивость при передаче цифровой информации.

Последняя из опубликованных работ К. Шеннона (1960 г.) также была посвящена системам передачи информации с обратной связью.

В 1948 г. К. Шеннон совместно со своими коллегами по Белл-лаборатории -- видными американскими учеными Б. Оливером и Дж. Пирсом опубликовал первое научное исследование возможностей использования импульсно-кодовой модуляции (ИКМ) для передачи сигналов. В этой статье было также приведено доказательство теоремы отсчетов, о которой уже упоминалось ранее.

Следует отметить, что независимо подобные результаты были опубликованы в СССР в 1949 г. С.В. Бородичем, который исследовал возможность создания цифровых радиорелейных систем связи с использованием ИКМ.

Совместно с Г. Боде -- крупнейшим специалистом в области электрических цепей К. Шеннон опубликовал в 1950 г. важную для теории связи работу «Упрощенный вывод линейной теории сглаживания и предсказания по методу наименьших квадратов ». В этой работе основные результаты теории сглаживания и предсказания стационарных временных рядов Винера--Колмогорова были получены новым методом, основанным не на формальном математическом подходе, а на наглядных физических соображениях и теории электрических цепей.

В 1959 г. К. Шеннон вслед за известным американским ученым С.О. Райсом получил результаты, перекидывающие мост между фундаментальной теорией потенциальной помехоустойчивости, созданной В.А. Котельниковым, и теорией информации, оценив вероятность ошибочного приема сигналов в системе связи, в которой используются многопозиционные сигналы.

Популярность теории информации среди ученых стремительно возрастала, и ее пытались, не всегда обосновано, применять во многих научных направлениях, таких как биология, психология, экономика, физика, и в других областях науки и техники. Это вызвало сильное беспокойство у Шеннона, выступившего в 1956 г. Со статьей «Бандвагон», в которой он писал: «…значение теории информации было, возможно, преувеличено и раздуто до пределов, превышающих ее реальные достижения… Теория информации, как модный опьяняющий напиток, кружит голову всем вокруг...» К. Шеннон выступил против формальных работ, в которых понятия новой теории переносились в другие области науки, и предупреждал: «Здание нашего несколько искусственно созданного благополучия слишком легко может рухнуть, как только в один прекрасный день окажется, что при помощи нескольких магических слов, таких как информация, энтропия, избыточность... нельзя решить всех нерешенных проблем».

Помимо исследований в области теории управляющих систем, криптографии и теории информации Шеннон выполнил ряд блестящих исследований более частных проблем. В 1951 г. он разработал метод, позволяющий определить энтропию печатного текста, и применил его к английскому тексту, определив его избыточность. Важной для проектирования сложных сетей связи является его статья «О максимальном потоке через сеть», опубликованная им в 1956 г. совместно с П. Элайсом и А. Файнштейном -- известными американскими учеными.

3. СОЗДАНИЕ ТЕОРИИ ИНФОРМАЦИИ

информация автоматизированный система шеннон

Годом рождения теории информации следует считать 1948 г., когда Клод Шеннон опубликовал свою знаменитую статью «Математическая теория связи» об основных закономерностях передачи информационных сообщений по каналам связи.

Подобно тому, как за открытием Исааком Ньютоном законов механики последовало бурное развитие многих современных технологий (например, всех видов наземного и воздушного транспорта, космической техники и т.д.), так и открытие новых закономерностей передачи информационных сообщений создало предпосылки быстрого и глобального развития телекоммуникаций. Эти закономерности связаны с двумя разными аспектами проблем, которые с давних пор стояли перед инженерами, разрабатывающими новые системы связи.

Первая из них касалась возможностей устранения избыточности передаваемых сообщений, что позволило эффективнее использовать каналы связи, вторая -- возможностей передачи сообщений с минимальными искажениями по каналам связи с шумом.

Для решения обеих проблем необходим был адекватный аппарат, позволяющий математически описывать сигналы, передаваемые по каналам связи. Ни одно из крупных научных направлений, естественно, не возникает на пустом месте. Фундамент, на котором К. Шеннон построил свою теорию, подготавливался его предшественниками, в работах которых, выполненных в первой трети XX столетия, были сформулированы новые понятия и установлены важные принципы теории связи.

Сокращение избыточности сообщений привлекало внимание людей еще в древние времена. Так, со времен Юлия Цезаря для ускорения записи его речей использовалась стенография -- способ кодирования слов речи, при котором для записи наиболее часто употребляемых оборотов речи применялись наиболее простые и короткие символы.

Для сокращения избыточности телеграфных сообщений знаменитый американский изобретатель телеграфа Самуэль Морзе создал в 1837 г. код, который в его честь называют кодом Морзе.

Речевые сигналы также обладают большой избыточностью. В 1939 г. американский инженер Г. Дадли (США) изобрел вокодер -- устройство, использующее особенности речи для сокращения пропускной способности канала связи, необходимой для ее передачи, в 5--10 раз.

Хотя отдельные проблемы устранения избыточности в сообщениях были решены задолго до появления теории информации, это нисколько не умаляет значения открытых Шенноном общих принципов сжатия данных, относящихся к источникам информации произвольной природы. Это направление теории информации имеет важное прикладное значение. В последние годы на основе этих принципов разработан ряд весьма эффективных практических методов для сжатия сигналов телеметрии, фототелеграфии, телефонии, телевидения, звукового вещания и пр. Следует подчеркнуть, что сжатие данных чрезвычайно важно не только для электросвязи, где оно позволяет эффективнее использовать каналы связи, передавая по ним только наиболее существенную часть информации, но и для других областей техники, где требуется запомнить большой объем информации, так как при этом экономится значительное число ячеек памяти.

В работе «Математическая теория связи» дано четкое математическое описание проблем, стоящих перед теорией связи, и указаны пути их решения. Система связи любого назначения представлена структурной схемой (рис. 1), на которой выделены основные функциональные элементы.

Рис. 1. Система связи любого назначения

Источник на рис. 1 представляет собой случайный генератор данных или аналогового стохастического сигнала, а кодер источника осуществляет отображения его выхода в дискретную последовательность символов (обычно двоичную). Назначение кодера источника сообщений -- устранение избыточности сообщений, поступающих от источника. Например, если источником сообщений являются буквы алфавита, закодированные равномерным кодом, то, учитывая вероятности их появления в тексте, в кодере источника можно наиболее вероятные буквы перекодировать, как это осуществлено в коде Морзе, короткими кодовыми комбинациями. Простейшим примером кодера аналогового источника служит аналого-цифровой преобразователь, называемый также квантователем; для него декодер источника -- цифроаналоговый преобразователь. Мерой достигаемого сжатия данных источника служит скорость, выраженная числом символов (обычно двоичных) в единицу времени, которое необходимо для полного представления и последующего восстановления декодером источника выходной последовательности источника. При этом учитываются статистические характеристики источника и допускается определенный уровень искажений сигнала, поступающего от источника сообщений. Чем выше допускаемый уровень искажений, тем экономнее описание сообщения, поступающего от источника. Кодеры и декодеры должны осуществлять взаимно однозначные преобразования таким образом, чтобы получатель сообщений в отсутствие искажений в канале получал тот же сигнал, который действует на входе кодера источника.

Назначением кодера и декодера канала является обеспечение надежной передачи выходной последовательности кодера источника по каналу связи с шумом. На выходе декодера, несмотря на ошибки в приеме сигналов, возникающие из-за действующих в канале связи шумов, должна формироваться с высокой вероятностью та же последовательность, которая поступает на вход кодера канала связи. Этого можно достичь, используя эффективные коды, исправляющие ошибки, которые возникают при передаче сообщений по каналу связи.

По Шеннону, теория связи имеет дело с двумя основными проблемами:

1. Кодирование источника таким образом, чтобы среднее число двоичных символов, приходящихся на один символ источника сообщений, было минимальным. Решение этой проблемы позволяет устранить избыточность из сообщения, подлежащего передаче, и достичь высокой эффективности использования канала связи либо объема памяти устройства хранения сообщений.

К. Шенноном, а затем многими другими учеными были установлены теоремы, определяющие скорость создания сообщений источниками с разными статистическими характеристиками. Так, для дискретного источника без памяти, у которого последовательные символы порождаются независимо и могут принимать с вероятностью р_i значения a_i (i = 1,K), среднее количество информации на один символ на выходе источника задается следующим выражением:

Отметим, что в случае, когда

р_i = 1/K,

данная формула совпадает с приведенной выше формулой Р. Хартли. Если р. значительно отличаются друг от друга по величине, то H(p_i)<<log(K), т.е. в данном случае возможно существенное сокращение избыточности сообщений, подлежащих передаче по каналу связи.

2. Кодирование канала, т.е. преобразование последовательности информационных символов, передаваемых по каналу связи, в код таким образом, чтобы было минимизировано влияние шумов канала связи и тем самым минимизированы различия в информационных символах между входной последовательностью кодера канала и выходной последовательностью декодера канала.

Решение этой проблемы позволяет при заданном отношении сигнал/шум в месте приема, определяющем пропускную способность канала связи, передать по нему сообщения со сколь угодно высокой достоверностью. Для этого, как показал К. Шеннон, необходимо использовать помехоустойчивые коды, а скорость передачи информации по этому каналу должна быть меньше его пропускной способности. Им же было показано, что, вводя в кодере канала достаточную, но конечную избыточность, можно добиться безошибочной передачи сообщений, передаваемых по каналу с шумом. Единственным и необходимым условием этого является то, чтобы скорость R передачи сообщений была меньше пропускной способности канала связи С.

Для симметричного двоичного канала, в котором ошибки символов 0 и 1 происходят независимо с вероятностью р, пропускную способность можно определить, используя следующие соображения К. Шеннона. При передаче любой достаточно длинной последовательности из N символов она из-за ошибок в канале преобразуется в одну из последовательностей, отличающихся от исходной в Np позициях. Ест и для передачи сообщений использовать не все 2^N возможных последовательностей, а только

то вероятность перехода одной из М последовательностей в другую из-за ошибок в канале при больших N будет ничтожно мала. Пропускная способность канала, т.е. максимально возможная скорость безошибочной передачи информации в этом канале, составит

Шеннон доказал, что по любому каналу связи возможна передача информации без искажений, если скорость передачи меньше пропускной способности канала. Эта пропускная способность определяется отношением сигнал/шум на входе приемника и полосой частот, используемой для передачи.

В оригинальных работах К. Шеннона не было предложено конкретных инженерных решений, совершенствующих используемые в 40-х гг. методы передачи сообщений. Однако он установил фундаментальные закономерности передачи сообщений по каналам связи, которые определяли для любых систем передачи информации предельные возможности ее воспроизведения на приеме с заданной точностью. Эти закономерности открывали новые направления разработок систем связи, и круг ученых, ведущих исследования в этой области, стал быстро расширяться.

Пионерские идеи К. Шеннона оказались важными не только для технологии телекоммуникаций и других областей техники, но и для других научных направлений. Сам К. Шеннон до середины 60-х гг. продолжал активные научные исследования и получил ряд основополагающих результатов. К разработке идей К. Шеннона на строгой математической основе подключились известные математики. В США и в нашей стране возникли крупные научные школы, в которых были выполнены важные работы по созданию эффективных методов кодирования источников сообщений и канала связи.

ЗАКЛЮЧЕНИЕ

Работы Шеннона получили всемирное признание. Он был удостоен многих наград за научные достижения. Среди них -- упомянутая ранее премия Альфреда Нобеля, премия М. Либмана, присужденная в 1941 г. Институтом радиоинженеров (IRE), Национальная премия за достижения в науке, присужденная в 1966 г., премия Киото -- высшая японская научная награда. Общество инженеров акустиков (AES) наградило его в 1985 г. золотой медалью. Клод Шеннон являлся членом Национальной академии наук США (избран в 1958 г.) и Американской академии искусств и наук.

Его работы привели к созданию новой отрасли прикладной математики. В данном направлении изучались общие свойства энтропии и информации, математически строго обосновывались условия, при которых верна основная теорема Шеннона для дискретных и непрерывных каналов связи, разрабатывались методы вычисления скорости передачи информации, пропускной способности и е-энтропии (скорости передачи информации аналоговых сигналов как функции искажения), исследовались обобщения результатов К. Шеннона на двухсторонние каналы с обратной связью и каналы с неизвестными и переменными параметрами. Теория информации нашла применение в математической статистике, физике, психологии и лингвистике.

Ряд новых прикладных направлений в области теории телекоммуникаций также возник в результате развития идей Шеннона. Многие исследования в области теории информации были направлены на разработку теории кодирования сообщений. Это привело к созданию различных конструкций мощных помехоустойчивых кодов с достаточно простыми алгоритмами декодирования.

Идеи статистического кодирования сообщений также были существенно развиты и нашли применение в современных системах связи при создании методов сокращения избыточности звуковых, факсимильных и телевизионных (ТВ) сигналов, что позволило во много раз повысить эффективность использования каналов связи. В качестве примера достигаемой эффективности можно отметить, что современные, широко применяемые на практике методы устранения избыточности из сигнала телевизионного вещания позволяют в полосе одного аналогового ТВ-канала передавать до десяти цифровых ТВ-программ высокого качества.

СПИСОК ИСПОЛЬЗУЕМОЙ ЛИТЕРАТУРЫ

1. Быховский М.А. Пионеры информационного века. История развития теории связи. // Сер. изданий «История электросвязи и радиотехники». 2006. Вып. 4. С. 189-198.

2. Шеннон К. Работы по теории информации и кибернетике (пер. с англ., под ред. Р.Л. Добрушина и О.В. Лупанова). - М.: Изд. иностр. лит. 1963. 829 с.

Размещено на Allbest.ru