Основные разделы


Статическое (эффективное) кодирование

Основой статистического (оптимального) кодирования сообщений является теорема К.Шеннона для каналов связи без помех:

Если источник сообщений имеет энтропию Н (бит на символ), а канал связи - пропускную способность С (бит в секунду), то можно закодировать сообщения таким образом, чтобы передать информацию по каналу со средней скоростью, сколь угодно близкой к величине С, но не превзойти ее.

Кодирование по методам Шеннона - Фано и Хаффмена называется оптимальным, т.к. при этом повышается производительность дискретного источника, и статистическим, т.к. для реализации оптимального кодирования необходимо учитывать вероятности появления на выходе источника каждого элемента сообщения (т.е. учитывать статистику сообщений).

Производительность дискретного источника:

Избыточность дискретного источника:

Из формул получаем:

,

видно, что для увеличения производительности нужно уменьшать избыточность g и среднюю длительность сообщений .

Известно, что , если априорные вероятности различных элементов сообщения различны ( при равной вероятности этих элементов). Но при неравной вероятности сообщений можно применить оптимальное (статистическое) кодирование, при котором уменьшается средняя длительность сообщений, и, следовательно, по формуле увеличивается производительность дискретного источника.

Идея такого кодирования заключается в том, что, применяя неравномерный неприводимый код, наиболее часто встречающиеся сообщения (буквы или слова) кодируются короткими комбинациями этого кода, а редко встречающиеся сообщения кодируются более длительными комбинациями.

Информация - это совокупность сведений об объекте или явлении, которые увеличивают знания потребителя об этом объекте или явлении.

Рассмотрим дискретный источник, выдающий последовательность сообщений. Пусть этот источник посылает сообщение а из некоторого ансамбля А (). Тогда количество информации i(a), содержащееся в сообщении а:

,

где Р(а) - вероятность того, что источник посылает данное сообщение. Количество информации в сообщении тем больше, чем оно менее вероятно, т.е. чем оно более неожиданно.

Основания логарифма в чаще всего выбирают равным 2.

Полученная при этом единица информации носит название двоичная единица, или бит.

Для характеристики всего источника (или ансамбля) сообщений используется математическое ожидание количества информации, называемое энтропией и обозначается Н(А):

Чем больше энтропия источника, тем больше степень неожиданности передаваемых им сообщений в среднем, т.е. тем более неопределенным является ожидаемое сообщение. Поэтому энтропию можно назвать мерой неопределенности сообщений. Можно характеризовать энтропию также как меру разнообразия выдаваемых источником сообщений.

Энтропия является основной характеристикой источника. Чем она выше, тем труднее запомнить (записать) сообщение или передать его по каналу связи. Энтропию также можно интерпретировать как собственную информацию, т.е. информацию, содержащуюся в ансамбле А о самом себе.

Перейти на страницу: 1 2

Прочитайте еще и эти статьи:

Технико-экономический проект участка первичной сети
Первичная сеть представляет собой совокупность магистральной первичной сети, внутризоновой первичной сети, и местной первичной сети. Проектируемый участок относится к магистральной первичной сети. В состав магистральной сети входят сетевые станц ...

Проектирование шумомера
Шумом называются беспорядочные колебания различной физической природы, отличающиеся сложностью временных и спектральных характеристик. Шум - один из факторов физического загрязнения окружающей среды. В зависимости от источника его подразделяют н ...

© Copyright 2021 | www.techattribute.ru