Источник информации, который может в каждый момент времени находиться в одном из возможных состояний, называется дискретным источником информации. Будем называть конечное множество всех возможных состояний {u1, u2, …, uN} алфавитом источника (N – размер алфавита или число возможных состояний). В общем случае разные состояния ui выбираются источником с разной вероятностью pi, и его можно охарактеризовать совокупностью алфавита и множества вероятностей состояний – ансамблем UN = {u1, p1, u2, p2, …, uN, pN}. Разумеется, сумма вероятностей всех состояний должна быть равна 1.
Введем меру неопределенности состояния источника H(U), удовлетворяющую следующим условиям:
— монотонность: мера должна монотонно возрастать с ростом количества возможных состояний.
— аддитивность: мера, вычисленная для сложного источника, состоящего из двух независимых источников (с размерами алфавитов N и M, тогда размер алфавита сложного источника -– NM), должна равняться сумме мер этих двух источников. Согласно условию аддитивности, мера должна удовлетворять соотношению H(UNM) = H(UM)+H(UN).
Кроме того, существует граничное условие: мера неопределенности для источника с размером алфавита 1 должна равняться 0.
Можно показать, что этим условиям удовлетворяет логарифмическая функция (с произвольным основанием).
Для источника с алфавитом размера N и равновероятными состояниями (pi=1/N для любого i) логарифмическая мера была предложена Р.Хартли в 1928 году и имеет вид: H(UN) = log(N). Предположение о равновероятности состояний источника информации называется моделью Хартли. Если основание логарифма выбрать равным двум, соответствующая единица неопределенности будет соответствовать неопределенности выбора из двух равновероятных событий и называться двоичной единицей или битом (от англ. bit, сокращенного binary digit – двоичная единица).
Модели Хартли недостает учета вероятностей состояний. Если, например, источник имеет два возможных состояния с вероятностями 0.999 и 0.001. Ясно, что мера неопределенности такого источника должна быть меньше 1 бита: есть большая уверенность в выборе первого состояния. Если вероятности состояний отличаются незначительно (например, 0.51 и 0.49), то и мера неопределенности должна измениться незначительно по сравнению с равновероятным случаем.
Таким образом, мера неопределенности должна зависеть от вероятностей состояний источника, от всего ансамбля. Такая модель источника информации называется моделью Шеннона. Мера неопределенности выбора дискретным источником состояния из ансамбля UN называется энтропией дискретного источника информации или энтропией конечного ансамбля:
 |
где C – произвольное положительное число.
При равновероятности состояний источника мера Шеннона сводится к мере Хартли.
Доказано, что приведенная функция – единственная, удовлетворяющая всем перечисленным условиям.
Термин “энтропия” был заимствован из термодинамики и использован для меры неопределенности из-за того, что обе энтропии – термодинамическая и информационная – характеризуют степень разнообразия состояний рассматриваемой системы и описываются аналогичными функциями.
Свойства энтропии
1. Энтропия является неотрицательной вещественной величиной. Это так, поскольку вероятность лежит в интервале от 0 до 1, ее логарифм отрицателен, а значение –pilog pi положительно.
2. Энтропия ограничена сверху значением 1.
3. Энтропия равна 0, только если одно из состояний имеет вероятность, равную 1 (полностью определенный источник).
4. Энтропия максимальна, когда все состояния источника равновероятны. При этом Hmax(UN) = log2 N.
5. Энтропия источника с двумя состояниями изменяется от 0 до 1, достигая максимума при равенстве их вероятностей.
6. Энтропия объединения нескольких независимых источников информации равна сумме энтропий исходных источников.
7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля, не учитывая содержательную сторону (семантику) состояний.
8. Энтропия как мера неопределенности согласуется с экспериментальными психологическими данными. Время безошибочной реакции на последовательность случайно чередующихся равновероятных раздражителей растет с увеличением их числа так же, как энтропия, а при переходе к неравновероятным раздражителям, среднее время реакции снижается так же, как энтропия.
