Энтропия и информация

Уже упомянутому Рудольф Клаузиусу также принадлежит другая формулировка Второго начала термодинамики: «Невозможен процесс, единственным результатом которого являлась бы передача тепла от более холодного тела к более горячему».

Проведем мысленный эксперимент, предложенный Джеймсом Максвеллом в 1867 году: предположим, сосуд с газом разделён непроницаемой перегородкой на две части: правую и левую. В перегородке отверстие с устройством (так называемый демон Максвелла), которое позволяет пролетать быстрым (горячим) молекулам газа только из левой части сосуда в правую, а медленным (холодным) молекулам — только из правой части сосуда в левую. Тогда, через большой промежуток времени, горячие молекулы окажутся в правом сосуде, а холодные — в левом [4].

Таким образом, газ в левой части резервуара будет нагреваться, а в правой - остывать. Таким образом, в изолированной системе тепло будет переходить от холодного тела к горячему с понижением энтропии системы в противоречии со вторым законом термодинамики. Л. Сциллард, рассмотрев один из упрощенных вариантов парадокса Максвелла, обратил внимание на необходимость получения информации о молекулах и открыл связь между информацией и термодинамическими характеристиками. В дальнейшем решение парадокса Максвелла было предложено многими авторами. Смысл всех решений заключается в следующем: информацию нельзя получать бесплатно. За нее приходится платить энергией, в результате чего энтропия системы повышается на величину, по крайней мере, равную ее понижению за счет полученной информации [1]. В теории информации энтропия – это мера внутренней неупорядоченности информационной системы. Энтропия увеличивается при хаотическом распределении информационных ресурсов и уменьшается при их упорядочении [2]. Рассмотрим основные положения теории информации в той форме, которую ей придал К. Шеннон. Информация, которую содержит событие (предмет, состояние) y о событии (предмете, состоянии) x равна (будем использовать логарифм по основанию 2):

I(x, y) = log(p(x/y) / p(x)),

где p(x) – вероятность события x до наступления события y (безусловная вероятность); p(x/y) – вероятность события x при условии наступления события y (условная вероятность).

Под событиями x и y обычно понимают стимул и реакцию, вход и выход, значение двух различных переменных, характеризующих состояние системы, событие, сообщение о нем. Величину I(x) называют собственной информацией, содержащейся в событии x.

Рассмотрим пример: нам сообщили (y), что ферзь стоит на шахматной доске в позиции x = a4. Если до сообщения вероятности пребывания ферзя во всех позициях были одинаковы и равны p(x) = 1/64, то полученная информация равно

I(x) = log(1/(1/64)) = log(64) = 6 бит. [3, С.12]

В качестве единицы информации I принимают количество информации в достоверном сообщении о событии, априорная вероятность которого равна 1/2. Эта единица получила название "бит" (от английского binary digits). [1]

Предположим теперь, что полученное сообщение было не вполне точным, например, нам сообщили, что ферзь стоит то ли в позиции a3, то ли в позиции a4. Тогда условная вероятность его пребывания в позиции x = a4 равна уже не единице, а p(x/y) = ½. Полученная информация будет равна

I(x, y) = log((1/2) / (1/64)) = 5 бит,

то есть уменьшится на 1 бит по сравнению с предыдущим случаем. Таким образом, взаимная информация тем больше, чем выше точность сообщения, и в пределе приближается к собственной информации. Энтропию можно определить как меру неопределенности или как меру разнообразия возможных состояний системы. Если система может находиться в одном из m равновероятных состояний, то энтропия H равна

H = log(m).

Например, число различных возможных положений ферзя на пустой шахматной доске равно m = 64. Следовательно, энтропия возможных состояний равна

H = log64 = 8 бит.

Если часть шахматной доски занята фигурами и недоступна для ферзя, то разнообразие его возможных состояний и энтропия уменьшаются.

Можно сказать, что энтропия служит мерой свободы системы: чем больше у системы степеней свобод, чем меньше на нее наложено ограничений, тем больше, как правило, и энтропия системы [3, С.13-15]. При этом нулевой энтропии соответствует полная информация (степень незнания равна нулю), а максимальной энтропии – полное незнание микросостояний (степень незнания максимальна) [6].


Рекомендуем к прочтению:

Круговорот серы
Сера – биогенный элемент, необходимый компонент живой материи. Она содержится в белках в составе аминокислот, содержание серы в белках составляет 0,8–2,4%. Сера также входит в состав витаминов, гликозидов, коферментов, имеется в раститель ...

Личный вклад
Автор работы принял личное участие в сборе полевого материала и лабораторных исследованиях под руководством научного сотрудника ГУ « Волгоградский региональный ботанический сад» Ю.Б. Утц и благодарит за предоставленную возможность проведе ...

Открытые системы и новая термодинамика.
Но классическая термодинамика не знакома со временем и пространством: она признает только такие понятия, как покой (равновесие), для которого не существует времени, и однородность, для которой безразлична протяженность в пространстве. Это ...