информатика. Заранее очевидно, что однозначно ответить на эти вопросы до сих пор никто не может. Но лишний раз поговорить полезно
 Скачать 0.95 Mb.
|
|
Возникнув в недрах термодинамики при решении некоторой частной задачи, понятие энтропии стало расширяться с удивительной энергией, быстро перешагнуло границы физики и проникло в самые сокровенные области человеческой мысли. Наряду с энтропией Клаузиуса появилась статистическая, информационная, математическая, лингвистическая, интеллектуальная и другие энтропии. Энтропия стала базисным понятием теории информации и стала выступать как мера неопределенности некоторой ситуации. В каком-то смысле она - мера рассеяния, и в этом смысле она подобна дисперсии. Но если дисперсия является адекватной мерой рассеяния лишь для специальных распределений вероятностей случайных величин (например, нормального гауссова распределения), то энтропия не зависит от типа распределения. Популярность энтропии связана с её важными свойствами: универсальностью и аддитивностью. Со своей стороны, информация оказалась характеристикой степени зависимости некоторых переменных. Её можно сравнить с корреляцией, но если корреляция характеризует лишьлинейную связь переменных, информация характеризует любую связь. Тип связи может быть каким угодно и неизвестным исследователю. Информацию можно рассматривать как отрицательную энтропию, Тогда энтропия и информация смотрятся, как понятия одного уровня. Однако, это не так: в отличие от энтропии информация – общенаучное понятие, приближающееся по своему значению к философской категории. В данной лекции мы попытаемся разобраться в трудной проблеме: если между разными видами информации что-то общее, или это – совершенно разные сущности, по недоразумению названные одним именем. Имеет ли техническая информация какое-либо отношение к термодинамической информации, и, если имеет, то какое? Если связь между термодинамической энтропией Клаузиса-Кельвина и статистической энтропией Больцмана-Планка? Вообще, может ли энтропия быть мерой хаоса? Заранее очевидно, что однозначно ответить на эти вопросы до сих пор никто не может. Но лишний раз поговорить полезно… 1. ЭТАПЫ ФОРМИРОВАНИЯ ПОНЯТИЯ ЭНТРОПИИ Можно выделить следующие этапы формирования понятия энтропии: 1865 - Рудольф Юлиус Клаузиус. В рамках теории тепловых машин введено представление об энтропии, как о термодинамической величине. Энтропия S задана динамическим уравнением через скорость изменения тепловой энергии Q и абсолютную температуру T. d t S=d t Q/T 1872 - Людвиг Больцман. Энтропия вводится как мера множества W микросостояний термодинамической системы с помощью специальной константы k=1.38x10 -23 дж/гр.К. H=k log|W| 1902 - Джозойя Виллард Гиббс. Энтропия вводится через распределение плотности r (x) вероятности состояний по фазовому пространству W статфизической системы. H=т W r (x) logr (x) dx 1948 - Клод Шеннон. Вводится мера энтропии дискретного распределения вероятности P i на множестве альтернативных состояний и информация, как уменьшение энтропии при получении сообщения. H= -S i=1_N P i logP i ; I=H 1 -H 2 ; 1953 - Александр Яковлевич Хинчин. Постоянная Больцмана вводится как математическая нормировка основания логарифмов, независимо от термодинамической интерпретации. S= -kS i=1_N P i lnP i 1955 - Артур Роберт Мак. Комбинаторная интерпретация энтропии, как меры структурированного множества альтернатив: n=n 1 +...+n m S= -kS i=1_m (n i /n)ln(n i /n) 1965 - Андрей Николаевич Колмогоров. Обобщение понятия энтропии на эргодические случайные процессы u(t) через предельное распределение вероятности, имеющие плотность f(x) . S= -т W f(x) log f(x) dx; f(x)=lim t → Ґ Prob{u(t)=x}. http://profbeckman.narod.ru/InformLekc.htm Введение энтропии, как инварианта динамической системы с оператором J ,имеющим инвариантную вероятностную меру на множестве состояний W, полученного предельным переходом по средним комбинаторным энтропиям следа D(t) начального измеримого бинарного разбиения D на W (скорость генерации информации динамической системой) H=Sup D={A;W\A} lim t® Ґ (-1/t) S vО D(t) P(v)lnP(v); D(t)=P i=1_t J i *D; Произведение берется в алгебре разбиений на W ,как все возможные пересечения элементов сомножителей. Введение меры сложности символьной последовательности y=(y 1 ,y 2 ,...), как минимальной удельной (на символ) длины программы P, ее порождающей на универсальной машине Тьюринга. C(y)= lim n® Ґ (1/n)min long P(y 1 ,...,y n ) . 1970 - Анри Реньи. Введение энтропии как b -момента меры разбиения. S=(1-b ) -1 ln(S i=1_N (n i ) b ); 1999 - Александр Моисеевич Хазен. Введение понятия энтропии-информации как обобщенного действия в механике с функцией энергии L на фазовом пространстве W. Постоянная Больцмана зависит от уровня процесса. Это - обобщение подхода Р. Ю. Клаузиуса. S=kт [o;t] L(W(t))dt . 2000 - Александр Владимирович Коганов. Введение меры сложности C математической модели A, как набора чисел, характеризующих ресурсы R i , потребляемые при реализации математической модели на технических средствах. В случае, если ресурсом является память вычислительных средств, получаем варианты формул энтропии А. Р. Мака и сложности А. Н. Колмогорова. C=( R 1 ,..., R M ); R=R(A). Энтропия вводится, как сложность множества состояний модели. S=( R 1 ,..., R M ); R=R(state A). Информация измеряется сложностью перестройки модели, как следствия полученного сообщения. I=( R 1 ,..., R M ); R=R(A|A'). 2. ФИЗИЧЕСКАЯ ЭНТРОПИЯ Существуют три определения физической энтропии Термодинамическое Понятие энтропии впервые было введено Клаузиусом как мера необратимого рассеяния энергии. Для обратимых (квазиравновесных) процессов оно было определено так: , T Q S Δ = Δ (1) где ΔS — изменение энтропии, ΔQ — изменение теплоты, T — абсолютная термодинамическая температура. В дифференциальной форме энтропия представляется как: T Q dS δ = (2) и, в отличие от первого, оно применимо не только к изотермическим процессам. Интегральная форма энтропии для обратимых (квазиравновесных) процессов имеет вид: ∫ = − B A A B T Q S S , δ (3) где S A и S B — энтропия начального ( A) и конечного (B) состояния соответственно. Несмотря на то, что энтропия выражается через процессы, она является функцией состояния, то есть каждому состоянию соответствует определённое её значение. Однако, как видно из формул, она определена с точностью до константы, и выбор состояния с нулевым значением условен. Основываясь на третьем начале термодинамики, за нулевое значение энтропии принимают таковое у системы с температурой, равной абсолютному нулю. Для необратимых процессов выполняется неравенство (следующее из неравенства Клаузиуса): ∫ ≥ − B A A B T Q S S , δ (4) из которого следует закон неубывания энтропии. http://profbeckman.narod.ru/InformLekc.htm Статистическое Статистическая механика связывает энтропию с вероятностью осуществления макроскопического состояния системы соотношением Больцмана энтропия-вероятность S = k B lnW , (5) где W — вероятность осуществления данного состояния, а k B – постоянная Больцмана. В отличие от термодинамики статистическая механика рассматривает специальный класс процессов - флуктуации, при которых система переходит из более вероятных состояний в менее вероятные и вследствие этого её энтропия уменьшается. Наличие флуктуаций показывает, что закон возрастания энтропии выполняется только статистически: в среднем для большого промежутка времени. Энергетическое Энергетическое определение энтропии выводится на основе баланса энергии, выраженного в лоренц- инвариантной форме с учётом полной энергии вещества и полей. Формула для энтропии имеет вид: ( ) , 0 const T dV P L u r S + − + ∇ − = ∫ (6) где u плотность энергии поля, связанной с системой, в том числе за пределами тела, ∫ = ρ ρ d p L - функция, зависящая от давления p и плотности вещества ρ, r - радиус-вектор элемента объёма, P 0 - давление в покоящейся системе отсчёта, V - объём системы, T - температура как функция местоположения элемента объёма. Энтропия характеризует структуру системы с точки зрения распределения энергии в объёме внутри и вокруг системы, отражая меру связи и взаимодействия частиц системы. Энергия, связанная с энтропией, обеспечивает целостность системы. В случае достаточно длительного выполнения системой механической работы, работы по созданию градиентов поля, изменению потоков вещества в связи с количеством вещества и его химическим потенциалом, при условии недостаточного притока энергии извне, система может разрушиться из-за недостаточности своей структурной энергии, переходя в состояние с новым положением равновесия. В отличие от формулы Больцмана, энергетическое определение энтропии непосредственно учитывает как механические напряжения и температурные градиенты, так и распределение энергии поля. Если в статистическом определении энтропия системы полагается всегда положительной, то при наличии полей с достаточно большой отрицательной энергией энтропия может стать отрицательной. Типичным примером является гравитационно связанное тело, гравитационная энергия и энтропия которого отрицательны. В силу второго начала термодинамики, энтропия S i замкнутой системы не может уменьшаться (закон неубывания энтропии). Математически это можно записать так: dS ≥0, индекс i обозначает так называемую внутреннюю энтропию, соответствующую замкнутой системе. В открытой системе возможны потоки тепла как из системы, так и внутрь неё. В случае наличия потока тепла в систему приходит количество тепла δQ 1 при температуре T 1 и уходит количество тепла δQ 2 при температуре T 2 . Приращение энтропии, связанное с данными тепловыми потоками, равно: 2 2 1 1 0 T Q T Q dS δ δ − = (7) В стационарных системах обычно δQ 1 =δQ 2 , T 1 >T 2 , так что dS o <0. Поскольку здесь изменение энтропии отрицательно, то часто употребляют выражение «приток негэнтропии», вместо оттока энтропии из системы. Негэнтропия определяется таким образом как обратная величина энтропии. Суммарное изменение энтропии открытой системы будет равно: dS = dS i + dS o Если всё время dS>0, то рост внутренней энтропии не компенсируется притоком внешней негэнтропии, система движется к ближайшему состоянию равновесия, в котором осуществляется возможный для этого состояния максимальный хаос. Если dS=0, то мы имеем стационарный процесс с неизменной общей энтропией. В этом случае в системе осуществляется некоторая внутренняя работа с генерацией внутренней энтропии, которая преобразует, например, температуру T 1 внешнего потока тепла в температуру T 2 уходящего из системы потока тепла. В случае, когда dS ≤0 возникают условия для развития, прогрессивной усложняющейся эволюции, роста порядка и новых структур, жизни живых организмов. Можно показать, что приток теплоты в систему за время dt определяется выражением: ( ) ∫ + − = , dV S S div dt Q p g δ (8) http://profbeckman.narod.ru/InformLekc.htm здесь S g - вектор плотности потока гравитационной энергии, S p - вектор плотности потока электромагнитной энергии. Поскольку dS= δ Q/T, то производство суммарной энтропии можно выразить так: ∫ ∫ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ + − ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ + − = , 0 0 0 0 dV T divS T divS dV T divS T divS dt dS p p g g pi pi gi gi (9) где первый интеграл относится к производству внутренней энтропии, а второй интеграл описывает скорость изменения внешней энтропии. Индекс i относится к потокам энергии и температурам элементов объёма внутри системы, обменивающимся между собой энергией с разными температурами. Индексом o обозначены процессы передачи энергии между элементами объёма системы и внешними относительно системы источниками энергии. При этом температуры входящего в систему и исходящего излучений как правило отличаются друг от друга, что следует учитывать при интегрировании в формуле для генерации энтропии. В открытой системе за счёт притока негэнтропии извне система сдвинута от ближайшего состояния равновесия, к которому она может вернуться при изменении условий. Например, при быстром осуществлении адиабатической изоляции будет dS 0 /dt=0 и происходит рост внутренней энтропии S i системы в краткосрочном процессе перехода к равновесию во внутренних процессах. Другой пример роста энтропии имеет место, когда энтропия системы изменяется за счёт поступления теплоты извне при нагревании. В этом случае система всё более удаляется от прежнего состояния равновесия. Указанные процессы могут быть описаны формулой Больцмана для статистического определения энтропии, когда рост энтропии сопровождается увеличением термодинамической вероятности макроскопического состояния системы. Однако при наличии значительной энергии полей в формулу Больцмана следует вводить поправки для энтропии полей либо использовать энергетическое определение энтропии. Понятие энтропии тесно связано с другим фундаментальным понятием – энергией. Энергия – общая мера различных форм движения и взаимодействия сущностей. Энергию любой материальной сущности можно условно разделить на две составляющих: свободную и связанную. Свободная энергия – это та часть всей энергии, которая способна к совершению работы. Связанная энергия к совершению работы непригодна. При преобразованиях энергии из одного вида в другой её общее количество, в соответствии с первым началом, сохраняется постоянным, но изменяется её качество, характеризуемое соотношением между свободной и связанной энергиями. Второе начало термодинамики утверждает, что в закрытых системах процессы преобразования энергии идут в сторону роста связанной энергии, а следовательно, и энтропии. При этом свободная составляющая энергии уменьшается. Можно сказать, что свободная энергия находится в конфликте с энтропией: чем меньше одна, тем больше другая. В связи с этим свободную энергию часто называют отрицательной энтропией, или негэнтропией, хотя это не совсем корректно, поскольку размерности энтропии и энергии различны. Напомним основные свойства энтропии. 1. В закрытых системах энтропия всегда неотвратимо растёт. Оно выражает суть второго начала термодинамики. 2. Рост энтропии означает ликвидацию различий. Различие – это то, что обеспечивает целенаправленное существование любой сущности. Цель этого существования – уменьшение различий. В термодинамическом понимании системный кризис любой системы означает значительный рост энтропии этой организации, её деградацию. 3. Чем больше свободы, тем быстрее растёт энтропия.Скорость роста энтропии – скорость появления разнообразных способов организации сущностей, а свобода способствует этому появлению, ускоряет рост числа способов организации. Поэтому чем больше свободы, тем быстрее низкоэнтропийные сущности превращаются в высокоэнтропийные. Энтропия неотвратимо растёт только в закрытых системах, не взаимодействующих с другими системами и внешней средой. Но в открытых системах энтропия может вести себя по-разному: расти, быть постоянной и даже уменьшаться. Причина различного поведения энтропии объясняется тем, что, в отличие от закрытых систем, где есть только собственная, всегда растущая энтропия, в открытых системах существуют собственная энтропия, которая, как и в закрытых системах, всегда растёт; энтропия, поступающая в открытую систему из внешней среды (импортируемая энтропия); и энтропия, удаляемая из открытой системы во внешнюю среду (экспортируемая энтропия). Кроме того, в общем случае нужно учесть свободную энергию (негэнтропию), компенсирующую рост собственной энтропии и по своему http://profbeckman.narod.ru/InformLekc.htm воздействию на систему эквивалентную экспорту энтропии. Поведение результирующей энтропии зависит от скорости изменения её составляющих. Поэтому результирующая энтропия может вести себя как угодно: расти, уменьшаться или быть постоянной. Если энтропия постоянна, то говорят, что система находится в стационарном режиме. Информация это то, что устраняет неопределенность выбора. Клод Шеннон 3. ИНФОРМАЦИОННАЯ ЭНТРОПИЯ Понятие информационной энтропии определено Шенноном для случая дискретных данных, и похоже на понятие термодинамической энтропии. Это - величина, обозначающая количество информации, содержащееся в данном сообщении (или последовательности сигналов). По Шеннону информация снятая неопределенность. Точнее получение информации - необходимое условие для снятия неопределенности. Неопределенность возникает в ситуации выбора. Задача, которая решается в ходе снятия неопределённости – уменьшение количества рассматриваемых вариантов (уменьшение разнообразия), и в итоге выбор одного соответствующего ситуации варианта из числа возможных. Снятие неопределенности даёт возможность принимать обоснованные решения и действовать. В этом управляющая роль информации. Информационная энтропия - мера хаотичности информации или мера внутренней неупорядоченности информационной системы. Энтропия увеличивается при хаотическом распределении информационных ресурсов и уменьшается при их упорядочении. Информационная энтропи́я - мера хаотичности информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения. Информационная энтропия - неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения. Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии n-ого порядка) встречаются очень редко, то неопределённость ещё более уменьшается. Понятие информационной энтропии определено Шенноном для случая дискретных данных и весьма похоже на понятие термодинамической энтропии. Это величина, обозначающая количество информации, содержащееся в данном сообщении (или последовательности сигналов). Сведения об информационной энтропии необходимы для повышения надёжности передачи сигналов. Именно на неё ориентируются при задании избыточной информации, передаваемой по линии связи. Избыточтость - термин из теории информации, означающий превышение количества информации, используемой для передачи или хранения сообщения, над его информационной энтропией. Для уменьшения избыточности применяется сжатие данных без потерь, в то же время контрольная сумма применяется для внесения дополнительной избыточности в поток, что позволяет производить исправление ошибок при передаче информации по каналам, вносящим искажения (спутниковая трансляция, беспроводная передача и т. д.). Чем меньше вероятность какого-либо события, тем большую неопределенность снимает сообщение о его появлении и, следовательно, тем большую информацию оно несёт. Концепции информации и энтропии имеют глубокие связи друг с другом, но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу. Впервые понятия энтропия и информация связал Шеннон в 1948. С его подачи энтропия стала использоваться как мера полезной информации в процессах передачи сигналов по проводам. Следует подчеркнуть, что под информацией Шеннон понимал сигналы нужные, полезные для получателя. Неполезные сигналы, с точки зрения Шеннона, это шум, помехи. Если сигнал на выходе канала связи является точной копией сигнала на входе то это означает отсутствие энтропии. Отсутствие шума означает максимум информации. Взаимосвязь энтропии и информации нашло отражение в формуле: H + I = 1, где Н – энтропия, I – информация. Этот вывод количественно был обоснован Бриллюэном. В общем виде закон сохранения суммы энтропии информации для случая дискретной переменной записывают в виде равенства: I[X]+H[X]=const. (10) http://profbeckman.narod.ru/InformLekc.htm Так, в процессе временной эволюции газа Больцмана к равновесному состоянию, сумма информации и энтропии остаётся постоянной: [ ] | , 0 const S t p r I = = (11) При этом константа определяется энтропией равновесного состояния. Информация равновесного состояния: [ ] ( ) 0 | , = ∞ = = ∞ = t A t p r I S (12) Для газа Больцмана положительность информации есть естественное свойство системы. Ситуация максимальной неопределенности предполагает наличие нескольких равновероятных альтернатив (вариантов), т.е. ни один из вариантов не является более предпочтительным. Причём, чем больше равновероятных вариантов наблюдается, тем больше неопределенность, тем сложнее сделать однозначный выбор и тем больше информации требуется для этого получить. Для N вариантов эта ситуация описывается распределением вероятностей: {1/N, 1/N, … 1/N}. Минимальная неопределенность равна 0, т.е. эта ситуация полной определенности, означающая что выбор сделан, и вся необходимая информация получена. Распределение вероятностей для ситуации полной определенности выглядит так: {1, 0, …0}. Величина, характеризующая количество неопределенности в теории информации обозначается символом H и имеет название энтропия, точнее информационная энтропия. Энтропия (H) – мера неопределенности, выраженная в битах. Так же энтропию можно рассматривать как меру равномерности распределения случайной величины. На Рис. 1 показано поведение энтропии для случая двух альтернатив, при изменении соотношения их вероятностей (p, (1- p)). Максимального значения энтропия достигает в данном случае тогда, когда обе вероятности равны между собой и равны 0,5, нулевое значение энтропии соответствует случаям (p 0 =0, p 1 =1) и (p 0 =1, p 1 =0). Рис. 1. Поведение энтропии для случая двух альтернатив. Количество информации I и энтропия H характеризуют одну и ту же ситуацию, но с качественно противоположенных сторон. I – это количество информации, которое требуется для снятия неопределенности H. По определению Бриллюэна информация есть отрицательная энтропия (негэнтропия). Когда неопределенность снята полностью, количество полученной информации I равно изначально существовавшей неопределенности H. При частичном снятии неопределенности, полученное количество информации и оставшаяся неснятой неопределенность составляют в сумме исходную неопределенность. H t + I t = H. I. Рис.2 . Связь между энтропией и количеством информации. По этой причине, формулы для расчета информационной энтропии H являются и формулами для расчёта количества информации I, т.е. когда речь идёт о полном снятии неопределенности, H в них может заменяться на В 1948, исследуя проблему рациональной передачи информации через зашумлённый коммуникационный канал, Шеннон предложил вероятностный подход к пониманию коммуникаций и создал истинно математическую теорию энтропии. Его идеи послужили основой разработки двух направлений: теории информации, которая использует понятие вероятности и эргодическую теорию для изучения статистических характеристик данных и коммуникационных систем, и теории кодирования, в которой используются алгебраические и геометрические инструменты для разработки эффективных кодов. Известны разные определения энтропии: 1. Поворот, превращение, опасное изменение чего-либо; необратимый процесс рассеивания энергии. 2. Направление, движение к беспорядку, хаосу и смерти. 3. В общей теории систем - естественное состояние закрытой системы, стремящейся исчерпать свою энергию и остановиться. Как уже упоминалось, под информационной энтропией понимают меру хаотичности информации. Можно определить энтропию случайной величины, введя предварительно понятия распределения случайной величины X, имеющей конечное число значений: http://profbeckman.narod.ru/InformLekc.htm ( ) n i p p x P i i X ,...., 2 , 1 , 0 = ≥ = ∑ = = n i i p 1 1 и собственной информации: I(X)=-logP X (X) (13) Замечание. Собственная информация - статистическая функция дискретной случайной величины. Она является случайной величиной, которую следует отличать от её среднего значения – информационной энтропии. Собственную информацию можно понимать как «меру неожиданности» события - чем меньше вероятность события, тем больше информации оно содержит. Тогда энтропия определяется как: ( ) ( ) ( ) ( ) ( ) ∑ = − = = n i i p i p X I E X H 1 log (14) От основания логарифма зависит единица измерения информации и энтропии: бит, нат или хартли. Информационная энтропия для независимых случайных событий x с n возможными состояниями (от 1 до n) рассчитывается по формуле: ( ) ( ) ( ) ∑ = − = n i i p i p x H 1 2 log (15) Эта величина также называется средней энтропией сообщения. Величина ( ) i p 1 log 2 называется частной энтропией, характеризующей только i-e состояние. Энтропия события x является суммой с противоположным знаком всех произведений относительных частот появления события i, умноженных на их же двоичные логарифмы (основание 2 выбрано только для удобства работы с информацией, представленной в двоичной форме). Это определение для дискретных случайных событий можно расширить для функции распределения вероятностей. Шеннон предположил, что прирост информации равен утраченной неопределённости, и задал требования к её измерению: - мера должна быть непрерывной; т. е. изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение функции; - в случае, когда все варианты равновероятны, увеличение количества вариантов (букв) должно всегда увеличивать значение функции; - должна быть возможность сделать выбор в два шага, в которых значение функции конечного результата должно являться суммой функций промежуточных результатов. Шеннон показал, что единственная функция, удовлетворяющая этим требованиям, имеет вид: ( ) ( ) ∑ = − n i i p i p K 1 2 log (16) где K - константа (и в действительности нужна только для выбора единиц измерения). Измерение энтропии (H=−p 1 log 2 p 1 − … − p n log 2 (p n ), применяемое к источнику информации, может определить требования к минимальной пропускной способности канала, требуемой для надёжной передачи информации в виде закодированных двоичных чисел. Для вывода формулы Шеннона необходимо вычислить математическое «количества информации», содержащегося в цифре из источника информации. Мера энтропии Шеннона выражает неуверенность реализации случайной переменной. Таким образом, энтропия является разницей между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. Примером этого является избыточность языка - имеются явные статистические закономерности в появлении букв, пар последовательных букв, троек и т. д. Информационная энтропия в каком то смысле связана с термодинамической энтропией. Например, демон Максвелла противопоставляет термодинамическую энтропию информации, и получение какого-либо количества информации равно потерянной энтропии. В общем случае b-арная энтропия (где b равно 2, 3, …) источника S=(S,P) c с исходным алфавитом S={a 1 ,…,a n } и дискретным распределением вероятности Р={p 1 ,…,p n } где p i является вероятностью a i (p i = p(a i )) определяется формулой: ( ) ∑ = − = n i i b i b p p S H 1 log (17) http://profbeckman.narod.ru/InformLekc.htm Другим способом определения функции энтропии H является доказательство, что H однозначно определена, если H удовлетворяет следующим трём пунктам: 1) H(p 1 , …, p n ) определена и непрерывна для всех p 1 , …, p n , где p i [0,1] для всех i = 1, …, n и p 1 + … + p n = 1. (Заметьте, что эта функция зависит только от распределения вероятностей, а не от алфавита.) 2) Для целых положительных n, должно выполняться следующее неравенство: 4 4 3 4 4 2 1 4 3 42 1 1 1 1 ,..., 1 1 ) 1 ,..., 1 ( + + + < n n n n H n n H (18) 3) Для целых положительных b i , где b 1 + … + b k = n, должно выполняться равенство: ∑ = ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ + ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ = ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ k i b i i i k n b b H n b n b n b H n n H 1 1 1 1 ,..., 1 ,..., 1 ,..., 1 4 3 42 1 3 2 1 (19) Энтропия является количеством, определённым в контексте вероятностной модели для источника данных. Например, кидание монеты имеет энтропию −2(0,5log 2 0,5) = 1 бит на одно кидание (при условии его независимости). У источника, который генерирует строку, состоящую только из букв «А», энтропия равна нулю: . Так, к примеру, опытным путём можно установить, что энтропия английского текста равна 1,5 бит на символ, что конечно будет варьироваться для разных текстов. Степень энтропии источника данных означает среднее число битов на элемент данных, требуемых для её зашифровки без потери информации, при оптимальном кодировании. ∑ ∞ = = − 1 2 0 1 log i Некоторые биты данных могут не нести информации. Например, структуры данных часто хранят избыточную информацию, или имеют идентичные секции независимо от информации в структуре данных. Количество энтропии не всегда выражается целым числом бит. Общие свойства энтропии: 1) Неотрицательность: H(X) ≥ 0. 2) Ограниченность: X X H log ) ( ≤ . Равенство, если все элементы из X равновероятны. 3) Если X, Y независимы, то H(XY) = H(X) + H(Y). 4) Энтропия - выпуклая вверх функция распределения вероятностей элементов. 5) Если X, Y имеют одинаковое распределение вероятностей элементов, то H(X) = H(Y). Остановимся несколько подробнее на математических свойствах энтропии Свойство 1 Неопределенность физической системы равна нулю: H = H(p 1 , p 2 , …, p n ) = 0, если одно из чисел p 1 , p 2 , …, p n равно 1, а остальные равны нулю. Доказательство: -1log1=0 ( ) ( ) 0 log lim 1 log lim 1 log lim log lim 0 log 0 2 = = ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ − − = ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ − = − = − e p p p e p p p p i i i i i i i (20) Свойство 2 Энтропия максимальна, когда все состояния источника равновероятны. Доказательство: 1 1 = ∑ n i p Ищем локальный экстремум. Для этого рассмотрим функционал ∑ ∑ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − + − = = n n i i i i p p p F 1 1 1 log λ , где λ по Лагранжу, а - из условия ограничения. Берём первые частные производные по p i : logp 1 = λ-loge; ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − ∑ = n i i p 1 1 logp 2 = λ-loge http://profbeckman.narod.ru/InformLekc.htm …………….. logp n = λ-loge Поскольку правые части всех выражений одинаковые, можно сделать вывод о равновероятных состояниях физической системы, т. е.: p 1 =p 2 =…p n , Тогда: ∑ = − = n n n n H 1 log 1 log 1 (21) Получили выражение для максимальной энтропии, соответствующее формуле Хартли. Свойство 3 Всякое изменение вероятностей p 1 , p 2 , …, p n в сторону их выравнивания увеличивает энтропию H(p 1 , p 2 , …, p n ). Доказательство: ∑ − = n i i p p H 1 log и ∑ = n i p 1 1 Пусть р 2 >p 1 , тогда 2 1 2 p p p − ≤ Δ , p 1 *+p 2 *+…+P n * → H* Нам нужно доказать, что H*-H>0 ( ) p p H p H p p H p p H Р Р Р Δ ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ ∂ ∂ − ∂ ∂ = Δ − ∂ ∂ + Δ ∂ ∂ = − = Δ 2 1 2 2 1 1 * e p p H и e p p H log log log log 2 2 1 1 − − = ∂ ∂ − − = ∂ ∂ 0 , log 1 2 > Δ = Δ p p p H , так как p 2 >p 1 , что и требовалось доказать. Свойство 4 Математическое ожидание вероятности есть энтропия ( ) ∑ = − = − n i i i i p p p M 1 log log (22) Из всех дискретных распределений с фиксированным средним геометрическое распределение является одним из распределений с максимальной информационной энтропией. Геометри́ческое распределе́ние в теории вероятностей - это распределение дискретной случайной величины равной количеству испытаний случайного эксперимента до наблюдения первого «успеха». 4. СРАВНЕНИЕ ЭНТРОПИЙ 4.1 Термодинамическая и статистическая энтропии Введение понятия энтропии связано с поиском координаты теплообмена, т.е. физической величины, неизбежно изменяющейся в процессе теплообмена и остающейся неизменной в его отсутствие (подобно тому, как ведет себя объем в процессе совершения работы сжатия). Клаузиус нашел эту координату для частного случая равновесного (обратимого) теплообмена путем разбиения произвольного цикла тепловой машины серией адиабат и изотерм на ряд элементарных обратимых циклов Карно. Название параметра S, данное ему Р. Клаузиусом (в переводе с греческого энтропия означает «внутреннее превращение») подчеркивало совершенно иное и необычное для науки того времени свойство энтропии возрастать и в отсутствие теплообмена (вследствие самопроизвольного превращения упорядоченных форм энергии в тепловую). Эта двойственность энтропии как параметра, существующего независимо от необратимости, но возрастающего именно вследствие последней, и породила многочисленные дискуссии о физическом смысле этого параметра. Оглядываясь назад, можно лишь сожалеть, что в связи с крушением теории теплорода как «неуничтожимого флюида» для введенного Р. Клаузиусом нового параметра не нашлось лучшего термина, более близкого по смыслу к теплороду как аналогу массы воды, падающей в водяных колесах с одного уровня на другой. Эта аналогия тепловых машин с водяными двигателями была подмечена ещё С. Карно (1824). Не изменилась, к сожалению, ситуация и после введения Гельмгольцем (1847) понятия «связанной» (с тепловым движением) энергии ТS, когда, казалось бы, стало ясным, что энтропия Клаузиуса S - это количественная мера хаотического движения, находящаяся в таком же отношении к связанной энергии ТS, как импульс - к кинетической энергии. http://profbeckman.narod.ru/InformLekc.htm Некоторые учёные в серьёз полагают, что назови Клаузис энтропию как-то иначе, например, интегралом Клаузиса, никому бы и в голову бы не пришло сравнивать техническую энтропию с термодинамической. Физический смысл энтропии Клаузиуса S несложно выяснить, если признать существование тепловой энергии как части внутренней энергии. Эта энергия изменяется как вследствие подвода тепла извне, так и вследствие выделения в системе теплоты диссипации, т.е. превращения в тепловую других (упорядоченных) форм внутренней энергии системы. Энтропия играет по отношению к внутренней тепловой энергии ту же роль, что и импульс системы - по отношению к кинетической энергии. Иными словами, энтропия S характеризует суммарный импульс частиц системы, утративший свою векторную природу вследствие хаотичности теплового движения. Эту меру количества хаотического движения, складывающуюся из модулей импульсов отдельных частиц системы, следовало бы назвать термоимпульсом. В таком случае сразу бы стало ясным, что энтропия должна возрастать не только при подводе тепла извне, но и при возникновении её внутренних источников вследствие трения, экзотермических химических реакций, воздействия токами высокой частоты, индукционного нагрева и т.п., т.е. при превращении упорядоченных форм энергии в тепловую. Поиски физического смысла энтропии и попытки найти альтернативу неизбежному, казалось бы, выводу о «тепловой смерти Вселенной» привели к статистическому толкованию второго начала термодинамики. Полагая, что возрастание энтропии в необратимых процессах отражает стремление природы к более вероятному состоянию, Л. Больцман пришёл к выводу, что зависимость между энтропией S и термодинамической вероятностью состояния Ω имеет вид: S = kln |W|, ( 23) где k - константа, названная впоследствии его именем. Согласно этому выражению, энтропия термодинамических систем пропорциональна логарифму вероятности их состояния. Основным постулатом при этом явилось предположение, что наиболее вероятное распределение частиц (осуществляемое наибольшим числом способов) является одновременно и равновесным. Основанием для этого послужило то обстоятельство, что обе названные величины (энтропия и «термодинамическая» вероятность состояния W) аддитивны и достигают максимума в состоянии равновесия. Поскольку же наибольшему значению W соответствует состояние «молекулярного хаоса», энтропия в концепции Больцмана приобрела смысл меры неупорядоченности состояния системы. Так из интуитивных представлений о «молекулярном хаосе» энтропия в концепции Больцмана приобрела смысл меры неупорядоченности любой системы. В этой связи уместен вопрос, в какой мере обоснован «принцип Больцмана», предполагающий, что наиболее вероятное распределение частиц газа по скоростям является одновременно и равновесным? В самом деле, если говорить о тепловом равновесии или создавать математическую модель теплового движения, то вполне логично было предположить, что тепловое равновесие можно отождествить с состоянием, характеризующимся максимальным числом перестановок различимых молекул и потому встречающимся наиболее часто. Однако для случаев нетеплового равновесия или для более сложных молекулярных моделей систем со многими степенями свободы наиболее вероятно иное распределение тех же или иных свойств. Важно, что допущение Больцмана о равновероятности всех микросостояний термодинамической системы взаимодействующих частиц никоим образом не соответствует действительности. При этом, даже если между S и W и существует корреляция, ниоткуда не следует, что энтропия является однозначной функцией только W. К тому же энтропия - отнюдь не единственная величина, самопроизвольно изменяющаяся в одном направлении. Односторонне изменяется и объем системы при расширении газа в пустоту, напряжения в телах при их релаксации, степени полноты самопроизвольных химических реакций, векторы поляризации и намагниченности после изоляции диэлектриков и магнетиков после изоляции их от внешних полей, и т.д. и т.п. Более того, односторонне изменяются в изолированной системе и такие функции состояния, как энергия Гельмгольца F = U - TS и Гиббса G = U + pV - TS, которые полнее отражают изменения их состояния, поскольку внутренняя энергия U заведомо зависит от всех переменных состояния поливариантной системы. Казалось бы, именно эти характеристические функции и следовало бы связывать с вероятностью состояния, а не энтропию как один из их независимых аргументов. Наконец, термодинамическая вероятность во многом зависит от того, какие частицы мы считаем различимыми. Отсюда вывод: энтропия стала мерой «хаоса» исключительно в силу субъективных причин. Со статистической трактовкой энтропии связано появление еще одной её разновидности – «негэнтропии» (negative entropy). Впервые этот термин применил Больцман при статистической трактовке понятия энтропии. По Больцману, процесс передачи отрицательной энтропии от Солнца к Земле означает их перераспределение между ними с уменьшением энтропии Земли и её «упорядочиванием». Отсюда http://profbeckman.narod.ru/InformLekc.htm вывод: борьба биосистем за существование - борьба за негэнтропию, а не за сырье и свободную энергию. Э. Шредингер развил идеи о «поставке отрицательной энтропии с солнечным излучением» и о «высасывании» её организмами из окружающей среды». Трактовка энтропии как антипода понятий «организация», «упорядоченность» и «сложность» игнорирует отсутствие в термодинамике понятия отрицательной энтропии и потому искажает истинную связь этого понятия с необратимостью и диссипацией. В термодинамике энтропия является носителем тепловой формы движения, т.е. величиной, способной передаваться через границы системы в процессе теплообмена или массообмена между ней и окружающей средой. Это обстоятельство послужило основанием для введения в термодинамике неравновесных процессов понятия «потока энтропии», аналогичного потоку вещества, заряда и т.п. Говорить же о переносе через границы системы «вероятности состояния» бессмысленно. Рассмотрим самопроизвольный процесс смешения невзаимодействующих газов при постоянном объёме после удаления разделявшей их перегородки. Этот процесс не изменяет ни температуры, ни давления, ни состава системы в целом. Многокомпонентная термомеханическая система ещё до смешения находится в полном (термическом, механическом и химическом) равновесии, так что процесс смешения не может вызвать приближения её к равновесию ни по одной из располагаемых ею степеней свободы. Тем не менее процесс самопроизвольного перемешивания также соответствует приближению системы к более вероятному состоянию. Эта тенденция к перемешиванию возникает уже при числе молекул, равном или большем трёх при сколь угодно малом взаимодействии между ними, т.е. в условиях, когда совершенно неуместно говорить вообще о термодинамической системе. Поэтому достижение наиболее вероятного состояния ещё не является достаточным признаком термодинамического равновесия. Иными словами, равновесие и хаос - понятия различимые. Особое место в этом плане занимают метастабильные состояния, которые не соответствуют максимуму вероятности, однако являются разновидностью равновесных состояний. К тому же энтропия равновесного состояния не может быть изменена в отсутствие воздействия извне, в то время как статистическая энтропия предполагает наличие её флуктуаций. В качестве дополнительных примеров различного поведения термодинамической и статистической энтропии можно привести также самопроизвольное образование кристаллов льда в переохлажденной жидкости или выпадение осадка в пересыщенном растворе, сопровождающиеся упорядочением его структуры (т.е понижением энтропии Больцмана и Гиббса), и одновременно - повышением температуры и возрастанием энтропии термодинамической. Кстати, известно вещество (водный раствор органических соединений циклодекстрина и 4-метилпиридина), которое затвердевает при нагреве и плавится при его обратимом охлаждении, т.е. ведёт себя противоположно статистической энтропии. Статистическая энтропия уменьшается и в процессах «самоорганизации», сопровождающейся удалением системы от состояния равновесия, в то время как термодинамическая энтропия при этом остаётся в лучшем случае неизменной (поскольку вывести систему из равновесия можно только путем совершения над ней полезной работы, которая, как известно, относится к адиабатическим воздействиям и не изменяет энтропии системы). Это замечание относится и к многочисленным примерам уменьшения статистической энтропии системы под действием внешних потенциальных сил, также вызывающих их упорядочивание. Отличие термодинамической и статистической энтропии проявляется наглядно и при оценке её величины для заполняющего Вселенную реликтового излучения. Если статистическая температура этого излучения, найденная по средней скорости движения космических частиц, превышает 2000К, то термодинамическая температура, найденная по максиму излучения (из его спектральных характеристик), менее 3К. Соответственно различаются и величины энтропий. 4.2 Информационная и термодинамическая энтропии Остановимся теперь на важном вопросе – взаимосвязи между информационной энтропией (энтропией Шеннона), Н, и статистической энтропией (энтропией Больцмана), S. Формула Шеннона совпала по форме с формулой Больцмана-Планка, полученной на 70 лет ранее для измерения термодинамической энтропии идеального газа. В результате энтропию стали понимать как меру неупорядоченности, неорганизованности материальных систем. Так, если некий опыт имеет n равновероятных исходов, а другой опыт m равновероятных исходов, то составной опыт имеет nm таких исходов. Если мы вводим меру неопределенности f , то естественно потребовать, чтобы она была такова, чтобы во-первых, неопределенность росла с ростом числа возможных исходов, а во-вторых, неопределенность составного опыта была равна просто сумме неопределенности отдельных опытов, иначе говоря, мера неопределенности была аддитивной: f(nm)=f(n)+f(m). Именно такая удобная мера неопределенности была введена Шенноном: http://profbeckman.narod.ru/InformLekc.htm ( ) ∑ = − = N i i i X P X P X H 1 ), ( log ) ( (24) где Х – дискретная случайная величина с диапазоном изменчивости N, P(X i ) – вероятность i – го уровня X. Х можно представлять как сигнал, который может быть записан самописцем, как рельеф местности вдоль некоторого профиля, как пространственное распределение плотности энергии поля и т.п. Возможная величина энтропии заключена в пределах: 0 ≤ H(X) ≤ logN. Нижняя грань соответствует вырожденному распределению. Неопределенность величины Х отсутствует. В вариационном ряду это соответствует X j =const. Верхняя грань соответствует равномерному распределению. Все N значений X i встречаются с равной вероятностью. В вариационном ряду это может соответствовать, в частности, линейному тренду X j =ar j . Если две случайные величины X и Y, каким-то образом связанные друг с другом (например на входе и выходе какой-то системы), то знание одной из них, уменьшает неопределенность значений другой. Остающаяся неопределенность оценивается условной энтропией. Так, условная энтропия Х при условии знания Y определяется как: ∑ ∑ = = = k k N i k i k i k Y X P Y X P Y P Y X H 1 1 ) | ( log ) | ( ) ( ) | ( (25) где ) – условные вероятности (вероятность i-го значения X при условии Y=Y k ), диапазоны изменчивости X и Y (соответственно N и K) не обязательно совпадают. | ( k i Y X P Чтобы рассчитать H(X|Y), рассчитывают К энтропий Х, соответствующих фиксированному Y k и затем суммируют результаты с весами P(Y k ). Очевидно, условная энтропия меньше безусловной, точнее: 0 |