В. Л. Л отоцкий V. L. L o t o t s k y Энтропия и негэнтропия Entropy and negentropy в статье раскрывается отношение понятий и сущностей энтропии и негэнтропии. Статья
 Скачать 3.79 Mb.
|
|
В. Л. Л отоцкий V . L . L o t o t s k y Энтропия и негэнтропия Entropy and negentropy В статье раскрывается отношение понятий и сущностей энтропии и негэнтропии. Статья раскрывает полисемические трактовки понятия энтропия, которые порой описывают разные качества: объект признак процесс. Это свидетельствует об отсутствии систематизации теории в этой области. Раскрывается содержание понятия информационная энтропия. Показано различие между разными единицами измерения информации. Показано принципиальное отличие негэнтропии от энтропии. Дается пример показывающий различие между информацией, уменьшающей неопределенность, и информацией, передающей содержательность. Ключевые слова: философия информации, энтропия, негэнтропия, информация Хартли, собственная информация, взаимная информация, содержательность, неопределенность, распределение случайной величины, негауссовость Перспективы Науки и Образования. 2017. 1 (25) Международный электронный научный журнал ISSN 2307-2334 (Онлайн) Адрес статьи: pnojournal.wordpress.com/archive17/17-01/ Дата публикации: 1.03.2017 № 1 (25). С. 20-23. УДК 001 Perspectives of Science & Education. 2017. 1 (25) International Scientific Electronic Journal ISSN 2307-2334 (Online) Available: psejournal.wordpress.com/archive17/17-01/ Accepted: 1 January 2017 Published: 1 March 2017 No. 1 (25). pp. 20-23. The article reveals the contents of concepts and entities "entropy" and "negative entropy." The article reveals polisemicheskie interpretation of the concept of "entropy", which sometimes describe different quality: the object of a sign process. Polisemicheskie interpretation of the concept of "entropy" indicates a lack of systematization of the theory in this field. The article reveals the contents of the concept of information entropy. This article describes the difference between the different units of measurement of information. The article reveals the fundamental difference between the negative entropy of entropy. The article gives an example showing the difference between the information that reduces uncertainty, and information transmitting rich content. Keywords: information, information philosophy, entropy, negentropy, information Hartley, private information, mutual information, information uncertainty, information richness, the distribution of the random variable, negausovost Введение П рименительно к наукам об информации энтропия является показателем неопре- делённости, разнообразия, хаоса, равно- весия в системе [1]. Негэнтропию ошибочно ин- терпретируют как энтропию с отрицательным знаком. Это не так. Формально негэнтропия из- меряется в тех же единицах как энтропия (на- пример, в битах), но направление её действия и качество противоположное энтропии [2]. Её уве- личение вызывает уменьшение энтропии. Одна- ко, эти величины изменяются в системе по само- стоятельным закономерностям и их абсолютные значения мало зависят друг от друга. Негэнтро- пия является мерой порядка, упорядоченности, внутренней структуры, связанной информации. В области описания энтропии и особенно негэн- тропии существует много различных толкований, которые не дают раскрытие сущности, а звучат как лозунги. Например, существуют работы (эко- номико-математический словарь), в которых ут- верждается, что понятие энтропии изобрел К.Э. Шеннон (1948), хотя всем, особенно физикам, из- вестно, что это понятие ввел Виллярд Гибс в 1873 Перспективы Науки и Образования. 2017. 1 (25) 21 году. Это является одним из признаков неразбе- рихи в этой области. Данная работа направлена на попытку систематизировать понятия в этой об- ласти. Полисемические трактовки понятия энтропия Энтропия чаще всего интерпретируется как мера неопределённости некоторой системы, на- пример, опыта или испытаний, который может иметь разные исходы, а значит, и разное количе- ство информации [1, 3]. Другой интерпретацией этого понятия является информационная емкость системы или сообщения [1]. Для информацион- ной энтропии существует ряд узких и широких понятий. Пример узкого понятия: информаци- онная энтропиия - неопределённость появления какого-либо символа алфавита. Пример широко- го понятия: информационная энтропиия — мера неопределённости или мера непредсказуемости информационной ситуации [4]. В широком быто- вом смысле энтропия означает меру неупорядо- ченности системы; чем меньше элементы систе- мы подчинены какому-либо порядку, тем выше энтропия. Энтропия в узком физическом смысле — это термин, означающий функцию состояния термо- динамической системы, определяющую меру необратимого рассеивания энергии. В этом же смысле энтропия — это мера неопределенности какого-либо события, имеющая разные расходы и количество информации. Можно трансформи- ровать данное определение в информационную область, где оно будет звучать так. Энтропия в информационном смысле — это термин, озна- чающий функцию состояния информационной системы или информационной ситуации, опреде- ляющую меру необратимого рассеивания инфор- мации. Близким понятием в этом случае является понятие диссипации информации или рассеяние информации [5]. В психологии и в когнитивной теории связыва- ют это понятие с неопределенностью ситуации. То есть чем выше неопределенность последствий действия в любой ситуации, тем больше будет количество информации, содержащейся в ней, и тем больше будет энтропия [6]. На основе рассмотренных определений мож- но сделать некоторые выводы. В информацион- ной области энтропию целесообразно связывать не с системой, с информационной ситуацией, в которой находится объект исследования или система. Система по определению систематизи- рована и упорядочена [7]. Большинство систем обладают свойством системности и структури- рованности [8]. Информационная ситуация [9] более вариабельна открыта и непредсказуема в сравнении системой. Можно говорить о противоречивости описа- ния энтропии. Есть понятие субстанциональный объект или сущность. Есть понятие атрибутивный объект или свойство. Есть понятие процессуаль- ный объект или процесс. Все эти объекты различ- ны. Но при описании энтропии ее характеризуют именно как три разных по качеству объекта: мера, функция (субстанциональный объект); неопре- деленность, неупорядоченность (атрибутивный объект); рассеяние, диссипация (процессуальный объект). Это дает основание полагать, что теория информации на основе подхода К.Э. Шеннона и понятие энтропии до настоящего времени окон- чательно не систематизированы и пока нет доста- точно логичной теории в этой области. Энтропия и информация Одна из принципиальных ошибок при обсуж- дении вопроса информации и информационной энтропии – это сведение разных видов информа- ции к одному понятию. При внимательном изуче- нии информации, связанной с понятием энтропия выясняются разные виды информации, о которых в большинстве работ не упоминается. Первона- чально Хартли определял количество информа- ции, содержащееся в сообщении длины n при наличии алфавита m -символов. В 1928 Р. Хартли ввел логарифмическую меру информации [10] H=n log2(m), (1) которая называется хартлиевским количе- ством информации или мерой Хартли. Величина m – число возможных состояний или число разли- чимых символов в алфавите. Поскольку никакой семантики в такой модели не было, то с течением времени стало ясно, что эта мера (1) определяет информационную емкость сообщения [11], а не семантику информации. Н. Винер сразу назвал теорию К.Э. Шеннона ограниченной и статистиче- ской теорией информации. С этой информацией связаны понятия «соб- ственная информация» (selfinformation), взаим- ная информация и др. Собственная информация трактуется как статистическая функция дискрет- ной случайной величины. Собственная инфор- мация сама является случайной величиной и ееследует отличать от её среднего значения—ин- формационной энтропии. Единицы измерения информации зависят от основания логарифма. Если основание логариф- ма является 2, то единицей измерения информа- ции является бит. Если используется натуральный логарифм, то единицей измерения информации является нат. Если основание логарифма является 10, то единицей измерения информации являет- ся хартли. Для примера рассмотрим количество информации для ситуации о падении монеты «гербом». Вероятность события равна ½. В этом случае собственная информация такого события. В «попугаях», то есть в битах, количество ин- формации всегда больше. Собственную информа- цию можно трактовать как меру не предсказуемо- сти события - чем меньше вероятность события , тем больше его собственная информация. Опять Perspectives of Science & Education. 2017. 1 (25) 22 же это мера емкости, а не семантики. Взаимная информация – статистическая функ- ция двух случайных величин, описывающая коли- чество информации, содержащееся в одной слу- чайной величине относительно другой. Взаимная информация определяется через энтропию и ус- ловную энтропию двух случайных величин как I(X,Y)=H(X)-H(X|Y)=H(X)+H(Y)-H(X,Y) Условная взаимная информация — статистиче- ская функция трёх случайных величин, описыва- ющая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданного значения третьей. Безус- ловная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при ус- ловии заданной третьей случайной величины Данный перечень подчеркивает наличие раз- ных видов информации и разных мер их оценки. Но главное в трактовке информации по К.Э. Шен- нону это применение термина статистическая функция для определения количества информа- ции. Следовательно, для обозначения чего-то другого данная теория может быть неприемлема. Негэнтропия С ростом неопределённости системы или с ее деградацией увеличивается энтропия и вероят- ность принятия неправильного решения. С ро- стом неопределённости системы расширяются размеры пространства информационного поиска. При прогрессивном развитии в системе увели- чивается нгеэнтропия. Рост негэнтропии означа- ет рост упорядоченности. Однако дальше этого утверждения большинство работ не идет. О не- гэнтропии написано не меньше, особенно гума- нитариями, но расчетных формул и описания ее сущности практически нет. Большинство статей сводятся к мысли, что «негэторопия – хорошо, энтропия – плохо». Приведем одну из немного- численных трактовок сущности негэнтропии. Не- гэнтропия J(px) определяется как разница между случайным Гауссовским распределением S (gx) и распределением в реальной ситуации S(px. [12]. J(px) =S (gx)- S(px) Функция S (gx) есть дифференциальная эн- тропия гауссовой плотности с тем же средним и дисперсией, как px.. Функция S(px) есть диффе- ренциальная энтропия распределения величины px с тем же средним и дисперсией, как px. С этих позиций метод оценки J(px) зависит от метода измерения негауссовости. Это поясняется легко, распределение Гаусса характеризует распреде- ление случайной величины, то есть хаос. Все что от него отличается, есть негэнтропия. Эта точка зрения тоже не бесспорна, так как существуют распределения случайных величин иные. Но сам идея выделения из хаоса и случайности «нечто» на основе различия с распределением случайной величины безусловно логична. В молекулярной биологии и термодинамике негэнтропия J состояния определяется [13] как разница между максимальной энтропией Smax и энтропией этого состояния S. J =Smax- S Можно привести пример заблуждения. «Ин- формационная негэнтропия – мера информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически не- зависимые сообщения» [1, 14]. Это полностью со- впадает с точкой зрения Шеннона на энтропию и информацию. Можно согласиться с В.М. Лачиновым и А.О. Поляковым [14] в том, что не количественная информационная наука началась с момента написания Норбертом Винером книги под за- имствованным у Платона и Ампера названием «Кибернетика». Формально многими основной тезис книги воспринимается по названию – про- цессы «управления и связи в животном и маши- нах». Однако, главное по Винеру [14] не модель управления или обратная связь, а отрицательная энтропия в информационном, неколичественном смысле. Противоречие авторов [14]состоит в том, что отмечая правильный подход Винера, они трак- тую негэнтропию и информацию по Шеннону. По Шеннону и его сторонникам информация это ста- тистическая мера снятия неопределенности, рав- ная разности энтропий этих состояний. По Винеру «Информация – это обозначение содержания, полученного из внешнего мира в процессе нашего приспособления к нему и при- спосабливания к нему наших чувств» [15, глава 1]. Отношение информации по Винеру и Шен- нону связано с оппозиционным анализом [16]. Знание (содержание) и неопределенность (не знание) относятся к разным категориям и не об- разуют однозначную оппозицию. Рассмотрим пример, аналогичный в [17]. Рассмотрим гипо- тетический круг, разделенный на 360 секторов. В одном из секторов, допустим в 357, находится объект А. В начальном состоянии человек нахо- дится в состоянии неопределенности и обраща- ется с вопросом к К.Э. Шеннону и Н Винеру: «Где находится объект А?». К.Э. Шеннон в соответствии с теорией снятия неопределенности будет отвечать : «Объект А не находится в секторе 1». «Объект А не находится в секторе 2» и так далее. Для снятия неопреде- ленности он сделает 359 сообщений, не назвав сектор 357. После этого методом исключения че- ловек определит, что объект находится в секторе 357. Каждое из 359 сообщения Шеннна содержит полезную информацию, которая снимает неопре- деленность и приближает человека к правильно- му ответу. Н. Винер даст только один ответ: «Объект А на- ходится в секторе 357». По Винеру только такое сообщение является содержательным и именно Перспективы Науки и Образования. 2017. 1 (25) 23 ЛИТЕРАТУРА 1. https://ru.wikipedia.org/wiki/Энтропия дата доступа 30.01.2017. 2. Лийв Э. Х. Инфодинамика. Обобщенная энтропия и негэнтропия. - Таллинн, 1998. - 200 с. 3. Мартин Н., Ингленд Дж.Математическая теория энтропии.—М.: Мир, 1988.— 350с. 4. Цветков В.Я. Информационная неопределенность и определенность в науках об информации // Информационные технологии. - 2015. - №1. -с.3-7. 5. Цветков В.Я. Рассеяние в информационных процессах // Международный журнал прикладных и фундаментальных исследований. - 2016. - №5. (часть1) – с.141-142. 6. http://psychology_dictionary.academic.ru/9583/ЭНТРОПИЯ. дата доступа 30.01.2017. 7. Кудж С. А. Системный подход // Славянский форум. - 2014. - 1(5). - с.252 -257. 8. Кудж С.А.Многоаспектность рассмотрения сложных систем// Перспективы науки и образования- 2014. - №1. – с38-43. 9. TsvetkovV.Ya. Information Situation and Information Position as a Management Tool // European researcher. Series A. 2012, Vol. (36), 12-1, p.2166- 2170. 10. Hartley, R.V.L.,"Transmission of Information", Bell System Technical Journal, July 1928, pp.535–563. 11. http://www.medical-enc.ru/zrenie/logarifmicheskaya-mera-informatsionnoy-emkosti.shtmlдата доступа 20.01.2017. 12. Measures of Non-Gaussianity. http://fourier.eng.hmc.edu/e161/lectures/ica/node4.html. дата доступа 20.01.2017. 13. Didier G. Leibovici and Christian Beckmann, An introduction to Multiway Methods for Multi-Subject fMRI experiment, FMRIB Technical Report 2001, Oxford Centre for Functional Magnetic Resonance Imaging of the Brain (FMRIB), Department of Clinical Neurology, University of Oxford, John Radcliffe Hospital, Headley Way, Headington, Oxford, UK. 14. В.М. Лачинов, А.О. Поляков. Информодинамика или путь к Открытому миру. –СПб.: Изд-во СПбГТУ, 1999. – 432 с. 15. Норберт Винер. Человек управляющий. Человеческое использование человеческих существ. Кибернетика и общество. - CПб.: Питер, 2001. 16. Сигов А. С., Цветков В.Я. Неявное знание: оппозиционный логический анализ и типологизация // Вестник Российской Академии Наук, 2015, том 85, № 9, - с.800–804. DOI: 10.7868/S0869587315080319. 17. Иванников А.Д., Тихонов А.Н., Цветков В. Я. Основы теории информации - М.: МаксПресс, 2007. - 356с. 18. Дешко И.П. Информационный подход в моделировании // Образовательные ресурсы и технологии. – 2016. - №5 (17). – с.21-26. такое сообщение содержит информацию. Таким образом, снятие неопределенности для N состояний ведет к N-1 сообщениям, снимаю- щим неопределенность. Эти N-1 сообщений рав- нозначны одному содержательному сообщению. Это имеет отношение и энтропии и негэнтропии. Сообщения и информация, получаемая с помо- щью энтропийного подхода, устраняют неопреде- ленность. Сообщения и информация, получаемая с по- мощью негэнтропийного подхода, передает со- держательность. Из приведенного примера сле- дует, что в N равновероятных состояниях одно содержательное сообщение равнозначно состоя- ний N-1 сообщениям, снимающим неопределен- ность. Но это еще не все. С точки зрения прагмати- ки неполное количество сообщений, снимающих неопределенность, хотя и содержит полезную информацию, но практической ценности не пред- ставляет, поскольку не дает возможность приня- тия обоснованного решения. Содержательное сообщение в приведенном примере - это пример применения негэнтропии. Сообщения, снимающие неопределенность это пример применения энтропии. Это разные виды информации, имеющие разные качества и при- равнивать их нельзя. Этот пример подчеркивает различие между негэнтропией и энтропией в ка- чественном и количественном смысле. Заключение Анализ показывает, что применительно к совре- менному развитию наук и устоявшемуся понятию «информационный подход» [18], энтропию надо соотносить не с системой, а с информационной ситуацией. Это требует развития теории энтропии применительно к взаимосвязи информационной ситуации и количества информации, определяе- мой через энтропию. Слабым местом энтропийно- го подхода является не учет информации, которую задают связи между символами в сообщении. Сим- волы рассматриваются как единственные носители информации, которую определяют по частоте по- явления символа в языке. Анализ показывает, что применительно к современному развитию наук эн- тропийный подход оценивает не количество инфор- мации, а информационную емкость сообщения, безотносительно к смысловой нагрузке сообщения. Необходимо разграничит содержательную инфор- мацию и информацию снимающую неопределен- ность, так как качественно и количественно они не эквивалентны. Негэнтропия является мерой поряд- ка, упорядоченности, но это не значит, что ее мож- но рассматривать как энтропию с обратным знаком. Между негэнтропией и энтропий такая же разница как между содержательной информацией по Н. Винеру и информацией снимающей неопределен- ность по К.Э. Шеннону. Информация об авторе Лотоцкий Владимир Леонтьевич (Россия, Москва) Профессор, д.т.н., Профессор кафедры информатики и информационных систем Института информационных технологий Московский технологический университет E-mail: kafippo@bk.ru Lototsky, Vladimir Leontievich (Russia, Moscow) Professor, Ph. D., Professor, Department of computer science and information systems Institute of information technology Moscow technological University E-mail: kafippo@bk.ru |