Винер Н. Кибернетика, или управление и связь в... Httpgrachev62. narod ru
 Скачать 2.71 Mb.
|
|
ПРИМЕЧАНИЯ 1 В современной механике термин “импульс” (в отличие от “импульса силы”) означает то же, что и “количество движения”. Наш выбор следует наметившейся традиции русской литературы по динамическим системам. В оригинале Винер употребляет традиционный английский термин “momentum”. – Прим. ред. Вернуться к тексту 2 Это пространство называется фазовым пространством системы: его точки изображают различные фазы, или состояния, системы. Термин “фазовое пространство” появляется у Винера несколько ниже без пояснения – Прим. ред. Вернуться к тексту 3 Oxtoby J.С., Ulam S.M. Measure – Preserving Homeomorphisms and Metrical Transitivity. // Ann. of Math. – Ser. 2. – 1941. – Vol. 42. – P. 874–920. Вернуться к тексту 4 Тем не менее некоторые из ранних работ Осгуда представляют важный шаг в направлении к интегралу Лебега. Вернуться к тексту 5 Норf E. Ergodcntheorie. // Ergeb. Math. – 1937. – B. 5. – № 2, Springer, Berlin. Вернуться к тексту 6 Известная сказка английского писателя Льюиса Кэрролла (Ч.Л. Доджсона, 1832–1898), неоднократно издававшаяся в русском переводе. – Прим. ред. Вернуться к тексту 7 Читатель, не ошибись в истолковании титула! Это, конечно, фигура с игральной карты – червонная дама, если быть очень точным. Мы, однако, следуем за русским переводом сказки. – Прим-ред. Вернуться к тексту 8 По имени норвежского математика Нильса Абеля (1802–1829). – Прим. ред. Вернуться к тексту 9 Wiener N. The Fourier Integral and Certain of Its Applications. – Cambridge, England: the University Press; N.Y.: Dover Publications, Inc., 1933 (русский перевод: Винер Н. Интеграл Фурье и некоторые его применения. – М.: Физматгиз, 1963). – Прим. ред. Вернуться к тексту 10 Haar H. Der Maβbegriff in der Theorie der Kontinuierlichen Gruppen. // Ann. of Math. – Ser. 2. – 1933. – Vol. 34. – P. 147–169. Вернуться к тексту 11 См. также: Винер Н. Теория предсказания. // Современная математика для инженеров. / Под ред. Э.Ф. Беккенбаха. – М.: ИЛ, 1959. С. 185–215. – Прим. ред. Вернуться к тексту 12 l.i.m. (the limit in the mean) – применяемое Винером обозначение предела в среднем (употребляется и в русском переводе его “Интеграла Фурье”) – Прим. ред. Вернуться к тексту 13 Идея такого существа, нарушающего второй закон термодинамики, изложена Максвеллом в 1871 г. в его “Теории теплоты” (Maxwell S.С. Theory of Heat. – London: Longmans, Green, and Co., 1871. Chap. XXII. Р. 308–309; русское издание: Максуэлль К. Теория теплоты в элементарной обработке. / Пер. с 7-го англ. издания. – Киев: Типография И.Н. Кушнерева и Ко, 1888. Гл. XXII. С. 288–289). – Прим. ред. Вернуться к тексту  Конец формы Винер Н. Кибернетика, или управление и связь в животном и машине. – 2-е издание. – М.: Наука; Главная редакция изданий для зарубежных стран, 1983. – 344 с. Красным шрифтом в квадратных скобках обозначается конец текста на соответствующей странице печатного оригинала данного издания III. ВРЕМЕННЫЕ РЯДЫ, ИНФОРМАЦИЯ И СВЯЗЬ Существует широкий класс явлений, в которых объектом наблюдения служит какая-либо числовая величина или последовательность числовых величин, распределенные во времени. Температура, непрерывно записываемая самопишущим термометром; курс акций на бирже в конце каждого дня; сводка метеорологических данных, ежедневно публикуемая бюро погоды, – все это временные ряды, непрерывные или дискретные, одномерные или многомерные. Эти временные ряды меняются сравнительно медленно, и их вполне можно обрабатывать посредством вычислений вручную или при помощи обыкновенных вычислительных приборов, таких, как счетные линейки и арифмометры. Их изучение относится к обычным разделам статистической науки. Но не все отдают себе отчет в том, что быстро меняющиеся последовательности напряжений в телефонной линии, телевизионной схеме или радиолокаторе точно так же относятся к области статистики и временных рядов, хотя приборы, которые их комбинируют и преобразуют, должны, вообще говоря, обладать большим быстродействием и, более того, должны выдавать результаты одновременно с очень быстрыми изменениями входного сигнала. Эти приборы: телефонные аппараты, волновые фильтры, автоматические звукокодирующие устройства типа вокодера1 Белловских телефонных лабораторий, схемы частотной модуляции и соответствующие им приемники – по существу [c.119] представляют собой быстродействующие арифметические устройства, соответствующие всему собранию вычислительных машин и программ статистического бюро, вместе со штатом вычислителей. Необходимый для их применения разум был вложен в них заранее, так же как и в автоматические дальномеры и системы управления артиллерийским зенитным огнем и по той же причине: цепочка операций должна выполняться настолько быстро, что ни в одном звене нельзя допустить участия человека. Все эти временные ряды и все устройства, работающие с ними, будь то в вычислительном бюро или в телефонной схеме, связаны с записью, хранением, передачей и использованием информации. Что же представляет собой эта информация и как она измеряется? Одной из простейших, наиболее элементарных форм информации является запись выбора между двумя равновероятными простыми альтернативами, например между гербом и решеткой при бросании монеты. Мы будем называть решением однократный выбор такого рода. Чтобы оценить теперь количество информации, получаемое при совершенно точном измерении величины, которая заключена между известными пределами А и В и может находиться с равномерной априорной вероятностью где угодно в этом интервале, положим А=0, В=1 и представим нашу величину в двоичной системе бесконечной двоичной дробью 0, а1, а2, а3, …, an, …, где каждое а1, а2, … имеет значение 0 или 1. Здесь
Мы видим, что число сделанных выборов и вытекающее отсюда количество информации бесконечны. Однако в действительности никакое измерение не производится совершенно точно. Если измерение имеет равномерно распределенную ошибку, лежащую в интервале длины 0, b1, b2, …, bn, …, где bk – первый разряд, отличный от 0, то, очевидно, все решения от а1 до аk–1 и, возможно, до ak будут значащими, а все последующие – нет. Число принятых решений, очевидно, близко к
[c.120] и это выражение мы примем за точную формулу количества информации и за его определение. Это выражение можно понимать следующим образом: мы знаем априори, что некоторая переменная лежит между нулем и единицей, и знаем апостериори, что она лежит в интервале (а, b) внутри интервала (0, 1). Тогда количество информации, извлекаемой нами из апостериорного знания, равно
Рассмотрим теперь случай, когда мы знаем априори, что вероятность нахождения некоторой величины между х и x+dx равна f1(x)dx, а апостериорная вероятность этого равна f2(x)dx. Сколько новой информации дает нам наша апостериорная вероятность? Эта задача, но существу, состоит в определении ширины областей, расположенных под кривыми y=f1(x) и у=f2(x). Заметим, что, по нашему допущению, переменная х имеет основное равномерное распределение, т.е. наши результаты, вообще говоря, будут другими, если мы заменим х на х3 или на какую-либо другую функцию от х. Так как f1(x) есть плотность вероятности, то
Поэтому средний логарифм ширины области, расположенной под кривой f1(x), можно принять за некоторое среднее значение высоты логарифма обратной величины функции f1(x). Таким образом, разумной мерой2 количества информации, связанного с кривой f1(x), может служить3 [c.121]
Величина, которую мы здесь определяем как количество информации, противоположна по знаку величине, которую в аналогичных ситуациях обычно определяют как энтропию. Данное здесь определение не совпадает с определением Р.А. Фишера для статистических задач, хотя оно также является статистическим определением и может применяться в методах статистики вместо определения Фишера. В частности, если f1(x) постоянна на интервале (а, b) и равна нулю вне этого интервала, то
Используя это выражение для сравнения информации о том, что некоторая точка находится в интервале (0, 1), с информацией о том, что она находится в интервале (а, b), получим как меру разности
Определение, данное нами для количества информации, пригодно также в том случае, когда вместо переменной х берется переменная, изменяющаяся в двух или более измерениях. В двумерном случае f1 (x, y) есть такая функция, что
и количество информации равно
Заметим, что если f1(x, y) имеет вид φ(х)ψ(у) и
[c.122] то
и
т.е. количество информации от независимых источников есть величина аддитивная. Интересной задачей является определение информации, получаемой при фиксации одной или нескольких переменных в какой-либо задаче. Например, положим, что переменная и заключена между х и x+dx с вероятностью ,а переменная v заключена между теми же двумя пределами с вероятностью Сколько мы приобретаем информации об и, если знаем, что u+v=w? В этом случае очевидно, что u=w—v, где w фиксировано. Мы полагаем, что априорные распределения переменных и и v независимы, тогда апостериорное распределение переменной и пропорционально величине
где c1 и c2 — константы. Обе они исчезают в окончательной формуле. Приращение информации об и, когда мы знаем, что w таково, каким мы его задали заранее, равно
Заметим, что выражение (3.091) положительно и не зависит от w. Оно равно половине логарифма от отношения суммы средних квадратов переменных и и v к среднему квадрату переменной v. Если v имеет лишь малую область изменения, то количество информации об и, которое дается знанием суммы u+v, велико и становится бесконечным, когда b приближается к нулю. Мы можем истолковать этот результат следующим образом. Будем рассматривать и как сообщение, а v – как помеху. Тогда информация, переносимая точным сообщением в отсутствие помехи, бесконечна. Напротив, при наличии помехи это количество информации конечно и быстро приближается к нулю по мере увеличения силы помехи. Мы сказали, что количество информации, будучи отрицательным логарифмом величины, которую можно рассматривать как вероятность, по существу есть некоторая отрицательная энтропия. Интересно отметить, что эта величина в среднем имеет свойства, которые мы приписываем энтропии. Пусть φ(х) и ψ(x) – две плотности вероятностей, тогда также есть плотность вероятности и
Это вытекает из того, что
Другими словами, перекрытие областей под φ(х) и ψ(x) уменьшает максимальную информацию, заключенную в сумме φ(х)+ψ(x). Если же φ(х) есть плотность [c.124] вероятности, обращающаяся в нуль вне (а, b), то интеграл
имеет наименьшее значение, когда на интервале (а, b) и φ(х)=0 вне этого интервала. Это вытекает из того, что логарифмическая кривая выпукла вверх.Как и следовало ожидать, процессы, ведущие к потере информации, весьма сходны с процессами, ведущими к росту энтропии. Они состоят в слиянии областей вероятностей, первоначально различных. Например, если мы заменяем распределение некоторой переменной распределением функции от нее, принимающей одинаковые значения при разных значениях аргумента, или в случае функции нескольких переменных позволяем некоторым из них свободно пробегать их естественную область изменения, мы теряем информацию. Никакая операция над сообщением не может в среднем увеличить информацию. Здесь мы имеем точное применение второго закона термодинамики к технике связи. Обратно, уточнение в среднем неопределенной ситуации приводит, как мы видели, большей частью к увеличению информации и никогда – к ее потере. Интересен случай, когда мы имеем распределение вероятностей с n-мерной плотностью f(х1, …, xn) по переменным (х1, …, xn) и m зависимых переменных y1, …, ym. Сколько информации мы приобретаем при фиксации таких т переменных? Пусть они сперва фиксируются между пределами y1*, y1*+dy1*, …, ym*, ym*+dym*. Примем х1, x2, …, xn–m, у1, y2, ..., ут за новую систему переменных. Тогда для новой системы переменных наша функция распределения будет пропорциональна f1(х1, …, xn) над областью R, определенной условиями |