СРОП3Акпарат. ОСЖ 3. Шеннон теориясындаы апарат тсінігі Зарипов Диас вт101 Американды аын жне эссеист Джон Перри Барлоу Апарат мір сру формасы

• Название: ОСЖ 3. Шеннон теориясындаы апарат тсінігі Зарипов Диас вт101 Американды аын жне эссеист Джон Перри Барлоу Апарат мір сру формасы
• Дата: 16.10.2022
• Размер: 19.26 Kb.
• Имя файла: СРОП3Акпарат.docx
• Тип: Документы; #737113

ОСӨЖ №3. Шеннон теориясындағы ақпарат түсінігі

Зарипов Диас ВТ-101

Американдық ақын және эссеист Джон Перри Барлоу: «Ақпарат – өмір сүру формасы» деп жазды. Шынында да, біз үнемі «ақпарат» сөзін кездестіреміз - ол қабылданады, беріледі және сақталады. Ауа райы болжамын немесе футбол матчының нәтижесін, фильмнің немесе кітаптың мазмұнын біліңіз, телефонмен сөйлесіңіз - біз қандай ақпаратпен айналысатынымыз әрқашан түсінікті. Бірақ ақпараттың өзі қандай, ең бастысы - оны қалай өлшеуге болады, әдетте ешкім ойламайды. Сонымен қатар, ақпарат және оны беру әдістері біздің өмірімізді айқындайтын маңызды нәрсе, оның ажырамас бөлігіне ақпараттық технология айналды. Laba.Media ғылыми редакторы Владимир Губайловский ақпарат деген не, оны қалай өлшеуге болады және неліктен ең қиыны ақпаратты бұрмалаусыз жеткізу екенін түсіндіреді.

Кездейсоқ оқиғалар кеңістігі

1946 жылы американдық статистик Джон Туки 20 ғасырдың негізгі концепцияларының бірі – BIT (BIT, BInary digit – «binary number» - «Hi-tech») атауын ұсынды. Тукей 0 немесе 1 мәнін қабылдай алатын жалғыз екілік цифрды белгілеу үшін битті таңдады. Клод Шеннон өзінің «Байланыстың математикалық теориясы» атты негізгі баяндамасында биттермен ақпарат көлемін өлшеуді ұсынды. Бірақ бұл Шеннон өз мақаласында енгізген және зерттеген жалғыз тұжырымдама емес.

Екі жағында басы бар жалғыз жалған монетаны лақтырудан тұратын кездейсоқ оқиғалар кеңістігін елестетіп көріңіз. Бүркіт қашан түседі? Әрқашан болатыны анық. Біз мұны алдын ала білеміз, өйткені біздің кеңістігіміз осылай реттелген. Бастарды алу – белгілі бір оқиға, яғни оның ықтималдығы 1. Құлаған бастар туралы айтсақ, қанша ақпарат айтамыз? Жоқ. Біз мұндай хабарламадағы ақпарат көлемін 0 деп есептейміз.

Енді дұрыс тиынды лақтырайық: оның бір жағында басы, екінші жағында құйрығы бар. Бастарды немесе құйрықты алу біздің кездейсоқ оқиғалар кеңістігін құрайтын екі түрлі оқиға болады. Егер біз бір лақтырудың нәтижесін айтатын болсақ, бұл шынымен де жаңа ақпарат болады. Бастар бойынша біз 0 есеп береміз, ал құйрықтарда 1 есеп береміз. Бұл ақпаратты хабарлау үшін бізге тек 1 бит қажет.

Не өзгерді? Біздің оқиға кеңістігінде белгісіздік пайда болды. Өзі тиын лақтырмайтын, лақтырғанның нәтижесін көрмеген адамға бұл туралы айтарымыз бар. Бірақ біздің хабарламамызды дұрыс түсіну үшін ол біздің не істеп жатқанымызды, 0 және 1 нені білдіретінін білуі керек.Оқиға кеңістігіміз сәйкес болуы керек және декодтау процесі лақтыру нәтижесін бір мәнді түрде қалпына келтіруі керек. Егер жіберу мен қабылдаудың оқиға кеңістігі сәйкес келмесе немесе хабарламаны бір мәнді декодтау мүмкіндігі болмаса, ақпарат байланыс арнасында шу ғана қалады.

Егер екі монета бір-бірінен тәуелсіз және бір уақытта лақтырылатын болса, онда төрт бірдей ықтимал нәтиже болады: бас-бас, бас-құйрық, құйрық-бас және құйрық-құйрық. Ақпаратты жіберу үшін бізге қазірдің өзінде 2 бит қажет және біздің хабарламаларымыз келесідей болады: 00, 01, 10 және 11. Ақпарат екі есе көп болды. Бұл белгісіздіктің артуына байланысты болды. Мұндай қос лақтырудың нәтижесін болжауға тырыссақ, қателесу мүмкіндігіміз екі есе жоғары.

Оқиға кеңістігінің белгісіздігі неғұрлым көп болса, оның күйі туралы хабарлама соғұрлым көп ақпаратты қамтиды.

қиға кеңістігімізді сәл қиындатып көрейік. Осы уақытқа дейін болған оқиғалардың барлығы бірдей ықтимал болды. Бірақ нақты кеңістіктерде барлық оқиғалардың ықтималдығы бірдей емес. Біз көрген қарғаның қара болу ықтималдығы 1-ге жақын делік. Көшеде бірінші кездескен адамның адам болу ықтималдығы шамамен 0,5. Бірақ Мәскеу көшелерінде қолтырауынды кездестіру сенгісіз дерлік. Интуитивті түрде біз қолтырауынмен кездесу туралы хабарламаның қара қарғаға қарағанда әлдеқайда үлкен ақпараттық құндылыққа ие екенін түсінеміз. Оқиғаның ықтималдығы неғұрлым төмен болса, хабарламада мұндай оқиға туралы ақпарат соғұрлым көп болады.

Оқиғалар кеңістігі соншалықты экзотикалық болмасын. Біз жай ғана терезенің алдында тұрып, өтіп бара жатқан көліктерге қараймыз. Төрт түсті көліктер өтіп жатыр, ол туралы хабарлауымыз керек. Ол үшін түстерді кодтаймыз: қара – 00, ақ – 01, қызыл – 10, көк – 11. Қай көлік өткенін хабарлау үшін бізге тек 2 бит ақпарат беру керек.

Бірақ көліктерді ұзақ уақыт бақылай отырып, біз автомобильдердің түсі біркелкі емес бөлінгенін байқаймыз: қара - 50% (әр секунд сайын), ақ - 25% (әрбір төртінші), қызыл және көк - әрқайсысында 12,5% ( әрбір сегізінші). Содан кейін жіберілген ақпаратты оңтайландыруға болады.

Көліктердің көпшілігі қара, сондықтан қара түсті белгілейік - 0 - ең қысқа код, ал қалғандарының коды 1-ден басталсын. Қалған жартысының ақ - 10, ал қалған түстер 11-ден басталады. Соңында, белгілеңіз қызыл – 110, ал көк – 111.

Енді көліктердің түсі туралы ақпаратты бере отырып, біз оны тығызырақ кодтай аламыз.

Шеннон бойынша энтропия

Оқиға кеңістігіміз n түрлі оқиғадан тұрсын. Екі басы бар тиынды лақтырғанда, дәл осындай бір оқиға болады, бір дұрыс тиын лақтырғанда - 2, екі тиын лақтырғанда немесе көліктерді көргенде - 4. Әрбір оқиға оның пайда болу ықтималдығына сәйкес келеді. Монетаны екі баспен лақтырғанда бір ғана оқиға (бастар) болады және оның ықтималдығы p1 = 1. Дұрыс монета лақтырылғанда екі оқиға болады, олардың ықтималдығы бірдей және әрқайсысының ықтималдығы 0,5: p1 = 0,5, p2 = 0,5. Екі дұрыс монетаны лақтырған кезде төрт оқиға бар, олардың барлығы бірдей ықтимал және әрқайсысының ықтималдығы 0,25: p1 = 0,25, p2 = 0,25, p3 = 0,25, p4 = 0,25. Автокөліктерді бақылағанда төрт оқиға болады және олардың ықтималдығы әртүрлі: қара – 0,5, ақ – 0,25, қызыл – 0,125, көк – 0,125: p1 = 0,5, p2 = 0,25, p3 = 0,125, p4 = 0,125.

Бұл кездейсоқтық емес. Шеннон энтропияны (оқиғалар кеңістігіндегі белгісіздік өлшемі) үш шарт орындалатындай етіп таңдады:

• 
  1 Ықтималдығы 1 болатын белгілі бір оқиғаның энтропиясы 0-ге тең.
  

• 
  Екі тәуелсіз оқиғаның энтропиясы осы оқиғалардың энтропияларының қосындысына тең.
  

• 
  Барлық оқиғалардың ықтималдығы бірдей болса, энтропия максималды болады.
  

Бұл талаптардың барлығы оқиға кеңістігінің белгісіздігі туралы біздің идеяларымызға әбден сәйкес келеді. Егер бір ғана оқиға болса (бірінші мысал), белгісіздік болмайды. Егер оқиғалар тәуелсіз болса - қосындының белгісіздігі белгісіздіктердің қосындысына тең - олар жай ғана қосылады (екі тиынды лақтыру мысалы). Және, ең соңында, егер барлық оқиғалар бірдей ықтимал болса, онда жүйенің белгісіздік дәрежесі максималды болады. Екі монета лақтырылған кездегідей, барлық төрт оқиғаның ықтималдығы бірдей және энтропия 2-ге тең, бұл автомобильдер жағдайына қарағанда үлкен, төрт оқиға болған кезде, бірақ олардың ықтималдығы әртүрлі - бұл жағдайда энтропия 1,75 құрайды.

Н мәні ақпарат, таңдау және белгісіздік көлемінің өлшемі ретінде ақпарат теориясында орталық рөл атқарады.

Клод Шеннон

Клод Элвуд Шеннон- американдық инженер, криптоаналитик және математик. «Ақпарат дәуірінің атасы» деп саналады. Заманауи жоғары технологиялық коммуникациялық жүйелерде қолдануын тапқан ақпарат теориясының негізін салушы. Ол қазіргі уақытта заманауи коммуникациялық технологиялардың негізін құрайтын іргелі ұғымдарды, идеяларды және олардың математикалық тұжырымдарын ұсынды.

1948 жылы ол ақпараттың ең кіші бірлігіне қатысты «бит» сөзін қолдануды ұсынды. Ол сонымен қатар ол енгізген энтропия жіберілген хабарламадағы ақпараттың белгісіздігінің өлшеміне тең екенін көрсетті. Шеннонның «Байланыстың математикалық теориясы» және «Құпия жүйелердегі байланыс теориясы» мақалалары ақпарат теориясы мен криптография үшін іргелі болып саналады.

Екінші дүниежүзілік соғыс кезінде Шеннон Bell Laboratories-те криптографиялық жүйелерді әзірледі, бұл кейінірек оған қателерді түзетудің кодтау әдістерін табуға көмектесті.

Шеннон ықтималдық схемалар теориясына, ойын теориясына, автоматтар теориясына және басқару жүйесі теориясына – «кибернетика» концепциясына кіретін ғылым салаларына негізгі үлес қосты.

Кодтау

Лақтырылған тиындар да, өтіп бара жатқан көліктер де 0 және 1 сандарына ұқсамайды. Кеңістікте болып жатқан оқиғаларды жеткізу үшін осы оқиғаларды сипаттау тәсілін ойлап табу керек. Бұл сипаттама кодтау деп аталады.

Хабарламаларды шексіз санда әртүрлі тәсілдермен кодтауға болады. Бірақ Шеннон ең қысқа код энтропиядан биттен кем болмауы мүмкін екенін көрсетті.

Сондықтан хабарламаның энтропиясы хабарламадағы ақпараттың өлшемі болып табылады. Қарастырылған барлық жағдайларда кодтаудағы биттердің саны энтропияға тең болғандықтан, кодтау оңтайлы болды дегенді білдіреді. Қысқасы, енді біздің кеңістіктеріміздегі оқиғалар туралы хабарламаларды кодтау мүмкін емес.