ОЦЕНКА КОЛИЧЕСТВЕННЫХ ПАРАМЕТРОВ ТЕКСТОВЫХ ДОКУМЕНТОВ. Оценка количественных параметров текстовых документов

• Название: Оценка количественных параметров текстовых документов
• Дата: 24.03.2023
• Размер: 0.51 Mb.
• Имя файла: ОЦЕНКА КОЛИЧЕСТВЕННЫХ ПАРАМЕТРОВ ТЕКСТОВЫХ ДОКУМЕНТОВ.ppt
• Тип: Документы; #1012621

ОЦЕНКА КОЛИЧЕСТВЕННЫХ ПАРАМЕТРОВ ТЕКСТОВЫХ ДОКУМЕНТОВ

ОБРАБОТКА ТЕКСТОВОЙ ИНФОРМАЦИИ

Ключевые слова

кодовая таблица
восьмиразрядный двоичный код
информационный объём текста


Представление текстовой информации в памяти компьютера


Текст состоит из символов - букв, цифр, знаков препинания и т. д., которые компьютер различает по их двоичному коду.


Соответствие между изображениями символов и кодами символов устанавливается с помощью кодовых таблиц.


Кодовая таблица


0 – 32 - управляющие символы


33 – 127 – латинские буквы, знаки препинания, цифры, знаки арифметических операций


128 – 255 – буквы национального алфавита


ASCII


Представление текстовой информации в памяти компьютера


Соответствие между изображениями символов и кодами символов устанавливается с помощью кодовых таблиц.


Фрагмент кодовой таблицы ASCII

Символ	Десятичный код	Двоичный код	Символ	Десятичный код	Двоичный код
Пробел	32	00100000	0	48	00110000
!	33	00100001	1	49	00110001
#	35	00100011	2	50	00110010
$	36	00100100	3	51	00110011
*	42	00101010	4	52	00110100
=	43	00101011	5	53	00110101
,	44	00101100	6	54	00110110
-	45	00101101	7	55	00110111
_	46	00101110	8	56	00111000
/	47	00101111	9	57	00111001
A	65	010000001	N	78	01001110
B	66	01000010	O	79	010001111
C	67	01000011	P	80	01010000

Представление текстовой информации в памяти компьютера


Соответствие между изображениями символов и кодами символов устанавливается с помощью кодовых таблиц.


Коды русских букв в разных кодировках

Символ	Кодировка
	Windows		КОИ-8
	десятичный код	двоичный код	десятичный код	двоичный код
А	192	11000000	225	11100001
Б	193	11000001	226	11100010
В	194	11000010	247	11110111

Стандарт кодирования символов Unicode позволяет пользоваться более чем двумя языками.
В Unicode каждый символ кодируется шестнадцатиразрядным двоичным кодом. Такое количество разрядов позволяет закодировать 65 536 различных символов: 216 = 65 536.


Информационный объём фрагмента текста


I = Ki


I - информационный объём сообщения
K – количество символов
i – информационный вес символа


В зависимости от разрядности используемой кодировки информационный вес символа текста, создаваемого на компьютере, может быть равен:
8 битов (1 байт) - восьмиразрядная кодировка;
16 битов (2 байта) - шестнадцатиразрядная кодировка.


Информационный объём фрагмента текста - это количество битов, байтов (килобайтов, мегабайтов), необходимых для записи фрагмента оговорённым способом кодирования.


Информационный объём фрагмента текста


Задача 1. Считая, что каждый символ кодируется одним байтом, определите, чему равен информационный объём следующего высказывания Жан-Жака Руссо:
Тысячи путей ведут к заблуждению, к истине - только один.


Информационный объём фрагмента текста


Задача 1. Считая, что каждый символ кодируется одним байтом, определите, чему равен информационный объём следующего высказывания Жан-Жака Руссо:
Тысячи путей ведут к заблуждению, к истине - только один.
Решение
В данном тексте 57 символов (с учётом знаков препинания и пробелов). Каждый символ кодируется одним байтом. Следовательно, информационный объём всего текста - 57 байтов.
Ответ: 57 байтов.


Информационный объём фрагмента текста


Задача 2. В кодировке Unicode на каждый символ отводится два байта. Определите информационный объём слова из 24 символов в этой кодировке.


Информационный объём фрагмента текста


Задача 2. В кодировке Unicode на каждый символ отводится два байта. Определите информационный объём слова из 24 символов в этой кодировке.
Решение.
I = 24  2 = 48 (байтов).
Ответ: 48 байтов.