камальдинова. Мультимедиа технологии
 Скачать 6.03 Mb.
|
|
ФЕДЕРАЛЬНОЕ АГЕНТСТВО СВЯЗИ Федеральное государственное бюджетное образовательное учреждение высшего образования «ПОВОЛЖСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ТЕЛЕКОММУНИКАЦИЙ И ИНФОРМАТИКИ» Кафедра информационных систем и технологий А.А. Диязитдинова МУЛЬТИМЕДИА ТЕХНОЛОГИИ Учебное пособие Самара 2020 2 УДК 004.4 ББК 3.30.30ф Д Рекомендовано к изданию методическим советом ПГУТИ, протокол № 2 от 13.10.2020 г. Диязитдинова А.А. Д Мультимедиа технологии: учебное пособие/А.А. Диязитдинова. – Самара: ПГУТИ, 2020. – 437 с. Рассматриваются принципы мультимедийных технологий: аппаратные и программные средства для создания и редактирования элементов мультимедиа, способы формирования аудио, видеосигналов и компьютерной графики; приведены основы работы цифрового телевидения, в том числе прицепы кодирования по стандартам MPEG-1 и MPEG-2, технологии создания и прицепы функционирования телевизоров, поддерживающих прием и визуализацию цифровых сигналов: плазменные, жидкокристаллические и OLED- телевизоры, описаны принципы трехмерной графики и получения стерео видеоизображений, заключительный раздел посвящен описанию современных технологий для хранения на форматах CD и DVD, отображения с использованием электронной бумаги и виртуальной реальности, а также измерения по технологии Lidar. Данное учебное издание рекомендуется к использованию в образовательных учреждениях, реализующих образовательные программы высшего профессионального образования, по дисциплине «Мультимедиа технологии» по специальности 09.03.02 «Информационные системы и технологии». Диязитдинова А.А., 2020 ПГУТИ., 2020 3 ОГЛАВЛЕНИЕ Предисловие 7 Введение 9 Лекция 1. Понятие мультимедиа технологий. Xарактеристики мультимедиа 12 1.1 Понятие мультимедиа технологий. Характеристики мультимедиа 12 1.2 Мультимедиа технологии в образовании 19 Лекция 2. Аппаратные и программные средства для создания и редактирования элементов мультимедиа 22 2.1 Аппаратные и программные средства для создания и редактирования элементов мультимедиа 22 2.2 Аппаратные средства для создания и редактирования элементов мультимедиа 25 2.3 Видеокарта 31 Лекция 3. Средства мультимедиа. Аудио 39 3.1 Определение понятия «аудио». Форматы сжатия аудио 39 3.2 Кодирование и обработка звуковой информации на компьютере 42 3.3 Параметры дискретизации 47 3.4 Задачи по кодированию звука 51 Лекция 4. Средства мультимедиа. Компьютерная графика 54 4.1 Понятие компьютерной графики 54 4.2 Растровое представление графической информации 55 4.3 Векторное представление графической информации 65 4.4 Универсальные и векторные графические форматы 67 4.5 Векторное кодирование графической информации 71 4.6 Цветовые модели 75 4.7 Цветовая модель RGB 76 4.8 Цветовая модель SMYK 79 4.9 Цветовая модель HSB 83 4.10 Цветовая модель Lab 84 4.11 Цветовая модель Grayscale 85 4.12 Индексные цвета 86 Лекция 5. Средства мультимедиа. Видео 91 4 5.1 Понятие видео 91 5.2 Стандарты: PAL, SECAM, NTSC 91 5.3 Характеристики видеосигнала 95 5.4 Качество видео. Классификация 106 5.5 Стандарты цифрового кодирования и сжатия видеоматериалов 111 Лекция 6. Цифровое телевидение 116 6.1 Этапы истории цифрового телевидения 118 6.2 Европейский стандарт цифрового телевидения DVB-Т 122 6.3 Американский стандарт цифрового телевидения ATSK 123 6.4 Японский стандарт цифрового телевидения ISDB-T 123 6.5 Китайский стандарт цифрового телевидения DTMB 124 6.6 Уровни качества цифрового телевизионного вещания 125 6.7 Стандарт DVB 129 6.8 Модели кодирования сигналов 135 6.9 Стандартизация 139 Лекция 7. Стандарты сжатия движущихся изображений и MPEG-1 и MPEG-2 143 7.1 Стандарты сжатия MPEG 145 7.2 Стандарт сжатия MPEG-1 146 7.3 Стандарт сжатия MPEG2 151 7.4 Форматы MPEG следующего поколения 162 Лекция 8. Плазменные технологии 171 8.1 Определение плазменной панели 171 8.2 История развития плазменных панелей 172 8.3 Конструкция плазменных экранов 173 Лекция 9. Жидкие кристаллы. Технология OLED 193 9.1 Жидкие кристаллы 193 9.2 Виды матриц 196 9.3 Параметры ЖК-мониторов 204 9.4 Технология OLED 207 Лекция 10. Трехмерная графика и 3D моделирование 217 10.1 Виды трехмерной графики 217 5 10.2 Освещение 225 10.3 Рендеринг 229 10.4 Сглаживание 233 10.5 Пакеты для моделирования 3D 234 Лекция 11 3D. Стереокино. Стереокинематограф 237 11.1 3D. Стереокино 237 11.2 Историческая справка 241 11.3 Виды ЖК дисплеев 243 11.4 Стереокинематограф 249 11.5 Технологии стереосъемки 250 11.6 Виды стереосъемки 251 11.7 Методы стереосъемки 252 11.8 Виды оборудования для стереосъемки 253 11.9 История развития стереокинематографа 257 11.10 Форматы стереофильмов 263 Лекция 12. Работа с видео. Сжатие видеоинформации. Технология CD- и DVD-дисков 272 12.1 Технология компакт-дисков 274 12.2 Типы компакт дисков 276 12.3 Форматы CD-DA (CD Audio), Data CD, VideoCD, Super Audio CD (SACD), Super Video CD (SVCD) и смешанные форматы 280 12.4 Устройство DVD 287 12.5 HD DVD, Blu-ray 291 12.6 Технические детали 298 Лекция 13. Электронная бумага 310 13.1 Электронная бумага 311 13.2 История развития электронной бумаги 314 13.3 Характеристики электронных книг 322 13.4 Поколение дисплея E-Ink 327 13.5 Применение электронной бумаги 331 Лекция 14. Виртуальная реальность 341 14.1 История виртуальной реальности 343 6 14.2 Создание условной виртуальной реальности 348 14.3 Прожективные виртуальные реальности 349 14.4 Пограничные виртуальные реальности 350 14.5 Технологии виртуальной (VR) и дополненной (AR) 353 14.6 Области применения виртуальной реальности 357 Лекция 15. Основы информационного дизайна 372 15.1 Основы информационного дизайна. Базовые понятия векторной графики 372 15.2 Принципы дизайна 378 Лекция 16. Технология Лидар 399 16.1 Принцип работы технологии Лидар 404 16.2 Использование технологии Lidar 404 16.3 Применение Lidar 405 16.4 Примеры практического применения связки LiDAR и дронов 414 Список литературы 420 Глоссарий 421 Список терминов и сокращений 431 7 ПРЕДИСЛОВИЕ Настоящий курс лекций предназначен для студентов по направлению подготовки 09.03.02 – Информационные системы и технологии. Цель данного учебного пособия состоит в том, чтобы в краткой и доступной форме изложить основы мультимедийных технологий, которые включают в себя такие направления как аппаратные и программные средства для работы с аудио- и видеоинформацией, компьютерную графику, стандарты передачи цифрового телевидения, способы визуализации видеоизображений, предназначенные для цифровых сигналов радиосвязи, трехмерное моделирование, технологии виртуальной реальности и т.д. Появление первых персональных компьютеров ознаменовало собой качественно новый виток развития технологий обработки, хранения и визуализации аудио- и видеоинформации, Совокупность появившихся технологий получило название мультимедийных. Мультимедийные технологии – это достаточно общее понятие, в котором можно выделить следующие разделы: аппаратная и программная составляющая. Аппаратная составляющая включает в себя устройства хранения данных и технологии визуализации (жидкокристаллические и плазменные телевизоры, электронная бумага). Программная составляющая включает в себя различные методы обработки сигналов. К ним относятся аудиокодеки, видеокодеки, стандарты семейства MPEG, трехмерная графика, технологии дополненной и виртуальной реальности. Отдельное место занимают специфический класс устройств, где аппаратная и программная составляющая неотделимы друг от друга. Эти мультимедийные устройства являются, как правило, либо высокоточными измерительными приборами (Lidar, триангуляционные датчики и т.д.) или относятся к классу устройств, обладающих искус венным интеллектом. Популярность мультимедийных технологий обусловлено их широкой доступностью для большого числа людей, которые обладают персональным 8 компьютером, мобильным телефоном или планшетом. При этом нет никакой необходимости быть узкопрофильным специалистом в сфере, например, обработки аудио- и видеосигналов. Существующий широкий спектр программ, обладающих интуитивно понятным графическим интерфейсом, позволяет проводить обработку сигналов, используя шаблоны, которые удовлетворяют потребностям пользователей. Существующий объем знаний и информации по мультимедийным технологиям огромен, охватить который полностью вероятнее всего невозможно. Однако, чтобы специализироваться на этой области знаний необходимо знать теоретические основы: принципы построения аппаратной составляющей и математические способы, приемы и методы, которые являются основой программных алгоритмов. В представленном учебном пособии представлены материалы по этим областям знаний, чтобы сформировать у учащихся общее представление по современным мультимедийным компьютерным технологиям. 9 ВВЕДЕНИЕ В настоящее время мультимедийные технологии прочно вошли в повседневную жизнь современного общества. Благодаря широкой распространенности персональных компьютеров, мобильных телефонов и планшетов, оснащенных высокопроизводительными процессорами, технологии цифровой обработки сигналов стали доступны практически любому человеку на планете. Такая ситуация стала возможной благодаря сочетанию нескольких факторов: накопленному теоретическому опыту по цифровой обработке сигналов, процессорам, обладающих огромной вычислительной мощностью, и стандартизированному интерфейсу взаимодействия с процессором. Востребованность в технологиях хранения, визуализации и обработки аудио, видео, трехмерных изображений и т.д. стимулировало научно-инженерную область. Сложно выделить определенную главенствующую составляющую, или выделить признаки, которые позволяют отнести технологию к мультимедийной или к какому-то другому направлению. Фактически, общей чертой является возможность использовать программные и аппаратные средств на базе компьютеров или подобных им ЭВМ, Таким образом, к мультимедийным технологиям можно отнести: – устройства хранения и принципы их работы: компакт диски (CD, DVD), жесткие диски, твердотельные накопители; – устройства ввода: звуковые карты и видеокарты; – устройства визуализации: жидкокристаллические мониторы, плазменные панели, электронная бумага; – программы обработки: графические редакторы, стандарты сжатия аудио- и видеоинформации, редакторы трехмерной графики, программы виртуальной и дополненной реальности и т.д. 10 Список направлений гораздо шире. При таком положении дел возникла острая проблема изучения теоретических вопросов, касающихся мультимедийных технологий. Объем информации, накопленный даже в одном из направлений, очень велик. Дать описание существующих стандартов, особенностей, различий между «устаревшими» и «новыми» стандартами в рамках одного учебного курса является невыполнимой задачей. Кроме большого объема информации по технологиям мультимедиа, существует не менее серьезная проблема, связанная с фрагментацией знаний. Особенно это хорошо видно, если использовать источники информации из сети интернет, где материалы по современным технологиях никак не связаны друг с другом. Например, разрозненная информация о различных, но очень близких по смыслу, технологиях не позволяет сформировать общую картину и проследить преемственность. Такой подход усвоения материала не позволяет сформировать глубоких знаний. В настоящем пособии была сделана попытка решения проблемы фрагментации. Общая идея заключается в описании базиса, который лежит в основе мультимедийных технологий. При этом не заостряется внимания на деталях и особенностях, которые возникли в ходе совершенствования стандартов. При описании программных средств основной упор делается на описании математического аппарата. Основы, представленные в первом разделе конспекта лекций, позволяет более осознанно подойти к изучению таких сложных областей, как стандарты сжатия видео, 3D графики, виртуальной реальности, а также аппаратным средствам, связанных с цифровым телевидением. В предлагаемом курсе рассматриваются принципы ввода аудио- и видеоинформации, способы сжатия данных, принципы кодировании цветных видеоизображений, физические основы, лежащие в основе устройств отображений, принципы восстановления 3D изображений. Каждый раздел содержит лекции, объединенные общей тематикой. Для каждой лекции подобраны примеры, описывающие физические процессы и логические 11 взаимосвязи в технологиях мультимедиа. Теоретический материал закрепляется в ходе проведения лабораторных работ и практических занятий. 12 Лекция 1. Понятие мультимедиа технологий. Xарактеристики мультимедиа Краткая аннотация лекции: Рассматривается текущее состояние дел в данной области. Дается общее представление о характеристиках мультимедиа. Цель лекции: познакомиться с понятием мультимедиа технологий, их основными характеритиками, сферами применения. 1.1 Понятие мультимедиа технологий. Характеристики мультимедиа Мультимедиа технологии являются одним из наиболее перспективных и популярных направлений информатики. Они имеют целью создание продукта, содержащего «коллекции изображений, текстов и данных, сопровождающихся звуком, видео, анимацией и другими визуальными эффектами (Simulation), включающего интерактивный интерфейс и другие механизмы управления». Данное определение сформулировано в 1988 году крупнейшей Европейской Комиссией, занимающейся проблемами внедрения и использования новых технологий. Мультимедиа – это интерактивные системы, обеспечивающие работу с неподвижными изображениями и движущимся видео, анимированной компьютерной графикой и текстом, речью и высококачественным звуком. Технологию мультимедиа составляют специальные аппаратные и программные средства. Мультимедиа объединяет несколько типов разнородных данных (текст, звук, видео, графическое изображение и анимацию) в единое целое. И это понятие само по себе имеет три лица. Во-первых, мультимедиа – как идея, т. е. новый подход к хранению информации различного типа в единой цифровой форме. Во-вторых, мультимедиа – как оборудование для обработки и хранения информации, без него мультимедиа-идею реализовать невозможно. 13 В-третьих, это программное обеспечение (ПО), позволяющее объединить четыре элемента информации в законченное мультимедиа- приложение. Появление систем мультимедиа, безусловно, производит революционные изменения в таких областях, как образование, компьютерный тренинг, во многих сферах профессиональной деятельности, науки, искусства, в компьютерных играх и т.д. Появление систем мультимедиа подготовлено как с требованиями практики, так и с развитием теории. Однако, резкий рывок в этом направлении, произошедший в этом направлении за последние несколько лет, связан, прежде всего, развитием технических и системных средств. Важную роль сыграла так же разработка методов быстрого и эффективного сжатия / развертки данных. Области применения Мультимедиа технологий: образование (медиаобразование); медицина (виртуальная хирургия); производство (автоматизированное проектирование); наука (моделирования различных процессов); искусство (специальные эффекты в кино, компьютерная мультипликация, трехмерная графика); развлечения (компьютерные игры). Идейной предпосылкой возникновения технологии мультимедиа считают концепцию организации памяти «МЕМЕХ», предложенную еще в 1945 году американским ученым Ваннивером Бушем. Он предложил способ размещения информации по принципу ассоциативного мышления. На основе этого принципа была разработана модель гипотетической машины. Она предусматривала поиск информации в соответствии с ее смысловым содержанием, а не по формальным признакам (по порядку номеров, индексов или по алфавиту и т. п.). Эта идея нашла свое выражение и компьютерную реализацию сначала в виде системы гипертекста (система работы с комбинациями текстовых материалов), а затем и гипермедиа (система, 14 работающая с комбинацией графики, звука, видео и анимации), и, наконец, в мультимедиа, соединившей в себе обе эти системы. В конце 80-х годов XX в. произошел всплеск интереса к применению мультимедиа технологии в гуманитарной области (и, в частности, в историко-культурной), связанный, несомненно, с именем выдающегося американского компьютерщика-бизнесмена Билла Гейтса, которому принадлежит идея создания и успешной реализации на практике мультимедийного продукта на основе служебной музейной инвентарной базы данных с использованием в нем всех возможных «сред»: изображений, звука, анимации, гипертекстовой системы («NationalArtGalleryLondon»). Именно этот продукт аккумулировал в себе три основные принципа мультимедиа: − представление информации с помощью комбинации множества воспринимаемых человеком сред; − наличие нескольких сюжетных линий в содержании продукта (в том числе и выстраиваемых самим пользователем на основе «свободного поиска» в рамках предложенной в содержании продукта информации); − художественный дизайн интерфейса и средств навигации. В самом широком технологическом контексте мультимедиа понимается как «интеграция двух или более коммуникационных средств и каналов с компьютером». Не так давно самая прогрессивная мультимедийная система представляла собой слайдовый проектор или магнитофон. Понятие мультимедиа относится одновременно ко всем формам, практикам и процессам коммуникации, а в более широком контексте – культуры и искусства, которые создаются и поддерживаются развивающимися информационными технологиями, включая средства обработки графической информации, компьютерную анимацию, голографическое искусство, виртуальные среды, в том числе компьютерные игры, жанры сетевого и роботизированного искусства, человеко-машинные интерфейсы (например, киборг-технологии), биоискусство, основанное, соответственно, на биотехнологиях (например, музыка ДНК, трансгенное 15 искусство, искусственный интеллект и искусственная жизнь), компьютерную музыку, а также срединные («гибридные») жанры, основанные на взаимодействии с другими формами искусства (например, компьютерные 3D инсталляции и др.). Среди |