1.4 多媒体研究的主要内容与核心技术

要想把一台普通的计算机变成具有多媒体计算功能的计算机，要解决多种媒体的数字化、压缩、通信传输、存储、同步回放等一系列的关键技术问题。综合起来讲，多媒体技术的核心问题应当是：多媒体信号数字化与计算机获取技术；多媒体数据压缩编码和解码技术；多媒体数据的实时处理和特效技术；多媒体数据的输出与回放技术。

如何高效地解决如上问题，也是多媒体相关研究领域及本课程研究的核心问题。

多媒体技术的研究涉及如下众多领域。

1. 多媒体数据压缩编解码技术

在多媒体计算机系统中要表示、传输和处理大量的声音、图像甚至影像视频信息，其数据量之大是非常惊人的，而且信息品种多、实时性要求高，这些都给数据的存储、传输及加工处理均带来巨大的压力。因此，在采用新技术、增加CPU处理速度、存储容量和提高通信带宽的同时，还需研究高效的数据压缩编解码技术，并加入使用专用图形处理器（Graphics Processing Unit, GPU）专门针对图形图像信息的高速处理，实现远远高于基于CPU的传统算法效率。

数据压缩编解码技术作为多媒体技术中最为关键的核心技术，在技术本身和应用方面近年来都取得了引人注目的进展，而其中图像压缩编解码技术更是如此。

2. 多媒体数据存储技术

随着多媒体与计算机技术的发展，多媒体数据量越来越大，对存储设备的要求越来越高。因此，高效快速的存储设备是多媒体技术得以应用的基本部件之一。

3. 多媒体数据库技术

多媒体数据库是一个由若干多媒体对象所构成的集合。这些数据对象按一定的方式被组织在一起，可为其他的应用所共享。多媒体数据库管理系统则负责完成对多媒体数据库的各种操作和管理功能，包括对数据库的定义、操作和控制等传统数据库功能。此外，还必须解决一些新的问题，如海量数据的存储功能、信息提取功能等。

多媒体对象是异构型的，是由若干类型不一且具有不同特点的媒体对象复合而成的。它们的数据量大，内部存在着多种复杂的约束关系，其复杂程度远远高于传统的数据对象，特别是与传统应用相比，多媒体应用有着许多新的需求，如对连续媒体对象的实时处理、对数据对象内容的分析等。有鉴于此，传统的数据库已不适用于多媒体信息管理，因此必须研究新的多媒体数据库技术。这种新的多媒体数据库系统应当能够：支持多种媒体数据类型及多个媒体对象的多种合成方式；能够为大量数据提供高性能的存储管理；支持传统的数据库管理系统功能；支持多媒体信息提取的功能；能为用户提供丰富而便捷的交互手段。

多媒体数据库要研究的内容主要有多媒体数据模型、体系结构、时空编组、数据模拟、查询处理及用户接口技术等。一般可从以下3个方面进行。

（1）对现有的关系数据库模型进行扩充。

（2）研究面向对象数据库等适应多媒体数据的新型数据库。

（3）研究超文本/超媒体模型数据库。

4. 超文本和超媒体技术

超文本和超媒体技术是一种模拟人脑的联想记忆方式，把一些信息块按照需要用一定的逻辑顺序链接成非线性网状结构的信息管理技术。超文本技术以节点作为基本单位，这种节点要比字符高出一个层次。由链把节点链接成网状结构，即非线性文本结构。这种已组织成网的信息网络即是超文本。随着计算机技术的发展，节点中的数据不再仅仅是文字，还可以是图形、图像、声音、动画、动态视频、计算机程序或它们的组合等。由于超文本的节点和链的形式可以被十分容易地推广到多媒体，可以是基于包含不同媒体的节点，所以它自然地成了支持多媒体数据管理的天然技术。同时多媒体信息的引入在某种程度上又为超文本带来不同凡响的效果，大大改善了信息的交互程度和表达思想的准确性。将多媒体信息引入超文本，最终形成了超媒体的概念。

5. 智能多媒体技术

在1993年底的多媒体系统和应用国际会议上，英国的两位科学家首次提出了智能多媒体的概念，引起了人们的普遍关注和研究兴趣。正如人工智能被看作一种高级计算一样，智能多媒体应被看作一种更加拟人化的高级智能计算技术。多媒体技术的进一步发展迫切需要引入人工智能，要利用多媒体技术解决计算机视觉和听觉方面的问题，必须引入知识，这必然要引入人工智能的概念、方法和技术。例如，电影画面与音乐有机结合所产生的整体艺术效果，远远超出孤立画面与音乐效果的简单组合。智能多媒体中的知识表示和推理，必然反映多媒体信息空间的非线性特性，而仅仅依靠简单地排列组合多媒体信息的方法，是不可行的。多媒体技术与人工智能的结合必将把两者的发展推向一个崭新的阶段。

6. 多媒体信息检索技术

多媒体信息检索是根据用户的要求，对图形、图像、文本、声音、动画和视频等信息进行检索，以得到用户所需的信息。基于特征的多媒体信息检索系统有着广阔的应用前景，它将被广泛地应用于电子会议、远程教学、远程医疗、电子图书馆、地理信息系统、计算机支持协同工作等领域。例如，数字图书馆技术可将物理信息转化为数字多媒体形式，通过网络安全地发送给世界各地的用户。计算机使用自然语言查询和概念查询对返回给用户的信息进行筛选，使相关数据的定位更为简单和精确；聚集功能将查询结果组织在一起，使用户能够简单地识别并选择相关的信息；摘要功能能够对查询结果进行主要观点的概括，从而使用户不必查看全部文本就可以确定所要查找的信息。

7. 虚拟现实技术（VR）

虚拟现实技术也被称为“虚拟环境”或“临境”技术，就是采用计算机多媒体技术生成一个逼真的、具有临场感觉的环境，是一种全新的人机交互系统。它可被广泛地应用于模拟训练、科学可视化、军事演习、航天仿真、娱乐、设计与规划、教育与培训、商业等领域。

虚拟现实技术本质上是一种高度逼真地模拟人在现实生活中视觉、听觉、动作等行为的交互技术。它用计算机加上先进的外围设备，模拟生活中的一切，包括过去发生的事件和将要发生的事件。虚拟现实与计算机技术、传感技术、机器人技术、人工智能及心理学等密切相关，是一种高度集成的、综合性极强的技术。

近期，人们还引入了增强现实（Augmented Reality，AR）技术，将摄像机所拍摄到的实景和三维尺度空间建模技术等相结合，达到真实世界和模拟世界的无缝连接，并具有场景融合、实时交互、实时跟踪功能，未来将在医疗、军事、娱乐、旅游、教育等多个领域带来革命性的变革。

8. 人机交互技术（HCI）

人和计算机之间的交互是目前被人们研究最多的问题。计算机能处理和表现越来越多的信息，因此人与计算机之间的交互便显得日益重要。人与计算机之间的信息交流有4种不同的形式，即人—人（通过计算机）、人—机、机—人和机—机。

9. 多媒体网络与通信技术

现代化社会中，人们的工作方式具有群体性和交互性。传统的电信业务如电话、传真等通信方式已不能适应社会的需要，社会迫切要求通信与多媒体技术相结合，为人们提供更加高效和快捷的沟通途径，如提供多媒体电子邮件、视频会议、远程交互式教学系统、视频点播等新型的服务。

多媒体通信是一个综合性技术，涉及多媒体、计算机和通信等领域，长期以来，一直是多媒体应用的一个重要方面。由于多媒体的传输涉及图像、声音和视频数据等多个方面，需要完成大数据量的连续媒体信息的实时传输、时空同步和数据压缩。如语音和视频有较强的实时性要求，它容许出现某些字节的错误，但不能容忍任何延迟；而对数据来说，可以容忍延时，但不能有任何错误，因为即便是一个字节的错误都会改变整个数据的意义。为了给多媒体通信提供新型的传输网络，人们重点发展宽带数字网。它能被用来传输高保真立体声音效和高清晰度电视节目，是多媒体通信的理想环境。

10. 分布式多媒体技术

分布式多媒体技术是多媒体技术、网络通信技术、分布式处理技术、人机交互技术、人工智能技术等多种技术的集成。

分布式多媒体技术具有广泛的应用，包括计算机支持协同工作（CSCW）、远程教育、远程会议、分布式多媒体信息点播、分布式多媒体办公自动化、Internet/Intranet中的分布式多媒体应用和移动式多媒体系统等。其中CSCW是其主要应用领域之一，主要的CSCW应用系统有消息系统、会议系统、合著与讨论系统等，具有分布式、信息共享、多用户界面、连接协调等特征。