开通VIP,畅享免费电子书等14项超值服
首页
好书
留言交流
下载APP
联系客服
2006.04.13
多媒体技术基础篇
第一章.什么是多媒体以及多媒体技术?
要了解多媒体以及多媒体技术,首先要掌握以下两个知识:
1.人肉眼可见的画面分为:静止的画面——图形图像(graph/image/picture),动态的画面——动画(cartoon/movie)和视频影像(video)。
连续的图像变化每秒超过24帧(frame)画面以上时,根椐视觉暂留原理,人眼无法辨别每付单独的静态画面(graph/image/picture),看上去是平滑连续的视觉效果。这样的连续画面叫视频影像(video)。而当连续图像变化每秒低于24帧画面时,人眼有不连续的感觉,叫动画(cartoon/movie)。
2.目前能构成媒体(medium)的介质主要包括视频影像(video)、声音(sound)、图形图像(graph/image/picture)、文本(text)、动画(cartoon/movie)。而以数字信号传输为途径的单一媒体的有机结合即可视为多媒体(multimedia)。换句话说,多媒体技术赖以产生发展的基础不只是多媒体硬件技术的革新,还包括通信传输方式的改变和发展。目前,多媒体传输已由数字信号处理(dsp)逐渐取代甚至完全取代以前的模拟信号处理。
掌握了这些基础知识后,就不难理解多媒体以及多媒体技术。
多媒体是有别于以前单一媒体的传输介质,多媒体技术则是对多媒体传输方式的一种革新发展。总的来说,多媒体技术是利用多媒体存储硬件和传输方式对多媒体介质的综合运用。
多媒体技术,即是计算机交互式综合处理多媒体信息——文本、图形、图像和声音,使多种信息建立逻辑连接,集成为一个系统并具有交互性。简言之,多媒体技术就是具有集成性、实时性和交互性的计算机综合处理声文图信息的技术。
第二章.什么是多媒体文件以及各种多媒体文件格式详解:
所谓“格式”,是指以何种算法对声音、图象文件(或称音频、视频文件)进行压缩或解压缩。“播放器”是指还原某种或多种特定格式的音频、视频文件的软件。
一.静态媒体文件以及静态媒体文件技术概述:
传统的静态媒体文件区别于现今流行的流式媒体文件最大的特征是,无法提供网络在线功能。其原理是必须提供下载,而在今天网络发展飞速的年代,尤其是影音文件的网络传输,使得这一局限性成为阻碍网络多媒体发展的主要瓶颈。在流式媒体诞生之前,网络提供的资源很有限——下载,除此之外,就是vcd等传统媒体文件的天下。
其缺点不但在于挤占带宽,而且无法实现网络资源的优化利用。对于日益提倡网络资源共享和提高网络浏览速度的今天,传统媒体文件包括早期的录象带,卡带,vcd甚至dvd都不能满足人们迫切要求网络资源优化利用的要求。因此,有赖于传统多媒体技术的不断发展,世界各大多媒体技术先进的公司开始研发新技术产品以取代静态媒体文件技术。
早期的传统静态媒体文件包括:
1.音频文件:
音频文件通常分为两类:声音文件和midi文件,声音文件指的是通过声音录入设备录制的原始声音,直接记录了真实声音的二进制采样数据,通常文件较大;而midi文件则是一种音乐演奏指令序列,相当于乐谱,可以利用声音输出设备或与计算机相连的电子乐器进行演奏,由于不包含声音数据,其文件尺寸较小。
a.声音文件:
wav——是windows操作系统中应用最为广泛的一种音频格式。wav具有很高的音质,cd的数字音频存储格式cd-da就极其类似于它。它符合riff(resourceinterchangefileformat)文件规范,用于保存windows平台的音频信息资源,被windows平台及其应用程序所广泛支持。wav格式支持msadpcm、ccittalaw、ccittμlaw和其他压缩算法,支持多种音频位数、采样频率和声道,是pc机上最为流行的声音文件格式,但其文件尺寸较大,多用于存储简短的声音片断。但是,由于未经压缩,wav的存储容量非常大,大约一分钟cd音质的音频要占用10mb的存储空间,不利于用户存储歌曲,更不利于音乐的网上传播。
aiff——.aif/.aiff:aiff是音频交换文件格式(audiointerchangefileformat)的英文缩写,是苹果计算机公司开发的一种声音文件格式,被macintosh平台及其应用程序所支持,netscapenavigator浏览器中的liveaudio也支持aiff格式,sgi及其他专业音频软件包也同样支持这种格式。aiff支持ace2、ace8、mac3和mac6压缩,支持16位44.1khz立体声。
audio——.au:audio文件是sunmicrosystems公司推出的一种经过压缩的数字声音格式,是internet中常用的声音文件格式,netscapenavigator浏览器中的liveaudio也支持audio格式的声音文件。
sound文件——.snd:sound文件是nextcomputer公司推出的数字声音文件格式,支持压缩。
voice文件——.voc:voice文件是creativelabs(创新公司)开发的声音文件格式,多用于保存creativesoundblaster(创新声霸)系列声卡所采集的声音数据,被windows平台和dos平台所支持,支持ccittalaw和ccittμlaw等压缩算法。
mpeg音频文件——.mp1/.mp2/.mp3
mpeg是运动图象专家组(movingpictureexpertsgroup)的英文缩写,代表mpeg运动图象压缩标准,这里的音频文件格式指的是mpeg标准中的音频部分,即mpeg音频层(mpegaudiolayer)。mpeg音频文件的压缩是一种有损压缩,根据压缩质量和编码复杂程度的不同可分为三层(mpegaudiolayer1/2/3),分别对应mp1、mp2和mp3这三种声音文件。mpeg音频编码具有很高的压缩率,mp1和mp2的压缩率分别为4∶1和6∶1~8∶1,而mp3的压缩率则高达10∶1~12∶1,也就是说一分钟cd音质的音乐,未经压缩需要10mb存储空间,而经过mp3压缩编码后只有1mb左右,同时其音质基本保持不失真,因此,目前使用最多的是mp3文件格式。
realaudio文件——.ra/.rm/.ram
realaudio文件是realnetworks公司开发的一种新型流式音频(streamingaudio)文件格式,它包含在realnetworks公司所制定的音频、视频压缩规范realmedia中,主要用于在低速率的广域网上实时传输音频信息。网络连接速率不同,客户端所获得的声音质量也不尽相同:对于14.4kbps的网络连接,可获得调幅(am)质量的音质;对于28.8kbps的连接,可以达到广播级的声音质量;如果拥有isdn或更快的线路连接,则可获得cd音质的声音。
b.midi文件:
midi文件——.mid/.rmi
模块文件——.mod/.s3m/.xm/.mtm/.far/.kar/.it
2.视频影象文件
avi格式——
avi是音频视频交错(audiovideointerleaved)的英文缩写,它是microsoft公司开发的一种符合riff文件规范的数字音频与视频文件格式,原先用于microsoftvideoforwindows(简称vfw)环境,现在已被windows95/98、os/2等多数操作系统直接支持。avi格式允许视频和音频交错在一起同步播放,支持256色和rle压缩,但avi文件并未限定压缩标准,因此,avi文件格式只是作为控制界面上的标准,不具有兼容性,用不同压缩算法生成的avi文件,必须使用相应的解压缩算法才能播放出来。常用的avi播放驱动程序,主要是microsoftvideoforwindows或windows95/98中的video1,以及intel公司的indeovideo。avi文件目前主要应用在多媒体光盘上,用来保存电影、电视等各种影象信息,有时也出现在internet上,供用户下载、欣赏新影片的精彩片断。
如果你是一名游戏玩家,应该会注意到很多游戏的片首动画都是avi格式的吧。比如很多人喜欢玩的《仙剑奇侠传》,片首那段极富中国传统色彩(青山、绿水、白鹭)的动画就是采用的avi格式。avi有一个专业的名字,叫做音频视频交错(audiovideointerleaved)格式。它的背景不可小看,它是由microsoft公司开发的一种数字音频与视频文件格式,原先仅仅用于微软的视窗视频操作环境(vfw,microsoftvideoforwindows),现在已被大多数操作系统直接支持。avi格式允许视频和音频交错在一起同步播放,但avi文件没有限定压缩标准,由此就造就了avi的一个“永远的心痛”,即avi文件格式不具有兼容性。不同压缩标准生成的avi文件,就必须使用相应的解压缩算法才能将之播放出来。我们常常可以在多媒体光盘上发现它的踪影,一般用于保存电影、电视等各种影像信息,有时它也出没于internet中,主要用于让用户欣赏新影片的精彩片段。常用的avi播放驱动程序,主要有microsoftvideoforwindows或windows95/98中的video1,以及intel公司的indeovideo等等。
mov格式(quicktime)——
quicktime格式大家可能不怎么熟悉,因为它是apple公司开发的一种音频、视频文件格式。quicktime用于保存音频和视频信息,现在它被包括applemacos、microsoftwindows95/98/nt在内的所有主流电脑平台支持。quicktime文件格式支持25位彩色,支持领先的集成压缩技术,提供150多种视频效果,并配有提供了200多种midi兼容音响和设备的声音装置。新版的quicktime进一步扩展了原有功能,包含了基于internet应用的关键特性。综上,quicktime因具有跨平台、存储空间要求小等技术特点,得到业界的广泛认可,目前已成为数字媒体软件技术领域的事实上的工业标准。
quicktime是apple计算机公司开发的一种音频、视频文件格式,用于保存音频和视频信息,具有先进的视频和音频功能,被包括applemacos、microsoftwindows95/98/nt在内的所有主流电脑平台支持。quicktime文件格式支持25位彩色,支持rle、jpeg等领先的集成压缩技术,提供150多种视频效果,并配有提供了200多种midi兼容音响和设备的声音装置。新版的quicktime进一步扩展了原有功能,包含了基于internet应用的关键特性,能够通过internet提供实时的数字化信息流、工作流与文件回放功能,此外,quicktime还采用了一种称为quicktimevr(简作qtvr)技术的虚拟现实(virtualreality,vr)技术,用户通过鼠标或键盘的交互式控制,可以观察某一地点周围360度的景象,或者从空间任何角度观察某一物体。quicktime以其领先的多媒体技术和跨平台特性、较小的存储空间要求、技术细节的独立性以及系统的高度开放性,得到业界的广泛认可,目前已成为数字媒体软件技术领域的事实上的工业标准。国际标准化组织(iso)最近选择quicktime文件格式作为开发mpeg4规范的统一数字媒体存储格式。
mpeg/mpg/dat格式——
二.流式媒体文件以及流式媒体文件技术,协议概述:
流式媒体指在internet/intranet中使用流式传输技术的连续时基媒体,如音频、视频等多媒体文件。流式媒体在播放前并不下载整个文件,只将开始部分内容存入内存,流式媒体的数据流随时传送、随时播放,只是在开始时有一些延迟。实现流媒体的关键技术是流式传输。
流式传输定义很广泛,现在主要指通过网络传送媒体(如视频、音频)的技术总称。其特定含义为通过互联网或局域网将影视节目传送到计算机。
1.流式媒体文件格式(streamingvideo/soundformat)分类:
rm——我们把可以一边下载一边播放的影音文件称为流式文件(与其相对需完全下载才能播放的即为离散文件),rm(全称为:realmedia)格式就是由realnetwork公司开发的一种流媒体视频文件格式,它主要包含realaudio、realvideo、realflash三部分。rm文件可以在有限的网络带宽下实现比较流畅的在线视频和音频播放,因此是目前网络中应用最广泛的流式媒体。rm的突出优点就是压缩比高,例如在牺牲音质的情况下,它能将4mb左右的mp3歌曲压缩到惊人的几百kb(1024kb=1mb),很适合网上传播。但是,伴随高压缩比而来的就是文件低劣的音质和画质。因而,人们主要用rm中的realflash来压缩色彩和音效都很简单的动画片。如目前市场上6张光盘的全套《灌篮高手》就是这种格式。
rm格式是realnetworks公司开发的一种新型流式视频文件格式,它麾下共有三员大将:realaudio、realvideo和realflash。realaudio用来传输接近cd音质的音频数据,realvideo用来传输连续视频数据,而realflash则是realnetworks公司与macromedia公司新近合作推出的一种高压缩比的动画格式。realmedia可以根据网络数据传输速率的不同制定了不同的压缩比率,从而实现在低速率的广域网上进行影像数据的实时传送和实时播放。这里我们主要介绍realvideo,它除了可以以普通的视频文件形式播放之外,还可以与realserver服务器相配合,首先由realencoder负责将已有的视频文件实时转换成realmedia格式,realserver则负责广播realmedia视频文件。在数据传输过程中可以边下载边由realplayer播放视频影像,而不必像大多数视频文件那样,必须先下载然后才能播放。目前,internet上已有不少网站利用realvideo技术进行重大事件的实况转播。
asf——微软为与rm竞争,推出了一种新的网络传播多媒体流信息的解决方案windowsmediaservice,该方案的核心就是asf(全称为advancedstreamingformat,即高级流格式)。asf是一种数据文件格式,音频、视频、图象以及控制命令脚本等多媒体信息都可以通过这种格式,以网络数据包的形式传播。由于是微软的产品,前景十分光明,但目前国内电脑影音玩家用得还不多。高压缩比影音格式的出现和广泛使用,使在个人计算机硬盘中保存大量的歌曲、电影和电视剧成为了可能,这也正是本文主题的技术基础。
asf是一个独立于编码方式的在internet上实时传播多媒体的技术标准,microsoft公司希望用asf取代quicktime之类的技术标准以及wav、avi之类的文件扩展名,并打算将asf用作将来的windows版本中所有多媒体内容的标准文件格式。asf的主要优点包括:本地或网络回放、可扩充的媒体类型、部件下载、可伸缩的媒体类型、流的优先级化、多语言支持、环境独立性、丰富的流间关系以及扩展性等。
mov文件格式(quicktime)——
mov也可以作为一种流文件格式。quicktime能够通过internet提供实时的数字化信息流、工作流与文件回放功能,为了适应这一网络多媒体应用,quicktime为多种流行的浏览器软件提供了相应的quicktimeviewer插件(plug-in),能够在浏览器中实现多媒体数据的实时回放。该插件的“快速启动(faststart)”功能,可以令用户几乎能在发出请求的同时便收看到第一帧视频画面,而且,该插件可以在视频数据下载的同时就开始播放视频图像,用户不需要等到全部下载完毕就能进行欣赏。此外,quicktime还提供了自动速率选择功能,当用户通过调用插件来播放quicktime多媒体文件时,能够自己选择不同的连接速率下载并播放影像,当然,不同的速率对应着不同的图像质量。此外,quicktime还采用了一种称为quicktimevr的虚拟现实(vr,virtualreality)技术,用户只需通过鼠标或键盘,就可以观察某一地点周围360度的景象,或者从空间任何角度观察某一物体。
2.流媒体文件协议。
即时串流通讯协议(realtimestreamingprotocol,rtsp)——
它是realnetworks公司协助建立的一个用来传送串流媒体的开放网页标准。虽然它必须使用一种称为realserver的特殊服务器,然而rtsp能够提升流式媒体影片的品质,改善传送效率以及提供更佳的高流量处理功能。如果你的isp(因特网信息服务提供商)具备了realserver服务,那么建议你使用realserver而不要使用web服务器来传送串流媒体文件。
mms(mediaserverprotocol,mms)——
这是微软定义的一种流媒体传输协议。用来访问并流式接收windowsmedia服务器中.asf文件的一种协议。mms协议用于访问windowsmedia发布点上的单播内容。mms是连接windowsmedia单播服务的默认方法。若观众在windowsmediaplayer中键入一个url以连接内容,而不是通过超级链接访问内容,则他们必须使用mms协议引用该流。当使用mms协议连接到发布点时,使用协议翻转以获得最佳连接。“协议翻转”始于试图通过mmsu连接客户端。mmst是mms协议结合udp数据传送。如果mmsu连接不成功,则服务器试图使用mmst。mmst是mms协议结合tcp数据传送。如果连接到编入索引的.asf文件,想要快进、后退、暂停、开始和停止流,则必须使用mms。不能用unc路径快进或后退。若您从独立的windowsmediaplayer连接到发布点,则必须指定单播内容的url。若内容在主发布点点播发布,则url由服务器名和.asf文件名组成。
例如:mms://windows_media_server/sample.asf其中windowsmediaserver是windowsmedia服务器名,sample.asf是您想要使之转化为流的.asf文件名。若您有实时内容要通过广播单播发布,则该url由服务器名和发布点别名组成。例如:mms://windows_media_server/liveevents这里windows_media_server是windowsmedia服务器名,而liveevents是发布点名。
实时传输协议(theaterserverprotocol,rtp)——
资源预订协议(resourcereserveprotocol,rsvp)——
由于音频和视频数据流比传统数据对网络的延时更敏感,要在网络中传输高质量的音频、视频信息,除带宽要求之外,还需其他更多的条件。rsvp(resourcereserveprotocol)是正在开发的internet上的资源预订协议,使用rsvp预留一部分网络资源(即带宽),能在一定程度上为流媒体的传输提供qos。在某些试验性的系统如网络视频会议工具vic中就集成了rsvp。
第三章.多媒体文件制作以及下载教程
一般的多媒体系统主要由如下四个部分的内容组成:多媒体硬件系统、多媒体操作系统、媒体处理系统工具和用户应用软件。
多媒体操作系统:也称为多媒体核心系统(multimediakernelsystem),具有实时任务调度、多媒体数据转换和同步控制对多媒体设备的驱动和控制,以及图形用户界面管理等。
多媒体硬件系统:包括计算机硬件、声音/视频处理器、多种媒体输入/输出设备及信号转换装置、通信传输设备及接口装置等。其中,最重要的是根据多媒体技术标准而研制生成的多媒体信息处理芯片、光盘驱动器等。
媒体处理系统工具:或称为多媒体系统开发工具软件,是多媒体系统重要组成部分。
用户应用软件:根据多媒体系统终端用户要求而定制的应用软件或面向某一领域的用户应用软件系统,它是面向大规模用户的系统产品。
一.多媒体播放工具以及其他详解
1.多媒体播放工具
现在市面上流行的播放器我大概数了一下,包括winmap,realplayer/realone/,windowsmediaplayer等主流播放器在内,至少有十几二十种。如何在这繁多的播放器中选择合适的工具以及孰优孰劣是大家最为关心的问题。为了有效的解答这些问题,首先要了解各种播放器至少对主流播放工具要有较全面的认识。
以前的播放器往往只能播放某种特定的影音文件,而由于计算机用户使用的影音格式种类越来越多,播放器对各种影音文件的兼容性也越来越强,表现了明显的通用化趋势。
世界最著名的几大多媒体播放工具生产厂家主要有:mircrosoft(windowsmediaplayer),realnetworks(realplayer/realone),nullsoft(winmap),apple公司的(quicktime)。而由于winmap不支持流媒体以及对视频影象技术的支持很有限,所以实际上,现在最为大家所接受和广泛使用的是windowsmediaplayer,realplayer,quictime.
1.winmap——nullsoft公司的mp3等音频文件的首席播放器,用户可以用它提供的编辑功能编辑播放菜单,也可以在它提供的音频均衡器上进行有点专业味道的音频调试。winwap的突出优点是支持众多的功能插件,如有改变外观的“外壳插件”,制作歌词的“歌词插件”以及“卡拉ok插件”等等。过去,winwap主要用于播放mp3,现在新的版本还支持mpg、avi等视频文件,很有发展前途。
winmap最初是由美国大学生贾斯丁·弗兰克(justinfrankel)和多米特里·鲍德罗夫(dmitryboldyrev)在1997年联合开发的mp3播放器。当时最早的播放器是弗朗霍(frauenhofer)在1990年开发的。但这只是一个非常不知名的小程序,没有引起大家的重视。1995年mp3格式的确定,许多朋友对它的痴迷是用语言无法表达的,随之而来的就是mp3播放器的红火,大家公认的第一个mp3播放器是在1997年。由一个叫做tomislavuzelac的开发者开发的。他开发了ampmp3播放引擎。
当amp引擎进入网络以后不久,贾斯丁·弗兰克(justinfrankel)和多米特里·鲍德罗夫(dmitryboldyrev)拿到了amp引擎,并且为他添加了一个windows界面,最后他们把这个程序命名为“winamp”。之后他们创建了nullsoft公司,并最终出售给美国在线公司。目前的最新版本是2003年由aol/nullsoft公司推出的winamp3.0。以前的版本一直是wsz格式的,只能作出方方正正的界面,新版本winamp3.0采用了全新的wal格式,终于支持自由外观的界面了。skin采用新的wal格式,使皮肤管理更加方便,完全支持自由形式的外观。
2.windowsmediaplayer——windows操作系统从windows3.1直到windows95/98/nt/2000/xp,均内置了媒体播放器(mediaplayer)软件,这是一个windows下的应用程序,主要用于控制多媒体设备并播放多媒体文件,如声音、音乐、动画、视频等。通过媒体播放器,用户可以直接播放声音文件(wav文件)、midi音乐(mid文件和rmi文件)以及cd音乐,而更为重要的是,媒体播放器能够与支持mci(媒体控制接口)的第三方应用程序紧密配合,从而扩展其功能,例如,如果安装了videoforwindows,媒体播放器便可以播放avi文件(该功能从windows95开始作为系统的内置功能),同样,一旦安装了mpeg或quicktime的播放程序,媒体播放器便可以播放mpeg文件、vcd影片或是quicktime文件了。
windowsmediaplayer7.0以后的版本几乎支持所有的影音文件(目前最新版本9.0安装解码器后也支持rm文件)。它已经从原来单纯的windows组件发展成为一个全能的网络多媒体播放器,不仅能播放wav、mid、mp3、mpg、avi、asf、wmv等文件,而且支持dvd及最新的mp4格式(所谓的mp4并不是mpeg-4或者mpeg-1layer4,而是mpeg-2aaciso/iec13818-7,它是针对数码电视提出的。音频部分mpeg-2bc(iso/iec13818-3)则是对mpeg-1的向后兼容多声道扩展方案,增加了低采样频率(16khz,22.05khz,24khz),增加了一个“低频扩展”声道从而提升至5个声道编码)的文件
3.realplayer——realnetwoks公司的rm格式的首席播放器,具备强大的多媒体播放功能,除rm外还支持avi、mpg、mp3等多种影音文件。安装插件后和解码器后几乎支持所有影音格式,是本人最喜欢的播放工具。realoneplayer是realnetwoks公司推出的一种新型音视频综合播放系统,以取代该公司现有的三种主打产品,即realplayer、realjukebox和goldpass。目前,realoneplayer的最新版本是2.0。
realnetworks公司总部位于西雅图,是全球领先的数字媒体技术提供商,主要从事软件产品和服务的开发和销售业务,旨在使个人计算机及其他电子设备用户通过web发送和接收音频、视频及其他多媒体服务。
4.quicktime——apple公司的quicktime是一个非常老牌的媒体技术集成,是数字媒体领域事实上的工业标准。之所以说集成这个词是因为quicktime实际上是一个开放式的架构,包含了各种各样的流式或者非流式的媒体技术。quicktime是最早的视频工业标准,1999年发布的quicktime4.0版本开始支持真正的流式播放。由于quicktime本身也存在着平台的便利(macos),因此也拥有不少的用户。quicktime在视频压缩上采用的是sorensonvideo技术,音频部分则采用qdesignmusic技术。quicktime最大的特点是其本身所具有的包容性使得它是一个完整的多媒体平台,因此基于quicktime可以使用多种媒体技术来共同制作媒体内容。同时,它在交互性方面是三者之中最好的。例如,在一个quicktime文件中可同时包含midi、动画gif、flash和smil等等格式的文件,配合quicktime的wiredsprites互动格式和,可设计出各种互动界面和动画。
quicktime在视频压缩上采用的是sorensonvideo技术,音频部分则采用qdesignmusic技术。是各大电影公司播放高清晰电影预告片的首选播放器。