1、1,第8講 多媒體技術基礎,主講教師：唐大仕dstang2000@263.net http://www.dstang.com,2,課前思考,你用過哪些多媒體設備及軟件？,3,本講內容,多媒體計算機 多媒體信息的表示及處理 多媒體硬件 多媒體軟件,4,(一) 多媒體計算機,,5,多媒體技術,媒體是信息儲存、傳播表現的載體傳統(tǒng)媒體 計算機領域中的媒體 多媒體能同時采集、處理、編輯、存儲和展示兩個以上不同類型信息媒體的技

2、術。,6,多媒體 特點,集成性 交互性 實時性,7,多媒體個人計算機（MPC）,集聲、文、圖于一體具有多媒體功能的個人計算機 發(fā)展史 1984年，Apple推出第一臺具有多媒體特性的Macintosh機1987年引入超級卡 1986年，Philips和Sony聯(lián)合推出CD-I（Compact Disc Interactive） 1987年，RCA推出DVI系統(tǒng)（Digital Viedo Interacti

3、ve）MPC Ⅳ標準,9,多媒體計算機的標準,主頻為75MHz以上的Pentium級微處理器；內存8MB以上；數據傳輸率為600KB/s的CD-ROM驅動器；配有16位聲卡且具有波表合成技術以及MIDI功能；在顯示輸出方面，要求具備顏色空間的轉換和縮放功能，能以65535色、352×240分辨率、30幀/秒播放動態(tài)視頻；硬盤容量不少于540MB。操作系統(tǒng)軟件是Windows3.11及更高版本或MS-DOS6.0及

4、更高版本,10,MPC的硬件系統(tǒng),主機接口卡存儲設備輸入輸出設備,11,MPC的軟件系統(tǒng),多媒體操作系統(tǒng)包含了設備驅動程序包含了多媒體設備接口處理程序（MCI） ）多媒體素材多媒體創(chuàng)作工具多媒體應用系統(tǒng),12,MPC應用領域,教育 電子出版物 信息服務 商業(yè) 娛樂 在虛擬現實中的應用,13,(二)多媒體信息的表示及處理,音頻 圖像和視頻 動畫 超媒體,14,音頻,聲音信號： 音調 20-

5、20KHz 音色 音量,16,Figure 2-9,Audio representation,17,聲音的數字化,聲音數字化的三要素采樣頻率根據奈奎斯特理論，采樣頻率不低于聲音信號最高頻率的兩倍。這樣就能把數字表達的聲音還原成原來的聲音，稱為無損數字化。 采樣精度用樣本值的二進制位數來表示。位數越多精度越高，數據也越大。量化等級聲道數例： CD音質44.1kHz X 16位 X 2 =176KB/s （

6、約相當于單倍速光驅， 150KB/s）,18,聲音的編碼,ADPCM(自適應差分脈沖編碼）,19,MIDI音樂,Musical Instrument Digital Interface記錄 音符、節(jié)拍、樂器種類及音量等FM合成方式波形表合成方式,20,圖像,圖像分辨率顏色深度(位數）如：640＊480＊256色(即8位) ≈ 300k,21,矢量圖(Vector)與位圖(bitmap),,22,顏色表示,RGB（彩色

7、最基本模型,適合于計算機系統(tǒng)）CYMK（cyan/magenta/yellow/black)，用于印刷HSL （hue/saturation/luminance) 適合于人的視覺YUV (亮度、色差) 用于電視信號傳輸,23,彩色空間——RGB,R，G，B分別代表紅(red)、綠(green)、藍(blue)三色。彩色最基本的表示模型通過對R、G、B三個顏色通道的變化以及它們相互之間的疊加可得到各式各樣的顏色。,24,彩

8、色空間——RGB,RGB是計算機系統(tǒng)使用的彩色模型。24位真彩 當顯示器可顯示256*256*256=16,777,216種顏色常用：RGB5：5：5方式和RGB8：8：8方式。  注意：R、G、B三分量中不僅包含色彩信息，而且還包含了亮度、飽和度特別地，當R=G=B時，該象素是灰度，無顏色更特別，當R=G=B=0時，該象素是黑色 當R=G=B=255時，該象素是白色

9、,25,Figure 2-7,Bitmap graphic 位圖,26,彩色圖的像素 pixels,27,彩色空間——HSI彩色空間,用三個分量來表示一種顏色H（Hue，色調）S（Saturation，飽和度）I（Intensity，光強度）HSI彩色空間更適合人的視覺特性,28,顏色編輯器,29,顏色編輯器,方形區(qū)域為色度圖，可對色度進行調節(jié)（包括色調和飽和度）,,色調值 0 ~ 255,,255,0,,亮度0~255,,

10、飽和度,從,到,,條形區(qū)域為亮度圖，可調節(jié)亮度,30,彩色空間——YUV,Y為亮度信號， U（B-Y）和V（R-Y）是色差信號YUV的最初作為電視系統(tǒng)信號編碼 優(yōu)點之一是亮度信號和色差信號分離，容易使彩色電視系統(tǒng)與只對亮度敏感的黑白電視機亮度信號兼容；否則，如果用RGB傳輸，雖然黑白電視機可以正常接受彩色電視信號（只顯示出黑白圖像），但YUV系色感較均勻，當不發(fā)生偏移時色調飽和度上的變化近似相同。 中國和西歐采用的PAL制式

11、電視系統(tǒng)就采用該空間進行傳輸，電視機接收到后，再轉換成RGB空間,31,彩色空間——YUV彩色空間,國際無線電咨詢委員會(CCIR)根據實驗認為，采用雙倍度采樣4：2：2方案效果較好，提出了CCIR 601標準：,——線性關系,32,彩色空間轉換： YUVRGB,RGB ? YUV（這里系數有小的改變）　　 Y = 0.3R + 0.59G + 0.11B U = B – Y V = R – Y

12、顯然，在視頻信號采集時，RGB；而在傳送時，只傳送：一個寬頻亮度信號Y——包含有所有細節(jié)二個窄頻色差信號（B-Y，R-Y）—— 代表彩色，經進一步處理成為U，V信號而原來，是三個寬頻帶的基色信號,33,彩色空間轉換：YUVRGB,當接收時， YUV ? RGB R = Y + Ｖ G = Y – 0.19U – 0.51Ｖ B = Y + Ｕ,34,彩色空間——YIQ彩色空

13、間,YIQ彩色空間是在廣播電視系統(tǒng)中另一種常用的亮度與色差分離的模型。美國的電視系統(tǒng)采用NTSC制式，其彩色空間即為YIQY是亮度，I和Q共同描述圖像的色調和飽和度。YUV與RGB的相互關系為：,35,視頻,視頻的三要素：空間分辨率（即屏幕上的點數）顏色分辨率（即每個點的顏色位數）時間分辨率（即每秒的幀數）電視：NTSC(美國、日本）30幀/秒，525行/幀PAL (西歐、中國）25幀/秒， 625行/幀SECAM

14、（俄、法）注：電影是24幀/秒,36,聲音文件的格式（要求掌握）,WAV (Win平臺）AU (unix平臺)MIDI記錄MIDI信息MP3它的優(yōu)點是在保證音質近乎完美的情況下，文件的尺寸卻非常小。,37,圖像文件的格式（要求掌握）,JPEG (Joint Photographic Expert Group)有損壓縮；多用于照片GIF (Graphics Interchange Forma

15、t)無損壓縮，最多256色，可透明，可動畫；多用于小圖標 TIFF(Tag Image File Format)未壓縮或簡單壓縮；多用于掃描及傳真BMP (Bitmap)Windows中的位圖，一般未壓縮,38,視頻文件的格式（要求掌握）,MPG(MPEG:Motion Photographic Expert Group) AVI(Audio Video Interactive)其他格式,39,流媒體,流媒體文件流

16、媒體簡單來說就是應用流技術在網絡上傳輸的多媒體文件，而流技術就是把連續(xù)的影象和聲音信息經過壓縮處理后放上網站服務器，讓用戶一邊下載一邊觀看、收聽，而不需要等整個壓縮文件下載到自己機器后才可以觀看的網絡傳輸技術。該技術先在使用者端的電腦上創(chuàng)造一個緩沖區(qū)，于播放前預先下載一段資料作為緩沖，于網路實際連線速度小于播放所耗用資料的速度時，播放程序就會取用這一小段緩沖區(qū)內的資料，避免播放的中斷，也使得播放品質得以維持。 目

17、前在這個領域上，競爭的公司主要有三個：Microsoft、Real Networks、Apple，而相應的產品就是：Windows Media 、Real Media、QuickTime。常用流式媒體格式RM .rm .rmvb (Real格式)wma, asf（微軟的格式）,40,動畫,什么是動畫活動的畫面動畫制作如 Flash （二維動畫） 擴展名為.swf廣泛用于網絡閃客如 3D MAX， Maya（三維

18、動畫）,42,（三）相關硬件,,43,多媒體計算機的硬件設備,主要設備：CD-ROM / DVD-ROM驅動器和光盤 聲卡 顯卡視頻卡顯示器、音箱（耳機）、麥克風、攝像頭、數碼相機、數碼攝像機、掃描儀、游戲手柄等其它外設,44,聲音卡,結構與功能 聲音數字處理器 DSP 混聲器 合成器 波表存儲器 總線接口聲卡的技術指標采樣能力合成器、MIDI功能、音效總線類型、標準支持、即插即用、芯片類型,4

19、5,視頻卡,視頻捕獲卡視頻疊加卡MPEG解壓卡電視接收卡,46,光盤技術,CD-ROM（Compact Disk Read-Only Memory） CD-WORM（Write Only Read Memory） 其他如：CD-ETOM（Electron Trapping Optical Memory）,47,CDROM 標準,CD-DA（紅皮書） CD-ROM(黃皮書） VCD DVD, xDVD

20、 其他：CD-I， PhotoCD, CD-TV，。。。,48,,,49,掃描儀,工作原理：掃描過程中，掃描儀提供光源給圖像，光線從圖像反射進掃描儀的光學系統(tǒng)，在此過程中不同層次的光得到調節(jié)，圖像以數字形式重新組合并顯示在屏幕上掃描儀性能指標： 幅面，分辨率，顏色數，速度,50,語音處理,實現語音處理的軟硬件條件：硬件：語音卡(加速卡)、麥克風、揚聲器軟件：配套軟件系統(tǒng)語音技術API:語音應用程序接口(SR 和 TT

21、S)SR:語音識別器TTS:文本—語音轉換器相關軟件中自公司的“漢王”系列IBM公司的ViaVoice,51,數碼像機,數碼像機：Digital Camera以CCD電荷耦合器或互補金屬氧化物半導體CMOS為感光器件，將客觀景物以數字方式記錄在存儲器中的照像機。照片以數字文件格式存儲存儲體是數字化存儲器件，可重復使用成像質量取決于CCD圖像傳感器和A/D轉換部件如“中國人自己的800萬－愛國者V80”3624

22、15;2448,52,觸摸屏,用途：多媒體信息查詢特點：直接、方便、快捷、直觀、生動實例：1)商場導購系統(tǒng) 2)火車站信息查詢系統(tǒng)工作原理：一種定位設備，通過一定的物理手段，使用戶觸摸觸摸屏時，所摸的位置（以坐標形式）被控制器檢測到，并通過串口或其他接口送到CPU，從而確定用戶所輸入的信息,53,觸摸屏,系統(tǒng)組成觸摸屏控制卡作用：從觸點檢測裝置上接收觸摸信息，將其轉化為觸點坐標，送給主機，同時可接收主機

23、發(fā)來的命令并執(zhí)行觸摸檢測裝置檢測用戶的觸摸位置，并將信息傳遞給觸摸屏控制卡。常用介質電阻式、電容式、紅外式、壓力式電阻式：兩層膜之間有網格狀觸點陣列，膜的壓力會造成電阻變化，從而定位壓點位置電容式：屏上有一層金屬膜，觸摸金屬膜會使電流發(fā)生變化，從而定位壓點位置,54,存儲與接口,存儲光盤、磁帶、DV帶、Memory StickU盤、移動硬盤閃存卡Smart Media(SM卡), Compact Flash(CF卡)

24、, Multi Media Card(MMC卡), Secure Digital Card(SD卡), Memory Stick(MS卡), Extreme Digital Card(XD卡), Trans Flash Card (TF卡) 接口USB接口、1394接口紅外、藍牙,55,（四）相關軟件,,56,軟件及資源,參考：北大BBS之multimedia、NetResource、Software版軟件：ftp://ft

25、p.cs.pku.edu.cn (162.105.30.133) 推薦！ftp://marxismdown:marxismdown@162.105.194.99/http://edu.onlinedown.net (華軍軟件園)資源：使用baidu、google、sheenk使用maze、BThttp://www.51music.org/ http://www.9ymp3.com/http://bn.sina.com.c

26、n,57,幾個小軟件,* 圖像抓取軟件：SnagIt; FlashCam* 圖像瀏覽軟件：AcdSee* 簡單動畫軟件：GIF Constructor;*簡單動畫軟件: AnimaGif* 簡單3D動畫軟件：Cool3D,58,音頻相關的軟件,播放器：CD播放器Media PlayerWinAmpReal Player超級解霸編輯器CoolEdit錄音機Mp3制作、格式轉換AltoMP3 MakerCDex

27、,59,Windows 錄音機的使用,選擇【開始】→【所有程序】→【附件】→【娛樂】→【錄音機】命令，會出現Windows錄音工具單擊【錄音】按鈕可以錄音；單擊【停止】按鈕可停止錄音。選擇【文件】→【保存】菜單命令即可保存剛剛錄制的信息。,60,播放音樂常用軟件Winamp,播放音樂文件添加其他文件夾中的音樂文件保存音樂文件列表,61,瀏覽圖像的常用軟件ACDSee,ACDSee 的安裝與啟動 利用圖像觀察器瀏覽圖片圖片格

28、式轉換桌面背景設置利用圖像瀏覽器管理圖片文件圖片文件的復制、移動、重命名和格式轉換屏保和幻燈演示文件的制作,62,圖像圖形處理軟件,圖像處理PhotoShopPhotoDraw PhotoDeluxe PhotoExpress圖形處理Firework FreeHand,63,PhotoShop,菜單欄工具箱控制面板工作區(qū)狀態(tài)欄,,64,動畫處理軟件,二維動畫FlashMacromedia Flash現

29、已被Adobe收購三維動畫3D MaxMaya,65,視頻處理軟件,播放：Windows Media Player, RealOne, 金山影霸,DivXPro, HappyShow, Media Player ClassicQuickTime, DivX解碼器及mpeg4、ac3相關插件編輯、制作、轉換：Premiere, VirtualDub，EoVideo, helix producer RealProduce,

30、Easy Video JoinerNo1 Vedio Convertor,66,媒體播放器Windows Media Player,視頻方面支持.avi、.mpg、.asf和VCD、DVD光碟音頻方面支持.mp3、.wav、MIDI以及CD光碟播放選擇【文件】→【打開】菜單命令，在彈出的對話框中選擇需要播放的文件即可,67,其它常用的視頻播放工具,RealPlayer 可以播放.rm和.rmvb格式的視頻文件(流媒體) 豪杰超

31、級解霸主要用于播放VCD/DVD光碟，此外還支持CD、mp3等上百種影音格式的播放Media Player Classic我常用的一款播放軟件，支持多種格式,68,光盤相關軟件,光盤刻錄：Nero虛擬光驅：daemon，金山模擬光驅光盤文件制作：WinISO文件名.bin或.iso,69,網絡上的多媒體資源,網絡上有豐富的資源可通過http、ftp、bt、maze等多種工具下載 DVD下載中心

32、http://202.112.10.43流媒體下載工具：StreamBox, Woof, FlashGet, NetTransport, PubdlOffline Explorer,70,多媒體的共享: P2P,如 www.ppcn.netBT (BitTorrent) www.btchina.net www.manfen.net Mazemaze.pku.cneDonkey, eMuleNapster, ez

33、Peer, KuroM3, KuGoo,71,流媒體下載,大多數流媒體文件都不提供直接的下載方式，需要用特殊的軟件。如：Streambox vcrNet Transport,72,多媒體創(chuàng)作工具,AuthorwareToolBookDirectorAction!方正奧思,73,(五) 多媒體技術前沿（了解）,,74,數據壓縮,數據壓縮可分成兩種類型，一種叫做無損壓縮，另一種叫做有損壓縮。 無損壓縮是指使用壓縮后的數據進

34、行重構(或者叫做還原，解壓縮)，重構后的數據與原來的數據完全相同；無損壓縮用于要求重構的信號與原始信號完全一致的場合。一個很常見的例子是磁盤文件的壓縮。根據目前的技術水平，無損壓縮算法一般可以把普通文件的數據壓縮到原來的1/2～1/4。一些常用的無損壓縮算法有霍夫曼(Huffman)算法和LZW(Lenpel-Ziv & Welch)壓縮算法。 有損壓縮是指使用壓縮后的數據進行重構，重構后的數據與原來的數據有所不同，但不

35、影響人對原始資料表達的信息造成誤解。有損壓縮適用于重構信號不一定非要和原始信號完全相同的場合。,75,信息冗余,統(tǒng)計冗余編碼冗余結構冗余視覺冗余,76,數據壓縮的方法簡介,統(tǒng)計編碼如：霍夫曼編碼 游程長度編碼 基于字典：LZW預測編碼 如：序列量化變換編碼 如：DCT（離散余弦變換）分析綜合編碼 如：特征抽取,77,壓縮工具WinRAR的操作,壓縮：選中一個或多個文件、文件夾，點右鍵解

36、壓縮選中.rar文件，點右鍵或：雙擊打開，然后進行文件的拖放操作還可以創(chuàng)建自釋放文件(exe文件),78,多媒體的新技術,大容量信息的光盤存儲技術多媒體數據庫及數據檢索多媒體通信和網絡化技術超媒體 = 超級鏈接+多媒體 虛擬現實技術(Virtual Reality)語言 VRML數字地球國家信息基礎設施 NII全球信息基礎設施 GII數字地球 DE,79,INTERNET電話,網絡電話,80,INTERNET

37、電話,Internet Phone可以使任何一 位Internet互聯(lián)網上裝備有聲卡的多媒體電腦用戶撥叫國際長途電話。,Net2Phone、MediaRing、CollTalk、NetMeeting,網絡電話,81,網絡電視,iptv.pku.edu.cnhttp://tv.qq.com其他網絡電視工具如FireTV,82,本章小結,多媒體概述 多媒體信息的表示及處理 多媒體硬件 多媒體軟件,83,要點：多媒體文件格式

38、,圖片文件Jpeg, gif, tiff, bmp, wmf聲音文件Wav, midi, mp3, rm，wma視頻文件從現實世界采集，經過數字化處理得到Avi, mpeg, asf, rm, mov動畫文件由計算機生成Avi, Gif, flic, swf(Flash文件）,84,要點：相關軟件,播放Windows Media playerRealOne PlayerWinampAcdsee(圖片）制作P