1. Universitt zu Kln. Historisch-Kulturwissenschaftliche InformationsverarbeitungJan G. Wieners // jan.wieners@uni-koeln.deBasisinformationstechnologie IISommersemester 201319. Juni 2013 Audio / Video: Kompressionsverfahren

2. Video Container Matroska MP4 Codecs DivX Xvid H.264 Verfahren der Videokompression Intra-coding Vektorquantisierung Konturbasierte Codierung Inter-coding Differenzcodierung BewegungskompensationAudio Sampling KompressionThemenberblick 3. VideoContainer und Codecs 4. Bildnachweis: Kill Bill (2003) 5. Bildnachweis: Kill Bill (2003)Bitraten (37 sec.): 1 Mbps (~5 MB) 500 Kbps (~3 MB) 100 Kbps (~1,6 MB)Konstante Bitrate (CBR)vs.Variable Bitrate (VBR) 6. ~25 Bilder pro Sekunde 25 fps (frames per second) Auflsung Farbtiefe (Quantisierung) z.B. 24 Bit pro Pixel Rechenexempel unkomprimiertes Video: 720 * 576 * 24 = 9.953.280 Bit pro Frame = ~1,2 MB / Frame(9.953.280 / 8 / 1024) 1,2 MB * 25 Frames = 30 MB/ sec. 30 MB * 60 sec. = 1.800 MB / min. 1,8 GB * 60 min. = 108 GB / std.Speicherplatzbedarf von Videomaterial 7. DVD & Co.Quelle: http://www.bluray-disc.de/faq/was-ist-der-unterschied-zwischen-blu-ray-und-der-dvd 8. ContainerCodecs Von den Begriffen Compressor und Decompressor Codecs: Mathematische Algorithmen, mit deren Hilfe Video- und Audiodaten reduziert werden. Hardware-Codecs: Hardwarebausteine, die die Kompression in Echtzeit durchfhren. Software-Codecs 9. MKV: Matroska Media Containerhttp://matroska.org/technical/whatis/index.html 10. Matroska Media ContainerMatroska Untersttzt Videocodecs: MPEG-1, MPEG-2, MPEG-4 H.264 RealVideo, WMV, Theora, Dirac Untersttzt Audiocodecs: MP3 AAC, AC3, DTS, WAV, Vorbis, FLAC 11. Container: mp4Mp4 Von der Moving Picture Expert Group (MPEG) (gegrndet 1988) beschrnkt auffolgende Formate: Video: MPEG-4 (Part 2, Part 10 (AVC/H.264)), MPEG-2 und MPEG-1 Audio: AAC, MP3, MP2, MP1, AC-3 Bilder: JPEG, PNG Grafik und Text: BIFS (z. B. knnen Untertitel in dieses Formatumgewandelt werden) Dateiendungen: .m4v, .mp4v: Video (MPEG-4-Videostrme) .m4a: nur fr Audio .m4b: (Audiobook): Hrbcher, in die Lesezeichen gesetzt werden knnen .m4p: (Protected): DRM-geschtzte AAC-Audiodateien .m4r: (Ringtone): Klingeltne fr iPhone 12. MPEG: Standards 13. Codec: DivXDivX DivX ;-) 3.11: Neuentwicklung, patentierter Codec Untersttzt u.a.: Multipass Encoding (variable Bitrate) Komplexe Szenen erhalten eine hhere Bitrate zugewiesen, langsame Szenen eineniedrigere Bitrate 2000: Grndung der Firma DivXNetworks Open Source Projekt OpenDivX, basierend auf der MPEG-4 Referenzimplementierung des EU-Projektes MoMuSys (Mobile Multimedia Systems) Nach Verffentlichung von DivX 4.0 (August 2001): Fokus auf kommerzielle Interessen, dieEntwicklungsarbeiten an OpenDivX werden eingestellt Kodiereffizienz schlechter als bei DivX ;-) DivX 5: Erstes kommerzielles Produkt DivX 9.1.2 (2013-05)Linktipp: http://www.heise.de/ct/artikel/DivX-im-Griff-288448.html 14. Coded: XvidXvid Freie MPEG-4 Implementierung (GNU GeneralPublic License), basierend auf OpenDivXQuelltext Techniken: B-Frames Quarter Pixel Compensation 15. Codec: H.264H.264 2003 als Standard verabschiedet: MPEG-4 Part 10oder auch AVC (Advanced Video Coding) Zehnter Teil des MPEG-4 Standards (MPEG-4/Part 10, ISO/IEC 14496-10) Datei-/Containerformat: mp4 Verwendung: HDTV / Blu-Ray Freier, quelloffener Encoder: x264(http://www.videolan.org/developers/x264.html) 16. H.264Variable block-size motion compensation (VBSMC) with block sizes as large as 1616 aas small as 44, enabling precise segmentation of moving regions. 17. Videokompression: Mglichkeiten in der Beseitigung von RedundanzenVideokompression??? 18. Wie liee sich diese Videosequenz komprimieren?http://skateboarding.ru/gallery/data/media/81/sequence_mini.jpg 19. Videokompression: Mglichkeiten in der Beseitigung von RedundanzenVideokompressionBild- bzw. Framedimensionen (Hhe und Breite)- Eigenschaften der Pixel (Helligkeit, Farbe)- Eigenschaften des jeweils betrachteten FramesZeitliche Dimension 20. Welche der beiden Videosequenzen lsst sich besser /strker komprimieren? Warum?http://skateboarding.ru/gallery/data/media/81/sequence_mini.jpg / http://mamboaustralia.com/isfucked/wp-content/uploads/2011/05/CHEADLE_CULBURRA_SEQUENCE1.jpg 21. Unterscheidung: Intra-coding (auch: spatial coding): Redundanz auseinem Frame entfernen (rumliche Redundanz),Kompression teilweise analog zu JPEG Vektorquantisierung Konturbasierte Codierungvs. Inter-coding (auch: temporal coding): Redundanzzwischen Frames entfernen (temporale Redundanz) Differenzkodierung (frame differencing) BewegungskompensationVideokompression 22. Idee und Verfahrensweise: Aufteilung des Frames in Blcke (4x4, 8x8, etc.) Suche nach hnlichen Blcken hnliche Blcke im Bild ersetzen durch Durchschnittsblock Zwei Schritte: Training: Erstellung der Tabelle (Codebuch) mit hufig vorkommenden Blcken Hufig verwendet: LindeBuzoGray Algorithmus Bercksichtigung der hnlichkeit der notierten Blcke Dekoder muss ber das gleiche Codebuch verfgenVorteile: Schnelle Decodierung Gute Kompression bei vielen hnlichen BlckenNachteile: Codierung aufwndig, da hnliche Blcke gesucht werden mssenPraxis: Verwendung in Codecs: Indeo, CinepakIntra-Coding: Vektorquantisierung 23. Idee und Verfahrensweise: Trennung in Textur und Kontur Konturen beschreiben (z.B.) durch Bzier-Kurven Texturen kodieren (z.B. mit DCT)Praxis: Verwendung ansatzweise in MPEG-4Knackpunkt: ObjekterkennungIntra-Coding: Konturbasierte Codierung 24. Inter-coding 25. Bildnachweis: http://www.ipway.rs/h264/Doc/wp_h264_31669_en_0803_lo.pdft = 1 t = 2 t = 3Kompression? 26. t = 1Frame vollstndig gespeichert I-Framet = 2Aus dem vorhergehendenFrame berechnetes Frame P-FrameKompression!t = 3Aus dem vorhergehendenFrame berechnetes Frame P-FrameBildnachweis: http://www.ipway.rs/h264/Doc/wp_h264_31669_en_0803_lo.pdf 27. Speichern der Differenzen zwischen Start- undFolgeframe, z.B. pixelweiseDifferenzcodierungBildnachweis: Malaka, Butz, Humann: Medieninformatik. Mnchen: Pearson Studium, 2009. S. 180. 28. Intra- vs. Predicted- vs. Bidirectional Frames: Das Intra-Frame (I-Frame, auch: Key Frame / Schlsselbild)wird nur unter Bercksichtigung der eigenen Bildinformationkodiert Predicted Frames (P-Frames) werden aus denvorhergehenden I-Frames berechnet. Bidirectional Frames beziehen sich sowohl auf die vorhergehenden I- und P-Framesals auch auf die folgenden I- und P-Frames.Praxis MPEG-1 / -2: Ein I-Frame pro Sek. MPEG-4: Ein I-Frame ~ alle 10 Sek.Unterscheidung I: Frame-Typen (in MPEG) 29. Verfahrensweise Startframe und sptere I-Frames intracodiertbertragen Unterschiede zum Folgeframe bestimmen, als Bildinterpretieren und dieses Bild komprimierenDifferenzcodierungBildnachweis: Malaka, Butz, Humann: Medieninformatik. Mnchen: Pearson Studium, 2009. S. 180. 30. Verfahrensweise: Objektbewegungen zwischen Frames identifizieren Speicherung der Vernderungen als Bewegungsvektoren(motion vector) Zu bertragen: Differenzbild BewegungsvektorenBewegungskompensation (Motion Compensation)Bildnachweis: Malaka, Butz, Humann: Medieninformatik. Mnchen: Pearson Studium, 2009. S. 182. 31. Blockbasierte Bewegungskompensation Verwendung u.a. im MPEG-2 StandardGrob: Jedes Frame des Videomaterials wird in n*m groePixelblcke unterteilt Um die Bewegungskompensation zu leisten, werdendie Pixelblcke von Frame zu Frame miteinanderverglichen hneln sich die Pixelblcke (z.B. Kreuzkorrelation), sowird nur der Verschiebungsvektor gespeichert, umden sich der Block verschiebtBewegungskompensation 32. Video Container Matroska MP4 Codecs DivX Xvid H.264 Verfahren der Videokompression Intra-coding Vektorquantisierung Konturbasierte Codierung Interframe-coding Differenzcodierung BewegungskompensationThemenberblick 33. Audiokompression 34. Hrbeispiel 35. Akustische Signale = zumeist periodische SignaleAudio: Basics AmplitudeMaximalwert eines Signalsinnerhalb einer Phase SchwingungsdauerZeit, bis eine Schwingungwieder ihrenAusgangszustand erreicht WellenlngeFrequenz, ausgedrckt inHertz (Hz, 1Hz = 1Schwingung pro Sekunde)AmplitudeSchwingungsdauer 36. Von analog nach digital:Sampling Digitalisierung vonAudiodatenGrundfragen Sampling:1. Wahl der geeignetenAbtastrate (Sampling Rate)2. Wahl der geeignetenAuflsungEine Problemstellung: Sampling 37. Je hufiger die Schallwelle auf ihren Druckabgetastet wird, desto besser wird der originaleTon digital reprsentiert.Zu wenige Abtastpunkte fhren zu geradenLinien, zu langen Wellen oder zu gezacktenKurven.Abtastrate (Sampling Rate) 38. Wahl der Abtastrate auf Basis des Nyquist-Shannon-Abtasttheorems. Wenn ein kontinuierliches Signal miteiner oberen Grenzfrequenz von fmax mit einerAbtastrate von mehr als 2*fmax abgetastet wird, kannman das Ursprungssignal ohne Informationsverlust ausdem abgetasteten Signal rekonstruieren.(Malaka, Butz, Humann: Medieninformatik. Mnchen: Pearson, 2009, S. 63.)Das Abtasttheorem und die Praxis: Da menschlicheOhren Schallwellen von maximal 22.000 Hz (= 22 kHz)wahrnehmen knnen, liegt die erforderliche Nyquist-Rate bei 44.000 Hz. Qualitativ hochwertige Audio-Digitalisate haben darum eineAbtastrate von 44.100 Hz.Shannon-Nyquist 39. Bekanntestes (und einfachstes) Abtastverfahren:PCM (Pulse Code Modulation) Fr jedenAbtastzeitpunkt: Messung eines SignalwertesBekannte Audio-Formate, die PCM verwenden:WAV, AIFFPulse Code Modulation 40. Quantisierung: Abtasttiefe 41. Wie gro ist der Speicherplatzbedarf (unkomprimiert) einerklassischen Aufnahme in CD Qualitt (Stereo, 16 Bit) mit60-mintiger Laufzeit?Speicherplatzbedarf 42. Wie gro ist der Speicherplatzbedarf (unkomprimiert) einerklassischen Aufnahme in CD Qualitt (Stereo, 16 Bit) mit60-mintiger Laufzeit?Lsung Das Audiosignal wird standardmig mit 44,1 KHz abgetastet. Die Abtasttiefe liegt bei 16 Bit. Daraus folgt:44,1kHz * 2 * 16bit * 60 min * 60 s = 635 MegabyteSpeicherplatzbedarf 43. HrschwellenmaskierungSignale werden aus Frequenzspektrum entfernt,die jenseits der (menschlichen) HrschwelleliegenFrequenzmaskierung Entfernung von Signalen, die von Signalen miteiner anderen Frequenz bertnt werdenKompression: Psychoakkustische AspekteBildnachweis: http://de.wikipedia.org/w/index.php?title=Datei:24h_wecker.jpg&filetimestamp=20090809180759 44. Temporale Maskierung Auch zeitliche Abstnde zwischen Tnen habeneinen Einfluss auf die Hrbarkeit: Geht einem starken Ton A ein schwcherer Ton B inhnlicher oder gleicher Frequenz voraus oder folgt ihm,so gibt es zeitliche Abstnde von bestimmter Dauer, indenen Ton B nicht zu hren ist.Kompression: Psychoakkustische AspekteBildnachweis: http://www.itwissen.info/definition/lexikon/Maskierung-masking.html 45. / 46. Aufgabe 1 (1 Punkt)Welche Arten von Redundanz werden bei der Videokompression beseitigt? ErluternSie in diesem Kontext die Begriffe Intra- und Inter-Coding und beschreiben Sie diegrundlegende Funktionsweise des Verfahrens Motion Compensation.Aufgabe 2 (1 Punkt)Beschreiben Sie die Vorgehensweise bei der Digitalisierung von Audiosignalen.Beschreiben Sie in diesem Zusammenhang die folgenden Begriffe: Abtastrate (Sampling Rate) PCM Abtasttiefe (Quantisierung)Aufgabe 3 (1 Punkt)Welche Phnomene menschlicher Wahrnehmung (Stichwort: Maskierung) machtman sich bei der Audiodaten-kompression zunutze?Aufgabe 4 (1 Punkt)Informieren Sie sich im WWW ber das mp3-Format. In welchem Zusammenhangsteht mp3 mit der Moving Picture Experts Group?Hausaufgaben