Home

この Wiki には、

1. ブラウザの機能を使って HLS をサーバから取得し
2. HLS から MPEG-2 TS をほどき
3. PES と NALUnit をパースし
4. Video ES と Audio ES を取り出し
5. Video ES を格納する MP4Box 構造を作成し <video> に渡せる形の .mp4 の BLOB を作成し
6. Audio ES (AAC) を WebAudio に渡せる形にデコードする

等のコードを記述する上で必須となる HLS / M3U8 / MPEG-2 TS / ByteStream / MP4Box(IBMFF: ISO Base Media File Format) / H.264 / AAC に関する一連の知識を、これでもかと詰め込んでいます。

通常であれば、合計1000ページを軽く超える膨大な数の仕様書を解読し、そこから半年〜1年ほどかけてトライアンドエラーを繰り返したうえで獲得可能な知識量ですが、読むだけであれば30分ぐらいでサクッと読めるはずです。

参考になさってください。

実際にブラウザ上で動作するコードを知りたい方は、以下のリポジトリも参照してください。

• MP4
  • https://github.com/uupaa/MP4.js/wiki
  • https://github.com/uupaa/MP4Muxer.js/blob/master/lib/MP4Muxer.js
  • https://github.com/uupaa/MP4Parser.js/blob/master/lib/MP4Parser.js
  • https://github.com/uupaa/MP4Builder.js/blob/master/lib/MP4Builder.js
  • https://github.com/uupaa/MP4Probe.js/blob/master/lib/MP4Probe.js
• MPEG4ByteStream
  • wiki
  • https://github.com/uupaa/MPEG4ByteStream.js/blob/master/lib/MPEG4ByteStream.js
• NALUnit
  • https://github.com/uupaa/NALUnit.js/tree/master/lib
• MPEG2-TS
  • wiki
  • https://github.com/uupaa/MPEG2TS.js/tree/master/lib
• AAC
  • wiki
  • https://github.com/uupaa/AAC.js/tree/master/lib
• AAC Profile
  • https://github.com/uupaa/AACProfile.js/blob/master/lib/AACProfile.js
• M3U8
  • wiki
  • https://github.com/uupaa/M3U8.js/blob/master/lib/M3U8.js
  • https://github.com/uupaa/M3U8Spooler.js/blob/master/lib/M3U8Segment.js
  • https://github.com/uupaa/M3U8Spooler.js/blob/master/lib/M3U8Spooler.js
• Binary functions
  • https://github.com/uupaa/Bit.js/wiki/Bit
  • https://github.com/uupaa/TypedArray.js/wiki
  • https://github.com/uupaa/ExpGolomb.js/wiki
  • https://github.com/uupaa/HexDump.js/wiki
• Hash functions
  • MD5, SHA1, HMAC, Adler32, XXHash, MurMyr, CRC
  • https://github.com/uupaa/Hash.js/wiki
• Tools
  • hlsdump
  • ts2aac

Link

• H.264
  • FLV format for H.264
  • JavaScriptでMP4の動画からAACを抽出してみた
    • github https://github.com/ukyo/mp4.js/tree/master/src
  • H.264 データ構造, NALUnit, RBSPの解説
  • JCODEC Muxing h264 (avc) into mp4
  • github https://github.com/jcodec/jcodec
  • H.264/AVC(NAL)
    • H.264/AVC(NAL) について概要が書かれています
  • http://wikiwiki.jp/redstrange/?H.264
  • MPEG-4の基礎5 - ISO 14496-10 (ビデオ) -AVC　ageha was here
    • 2007年時点における ffmpeg 以外のコーデックについて情報が書かれている
    • ffmpeg で生成する H.264 の raw data を mp4box で mp4 コンテナに変換可能な事が書かれている
  • gpac/MP4Box の muxer 部分のコード
    • https://github.com/gpac/gpac/blob/master/src/isomedia/stbl_write.c
  • Encapsulation of Opus in ISO Base Media File Format
    • https://www.opus-codec.org/docs/opus_in_isobmff.html
  • L-SMASH の muxer
    • https://github.com/l-smash/l-smash/blob/master/cli/muxer.c
  • mdat の入れ替え
    • https://github.com/kanongil/node-faststart/blob/master/faststart.js
  • Bento4 の muxer
    • https://github.com/axiomatic-systems/Bento4/blob/master/Source/C%2B%2B/Apps/Mp4Mux/Mp4Mux.cpp
• MPEG-2 TS
  • PTS/DTS/PCR
    • http://comments.gmane.org/gmane.comp.video.ffmpeg.libav.user/8863