HLS 概述

HLS 全称是 HTTP Live Streaming, 是一个由 Apple 公司实现的基于 HTTP 的媒体流传输协议. 他跟 DASH 协议的原理非常类似. 通过将整条流切割成一个小的可以通过 HTTP 下载的媒体文件, 然后提供一个配套的媒体列表文件, 提供给客户端, 让客户端顺序地拉取这些媒体文件播放, 来实现看上去是在播放一条流的效果.

由于传输层协议只需要标准的 HTTP 协议, HLS 可以方便的透过防火墙或者代理服务器, 而且可以很方便的利用 CDN 进行分发加速, 并且客户端实现起来也很方便.

HLS 目前广泛地应用于点播和直播领域.

在 HTML5 页面上使用 HLS 非常简单:

直接:

<video src="example.m3u8" controls></video>

或者:

<video controls> <source src="example.m3u8"> </source></video>

下面, 我将会概括性地介绍 HLS 协议的方方面面(并且包括 AES 加密部分的内容), 配合 HLS 的 RFC 食用效果更佳.

HLS 协议详解

hls架构（架构简介及播放加密的HLS）(1)

hls_arch 上面是 HLS 整体架构图, 可以看出, 总共有三个部分: Server, CDN, Client.

其实, HLS 协议的主要内容是关于 M3U8 这个文本协议的, 其实生成与解析都非常简单. 为了更加直接地说明这一点, 我下面举两个简单的例子:

简单的 Media Playlist:

#EXTM3U #EXT-X-VERSION:3 #EXT-X-TARGETDURATION:8 #EXT-X-MEDIA-SEQUENCE:2680 #EXTINF:7.975, https://priv.example.com/fileSequence2680.ts #EXTINF:7.941, https://priv.example.com/fileSequence2681.ts #EXTINF:7.975, https://priv.example.com/fileSequence2682.ts

包含多种比特率的 Master Playlist:

#EXTM3U #EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=1280000 http://example.com/low.m3u8 #EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=2560000 http://example.com/mid.m3u8 #EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=7680000 http://example.com/hi.m3u8 #EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=65000,CODECS="mp4a.40.5" http://example.com/audio-only.m3u8

HLS Media segmentsMPEG-2 Transport Streams

即最常见的 TS 文件.

免费分享，2022最新最全学习提升资料包,资料内容包括《Andoird音视频开发必备手册 音视频最新学习视频 大厂面试真题 2022最新学习路线图》点击领取FFmpegWebRTCRTMPRTSPHLSRTP播放器-音视频流媒体高级开发

hls架构（架构简介及播放加密的HLS）(2)

音视频学习交流扣裙788280672

hls架构（架构简介及播放加密的HLS）(3)

Fragmented MPEG-4

即常提到的 fMP4.

Packed AudioWebVTTHLS Playlists

Playlist 文件的格式是起源于 M3U, 并且继承两个 tag: EXTM3U 和 EXTINF 下面的 tags 通过 BNF-style 语法来指定.

Attribute ListsBasic Tags

Basic Tags 可以用在 Media Playlist 和 Master Playlist 里面.

Media Segment Tags

每一个 Media Segment 通过一系列的 Media Segment tags 跟一个 URI 来指定. 有的 Media Segment tags 只应用与下一个 segment, 有的则是应用所有下面的 segments. 一个 Media Segment tag 只能出现在 Media Playlist 里面.

Media Playlist Tags

Media Playlist tags 描述 Media Playlist 的全局参数. 同样地, Media Playlist tags 只能出现在 Media Playlist 里面.

Master Playlist Tags

Master Playlist tags 定义 Variant Streams, Renditions 和 其他显示的全局参数. Master Playlist tags 只能出现在 Master Playlist 中.

Media or Master Playlist Tags

这里的 tags 可以出现在 Media Playlist 或者 Master Playlist 中. 但是如果同时出现在同一个 Master Playlist 和 Media Playlist 中时, 必须为相同值.

服务器端与客户端逻辑

以下流程仅供参考, 其实不同的播放器客户端以及服务器端的拉取规则都有很多细节差异.

服务器端逻辑客户端逻辑HLS 的优势HLS 的劣势改进的 HLS 技术

由于客户端每次请求 TS 或 M3U8 有可能都是一个新的连接请求, 所以, 我们无法有效的标识客户端, 一旦出现问题, 基本无法有效的定位问题, 所以, 一般工业级的服务器都会对传统的 HLS 做一些改进.

这里主要介绍网宿的 Variant HLS 与又拍云的 HLS .

网宿的 Variant HLS

首先, 我们可以下载一条网宿的 M3U8 文件:

wget http://bililive.kksmg.com/hls/stvd6edb9a6_45b34047833af658bf4945a8/playlist.m3u8

然后, 打开下载得到的 playlist 文件:

#EXTM3U #EXT-X-STREAM-INF:PROGRAM-ID=1, BANDWIDTH=781000 http://bililive.kksmg.com/hls/stvd6edb9a6_45b34047833af658bf4945a8/playlist.m3u8? wsSession=0105cb4e8fe63bccab511a4a- 149017212774715&wsIPSercert=b80d38c068c9e3634a7ebb2f2bbf9b89&wsMonitor=-1

可以看出这是一个 Master Playlist, 里面嵌套了一层 M3U8, 同时可以看出网宿采用 wsSession 来标识一条播放连接.

又拍云的 HLS

Variant HLS

首先, 我们可以下载一条又拍云的 M3U8 文件:

wget http://uplive.b0.upaiyun.com/live/loading.m3u8

然后, 打开下载得到的 playlist 文件:

#EXTM3U #EXT-X-VERSION:3 #EXT-X-ALLOW-CACHE:YES #EXT-X-MEDIA-SEQUENCE:0 #EXT-X-TARGETDURATION:1 #EXTINF:0.998, no desc http://183.158.35.12:8080/uplive.b0.upaiyun.com/live/loading-0.ts? shp_uuid=e4989f34fcab282e21ef1fd2980284cb&shp_ts=1490172420851&shp_cid=17906&shp_pid=3 370578&shp_sip0=127.0.0.1&shp_sip1=183.158.35.12&domain=uplive.b0.upaiyun.com&shp_seqno=0

可以看出又拍云的 HLS 也支持这种 Variant HLS 方式来标识一条 HLS 连接, 可以看出, 又拍云使用 uuid 来表示一条 HLS 连接.

HTTP 302

首先, 以 HTTP 302 方式来请求播放地址.

❯ curl -v http://uplive.b0.upaiyun.com/live/loading.m3u8\?shp_identify\=302 -o playlist % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0* Trying 183.158.35.59... * TCP_NODELAY set * Connected to uplive.b0.upaiyun.com (183.158.35.59) port 80 (#0) > GET /live/loading.m3u8?shp_identify=302 HTTP/1.1 > Host: uplive.b0.upaiyun.com > User-Agent: curl/7.51.0 > Accept: */* > < HTTP/1.1 302 Found < Server: marco/0.26 < Date: Wed, 22 Mar 2017 08:54:11 GMT < Content-Type: text/plain; charset=utf-8 < Content-Length: 259 < Connection: keep-alive < Access-Control-Allow-Methods: GET < Access-Control-Allow-Origin: * < Location: http://183.158.35.19:8080/uplive.b0.upaiyun.com/live/loading.m3u8? shp_uuid=2862b1b817a74cf719b1cd8f554616cd&shp_ts=1490172851450&shp_cid=59553&shp_pid=1 730488&shp_sip0=127.0.0.1&shp_sip1=183.158.35.19&domain=uplive.b0.upaiyun.com&shp_iden tify=302 < { [259 bytes data] * Curl_http_done: called premature == 0 100 259 100 259 0 0 4813 0 --:--:-- --:--:-- --:--:-- 4886 * Connection #0 to host uplive.b0.upaiyun.com left intact

打开 playlist 内容:

Redirect to http://183.158.35.19:8080/uplive.b0.upaiyun.com/live/loading.m3u8? shp_uuid=2862b1b817a74cf719b1cd8f554616cd&shp_ts=1490172851450&shp_cid=59553&shp_pid=1 730488&shp_sip0=127.0.0.1&shp_sip1=183.158.35.19&domain=uplive.b0.upaiyun.com&shp_identify=302

在跳转之后的地址存放真正的 playlist, 同时, 也能够将 uuid 加入到了连接上.

总地来说, 不管通过哪种方式, 最终我们都能通过一个唯一的 id 来标识一条流, 这样在排查问题时就可以根据这个 id 来定位播放过程中的问题.

HLS 延时分析

HLS 理论延时 = 1 个切片的时长 0-1个 td (td 是 EXT-X-TARGETDURATION, 可简单理解为播放器取片的间隔时间) 0-n 个启动切片(苹果官方建议是请求到 3 个片之后才开始播放) 播放器最开始请求的片的网络延时(网络连接耗时) 为了追求低延时效果, 可以将切片切的更小, 取片间隔做的更小, 播放器未取到 3 个片就启动播放. 但是, 这些优化方式都会增加 HLS 不稳定和出现错误的风险.

播放未加密的HLS

1、我们知道HLS格式的视频，只有安卓4.0以上才支持，目前基本4.0一下的机子基本可以考虑，不兼容了，所以为了减少工作量，就没有打算使用三方的播放器，就继续使用MediaPlayer来进行播放

2、HLS格式的视频，他是通过一个m3u8文件，然后里面包含若干个TS文件片段，这里有个苹果的官方的一个例子：

http://devimages.apple.com/iphone/samples/bipbop/gear1/prog_index.m3u8

毕竟这个是苹果研发的所以看官方的格式肯定没错。

3、里面的内容

#EXTM3U #EXT-X-TARGETDURATION:10 #EXT-X-MEDIA-SEQUENCE:0 #EXTINF:10, no desc fileSequence0.ts #EXTINF:10, no desc fileSequence1.ts #EXTINF:10, no desc fileSequence2.ts #EXTINF:10, no desc fileSequence3.ts #EXTINF:10, no desc fileSequence4.ts #EXTINF:10, no desc fileSequence5.ts #EXTINF:10, no desc fileSequence6.ts #EXTINF:10, no desc fileSequence7.ts

我们可以看到里面他又一个一个ts视频片段，这个一个一个视频片段就是我们需要的播放，那么他是如何被播放器识别播放的呢。

4、其实上面的这些关键的字段都是约定好的，所以在MediaPlayer这个类的native层，会去按照规定好的字段去解析这个m3u8文件，那么他在播放器是最终播放的地址是怎么样的呢，是这样的

http://devimages.apple.com/iphone/samples/bipbop/gear1/fileSequence0.ts

组拼起来的，你可以直接用这个地址播放看看。

5、实现这种未加密的缓存还是比较好实现的，大概可以分为这几步。

播放加密HLS

看下加密的m3u8文件的格式

#EXTM3U #EXT-X-VERSION:3 #EXT-X-KEY:METHOD=AES-128,URI="http://xxxxxx:5555//test/1102/test/segments.key" #EXT-X-MEDIA-SEQUENCE:0 #EXT-X-ALLOW-CACHE:YES #EXT-X-TARGETDURATION:19 #EXTINF:13.966667, http://xxxxxx:5555/test/1102/test/segments0.ts #EXTINF:10.000000, http://xxxxxx:5555/test/1102/test/segments1.ts #EXTINF:10.000000, http://xxxxxx:5555/test/1102/test/segments2.ts #EXTINF:10.000000, http://xxxxxx.cn:5555/test/1102/test/segments3.ts #EXTINF:10.000000, http://xxxxxxn.cn:5555/test/1102/test/segments4.ts #EXTINF:7.033333, http://xxxxxx:5555/test/1102/test/segments5.ts #EXTINF:10.000000,

我们看到了多了个字段EXT-X-KEY，这个也是m3u8给规定好的加密字段，如果包含这个字段播放器就会先去请求这个key，然后拿这个这个key去访问加密的TS视频就可以播放了。 其实看到这我们就因该有思路怎么去做，加密的缓存播放了。

实现播放加密缓存的思路

推荐一个免费学习音视频的地址，里面都是视频教程干货满满：【免费】FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发-学习视频教程-腾讯课堂

,