什么是网络视频直播？

什么是网络视频直播？

一、视频采集：

采集是整个视频推流过程中的第一个环节，它从系统的采集设备中获取原始视频数据，将其输出到下一个环节。视频的采集涉及两方面数据的采集：音频采集和图像采集，它们分别对应两种完全不同的输入源和数据格式。

音频采集：音频采集过程主要通过设备将环境中的模拟信号采集成PCM编码的原始数据，然后将数据编码压缩成MP3格式分发出去。常见的音频压缩格式有：MP3，AAC，HE-AAC，Opus，FLAC，Vorbis (Ogg)，Speex 和 AMR等。

图像采集：图像采集过程主要由摄像机和其他设备拍摄成YUV编码的原始数据，然后编码并压缩成H.264格式数据进行分发出去。常见的视频封装格式有：MP4、3GP、AVI、MKV、WMV、MPG、VOB、FLV、SWF、MOV、RMVB 和 WebM 等。

二、视频处理：

在收集视频或音频之后，获得原始数据。 为了增强一些现场效果或添加一些额外的效果，我们通常在压缩之前处理代码，例如加上时间或公司LOGO水印，美女雀斑和声音混淆处理。在主播和观众连麦场景中，主播需要与一个或多个观众进行对话，并且将会话结果实时地与所有其他观众分享， 连麦的处理也有部分工作在推流端完成。视频处理：美颜、水印、滤镜、自定义；音频处理：混音、降噪、声音特效、自定义；

三、视频编码：

对于流媒体传输，编码非常重要。 其编码性能，编码速度和编码压缩比直接影响整个流媒体传输的用户体验和传输成本。常见的视频编码器：

1)H.264/AVC；2)HEVC/H.265；3)VP8；4)VP9；5)FFmpeg；6)音频编码器：Mp3, AAC等。

四、视频封装：

封装可以理解为采用哪种货车去运输，也就是媒体的容器。所谓容器，把编码器生成的多媒体内容(视频，音频，字幕，章节信息等)混合封装在一起。

几种常见的封装格式：

1)AVI 格式(后缀为 .avi)

2)DV-AVI 格式(后缀为 .avi)

3)QuickTime File Format 格式(后缀为 .mov)

4)MPEG 格式(文件后缀可以是 .mpg .mpeg .mpe .dat .vob .asf .3gp .mp4等)

5)WMV 格式(后缀为.wmv .asf)

6)Real Video 格式(后缀为 .rm .rmvb)

7)Flash Video 格式(后缀为 .flv)

8)Matroska 格式(后缀为 .mkv)

9)MPEG2-TS 格式 (后缀为 .ts)

目前，我们在流媒体传输，尤其是直播中主要采用的就是 FLV 和 MPEG2-TS 格式，分别用于 RTMP/HTTP-FLV 和 HLS 协议。

五、视频推流

推流是指使用推流工具等内容抓取软件把直播内容传输到服务器的过程。

推送协议主要有三种：

RTSP(Real Time Streaming Protocol)：实时流传送协议，是用来控制声音或影像的多媒体串流协议, 由Real Networks和Netscape共同提出的;

RTMP(Real Time Messaging Protocol)：实时消息传送协议，是Adobe公司为Flash播放器和服务器之间音频、视频和数据传输 开发的开放协议;

HLS(HTTP Live Streaming)：是苹果公司(Apple Inc.)实现的基于HTTP的流媒体传输协议;

RTMP是目前主流的流媒体传输协议，广泛用于直播领域，市面上绝大多数的直播产品都采用了这个协议。

RTMP协议基于 TCP，是一种设计用来进行实时数据通信的网络协议，主要用来在 flash/AIR 平台和支持 RTMP 协议的流媒体/交互服务器之间进行音视频和数据通信。支持该协议的软件包括 Adobe Media Server/Ultrant Media Server/red5 等。

它有三种变种：

RTMP工作在TCP之上的明文协议，使用端口1935;

RTMPT封装在HTTP请求之中，可穿越防火墙;

RTMPS类似RTMPT，但使用的是HTTPS连接;

RTMP协议就像一个用来装数据包的容器，这些数据可以是AMF格式的数据,也可以是FLV中的视/音频数据。一个单一的连接可以通过不同的通道传输多路网络流。这些通道中的包都是按照固定大小的包传输的。

六、视频传输：

推送出去的流媒体需要传输到观众，整个链路就是传输网络。

七、视频转码：

视频直播播流端的码率是根据推流端决定的，即播流端的码率是与推流端的码率一致的。但是遇到以下场景会造成直播效果不佳：

推流端码率与播流端带宽不相匹配。当推流端码率较高而客户端带宽资源有限就会导致播放出现卡顿，而当推流端码率较低但是客户端对于直播效率要求较高时会导致播放效果较差。

播放器插件需要实现多码率切换。前端播放器插件常可以设置码率切换，这就需要同一路推流可以同时提供多种码率的播流地址。

因此，视频直播提供了实时转码功能对同一路推流地址同时提供多路不同码率播流地址提供服务。

八、视频分发：

流媒体服务器的作用是负责直播流的发布和转播分发功能。

九、视频解码：

编码器(Encoder)：压缩信号的设备或程序；

解码器(Decoder)：解压缩信号的设备或程序；

编解码器(Codec)：编解码器；

十、视频播放：

主要是实现直播节目在终端上的展现。因为这里使用的传输协议是RTMP， 所以只要支持 RTMP 流协议的播放器都可以使用，譬如：

电脑端：VLC等；手机端：Vitamio以及ijkplayer等；