概述
YUV420SP压缩为H264,减小存储空间,减少传输时间
编码原理:去掉以下冗余
(1)空间冗余:相邻像素之间的相关性
(2)时间冗余:相邻图像之间内容相似
(3)编码冗余:像素值出现的概率不同(哈弗曼表,出现概率高的像素使用短编码;无损压缩,类似rar、zip)
(4)视觉冗余:视觉对细节的不敏感性(有损压缩)
常见的图像编码器:H264、H265、VP8、VP9
H264编码知识:
(1)NALU:网络提取层单元
(2)SPS:包括了一个图像序列的所有信息
(3)PPS:包括了一个图像所有片的信息
(4)I帧:帧内编码帧
(5)P帧:前向预测编码帧
(6)B帧:前向后向双向预测编码帧
(7)GOP(Group of Picture):两个I帧之间的图像组,CDN缓存GOP做到直播秒开
常见的音频编码器:AAC、PCM、WAV、OGG
常见的封装格式:FLV、TS、AVI等
直播的推流与优化
推流协议:
(1)RTMP协议:CDN支持良好、协议简单容易实现、数据包封装简单;缺点:基础TCP,传输成本高、Adobe私有协议
(2)WebRTC协议:W3C标准、基于UDP;缺点:CDN支持较差
(3)UDP自定义协议:定制化空间大;缺点:开发成本高、CDN不友好
优化思路:
(1)保证音频的传输
(2)调整码率、FPS、分辨率
2.服务端:转码、录制、截图、鉴黄
转码目的:为了适应不同的
《Android学习笔记总结+最新移动架构视频+大厂安卓面试真题+项目实战源码讲义》
【docs.qq.com/doc/DSkNLaERkbnFoS0ZF】 完整内容开源分享
网络带宽、不同的终端处理能力和不同的用户需求,为直播平台提供很多增值服务
录制截图:录制用于回放点播、截图用于封面
鉴黄:基于深度学习的图片识别技术,对直播流进行控制:色情、疑似色情、正常、性感
3.播放端:拉流、解码、渲染
常见的拉流协议:
(1)RTMP:
(2)HTTP-FLV:
(3)HLS:延迟较大
解码:编码的逆过程,从音视频的数据中提取原始数据
(1)硬解码:速度较快,适配问题
(2)软解码
渲染:视频画面的显示,声音的播放;音视频的同步
4.互动系统:聊天、礼物、点赞、连麦
5.直播开发的工具:
推流端-OBS Studio https://obsproject.com/download
(1)支持桌面和文件推流
(2)支持多画面、多音频混合推流
(3)支持录制
(4)开源
服务器:一般使用Nginx搭建的RTMP
播放端:CUTV测试工具 http://www.cutv.com/demo/live_test.swf
(1)流信息展示丰富
(2)可设置缓冲时间
(3)网页版
其他辅助工具
(1)Softe AAC Converter:转化为AAC音频
(2)H264BSAnalyzer:分析H264视频格式
(3)FlvParse:分析FLV文件
(4)YUVPlayer:播放YUV文件
直播SDK
阿里云:
最后
以上就是英勇可乐为你收集整理的Android互动直播APP开发入门笔记,android系统移植和驱动开发的全部内容,希望文章能够帮你解决Android互动直播APP开发入门笔记,android系统移植和驱动开发所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复