概述
裸机->C高级->uboot和系统移植->linux应用编程和网络编程、驱动
===========================================================================================================
1.
/* We just coyp this value of payload type from RTP/RTSP definition */
typedef enum
{
PT_PCMU = 0,
....... ....
PT_H265 = 265,
PT_MAX = 266,
/* add by hisilicon */
PT_AMR = 1001,
PT_MJPEG = 1002,
PT_AMRWB = 1003,
PT_BUTT
} PAYLOAD_TYPE_E;
#海思源码中,枚举类型都是以大写字母加下划线构成,并以E结尾,结构体是以S结尾
#这里面PT就是PAYLOAD_TYPE,PAYLOAD简单理解为载体或者载荷,可以这么理解,假设你在传输一个视频,你传输的这个视频是个什么类型的
#这就是这个视频的PAYLOAD_TYPE,你把RTSP视频传输看成是用饺子皮把饺子馅包起来运走,这个PAYLOAD_TYPE就是问你这个饺子是什么馅的。
#通过RTSP不仅能传H.264类型的,还可以传其他类型的,都列在枚举里面
#RTP/RTSP本来就是用来传输音视频的一些东西,音视频的编码种类特别多,那你传输的是怎样一种编码,你要用PAYLOAD_TYPE告诉别人
#PT_BUTT是结尾标识符,不能用
===========================================================================================================
2.
PAYLOAD_TYPE_E enPayLoad[3]= {PT_H264, PT_H264,PT_H264};
#这个变量enPayLoad以en打头就告诉你这个是enum类型的
#从这个数组有三个变量来看,要编3路视频
#三路都是H.264的,这里只是一个初始化,后面再去填充
===========================================================================================================
3.
VPSS_GRP_ATTR_S stVpssGrpAttr;
#以st打头的就是结构体变量,前的VPSS_GRP_ATTR_S就是一个结构体,全部大写,下划线分开,S结尾
===========================================================================================================
4.
typedef enum hiPIC_SIZE_E
{
PIC_QCIF = 0, //176*144
PIC_CIF, //352*288
PIC_2CIF,
PIC_HD1,
PIC_D1, //704*576
PIC_960H,
PIC_QVGA, /* 320 * 240 */
PIC_VGA, /* 640 * 480 */
PIC_XGA, /* 1024 * 768 */
PIC_SXGA, /* 1400 * 1050 */
PIC_UXGA, /* 1600 * 1200 */
PIC_QXGA, /* 2048 * 1536 */
PIC_WVGA, /* 854 * 480 */
PIC_WSXGA, /* 1680 * 1050 */
PIC_WUXGA, /* 1920 * 1200 */
PIC_WQXGA, /* 2560 * 1600 */
PIC_HD720, /* 1280 * 720 */
PIC_HD1080, /* 1920 * 1080 */
PIC_2304x1296, /* 3M:2304 * 1296 */
PIC_2592x1520, /* 4M:2592 * 1520 */
PIC_5M, /* 2592 * 1944 */
PIC_UHD4K, /* 3840 * 2160 */
PIC_12M, /* 4000 * 3000 */
PIC_BUTT
} PIC_SIZE_E;
#图片分辨率的
=============================================================================================================
5.
VB_CONF_S;定义了模型,点菜
HI_MPI_VB_SetConf; 把模型告诉了VB,点好菜交给服务员
HI_MPI_VB_Init;VB真正去执行分配了,服务员把点好的菜单交给后厨开始做菜
#顺序不能搞错
#可以有多个缓冲池,每个缓冲池又分多个缓存块
=============================================================================================================
6.
step 6: stream venc process -- get stream, then save it to file.
#可以把这个码流打包成一个MP4存储到你的硬盘里面去,这就是录像。
#也可以分包,分成一个一个的视频包通过RTSP传出去。
#也可以作为一个裸流直接丢到流文件里面。这个裸流文件必须通过像VLC这些可以解析流文件的播放器才可以观看。
#裸流是开发过程中的半成品,没有文件头,就得花时间去检测一下这幅图是多大,正常情况不会给别人提供裸流的
#正常的视频去分辨率都是直接从文件中提取的
=============================================================================================================
7.
step 1: init sys variable 指的是初始化MMP这个系统的变量
=============================================================================================================
8.
typedef struct hiVB_CONF_S
{
HI_U32 u32MaxPoolCnt; /* max count of pools, (0,VB_MAX_POOLS] */
struct hiVB_CPOOL_S
{
HI_U32 u32BlkSize; /*what the size of each block. */
HI_U32 u32BlkCnt; /*How many blocks of each pool*/
HI_CHAR acMmzName[MAX_MMZ_NAME_LEN];
}astCommPool[VB_MAX_COMM_POOLS];
} VB_CONF_S;
#u32BlkSize一帧图像的大小决定了一个缓冲块的大小
#u32BlkCnt 缓冲块的数量按道理来说越多越好,要适量分配,避免浪费。内存大你就多给点避免不够用的情况出现,内存不多就要合理安排
#step 1: init sys variable这一步是根据我们的实际来核算各路缓存池的BlkSize,BlkCnt,不是随便给的,
#在这一步整个MPP系统还没有启动
=============================================================================================================
9.
SAMPLE_COMM_VI_GetSizeBySensor(&enSize[0]);
#填充变量,命令表明函数的位置在sample/common目录下,意思是通过sensor来算得到的图像大小
#我们这里的SENSOR是720p的,这个函数出来后就变成720p了
#刚开始初始化时PIC_SIZE_E enSize[3] = {PIC_HD1080, PIC_VGA,PIC_QVGA};给的是这三路码流,经过我们初始化后的到一路720p了
=============================================================================================================
10.
SAMPLE_VI_MODE_E enMode = SENSOR_TYPE;
#SENSOR_TYPE是在sample目录下面Makefile.param配置的
################# select sensor type for your sample ####################
#SENSOR_TYPE ?= APTINA_9M034_DC_720P_30FPS
SENSOR_TYPE ?= SONY_IMX222_DC_1080P_30FPS
#SENSOR_TYPE ?= SONY_IMX222_DC_720P_30FPS
#SENSOR_TYPE ?= APTINA_AR0130_DC_720P_30FPS
#SENSOR_TYPE ?= PANASONIC_MN34222_MIPI_1080P_30FPS
#SENSOR_TYPE ?= APTINA_AR0230_HISPI_1080P_30FPS
#SENSOR_TYPE ?= OMNIVISION_OV9712_DC_720P_30FPS
#SENSOR_TYPE ?= OMNIVISION_OV9732_DC_720P_30FPS
#SENSOR_TYPE ?= OMNIVISION_OV9750_MIPI_720P_30FPS
#SENSOR_TYPE ?= OMNIVISION_OV9752_MIPI_720P_30FPS
#SENSOR_TYPE ?= OMNIVISION_OV2718_MIPI_1080P_25FPS
##########################################################################
===========================================================================================================
11.
if (PIC_HD1080 == enSize[0])
{
enSize[1] = PIC_VGA;
s32ChnNum = 2;
}
else if (PIC_HD720 == enSize[0])
{
enSize[1] = PIC_VGA;
enSize[2] = PIC_QVGA;
s32ChnNum = 3;
}
else
{
printf("not support this sensorn");
return HI_FAILURE;
}
#最后我们得到的是720p,三路码流,enSize[0]=PIC_HD720 enSize[1] = PIC_VGA enSize[2] = PIC_QVGA
#PIC_HD720是主码流,PIC_VGA,PIC_QVGA是子码流,子码流的意思是通过对主码流裁剪,缩放等操作后得到的。
#子码流一般是通过手机来观看,手机屏幕毕竟小,没必要HD720,而且还流畅,节省带宽。
============================================================================================================
12.
stVbConf.u32MaxPoolCnt = 128;
#视频缓存池的个数是我们自己根据资源估算设置的,128是一个经验值
#不是实际设置了128个,而是设置了一个上限
============================================================================================================
13.
/*video buffer*/
if(s32ChnNum >= 1)
{
u32BlkSize = SAMPLE_COMM_SYS_CalcPicVbBlkSize(gs_enNorm,
enSize[0], SAMPLE_PIXEL_FORMAT, SAMPLE_SYS_ALIGN_WIDTH);
stVbConf.astCommPool[0].u32BlkSize = u32BlkSize;
stVbConf.astCommPool[0].u32BlkCnt = g_u32BlkCnt;
} \返回一帧图像所要的内存大小即u32VbSize,这个值就是block的大小-----第一路码流的公共缓存池
if(s32ChnNum >= 2)
{
u32BlkSize = SAMPLE_COMM_SYS_CalcPicVbBlkSize(gs_enNorm,
enSize[1], SAMPLE_PIXEL_FORMAT, SAMPLE_SYS_ALIGN_WIDTH);
stVbConf.astCommPool[1].u32BlkSize = u32BlkSize;
stVbConf.astCommPool[1].u32BlkCnt =g_u32BlkCnt;
} \---第二路码流的公共缓存池
if(s32ChnNum >= 3)
{
u32BlkSize = SAMPLE_COMM_SYS_CalcPicVbBlkSize(gs_enNorm,
enSize[2], SAMPLE_PIXEL_FORMAT, SAMPLE_SYS_ALIGN_WIDTH);
stVbConf.astCommPool[2].u32BlkSize = u32BlkSize;
stVbConf.astCommPool[2].u32BlkCnt = g_u32BlkCnt;
} \---第三路码流的公共缓存池
#各路缓存池的BlkSize,BlkCnt是不一样的
#一个缓冲池其实就对应一路码流,
#为什么要这么分呢,是因为不同的码流分辨率不一样,耗费的内存的块block也不一样,这是为了避免浪费内存空间
#enSize[0]目前为PIC_HD720,
#SAMPLE_PIXEL_FORMAT为像素格式,比如RGB888,RGB565就不一样,RGB888 24b占三个字节,RGB565 16b占两个字节
#SAMPLE_SYS_ALIGN_WIDTH对齐
=============================================================================================================
14.
((PIXEL_FORMAT_YUV_SEMIPLANAR_422 == enPixFmt)?2:1.5));
#这里指的是平均一个像素占几个字节
#YUV422 4+2+2=8字节,4个像素一共占了8个字节,那一个像素平均占多少个字节8/4=2字节
#YUV420 4+2=6字节,4个像素一共占了6个字节,那一个像素平均占多少个字节6/4=1.5字节
=============================================================================================================
15.
u32VbSize += u32HeaderSize;
#最后还要加上头信息
=============================================================================================================
16.
VB_PIC_HEADER_SIZE(stSize.u32Width, stSize.u32Height, enPixFmt, u32HeaderSize);
u32VbSize += u32HeaderSize;
return u32VbSize;
#返回u32VbSize就知道考虑了所有的的余量之后一帧图像要多大内存
=============================================================================================================
17.
/******************************************
step 2: mpp system init.
******************************************/
s32Ret = SAMPLE_COMM_SYS_Init(&stVbConf);
if (HI_SUCCESS != s32Ret)
{
SAMPLE_PRT("system init failed with %d!n", s32Ret);
goto END_VENC_1080P_CLASSIC_0;
}
#s32Ret = SAMPLE_COMM_SYS_Init(&stVbConf);把参数&stVbConf传进来,stVbConf是一个结构体
#函数内部用了两个API
#这两个API分别为 s32Ret = HI_MPI_VB_SetConf(pstVbConf); s32Ret = HI_MPI_VB_Init();
=============================================================================================================
18.
/******************************************************************************
* function : vb init & MPI system init
******************************************************************************/
HI_S32 SAMPLE_COMM_SYS_Init(VB_CONF_S *pstVbConf)
{
MPP_SYS_CONF_S stSysConf = {0};
HI_S32 s32Ret = HI_FAILURE;
HI_MPI_SYS_Exit();
HI_MPI_VB_Exit();
if (NULL == pstVbConf)
{
SAMPLE_PRT("input parameter is null, it is invaild!n");
return HI_FAILURE;
}
s32Ret = HI_MPI_VB_SetConf(pstVbConf);
if (HI_SUCCESS != s32Ret)
{
SAMPLE_PRT("HI_MPI_VB_SetConf failed!n");
return HI_FAILURE;
}
s32Ret = HI_MPI_VB_Init();
#HI_MPI_SYS_Exit(); 和HI_MPI_VB_Exit(); 打扫场地用的,注意调用顺序,释放是SYS在前,VB在后
#建立的时候是先VB后SYS
#其实VB的参数要操点心,pstVbConf自己去算好,余下的都是模式化,
================================================================================================================
19.
//SAMPLE_PRT("w:%d, u32AlignWidth:%dn", CEILING_2_POWER(stSize.u32Width,u32AlignWidth), u32AlignWidth);
u32VbSize = (CEILING_2_POWER(stSize.u32Width, u32AlignWidth) *
CEILING_2_POWER(stSize.u32Height,u32AlignWidth) *
((PIXEL_FORMAT_YUV_SEMIPLANAR_422 == enPixFmt)?2:1.5));
#CEILING_2_POWER(stSize.u32Width, u32AlignWidth) 这个宏的意思是stSize.u32Width向u32AlignWidth对齐
#怎么对齐,stSize.u32Width向上取整,u32AlignWidth是64,stSize.u32Width为1280,往上数,一直数到够第一个够64整除的数,意思就是往上留点余量
================================================================================================================
20.
PIXEL_FORMAT_YUV_SEMIPLANAR_420
#是怎么定成YUV420的
#其实是写APP的人用宏定义直接定义出来的,他怎么知道把它定成YUV420?
#define VB_PIC_HEADER_SIZE(Width, Height, Type, size)
do{
if (PIXEL_FORMAT_YUV_SEMIPLANAR_422 == Type || PIXEL_FORMAT_RGB_BAYER == Type )
{
size = VB_HEADER_STRIDE * (Height) * 2;
}
else if(PIXEL_FORMAT_YUV_SEMIPLANAR_420 == Type)
{
size = (VB_HEADER_STRIDE * (Height) * 3) >> 1;
}
else if(PIXEL_FORMAT_YUV_400 == Type)
{
size = VB_HEADER_STRIDE * (Height);
}
}while(0)
#PIXEL_FORMAT_RGB_BAYER指的是rawRGB,后面转成RGA,再到YUV,为什么不直接用RGB呢?
#是因为YUV这种方式表达颜色更加科学,所以最后不管你sensor这边出来是什么格式,一律转成YUV格式
#你想变成YUV422还是YUV420都可以,自己来定
#很明显YUV422的颜色分量会多一些,将来出来的色彩的还原度会高一些,但有比较浪费内存,所以自己来权衡颜色分量和内存占用情况
#行业内YUV420用得比较多
=================================================================================================================
21.
/******************************************
step 3: start vi dev & chn to capture
******************************************/
stViConfig.enViMode = SENSOR_TYPE;
stViConfig.enRotate = ROTATE_NONE;
stViConfig.enNorm = VIDEO_ENCODING_MODE_AUTO;
stViConfig.enViChnSet = VI_CHN_SET_NORMAL;
stViConfig.enWDRMode = WDR_MODE_NONE;
s32Ret = SAMPLE_COMM_VI_StartVi(&stViConfig);
if (HI_SUCCESS != s32Ret)
{
SAMPLE_PRT("start vi failed!n");
goto END_VENC_1080P_CLASSIC_1;
}
#MPP里面的函数我们追不进去
#HI_MPI_VI_SetDevAttr MPI代表MPP interface
#常用senso接口,MIPI,LVDS,DC(并口)
#stViConfig.enRotate = ROTATE_NONE;图像出来要旋转的话在这里设置
#stViConfig.enNorm = VIDEO_ENCODING_MODE_AUTO;图像制式的标准有PAL和NTSC两种,对于这种数字接口的sensor来说,不重要。
#stViConfig.enViChnSet = VI_CHN_SET_NORMAL; 图像镜像,翻转在这里设置
#stViConfig.enWDRMode = WDR_MODE_NONE;宽动态,这种技术需要sensor硬件支持。动态范围:在一幅图像中,能看到最亮与最暗的比例
#动态范围的模式有如下几种
typedef enum hiWDR_MODE_E
{
WDR_MODE_NONE = 0,
WDR_MODE_BUILT_IN,
WDR_MODE_2To1_LINE,
WDR_MODE_2To1_FRAME,
WDR_MODE_2To1_FRAME_FULL_RATE,
WDR_MODE_3To1_LINE,
WDR_MODE_3To1_FRAME,
WDR_MODE_3To1_FRAME_FULL_RATE,
WDR_MODE_4To1_LINE,
WDR_MODE_4To1_FRAME,
WDR_MODE_4To1_FRAME_FULL_RATE,
WDR_MODE_BUTT,
} WDR_MODE_E;
#sensor运行需要驱动
HI_S32 SAMPLE_COMM_VI_SetMipiAttr(SAMPLE_VI_CONFIG_S* pstViConfig)
{
HI_S32 fd;
combo_dev_attr_t *pstcomboDevAttr = NULL;
/* mipi reset unrest */
fd = open("/dev/hi_mipi", O_RDWR);
if (fd < 0)
{
printf("warning: open hi_mipi dev failedn");
return -1;
}
printf("=============SAMPLE_COMM_VI_SetMipiAttr enWDRMode: %dn", pstViConfig->enWDRMode);
if ( pstViConfig->enViMode == APTINA_AR0230_HISPI_1080P_30FPS )
{
pstcomboDevAttr = &HISPI_4lane_SENSOR_AR0230_12BIT_ATTR;
}
if ( pstViConfig->enViMode == PANASONIC_MN34222_MIPI_1080P_30FPS )
{
pstcomboDevAttr = &MIPI_2lane_SENSOR_MN34222_12BIT_NOWDR_ATTR;
}
if ( (pstViConfig->enViMode == OMNIVISION_OV9752_MIPI_720P_30FPS)
|| (pstViConfig->enViMode == OMNIVISION_OV9750_MIPI_720P_30FPS) )
{
pstcomboDevAttr = &MIPI_2lane_SENSOR_OV9752_12BIT_NOWDR_ATTR;
}
if ( pstViConfig->enViMode == OMNIVISION_OV2718_MIPI_1080P_25FPS )
{
pstcomboDevAttr = &MIPI_4lane_SENSOR_OV2718_12BIT_NOWDR_ATTR;
}
if ( (pstViConfig->enViMode == APTINA_9M034_DC_720P_30FPS)
|| (pstViConfig->enViMode == APTINA_AR0130_DC_720P_30FPS)
|| (pstViConfig->enViMode == SONY_IMX222_DC_1080P_30FPS)
|| (pstViConfig->enViMode == SONY_IMX222_DC_720P_30FPS)
|| (pstViConfig->enViMode == OMNIVISION_OV9712_DC_720P_30FPS)
|| (pstViConfig->enViMode == OMNIVISION_OV9732_DC_720P_30FPS) )
{
pstcomboDevAttr = &MIPI_CMOS3V3_ATTR;
}
if (NULL == pstcomboDevAttr)
{
printf("Func %s() Line[%d], unsupported enViMode: %dn", __FUNCTION__, __LINE__, pstViConfig->enViMode);
close(fd);
return HI_FAILURE;
}
if (ioctl(fd, HI_MIPI_SET_DEV_ATTR, pstcomboDevAttr))
{
printf("set mipi attr failedn");
close(fd);
return HI_FAILURE;
}
close(fd);
return HI_SUCCESS;
#sensor驱动装载完后会生成/dev/hi_mipi这样的一个设备文件,打开,打开后准备好相应的参数,不同的sensor填充的参数是不一样的
#填充完以后通过一个ioctl(fd, HI_MIPI_SET_DEV_ATTR, pstcomboDevAttr),HI_MIPI_SET_DEV_ATTR是3518E给sensor做属性设置的命令,传参的标准都是海思定义好的一个结构体,
#但是这个结构体在不用的sensor里面是不一样的,
#ioctl是驱动对应用开放的接口
#SAMPLE_COMM_VI_SetMipiAttr功能就是在应用层对sensor做一个初始化
combo_dev_attr_t HISPI_4lane_SENSOR_AR0230_12BIT_ATTR =
{
/* input mode */
.input_mode = INPUT_MODE_HISPI,
{
.lvds_attr =
{
.img_size = {1920, 1080},
HI_WDR_MODE_NONE,
LVDS_SYNC_MODE_SOL,
RAW_DATA_12BIT,
LVDS_ENDIAN_LITTLE,
LVDS_ENDIAN_LITTLE,
.lane_id = {0, 1, 2, 3, -1, -1, -1, -1},
.sync_code =
{
{{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005}},
{{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005}},
{{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005}},
{{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005}},
{{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005}},
{{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005}},
{{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005}},
{{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005},
{0x003, 0x007, 0x001, 0x005}}
}
}
}
};
===============================================================================================================================
22.
/******************************************
step 2: configure sensor and ISP (include WDR mode).
note: you can jump over this step, if you do not use Hi3516A interal isp.
******************************************/
s32Ret = SAMPLE_COMM_ISP_Init(pstViConfig->enWDRMode);
if (HI_SUCCESS != s32Ret)
{
SAMPLE_PRT("%s: Sensor init failed!n", __FUNCTION__);
return HI_FAILURE;
}
#ISP image signal process 是一种技术,就是做一下数学运算,3518e内部的一个硬件单元
#这个ISP硬件单元就是专门用来做ISP的,这个模块在MPP里面被封装成了API
#SAMPLE_COMM_ISP_Init功能就是把这个ISP的线程运行起来
#ISP里面处理比如3A
#也可以专门加一个ISP芯片,不用3518e里面这个ISP模块单元,不启动就行,默认就是关闭的
/******************************************************************************
* funciton : ISP init
******************************************************************************/
HI_S32 SAMPLE_COMM_ISP_Init(WDR_MODE_E enWDRMode)
{
ISP_DEV IspDev = 0;
HI_S32 s32Ret;
ISP_PUB_ATTR_S stPubAttr;
ALG_LIB_S stLib;
#if 0
/* 0. set cmos iniparser file path */
s32Ret = sensor_set_inifile_path("configs/");
if (s32Ret != HI_SUCCESS)
{
printf("%s: set cmos iniparser file path failed with %#x!n",
__FUNCTION__, s32Ret);
return s32Ret;
}
#endif
/* 1. sensor register callback */
s32Ret = sensor_register_callback();
if (s32Ret != HI_SUCCESS)
{
printf("%s: sensor_register_callback failed with %#x!n",
__FUNCTION__, s32Ret);
return s32Ret;
}
/* 2. register hisi ae lib */
stLib.s32Id = 0;
strcpy(stLib.acLibName, HI_AE_LIB_NAME);
s32Ret = HI_MPI_AE_Register(IspDev, &stLib);
if (s32Ret != HI_SUCCESS)
{
printf("%s: HI_MPI_AE_Register failed!n", __FUNCTION__);
return s32Ret;
}
/* 3. register hisi awb lib */
stLib.s32Id = 0;
strcpy(stLib.acLibName, HI_AWB_LIB_NAME);
s32Ret = HI_MPI_AWB_Register(IspDev, &stLib);
if (s32Ret != HI_SUCCESS)
{
printf("%s: HI_MPI_AWB_Register failed!n", __FUNCTION__);
return s32Ret;
}
/* 4. register hisi af lib */
stLib.s32Id = 0;
strcpy(stLib.acLibName, HI_AF_LIB_NAME);
s32Ret = HI_MPI_AF_Register(IspDev, &stLib);
if (s32Ret != HI_SUCCESS)
{
printf("%s: HI_MPI_AF_Register failed!n", __FUNCTION__);
return s32Ret;
}
/* 5. isp mem init */
s32Ret = HI_MPI_ISP_MemInit(IspDev);
if (s32Ret != HI_SUCCESS)
{
printf("%s: HI_MPI_ISP_Init failed!n", __FUNCTION__);
return s32Ret;
}
/* 6. isp set WDR mode */
ISP_WDR_MODE_S stWdrMode;
stWdrMode.enWDRMode = enWDRMode;
s32Ret = HI_MPI_ISP_SetWDRMode(0, &stWdrMode);
if (HI_SUCCESS != s32Ret)
{
printf("start ISP WDR failed!n");
return s32Ret;
}
/* 7. isp set pub attributes */
/* note : different sensor, different ISP_PUB_ATTR_S define.
if the sensor you used is different, you can change
ISP_PUB_ATTR_S definition */
switch(SENSOR_TYPE)
{
case APTINA_9M034_DC_720P_30FPS:
case APTINA_AR0130_DC_720P_30FPS:
stPubAttr.enBayer = BAYER_GRBG;
stPubAttr.f32FrameRate = 30;
stPubAttr.stWndRect.s32X = 0;
stPubAttr.stWndRect.s32Y = 0;
stPubAttr.stWndRect.u32Width = 1280;
stPubAttr.stWndRect.u32Height = 720;
break;
case SONY_IMX222_DC_1080P_30FPS:
stPubAttr.enBayer = BAYER_RGGB;
stPubAttr.f32FrameRate = 30;
stPubAttr.stWndRect.s32X = 200;
stPubAttr.stWndRect.s32Y = 20;
stPubAttr.stWndRect.u32Width = 1920;
stPubAttr.stWndRect.u32Height = 1080;
break;
case SONY_IMX222_DC_720P_30FPS:
stPubAttr.enBayer = BAYER_RGGB;
stPubAttr.f32FrameRate = 30;
stPubAttr.stWndRect.s32X = 200;
stPubAttr.stWndRect.s32Y = 20;
stPubAttr.stWndRect.u32Width = 1280;
stPubAttr.stWndRect.u32Height = 720;
break;
case APTINA_AR0230_HISPI_1080P_30FPS:
stPubAttr.enBayer = BAYER_GRBG;
stPubAttr.f32FrameRate = 30;
stPubAttr.stWndRect.s32X = 0;
stPubAttr.stWndRect.s32Y = 0;
stPubAttr.stWndRect.u32Width = 1920;
stPubAttr.stWndRect.u32Height = 1080;
break;
case PANASONIC_MN34222_MIPI_1080P_30FPS:
stPubAttr.enBayer = BAYER_GRBG;
stPubAttr.f32FrameRate = 30;
stPubAttr.stWndRect.s32X = 0;
stPubAttr.stWndRect.s32Y = 0;
stPubAttr.stWndRect.u32Width = 1920;
stPubAttr.stWndRect.u32Height = 1080;
break;
case OMNIVISION_OV9712_DC_720P_30FPS:
stPubAttr.enBayer = BAYER_BGGR;
stPubAttr.f32FrameRate = 30;
stPubAttr.stWndRect.s32X = 0;
stPubAttr.stWndRect.s32Y = 0;
stPubAttr.stWndRect.u32Width = 1280;
stPubAttr.stWndRect.u32Height = 720;
break;
case OMNIVISION_OV9732_DC_720P_30FPS:
stPubAttr.enBayer = BAYER_BGGR;
stPubAttr.f32FrameRate = 30;
stPubAttr.stWndRect.s32X = 0;
stPubAttr.stWndRect.s32Y = 0;
stPubAttr.stWndRect.u32Width = 1280;
stPubAttr.stWndRect.u32Height = 720;
break;
case OMNIVISION_OV9750_MIPI_720P_30FPS:
case OMNIVISION_OV9752_MIPI_720P_30FPS:
stPubAttr.enBayer = BAYER_BGGR;
stPubAttr.f32FrameRate = 30;
stPubAttr.stWndRect.s32X = 0;
stPubAttr.stWndRect.s32Y = 0;
stPubAttr.stWndRect.u32Width = 1280;
stPubAttr.stWndRect.u32Height = 720;
break;
case OMNIVISION_OV2718_MIPI_1080P_25FPS:
stPubAttr.enBayer = BAYER_BGGR;
stPubAttr.f32FrameRate = 25;
stPubAttr.stWndRect.s32X = 0;
stPubAttr.stWndRect.s32Y = 0;
stPubAttr.stWndRect.u32Width = 1920;
stPubAttr.stWndRect.u32Height = 1080;
break;
default:
stPubAttr.enBayer = BAYER_GRBG;
stPubAttr.f32FrameRate = 30;
stPubAttr.stWndRect.s32X = 0;
stPubAttr.stWndRect.s32Y = 0;
stPubAttr.stWndRect.u32Width = 1920;
stPubAttr.stWndRect.u32Height = 1080;
break;
}
s32Ret = HI_MPI_ISP_SetPubAttr(IspDev, &stPubAttr);
if (s32Ret != HI_SUCCESS)
{
printf("%s: HI_MPI_ISP_SetPubAttr failed with %#x!n", __FUNCTION__, s32Ret);
return s32Ret;
}
/* 8. isp init */
s32Ret = HI_MPI_ISP_Init(IspDev);
if (s32Ret != HI_SUCCESS)
{
printf("%s: HI_MPI_ISP_Init failed!n", __FUNCTION__);
return s32Ret;
}
gbIspInited = HI_TRUE;
return HI_SUCCESS;
}
#sensor_register_callback() IQ调试相关
#这个函数在sensor驱动里面Z:Hi3518E_V200R001C01SPC030Hi3518E V200R001C01SPC030
#01.softwareboardHi3518E_SDK_V1.0.3.0packagemppcomponentispsensorar0130目录的ar0130_cmos.c里面
/* 2. register hisi ae lib */
stLib.s32Id = 0;
strcpy(stLib.acLibName, HI_AE_LIB_NAME);
s32Ret = HI_MPI_AE_Register(IspDev, &stLib);
if (s32Ret != HI_SUCCESS)
{
printf("%s: HI_MPI_AE_Register failed!n", __FUNCTION__);
return s32Ret;
}
#自动曝光
/* 3. register hisi awb lib */
stLib.s32Id = 0;
strcpy(stLib.acLibName, HI_AWB_LIB_NAME);
s32Ret = HI_MPI_AWB_Register(IspDev, &stLib);
if (s32Ret != HI_SUCCESS)
{
printf("%s: HI_MPI_AWB_Register failed!n", __FUNCTION__);
return s32Ret;
}
#自动白平衡
/* 4. register hisi af lib */
stLib.s32Id = 0;
strcpy(stLib.acLibName, HI_AF_LIB_NAME);
s32Ret = HI_MPI_AF_Register(IspDev, &stLib);
if (s32Ret != HI_SUCCESS)
{
printf("%s: HI_MPI_AF_Register failed!n", __FUNCTION__);
return s32Ret;
}
#自动对焦
#注册一下3A单元
/* 5. isp mem init */
s32Ret = HI_MPI_ISP_MemInit(IspDev);
if (s32Ret != HI_SUCCESS)
{
printf("%s: HI_MPI_ISP_Init failed!n", __FUNCTION__);
return s32Ret;
}
#给ISP单元分配内存,传这个参数IspDev就可以了,内部自动会去分配内存
/* 6. isp set WDR mode */
ISP_WDR_MODE_S stWdrMode;
stWdrMode.enWDRMode = enWDRMode;
s32Ret = HI_MPI_ISP_SetWDRMode(0, &stWdrMode);
if (HI_SUCCESS != s32Ret)
{
printf("start ISP WDR failed!n");
return s32Ret;
}
#设置宽动态
switch(SENSOR_TYPE)
{
case APTINA_9M034_DC_720P_30FPS:
case APTINA_AR0130_DC_720P_30FPS:
stPubAttr.enBayer = BAYER_GRBG;
stPubAttr.f32FrameRate = 30;
stPubAttr.stWndRect.s32X = 0;
stPubAttr.stWndRect.s32Y = 0;
stPubAttr.stWndRect.u32Width = 1280;
stPubAttr.stWndRect.u32Height = 720;
#stPubAttr.enBayer = BAYER_GRBG; RGB原始信号的排列序列,查sensor的datasheet
# stPubAttr.stWndRect.s32X = 0;
# stPubAttr.stWndRect.s32Y = 0; 图像区域的起始点(0,0)
#ISP初始化以后ISP就已经准备好了
/* 8. isp init */
s32Ret = HI_MPI_ISP_Init(IspDev);
if (s32Ret != HI_SUCCESS)
{
printf("%s: HI_MPI_ISP_Init failed!n", __FUNCTION__);
return s32Ret;
}
#3518E内部ISP单元是隶属于VI模块的
#VI模块就包括3大部分,第一部分是与sensor对接的部分,第二部分是就是ISP,第三部分就是VI dev和channel部分。
#VI dev是采集图像的硬件单元,channel是与后端连接的多个出口,也是一个硬件单元。每一个出口就是一个channel。
#填充完后就设置进去HI_MPI_VI_SetDevAttr
s32Ret = HI_MPI_VI_SetDevAttr(ViDev, &stViDevAttr);
if (s32Ret != HI_SUCCESS)
{
SAMPLE_PRT("HI_MPI_VI_SetDevAttr failed with %#x!n", s32Ret);
return HI_FAILURE;
}
#获取WDR模式HI_MPI_ISP_GetWDRMode
if ( (SAMPLE_VI_MODE_BT1120_1080P != enViMode)
&&(SAMPLE_VI_MODE_BT1120_720P != enViMode) )
{
s32Ret = HI_MPI_ISP_GetWDRMode(s32IspDev, &stWdrMode);
if (s32Ret != HI_SUCCESS)
{
SAMPLE_PRT("HI_MPI_ISP_GetWDRMode failed with %#x!n", s32Ret);
return HI_FAILURE;
}
#使能dev
s32Ret = HI_MPI_VI_EnableDev(ViDev);
if (s32Ret != HI_SUCCESS)
{
SAMPLE_PRT("HI_MPI_VI_EnableDev failed with %#x!n", s32Ret);
return HI_FAILURE;
}
#dev循环了一次,因为u32DevNum=1
/******************************************************
step 4 : config & start vicap dev
******************************************************/
for (i = 0; i < u32DevNum; i++)
{
ViDev = i;
s32Ret = SAMPLE_COMM_VI_StartDev(ViDev, enViMode);
if (HI_SUCCESS != s32Ret)
{
SAMPLE_PRT("%s: start vi dev[%d] failed!n", __FUNCTION__, i);
return HI_FAILURE;
}
}
VPSS(Video Process Sub-System)
#支持对一幅图像进行统一预处理,如去噪,去隔行等。
#什么是去隔行,就是把隔行转成逐行,因为以前的技术有隔行扫描,不过现在的大多数的sensor都是逐行扫描的了。
#然后再对各通道分别进行缩放,锐化等处理,最后输出多种不同分辨率的图像。
#从这句话可以看出,VI到VPSS是当通道输入,多通道输出是从VPSSz这里出去的。扩展通道是从VPSS这里出来的。
#具体的功能包括FRC(Frame Rate Control)、Crop、NR(Noise Reduce)、LDC(Lens Distortion Correction)
#Rotate、Cover/Overlay、Scale、Mirror/Flip、FishEye
#通过调用SYS模块的绑定接口这句话的意思,SYS模块就是MPP,绑定接口就是s32Ret = HI_MPI_SYS_Bind(&stSrcChn, &stDestChn);
#stSrcChn源头通道是VI,目的通道stDestChn是VPSS
#group是VPSS硬件在软件上的映射,如果只有一个group那就是VPSS硬件的1:1的映射,不用复用了
#group里面分了好多个channel;
#VI里面的channel和group里面的channel是不同的东西
#是VI这里的channel去绑定VPSS的gruop的
/*** enSize[0] **/
if(s32ChnNum >= 1)
{
VpssGrp = 0;
VpssChn = 0;
VencChn = 0;
s32Ret = SAMPLE_COMM_VENC_Start(VencChn, enPayLoad[0],
gs_enNorm, enSize[0], enRcMode,u32Profile);
if (HI_SUCCESS != s32Ret)
{
SAMPLE_PRT("Start Venc failed!n");
goto END_VENC_1080P_CLASSIC_5;
}
s32Ret = SAMPLE_COMM_VENC_BindVpss(VencChn, VpssGrp, VpssChn);
if (HI_SUCCESS != s32Ret)
{
SAMPLE_PRT("Start Venc failed!n");
goto END_VENC_1080P_CLASSIC_5;
}
}
#Profile指的是H.264编码的清晰度,分为baseline mainprofile hightprofile
/******************************************
step 1: Create Venc Channel
******************************************/
stVencChnAttr.stVeAttr.enType = enType;
switch(enType)
{
case PT_H264:
{
stH264Attr.u32MaxPicWidth = stPicSize.u32Width;
stH264Attr.u32MaxPicHeight = stPicSize.u32Height;
stH264Attr.u32PicWidth = stPicSize.u32Width;/*the picture width*/
stH264Attr.u32PicHeight = stPicSize.u32Height;/*the picture height*/
stH264Attr.u32BufSize = stPicSize.u32Width * stPicSize.u32Height;/*stream buffer size*/
stH264Attr.u32Profile = u32Profile;/*0: baseline; 1:MP; 2:HP; 3:svc_t */
stH264Attr.bByFrame = HI_TRUE;/*get stream mode is slice mode or frame mode?*/
stH264Attr.u32BFrameNum = 0;/* 0: not support B frame; >=1: number of B frames */
stH264Attr.u32RefNum = 1;/* 0: default; number of refrence frame*/
memcpy(&stVencChnAttr.stVeAttr.stAttrH264e, &stH264Attr, sizeof(VENC_ATTR_H264_S));
#stH264Attr.u32MaxPicWidth,stH264Attr.u32MaxPicHeight编码通道的最大宽和高,如果给到通道里面的图像比这个大就会被压缩,如果小就丢弃
#所有图像的宽高stH264Attr.u32PicWidth,stH264Attr.u32PicHeight就应该和最大宽和高设置一样大,这样是最好的,不用处理直接编码
#stH264Attr.u32BufSize过程中的一个buffer,以像素为单位
#svc_t是h.264的一个补充标准
================================================================================================================
pstPara = (SAMPLE_VENC_GETSTREAM_PARA_S*)p;
s32ChnTotal = pstPara->s32Cnt;
#s32Cnt告诉你有几路,我们目前有三路
/******************************************
step 1: check & prepare save-file & venc-fd
******************************************/
if (s32ChnTotal >= VENC_MAX_CHN_NUM)
{
SAMPLE_PRT("input count invaildn");
return NULL;
}
#总的通道数大于最大通道提醒输入无效
for (i = 0; i < s32ChnTotal; i++)
{
/* decide the stream file name, and open file to save stream */
VencChn = i;
s32Ret = HI_MPI_VENC_GetChnAttr(VencChn, &stVencChnAttr);
if(s32Ret != HI_SUCCESS)
{
SAMPLE_PRT("HI_MPI_VENC_GetChnAttr chn[%d] failed with %#x!n",
VencChn, s32Ret);
return NULL;
}
enPayLoadType[i] = stVencChnAttr.stVeAttr.enType;
s32Ret = SAMPLE_COMM_VENC_GetFilePostfix(enPayLoadType[i], szFilePostfix);
if(s32Ret != HI_SUCCESS)
{
SAMPLE_PRT("SAMPLE_COMM_VENC_GetFilePostfix [%d] failed with %#x!n",
stVencChnAttr.stVeAttr.enType, s32Ret);
return NULL;
}
sprintf(aszFileName[i], "stream_chn%d%s", i, szFilePostfix);
pFile[i] = fopen(aszFileName[i], "wb");
if (!pFile[i])
{
SAMPLE_PRT("open file[%s] failed!n",
aszFileName[i]);
return NULL;
}
#去get流就是跟VENC这边对接的,
#获取编码输出通道的一些信息HI_MPI_VENC_GetChnAttr
# enPayLoadType[i] = stVencChnAttr.stVeAttr.enType;这个拿出来就是H.264的类型
#SAMPLE_COMM_VENC_GetFilePostfix获取编码后文件名的后缀。比如.h264
#aszFileName[i]编码后文件名
#最后这个流就是写到一个文件里面去了pFile[i] = fopen(aszFileName[i], "wb");一个裸流,裸流就是没有文件头,没有文件格式
#一般的播放器是播放不了,VLC是面向开发的,支持裸流播放。wb为二级制的形式写入。
VencFd[i] = HI_MPI_VENC_GetFd(i);
#取流文件的访问接口,毕竟编码后的文件是封装在里面的,你不能直接去取的
#什么是流,流就是连续的,你去读只能读一段
stStream.pstPack = (VENC_PACK_S*)malloc(sizeof(VENC_PACK_S) * stStat.u32CurPacks);
#通过malloc申请一段内存
s32Ret = SAMPLE_COMM_VENC_SaveStream(enPayLoadType[i], pFile[i], &stStream);
#分配了一个payload,我们这是当然是h.264
/******************************************************************************
* funciton : save H264 stream
******************************************************************************/
HI_S32 SAMPLE_COMM_VENC_SaveH264(FILE* fpH264File, VENC_STREAM_S *pstStream)
{
HI_S32 i;
for (i = 0; i < pstStream->u32PackCount; i++)
{
fwrite(pstStream->pstPack[i].pu8Addr+pstStream->pstPack[i].u32Offset,
pstStream->pstPack[i].u32Len-pstStream->pstPack[i].u32Offset, 1, fpH264File);
fflush(fpH264File);
}
return HI_SUCCESS;
}
#fwrite只是放到了内存
#fflush写到flash里面去了,确保断电不丢失,另一方面是内存有限
/*******************************************************
step 2.6 : release stream
*******************************************************/
s32Ret = HI_MPI_VENC_ReleaseStream(i, &stStream);
if (HI_SUCCESS != s32Ret)
{
free(stStream.pstPack);
stStream.pstPack = NULL;
break;
}
#写完了还要调用HI_MPI_VENC_ReleaseStream,海思内部的设计架构,不用考虑
/*******************************************************
* step 3 : close save-file
*******************************************************/
for (i = 0; i < s32ChnTotal; i++)
{
fclose(pFile[i]);
}
return NULL;
#我们不想录像后,就关闭文件
HI_VOID* SAMPLE_COMM_VENC_GetVencStreamProc(HI_VOID *p)
#这个函数是我们获取视频并且写成文件的一个主线程,这个线程一死,整个录像过程就掉了
/******************************************
step 6: stream venc process -- get stream, then save it to file.
1.可以把这个码流打包成一个MP4存储到你的硬盘里面去,这就是录像。
2.也可以分包,分成一个一个的视频包通过RTSP传出去。
3.也可以作为一个裸流直接丢到流文件里面。
******************************************/
s32Ret = SAMPLE_COMM_VENC_StartGetStream(s32ChnNum);
if (HI_SUCCESS != s32Ret)
{
SAMPLE_PRT("Start Venc failed!n");
goto END_VENC_1080P_CLASSIC_5;
}
printf("please press twice ENTER to exit this samplen");
getchar();
getchar();
#这个主线程在这里可以结束,两次回车就会结束,录像停止
/******************************************
step 7: exit process
刚好是个一个逆过程,要把场地收拾干净,
就像一个栈,先进后出
******************************************/
SAMPLE_COMM_VENC_StopGetStream();
#主线程结束后,跳到这里,
HI_S32 SAMPLE_COMM_VENC_StopGetStream()
{
if (HI_TRUE == gs_stPara.bThreadStart)
{
gs_stPara.bThreadStart = HI_FALSE;
pthread_join(gs_VencPid, 0);
}
return HI_SUCCESS;
}
#gs_stPara.bThreadStart = HI_FALSE; 就把变量设置为FALSE,弄死
#回收线程 pthread_join(gs_VencPid, 0); 收尸
#整个程序结束
END_VENC_1080P_CLASSIC_5:
VpssGrp = 0;
switch(s32ChnNum)
{
case 3:
VpssChn = 2;
VencChn = 2;
SAMPLE_COMM_VENC_UnBindVpss(VencChn, VpssGrp, VpssChn);
SAMPLE_COMM_VENC_Stop(VencChn);
case 2:
VpssChn = 1;
VencChn = 1;
SAMPLE_COMM_VENC_UnBindVpss(VencChn, VpssGrp, VpssChn);
SAMPLE_COMM_VENC_Stop(VencChn);
case 1:
VpssChn = 0;
VencChn = 0;
SAMPLE_COMM_VENC_UnBindVpss(VencChn, VpssGrp, VpssChn);
SAMPLE_COMM_VENC_Stop(VencChn);
break;
}
SAMPLE_COMM_VI_UnBindVpss(stViConfig.enViMode);
END_VENC_1080P_CLASSIC_4: //vpss stop
VpssGrp = 0;
switch(s32ChnNum)
{
case 3:
VpssChn = 2;
SAMPLE_COMM_VPSS_DisableChn(VpssGrp, VpssChn);
case 2:
VpssChn = 1;
SAMPLE_COMM_VPSS_DisableChn(VpssGrp, VpssChn);
case 1:
VpssChn = 0;
SAMPLE_COMM_VPSS_DisableChn(VpssGrp, VpssChn);
break;
}
END_VENC_1080P_CLASSIC_3: //vpss stop
SAMPLE_COMM_VI_UnBindVpss(stViConfig.enViMode);
END_VENC_1080P_CLASSIC_2: //vpss stop
SAMPLE_COMM_VPSS_StopGroup(VpssGrp);
END_VENC_1080P_CLASSIC_1: //vi stop
SAMPLE_COMM_VI_StopVi(&stViConfig);
END_VENC_1080P_CLASSIC_0: //system exit
SAMPLE_COMM_SYS_Exit();
return s32Ret;
}
#各种不同级别恢复原位的过程,比如VPSS死了,你得把你初始化的MPP初始化给恢复原位
#注意一个倒影的问题,前面是123,后面是321的一个过程
==============================================================================================
1. ORTP
#open RTP (RTP的一个开源实现)
#视频在网络上的传输主要有两种:
#(1).基于下载:http or ftp 要播放的话,先从服务器上下载到本地,比如视频网站播放视频,
# 下载的速度可以赶得上播放的速度那就是实时的,网速慢就在那里缓冲,网速快缓冲比播放提前。
# 基于下载的这种模式一般是为了保证视频的质量。
#(2).基于实时:RTP/RTSP/RTCP 主要用于视频监控的相关领域。还有直播
# 这种应用一般都是为了保证时间上的同步的应用场景。如果网速不够,牺牲的是画面质量。网速快的时候
# 看到的是清晰实时的画面,网速慢的时候看到的是模糊实时的画面。
#RTP(Real-time Transport Protocol) 可以用来传输语音、视频流等
#RTSP(Real Time Streaming Protocol)专门用来传输视频流的
#RTCP(RTP Control Protocol)用来控制用的,传输方与接收方的一个协调,RTCP是RTP的一个补充,因为RTP只传输,不能控制。
#两种传输方式是没有好坏之分的,关键是你看的应用场景。
#
==============================================================================================
2. h.264的编码原理
#图像的冗余信息:空间冗余,时间冗余,
#视频编码的关键点:压缩比、算法的复杂度、还原度;求得一个平衡,压缩分为硬压缩,软压缩;3518E就是用了
#一个硬件单元DSP来压缩,属于硬压缩。
#H.264的2大组成部分:VCL和NAL VCL关心的是视频的压缩,NAL关心的是这些被压缩后的视频流如何被网络传输到对方解码
#h.264编码相关的一些概念
#(1) 宏块 MB(macroblock) 表示的是一幅图像的一小块区域, 压缩都是以宏块为单位(不是以像素为单位),因为一个宏块里面的像素是有相似性的
#(2) 片 slice 帧的一部分
#(3) 帧 frame 有时候帧只有一个slice,有时候又有多个slice
#像素组成宏块,宏块组成片,片组成帧,多个帧加起来组成一个序列,多个序列组成了一个码流
#(4) I帧(非参考帧,只和自己有关,可以理解为图像的第一帧,之前没有参考,做不了时间冗余,只能做帧内压缩,及空间压缩)
#(5) B帧(参考帧,相当于图像后面的帧,做了空间和时间冗余,压缩的时候前后帧都做了参考,可以这么理解,第二帧与第一帧非常相似,
#不用记录内容,记录差异就行,这样所占用的空间就小了,还原的时候前后帧都要参考,再把差异修正了就行,谁像就多参考些,
#因为在编码的时候前面后面的帧都已经出来了)
#(6) P帧(参考帧,只参考了前一帧,算法复杂度没那么高)
#I帧必须得有
#帧率 fps
================================================================================================
3. NAL单元
#NAL关系的是VCL的输出的纯视频流如何被表达和封包以利于网络传输
#NAL部分出来的就是H.264的码流,这部分码流包括纯视频流和封包信息,封包的作用是利于网络传输和解码
#SODB :String Of Date Bits VCL的输出的纯视频流
#RBSP: Raw Byte Sequence Payload 在SODB基础上加上了封包(头尾信息)
#NALU: Network Abstraction Layer Units h.264里面就是一个一个的NALU
#关系:SODB + RBSP trailing bits(头尾信息) = RBSP
#NAL header(1 byte) + RBSP = NALU
#做编码器的人关心的是VCL部分,做视频传输和解码播放的人关心的是NAL部分
#雷神作品:SpecialVH264.exe
#国外工具:Elecard StreamEye Tools
#二级制工具:winhex
#网络抓包工具:wireshark
#播放器:vlc
#海思平台编码出来的h.264码流都是一个个序列:包含1sps+1pps+1sei+1I帧+若干p帧
#相关概念
#序列 sequence ,每个sequence都有一个I帧,本sequence的I帧坏了顶多是丢弃本sequence,不会影响其他sequence.
#一秒钟一个sequence,每一秒钟的第一个帧都是I帧,往下就有 帧率-1个P帧,每秒钟的sequence数等于帧率。
#分隔符00 00 00 01在h.264的码流里面是有特殊含义的,表示有一个新的开始,分隔符不是有效数据,相当于房子的墙
#00 00 00 01后的第一个数据是SPS,长度为14个字节,向后数14个字节后,又遇到分隔符00 00 00 01,分隔符后面是PPS
#PPS长度为4个字节,然后是分隔符00 00 00 01,接下来是SEI,长度为5个字节,然后是分隔符00 00 00 01,接下来是IDR_SLICE(I帧),
#然后是分隔符00 00 00 01,接下来就是P帧,依次类推。
#如果码流数据有00 00 00 ,那么要转变成 00 00 03 00 避免和分隔符00 00 00 01冲突
================================================================================================
4. h.264中的profile和level
#profile是对视频压缩等级或档次的描述,profile越高,就说明采用了越高级的压缩特性,越高级的压缩算法。压缩结果就越好,压缩算法的实现对硬件要求就比较高。
#level是对视频本身特性的描述(码率、分辨率、fps)。Level越高,视频的码率、分辨率、fps越高。
#在同一个profile里面,level是可以不一样的,比如大家都用的是最基础的profile(Base line Profile),最后得到的码率、分辨率、帧率也可以不一样。
#level指的是图像本身的一些参数,profile指的是图像压缩算法的一些参数。
#h.264 profile分为三个档次,分别为baseline profile(低配,硬件性能要求低)、main profile(主流)、high profile(高配,但是硬件性能要求比较高)。
#1280*720@30f对应的level是3.1
#程序中可以配置profile的
================================================================================================
5. sequence
#一段h.264码流其实就是由多个sequence组成的
#一个sequence持续一秒
#每个sequence均有固定结构:1sps+1pps+1sei+1I帧+若干P帧
#p帧的个数等于fps-1
#sps和pps和sei描述该sequence的图像信息,这些信息有两个功能:网络传输和解码
#I帧是关键,丢了I帧整个sequence就废了,每个sequence有且只有1个I帧(这只针对海思平台)
#I帧越大则P帧可以越小,反之I帧越小则I帧会越大
#I比较大说明I帧包括的信息比较详细,说明I帧的压缩比例没那么高
#I帧越详细,P帧就越好参考,p帧就会越小。反之,I帧越小,说明I帧压缩的越狠,I帧本身就
#不是很详细,那么I帧就得内容多一些,否则你I帧也小,P帧也小,图像肯定就不清晰。
#I帧的大小取决于图像本身内容(图像比较丰富,可压缩的空间就比较小,反之,图像比较单一,可压缩的空间就比较大,I帧压缩与时间没有关系)和压缩算法
#的空间压缩部分
#P帧的大小取决于图像的变化剧烈程度,如果这一帧的相对于上一帧变化非常的小,那么这帧P帧就可以很小,反之,如果这一帧的相对于上一帧变化非常的大,
#那么这帧P帧就很大。
#视频码率就是数据传输时单位时间传送的数据位数,一般我们用单位是kbps。
#CBR和VBR下P帧的大小策略会不同,CBR时P帧大小基本恒定,VBR时变化比较剧烈。
#CRR下就是牺牲图像的清晰度,图像变化剧烈,清晰度就会下降,图像稳定,清晰度就会上升。
#VBR的情况下是保存图像的清晰度,如果图像变化剧烈,码率就会极大增加,网速吃紧。
=================================================================================================
6. RTSP
最后
以上就是自觉煎蛋为你收集整理的海思Hi3518EV200 SDK源码分析笔记的全部内容,希望文章能够帮你解决海思Hi3518EV200 SDK源码分析笔记所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复