ffmpeg新接口之体验

89 阅读 0 评论 59 点赞

我是靠谱客的博主羞涩皮带，最近开发中收集的这篇文章主要介绍ffmpeg新接口之体验，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

许久不使用ffmpeg了，最近一年一直是使用gstreamer在做媒体处理（因为产品采用开源框架缘故），考虑gstreamter过于庞大，过于晦涩（依赖glib,各种插件，面向对象的C框架等），自研框架还是优先开用ffmpeg来处理。将3年前的ffmpeg解码器例子用最新ffmpeg（4.2.3）来编译，问题一大堆。

首先：相关宏定义的头文件路径变了（虽然通过头文件引入相关调整解决了）。
其次：API接口变了。编译被中止了。

ffmpeg老接口编译中止

咋看，新版本ffmpeg很多接口已经降级不能使用了。主要变动如下：
1.   初始方式变了。
以前ffmpeg初始化相关av_regigser_all,av_register_xxx都废弃了，新的ffmpeg版本不需要av_regigser这个方式注册这个流程了。
2.   解码编码相关接口改了。
以前ffmpeg需要使用avcodec_encode_video2，avcodec_decode_video2，avcodec_decode_audio4, avcodec_encode_audio2等一系列相关avcodec_encode_xxxx, avcodec_decode_xxxx编解码器接口全部废弃，取而代之是avcodec_send_frame，avcodec_receive_packet ，avcodec_send_packe，avcodec_receive_frame 四个新接口统一了。
3.   其次结构体某些参数可能也改了。查看相关说明即可。
虽然新的ffmpeg的API和相关结构体参数发生了改变，好在ffmpeg注释比较明白，老的工程移植过来总体难度不大。
下面以一个h264解码生成YUV的例子来展示一下老工程在新的API框架下的使用

typedef struct Scale_Context
{
    struct SwsContext *Sctx;
    int *dstStride;
    uint8_t **DstData;
};
static void decode(AVCodecContext *dec_ctx, AVFrame *frame, AVPacket *pkt,
    const char *filename, Scale_Context *pScx)
{
    char buf[1024];
    int ret;
    ret = avcodec_send_packet(dec_ctx, pkt);
    if (ret < 0) {
        fprintf(stderr, "Error sending a packet for decodingn");
        exit(1);
    }
    int iGot_Frame = 0;
    while (ret >= 0) {
        //ret = avcodec_decode_video2(dec_ctx, frame, &iGot_Frame,pkt); 老的接口已经废弃
        ret = avcodec_receive_frame(dec_ctx, frame);
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
            return;
        else if (ret < 0) {
            fprintf(stderr, "Error during decodingn");
            exit(1);
        }

        if (pScx->Sctx != NULL)
        {
             sws_scale(pScx->Sctx, frame->data,
             frame->linesize, 0, 1080, pScx->DstData, pScx->dstStride);
        }
        //I420ToYUY2() libyuv
        printf("saving frame %3dn", dec_ctx->frame_number);
        fflush(stdout);
        /* the picture is allocated by the decoder. no need to
        free it */
        int linesize = frame->linesize[0];
        if (pScx->Sctx == NULL)
        {
            _snprintf(buf, sizeof(buf), "%s-%d.yuv420", filename, dec_ctx->frame_number);
            yuv420_save(frame->data, frame->linesize,
                frame->width, frame->height, buf);
        }
        else
        {
            _snprintf(buf, sizeof(buf), "%s-%d.yuyv422", filename, dec_ctx->frame_number);
            yuyv422_save(pScx->DstData[0], pScx->dstStride[0], frame->width, frame->height, buf);
        }

    }
}

Decode 接口采用新的API解码。avcodec_send_packet将AVpacket送入解码器，avcodec_receive_frame从解码器读出解码后的原始帧数据YUV。

int _tmain(int argc, _TCHAR* argv[])
{
    const char *filename, *outfilename;
    const AVCodec *codec;
    AVCodecParserContext *parser;
    AVCodecContext *c = NULL;
    FILE *f;
    AVFrame *frame;
    uint8_t inbuf[INBUF_SIZE + AV_INPUT_BUFFER_PADDING_SIZE];
    uint8_t *data;
    size_t   data_size;
    int ret;
    AVPacket *pkt;
    Scale_Context SctxObj;
    struct SwsContext *sws_ctx = NULL;
    uint8_t *src_data[4], *dst_data[4];
    int src_linesize[4], dst_linesize[4];
    int type = 0;
    if (argc <= 2) {
        fprintf(stderr, "Usage: %s <input file> <output file> [type]n", argv[0]);
        exit(0);
    }
    filename = argv[1];
    outfilename = argv[2];
    if (argc>3)
     type = atoi(argv[3]);
    pkt = av_packet_alloc();
    if (!pkt)
        exit(1);
   //av_register_all();新框架注册接口已经废弃
    /* set end of buffer to 0 (this ensures that no overreading happens for damaged MPEG streams) */
    memset(inbuf + INBUF_SIZE, 0, AV_INPUT_BUFFER_PADDING_SIZE);

    /* find the MPEG-1 video decoder */
    codec = avcodec_find_decoder(AV_CODEC_ID_H264);
    if (!codec) {
        fprintf(stderr, "Codec not foundn");
        exit(1);
    }
    parser = av_parser_init(codec->id);
    if (!parser) {
        fprintf(stderr, "parser not foundn");
        exit(1);
    }
    c = avcodec_alloc_context3(codec);
    if (!c) {
        fprintf(stderr, "Could not allocate video codec contextn");
        exit(1);
    }
    /* For some codecs, such as msmpeg4 and mpeg4, width and height
    MUST be initialized there because this information is not
    available in the bitstream. */
    /* open it */
    if (avcodec_open2(c, codec, NULL) < 0) {
        fprintf(stderr, "Could not open codecn");
        exit(1);
    }
    f = fopen(filename, "rb");
    if (!f) {
        fprintf(stderr, "Could not open %sn", filename);
        exit(1);
    }
    frame = av_frame_alloc();
    if (!frame) {
        fprintf(stderr, "Could not allocate video framen");
        exit(1);
    }
    if (type > 0)
    {

        int src_w = 1920, src_h = 1080, dst_w = 1920, dst_h = 1080;
        /* create scaling context  1080P的YUV420转换成YUYV422 */
        sws_ctx = sws_getContext(src_w, src_h, AV_PIX_FMT_YUV420P,
            dst_w, dst_h, AV_PIX_FMT_YUYV422,
            SWS_BILINEAR, NULL, NULL, NULL);
        if (!sws_ctx) {
            fprintf(stderr,
                "Impossible to create scale context for the conversion ");
            ret = AVERROR(EINVAL);
            exit(1);
        }

        /* buffer is going to be written to rawvideo file, no alignment */
        if ((ret = av_image_alloc(dst_data, dst_linesize,
            dst_w, dst_h, AV_PIX_FMT_YUYV422, 1)) < 0) {
            fprintf(stderr, "Could not allocate destination imagen");
            exit(1);
        }
    }
    SctxObj.Sctx = sws_ctx;
    SctxObj.dstStride = dst_linesize;
    SctxObj.DstData = dst_data;
    while (!feof(f)) {
        /* read raw data from the input file */
        data_size = fread(inbuf, 1, INBUF_SIZE, f);
        if (!data_size)
            break;

        /* use the parser to split the data into frames */
        data = inbuf;
        while (data_size > 0) {
            ret = av_parser_parse2(parser, c, &pkt->data, &pkt->size,
                data, data_size, AV_NOPTS_VALUE, AV_NOPTS_VALUE, 0);
            if (ret < 0) {
                fprintf(stderr, "Error while parsingn");
                exit(1);
            }
            data += ret;
            data_size -= ret;

            if (pkt->size)
                decode(c, frame, pkt, outfilename, &SctxObj);
        }
    }
    /* flush the decoder */
    decode(c, frame, NULL, outfilename, &SctxObj);
    fclose(f);
    av_parser_close(parser);
    avcodec_free_context(&c);
    av_frame_free(&frame);
    av_packet_free(&pkt);
    getchar();
    return 0;
}

main函数传入3个参数，第一个参数是输入264文件名，第二个参数是输出YUV的文件名，第3个参数指定YUV的格式。type大于0，输入为yuyv422，否则为YUV420格式。在这里我们演示了通过ffmpeg自带的libswscale完成图像数据的转换。
libswscale:主要功能：
图像格式互转，图像缩放，前后图像滤波处理等。如：YUV和RGB各种格式互转，YUV或RGB图像的缩放，图像各种滤波处理等。libswscale不足之处是转换效率不高，如果对性能有更高追求，建议采用opencv或libyuv来完成图像转换，缩放。
编译，运行该程序，生成的YUV420和YUYV422格式如下：