一区二区三区日韩精品-日韩经典一区二区三区-五月激情综合丁香婷婷-欧美精品中文字幕专区

分享

ffmpeg filter過濾器 基礎實例及全面解析

 waston 2016-05-18

目錄


1. 什么是ffmpeg filter?

首先是名字:中文名,就稱為ffmpeg過濾器,當然也有人稱為ffmpeg 濾鏡。(用濾鏡聽起來好像是給video用的,所以不太好,因為audio也可以用) ffmpeg目錄下,有個文件夾叫l(wèi)ibavfilter,它可以單獨編譯為一個庫。干嘛用的呢?用于音視頻過濾。
比如,我有一個mp4,想把它縮小一半,輸出一個新的mp4,那么,做縮小動作的,就是libavfilter。
是不是想查看ffmpeg有多少filter?用下面的命令。
./ffmpeg -filters

2. 如何使用ffmpeg filter

filter的使用很簡單。下面就舉兩個例子。

2.1 將輸入的1920x1080縮小到960x540輸出:

./ffmpeg -i input.mp4 -vf scale=960:540 output.mp4
//ps: 如果540不寫,寫成-1,即scale=960:-1, 那也是可以的,ffmpeg會通知縮放濾鏡在輸出時保持原始的寬高比。

2.2 為視頻添加logo

比如,我有這么一個圖片
iqiyilogo
想要貼到一個視頻上,那可以用如下命令:
./ffmpeg -i input.mp4 -i iQIYI_logo.png -filter_complex overlay output.mp4
結果如下所示:
add_logo
要貼到其他地方?看下面:
右上角:
./ffmpeg -i input.mp4 -i logo.png -filter_complex overlay=W-w output.mp4
左下角:
./ffmpeg -i input.mp4 -i logo.png -filter_complex overlay=0:H-h output.mp4
右下角:
./ffmpeg -i input.mp4 -i logo.png -filter_complex overlay=W-w:H-h output.mp4

2.3 去掉視頻的logo

有時候,下載了某個網(wǎng)站的視頻,但是有l(wèi)ogo很煩,咋辦?有辦法,用ffmpeg的delogo過濾器。
語法:-vf delogo=x:y:w:h[:t[:show]]
x:y 離左上角的坐標
w:h logo的寬和高
t: 矩形邊緣的厚度默認值4
show:若設置為1有一個綠色的矩形,默認值0。

./ffmpeg -i input.mp4 -vf delogo=0:0:220:90:100:1 output.mp4
結果如下所示:
delogo


3. 自己寫一個過濾器

既然過濾器這么好,那如何自己實現(xiàn)一個呢?
很簡單,做3件事:
a). 自己寫一個XXX.c文件,比如vf_transform.c,放在libavfilter目錄下。代碼可以參考其他filter;
b) 在libavfilter/allfilters.c添加一行:
REGISTER_FILTER(TRANSFORM, transform, vf);
c) 修改libavfilter/Makefile,添加一行:
OBJS-$(CONFIG_TRANSFORM_FILTER) += vf_transform.o

步驟知道了,現(xiàn)在就做第一步,開始coding一個C文件吧,名字就為vf_transform.c,給出代碼如下所示。

#include "libavutil/opt.h"

#include "libavutil/imgutils.h"

#include "libavutil/avassert.h"

#include "avfilter.h"
#include "formats.h"
#include "internal.h"
#include "video.h"


typedef
struct TransformContext { const AVClass *class; int backUp; //add some private data if you want } TransformContext;

typedef
struct ThreadData { AVFrame *in, *out; } ThreadData;
static void image_copy_plane(uint8_t *dst, int dst_linesize, const uint8_t *src, int src_linesize, int bytewidth, int height) { if (!dst || !src) return; av_assert0(abs(src_linesize) >= bytewidth); av_assert0(abs(dst_linesize) >= bytewidth); for (;height > 0; height--) { memcpy(dst, src, bytewidth); dst += dst_linesize; src += src_linesize; } }
//for YUV data, frame->data[0] save Y, frame->data[1] save U, frame->data[2] save V static int frame_copy_video(AVFrame *dst, const AVFrame *src) { int i, planes;
if (dst->width > src->width || dst->height > src->height) return AVERROR(EINVAL);
planes = av_pix_fmt_count_planes(dst->format);
//make sure data is valid for (i = 0; i < planes; i++) if (!dst->data[i] || !src->data[i]) return AVERROR(EINVAL);
const AVPixFmtDescriptor *desc = av_pix_fmt_desc_get(dst->format); int planes_nb = 0; for (i = 0; i < desc->nb_components; i++) planes_nb = FFMAX(planes_nb, desc->comp[i].plane + 1);
for (i = 0; i < planes_nb; i++) { int h = dst->height; int bwidth = av_image_get_linesize(dst->format, dst->width, i); if (bwidth < 0) { av_log(NULL, AV_LOG_ERROR, "av_image_get_linesize failed\n"); return; }
if (i == 1 || i == 2) { h = AV_CEIL_RSHIFT(dst->height, desc->log2_chroma_h); }
image_copy_plane(dst->data[i], dst->linesize[i], src->data[i], src->linesize[i], bwidth, h); }
return 0; }

/**************************************************************************
* you can modify this function, do what you want here. use src frame, and blend to dst frame.
* for this demo, we just copy some part of src frame to dst frame(out_w = in_w/2, out_h = in_h/2)
***************************************************************************/

static int do_conversion(AVFilterContext *ctx, void *arg, int jobnr, int nb_jobs) { TransformContext *privCtx = ctx->priv; ThreadData *td = arg; AVFrame *dst = td->out; AVFrame *src = td->in;

frame_copy_video(dst, src);
return 0; }
static int filter_frame(AVFilterLink *link, AVFrame *in) { av_log(NULL, AV_LOG_WARNING, "### chenxf filter_frame, link %x, frame %x \n", link, in); AVFilterContext *avctx = link->dst; AVFilterLink *outlink = avctx->outputs[0]; AVFrame *out;

//allocate a new buffer, data is null out = ff_get_video_buffer(outlink, outlink->w, outlink->h); if (!out) { av_frame_free(&in); return AVERROR(ENOMEM); }
//the new output frame, property is the same as input frame, only width/height is different av_frame_copy_props(out, in); out->width = outlink->w; out->height = outlink->h;
ThreadData td; td.
in = in; td.out = out; int res;
if(res = avctx->internal->execute(avctx, do_conversion, &td, NULL, FFMIN(outlink->h, avctx->graph->nb_threads))) { return res; }
av_frame_free(&
in);
return ff_filter_frame(outlink, out); }
static av_cold int config_output(AVFilterLink *outlink) { AVFilterContext *ctx = outlink->src; TransformContext *privCtx = ctx->priv;
//you can modify output width/height here outlink->w = ctx->inputs[0]->w/2; outlink->h = ctx->inputs[0]->h/2; av_log(NULL, AV_LOG_DEBUG, "configure output, w h = (%d %d), format %d \n", outlink->w, outlink->h, outlink->format);
return 0; }
static av_cold int init(AVFilterContext *ctx) { av_log(NULL, AV_LOG_DEBUG, "init \n"); TransformContext *privCtx = ctx->priv; //init something here if you want return 0; }
static av_cold void uninit(AVFilterContext *ctx) { av_log(NULL, AV_LOG_DEBUG, "uninit \n"); TransformContext *privCtx = ctx->priv; //uninit something here if you want }
//currently we just support the most common YUV420, can add more if needed static int query_formats(AVFilterContext *ctx) { static const enum AVPixelFormat pix_fmts[] = { AV_PIX_FMT_YUV420P, AV_PIX_FMT_NONE };
AVFilterFormats *fmts_list = ff_make_format_list(pix_fmts);
if (!fmts_list) return AVERROR(ENOMEM);
return ff_set_common_formats(ctx, fmts_list); }

//************* #define OFFSET(x) offsetof(TransformContext, x) #define FLAGS AV_OPT_FLAG_VIDEO_PARAM|AV_OPT_FLAG_FILTERING_PARAM
static const AVOption transform_options[] = { { "backUp", "a backup parameters, NOT use so far", OFFSET(backUp), AV_OPT_TYPE_STRING, {.str = "0"}, CHAR_MIN, CHAR_MAX, FLAGS}, { NULL } };// TODO: add something if needed
static const AVClass transform_class = { .class_name = "transform", .item_name = av_default_item_name, .option = transform_options, .version = LIBAVUTIL_VERSION_INT, .category = AV_CLASS_CATEGORY_FILTER, };
static const AVFilterPad avfilter_vf_transform_inputs[] = { { .name = "transform_inputpad", .type = AVMEDIA_TYPE_VIDEO, .filter_frame = filter_frame, },
{ NULL } };
static const AVFilterPad avfilter_vf_transform_outputs[] = { { .name = "transform_outputpad", .type = AVMEDIA_TYPE_VIDEO, .config_props = config_output, },
{ NULL } };
AVFilter ff_vf_transform = { .name =
"transform", .description = NULL_IF_CONFIG_SMALL("cut a part of video"), .priv_size = sizeof(TransformContext), .priv_class = &transform_class, .init = init, .uninit = uninit, .query_formats = query_formats, .inputs = avfilter_vf_transform_inputs, .outputs = avfilter_vf_transform_outputs, };

要寫一個filter,基本上按著上面的模板就可以了,最關鍵的函數(shù)就是filter_frame。你可以通過修改filter_frame,來做想要的變換。 

當然啦,我還是要友情介紹一下上面的代碼。
從下往上看,我們要寫的首先是AVFilter,其中的名字就是對外宣稱的名字,和命令行要使用的”-vf transform” 是一樣的。
priv——size初始化了TransformContext,這個是你自己寫的filter的私有上下文,你可以把各種需要的本地全局變量放在這,挺好的。
接著就是init和uninit,這個是看情況的,如果你的私有上下文,有什么內容要初始化,那就放在init,如果沒有,那可以把這兩句刪掉。init/uninit函數(shù)也可以不寫。
接著就是query_formats,這個就是宣稱你的filter支持什么格式的frame。本例只寫著YUV420,當然你可以根據(jù)需要添加支持。
接著就是AVFilterPad inputs/outputs,這個你可以認為是filter和外面交互的橋梁。
比如AVFilterPad avfilter_vf_transform_inputs,就聲明了結構體的函數(shù)指針filter_frame,將會指向本文件的filter_frame(…)函數(shù),這時候,其他filter可以通過這個函數(shù)指針,間接調用filter_frame(…)。
同理AVFilterPad avfilter_vf_transform_outputs,聲明了結構體的函數(shù)指針config_props,將會指向本文件的config_output(…)函數(shù),這時候,其他filter可以通過這個函數(shù)指針,間接調用config_output(…)。
filter_frame(…)是最關鍵的函數(shù),我們要做的變換,必須在該函數(shù)實現(xiàn)。
config_output(…)干嘛用呢?用于配置輸出的frame的大小。比如輸入一個1920x1080的幀,我們想要變換一下,并以960x540輸出,那么,這個960x540就得在該函數(shù)設置。

說完這些,好像你基本上就懂了。本例就在filter_frame函數(shù)里,把輸入的一幀,的左上部分,剪切的dst frame,然后輸出。

好了,重新編譯ffmpeg,然后就可以跑起來了。
./ffmpeg -loglevel warning -i input.mp4 -vf transform output.mp4


4. filter的結構體

代碼寫好了,但是是不是云里霧里,不知道為啥那么寫,不知道那些結構體到底是啥關系?別怕,接下來就為你揭開各種結構體關系的神秘面紗。

filter涉及的結構體,主要包括:
InputStream, OutputStream
FilterGraph,
AVFilterGraph, AVFilterContext, AVFilterLink, AVFilterPad。
要理清它們之間錯綜復雜的關系,單看代碼是很難記憶深刻的,為此我特地花了一張圖,如下所示。(以上面的例子為背景)
filter各種結構體

上面的例子,用了命令:
./ffmpeg -loglevel warning -i input.mp4 -vf transform output.mp4
即用了我們寫的transform filter。
假設源視頻input.mp4,有一路video和一路audio,那么,audio和video各自有1個InputStream和1個OutputStream。
以video為例,共一個InputStream & OutputStream。那么,video所涉及的結構體正如上圖所示。

一般,一個InputStream對應一個Inputfilter,一個OutputStream對應一個OutputFilter。
FilterGraph管理Inputfilter和OutputFilter(當然,Inputfilter和OutputFilter的指針*graph都可以找到管理者FilterGraph)。此外,F(xiàn)ilterGraph還管理一個AVFilterGraph。
AVFilterGraph是干嘛的?它內部有個雙指針,**filters,明顯就是一個指針數(shù)組,存一堆的AVFilterContext指針。
AVFilterContext對應啥?它其實就對應一個filter?。。。?!也就是說,一個filter的上下文就是AVFilterContext。所以對上圖來說,AVFilterGraph的**filters其實就指向4個AVFilterContext。

你是不是疑問,為啥我們自己就寫了一個filter,怎么會涉及到4個filter?
其實ffmpeg默認是有3個filter的!名字叫“buffer”, “format”, “buffersink”,就在上圖上半部分的第一,第三,和第四個AVFilterContext。

AVFilterLink是干嘛的?它是建立AVFilterContext之間的聯(lián)系。所以,若有4個AVFilterContext,那就需要3個AVFilterLink。
AVFilterLink的src指針,指向上一個AVFilterContext,dst指針,指向下一個AVFilterContext。
AVFilterPad干嘛的?它用于AVFilterContext之間的callback(回調)。
怎么個回調法?
很簡單,第一個AVFilterContext的outputs[0]指針,指向第一個AVFilterLink,這個AVFilterLink的dst指針,指向第二個AVFilterContext。
如果我在前一個AVFilterContext調用
outputs[0]->dstpad->filter_frame(Frame* input_frame1), 那其實就意味著,第一個過濾器,可以把處理好的一個frame(名字為input_frame1),可以通過這個調用,傳遞給第二個過濾器的input_pads的filter_frame函數(shù)。而我們實現(xiàn)的vf_transform.c,就是我說的第二個過濾器,里面就實現(xiàn)了filter_frame().


5. filter_frame()調用流程

既然說,filter_frame是最關鍵的函數(shù),也是我們自己寫filter必須自定義的函數(shù),那么,我們就來理一理這個函數(shù)從哪里來,又將到哪里去!

5.1. decode_video //ffmpeg.c

最初的源頭,是ffmpeg.c的decode_video函數(shù)。
將核心代碼抽取出來,如下所示:

static int decode_video(InputStream *ist, AVPacket *pkt, int *got_output)
{
    AVFrame* decoded_frame, f;
    //解碼
    ret = avcodec_decode_video2(ist->dec_ctx,
                                decoded_frame, got_output, pkt);
    //......
    //送給濾鏡
    for (i = 0; i < ist->nb_filters; i++) {
        f = decodec_frame;
        ret = av_buffersrc_add_frame_flags(ist->filters[i]->filter, f, AV_BUFFERSRC_FLAG_PUSH);
    }
}

可見,最重要做2件事,一個解碼,一個送給濾鏡。
送給哪個濾鏡呢?InputStream *ist的nb_filters為1,其實就是指向名字為“buffer”的filter(源文件:buffersrc.c)。這個filter與其他filter不同的是,它是所有filter的第一個入口。解碼完,都先給它,它再傳遞給下一個。為啥先給他呢?很簡單,它是一個FIFO,緩存數(shù)據(jù)用的。

5.2. av_buffersrc_add_frame_flags//buffersrc.c

該函數(shù)直接走到av_buffersrc_add_frame_internal //buffersrc.c

5.3. av_buffersrc_add_frame_internal //buffersrc.c

static int av_buffersrc_add_frame_internal(AVFilterContext *ctx,
                                           AVFrame *frame, int flags)
{
    //寫FIFO
    av_fifo_generic_write(s->fifo, &copy, sizeof(copy), NULL);
    if ((flags & AV_BUFFERSRC_FLAG_PUSH))
        if ((ret = ctx->output_pads[0].request_frame(ctx->outputs[0])) < 0)
            return ret;

    return 0;
}

抽出核心代碼,可見,顯示把frame寫到FIFO,然后調了自己的output_pads[0]的request_frame。

5.4. request_frame //buffersrc.c

static int request_frame(AVFilterLink *link)
{
    BufferSourceContext *c = link->src->priv;
    AVFrame *frame;
    int ret;
    //省略......
    av_fifo_generic_read(c->fifo, &frame, sizeof(frame), NULL);
    av_log(NULL, AV_LOG_WARNING, "request_frame, frame-pts %lld \n", frame->pts);
    //這個link,是第一個link,鏈接當前的AVFilterContext和下一個AVFilterContext,也就是我們自己寫的vf_transform.c
    ret = ff_filter_frame(link, frame);

    return ret;
}

抽出核心代碼,可見它從FIFO讀取一幀數(shù)據(jù)。然后調用ff_filter_frame。此時輸入的link是第一個AVFilterLink。

5.5. ff_filter_frame // avfilter.c

該函數(shù)做了一些基本檢查,走到ff_filter_frame_framed

5.6. ff_filter_frame_framed //avfilter.c

static int ff_filter_frame_framed(AVFilterLink *link, AVFrame *frame)
{
    //定義一個函數(shù)指針filter_frame。所指向的函數(shù),參數(shù)為AVFilterLink *, AVFrame *,返回值為int
    int (*filter_frame)(AVFilterLink *, AVFrame *);
    AVFilterContext *dstctx = link->dst;//下一個AVFilterContext,對本例來說,就是我們自己寫的transform 濾鏡,源碼在vf_transform.c
    AVFilterPad *dst = link->dstpad;
    AVFrame *out = NULL;
    int ret;

    if (!(filter_frame = dst->filter_frame))//函數(shù)指針filter_frame,link->dstpad其實就是dstctx->input_pads,也就是transform濾鏡定義的
        filter_frame = default_filter_frame;
    //省略300字

    ret = filter_frame(link, out);
    link->frame_count++;
    ff_update_link_current_pts(link, pts);
    return ret;
}

抽出核心代碼。
定義一個函數(shù)指針filter_frame。所指向的函數(shù),必須是參數(shù)為AVFilterLink , AVFrame ,返回值為int
filter_frame = dst->filter_frame
dst = link->dstpad,而link->dstpad其實就是dstctx->input_pads,也就是transform過濾器定義的input_pads

static const AVFilterPad avfilter_vf_transform_inputs[] = {
    {
        .name         = "default",
        .type         = AVMEDIA_TYPE_VIDEO,
        .filter_frame = filter_frame,
    },
    { NULL }
};

所以,filter_frame函數(shù)指針,指向的就是vf_transform.c實現(xiàn)的filter_frame函數(shù)。

5.7. filter_frame //vf_transform.c,當然啦,ffmpeg定義的各種filter,比如vf_colorbalance.c,vf_scale.c等,也有這個函數(shù),流程一樣的

static int filter_frame(AVFilterLink *link, AVFrame *in)
{
    AVFilterContext *avctx = link->dst;//第一個link的dst AVFilterContext,其實就是當前的filter的AVFilterContext
    AVFilterLink *outlink = avctx->outputs[0];//當前的AVFilterContext,outputs[0]指向第二個AVFilterLink
    AVFrame *out;

    //分配一個空的AVFrame。
    out = ff_get_video_buffer(outlink, outlink->w, outlink->h);
    if (!out) {
        av_frame_free(&in);
        return AVERROR(ENOMEM);
    }

    //分配的空buffer的參數(shù)和上一個基本一致,但修改寬高。當然啦,如果你愿意,不修改寬高,那就不需要下面2句。
    av_frame_copy_props(out, in);
    out->width  = outlink->w;
    out->height = outlink->h;
    out->format = outlink->format;

    ThreadData td;
    td.in = in;
    td.out = out;
    int res;
    if(res = avctx->internal->execute(avctx, do_conversion, &td, NULL, FFMIN(outlink->h, avctx->graph->nb_threads))) {
        return res;
    }//啟用一個子線程,執(zhí)行比較耗時的變換。do_conversion是我們要做的變換。

    av_frame_free(&in);

    return ff_filter_frame(outlink, out);//此時的ff_filter_frame,輸入?yún)?shù)和前面buffersrc.c調用的已經不一樣。outlink是第二個AVFilterLink,buffer也是做了變換的新的buffer
}

抽出關鍵代碼,抽象,通過ff_get_video_buffer,分配一個空buffer,該buffer用于存儲變換的結果,并會通過ff_filter_frame傳遞到下一個filter。
do_conversion是一個真正做變換的函數(shù),但其實如果要做的處理并不耗時,也不一定要用另一個線程來處理。直接在該filter_frame做也行。
處理好的新的數(shù)據(jù),放在out,調用ff_filter_frame,傳遞給下一個filter。注意,ff_filter_frame的oulink,對應上圖的第二個AVFilterLink。

5.8. 再次走進ff_filter_frame // avfilter.c

如上已知,ff_filter_frame只做了一些基本檢查,走到ff_filter_frame_framed。故而我們直接看ff_filter_frame_framed


static int ff_filter_frame_framed(AVFilterLink *link, AVFrame *frame)
{
    //定義一個函數(shù)指針filter_frame。所指向的函數(shù),參數(shù)為AVFilterLink *, AVFrame *,返回值為int
    int (*filter_frame)(AVFilterLink *, AVFrame *);
    AVFilterContext *dstctx = link->dst;//下一個AVFilterContext,對本例來說,就是系統(tǒng)默認的第三個濾鏡,名字叫"format",源碼在vf_format.c
    AVFilterPad *dst = link->dstpad;
    AVFrame *out = NULL;
    int ret;

    if (!(filter_frame = dst->filter_frame))//vf_format.c沒有實現(xiàn)filter函數(shù),因為返回為空
        filter_frame = default_filter_frame;//所以函數(shù)會走到這,函數(shù)指針filter_frame 將指向default_filter_frame
    //省略300字

    ret = filter_frame(link, out);
    link->frame_count++;
    ff_update_link_current_pts(link, pts);
    return ret;
}

如注釋所說,由于vf_format.c沒有實現(xiàn)filter函數(shù),所以此時的filter_frame指針,指向的是defalut_filter_frame。

5.9. default_filter_frame //avfilter.c

static int default_filter_frame(AVFilterLink *link, AVFrame *frame)
{
    //該函數(shù)沒干啥,又調用ff_filter_frame了,第一個參數(shù),換成第三個AVFilterLink了,第二個參數(shù)不變,frame默默的傳遞出去
    return ff_filter_frame(link->dst->outputs[0], frame);
}

此時link->dst->outputs[0]對應上圖第三個AVFilterLink。

5.10. 第三次走進ff_filter_frame // avfilter.c

static int ff_filter_frame_framed(AVFilterLink *link, AVFrame *frame)
{
    //定義一個函數(shù)指針filter_frame。所指向的函數(shù),參數(shù)為AVFilterLink *, AVFrame *,返回值為int
    int (*filter_frame)(AVFilterLink *, AVFrame *);
    AVFilterContext *dstctx = link->dst;//下一個AVFilterContext,對本例來說,就是系統(tǒng)默認的最后一個濾鏡,名字叫"buffersink",源碼在bufffersink.c
    AVFilterPad *dst = link->dstpad;
    AVFrame *out = NULL;
    int ret;

    if (!(filter_frame = dst->filter_frame))//指向buffersink.c實現(xiàn)的filte_frame函數(shù)
        filter_frame = default_filter_frame;
    //省略300字

    ret = filter_frame(link, out);
    link->frame_count++;
    ff_update_link_current_pts(link, pts);
    return ret;
}

此時的filter_frame指針,指向buffersink.c實現(xiàn)的filter_frame函數(shù)

5.11. filter_frame //buffersink.c

static int filter_frame(AVFilterLink *link, AVFrame *frame)
{
    AVFilterContext *ctx = link->dst;
    BufferSinkContext *buf = link->dst->priv;
    int ret;

    if ((ret = add_buffer_ref(ctx, frame)) < 0)
        return ret;
    //省略300return 0;
}

static int add_buffer_ref(AVFilterContext *ctx, AVFrame *ref)
{
    BufferSinkContext *buf = ctx->priv;

    /* cache frame */
    //把buffer存到FIFO
    av_fifo_generic_write(buf->fifo, &ref, FIFO_INIT_ELEMENT_SIZE, NULL);
    return 0;
}

抽出關鍵代碼。很清晰的看到,其實就是把buffer存到FIFO。

至此,把filter_frame的來龍去脈搞清楚啦??!歐耶


6. filter之后,ffmpeg如何編碼

當我們寫了一個filter,把視頻做處理后,ffmpeg是如何把它編碼的呢?
通過研究,發(fā)現(xiàn)編碼的源頭函數(shù)是reap_filters(…),它會被transcode_step(…)函數(shù)調用。

6.1. reap_filters //ffmpeg.c

static int reap_filters(int flush)
{
    AVFrame *filtered_frame = NULL;//該指針將存儲一個經過濾鏡處理后的buffer,并送給encoder
    int i;

    /* Reap all buffers present in the buffer sinks */
    for (i = 0; i < nb_output_streams; i++) {//一路video,一路audio,那么nb_output_streams = 2
        OutputStream *ost = output_streams[i];
        OutputFile    *of = output_files[ost->file_index];
        AVFilterContext *filter;
        AVCodecContext *enc = ost->enc_ctx;
        int ret = 0;

        if (!ost->filter)
            continue;
        filter = ost->filter->filter;//OutputStream的filter指針指向buffersink.c定義的AVFilterContext。也就是本文討論的,最后一個AVFilterContext

        if (!ost->filtered_frame && !(ost->filtered_frame = av_frame_alloc())) {
            return AVERROR(ENOMEM);
        }
        filtered_frame = ost->filtered_frame;

        while (1) {
            double float_pts = AV_NOPTS_VALUE; // this is identical to filtered_frame.pts but with higher precision
            //av_buffersink_get_frame_flags定義在buffersink.c,用于從FIFO讀出一幀
            ret = av_buffersink_get_frame_flags(filter, filtered_frame,
                                               AV_BUFFERSINK_FLAG_NO_REQUEST);
            if (ret < 0) {
                //省略,檢查ret
                //如果ret<0,不是別的錯誤,那認為還沒有數(shù)據(jù),跳出循環(huán)
                break;
            }
            switch (filter->inputs[0]->type) {
            case AVMEDIA_TYPE_VIDEO:
                //do_video_out函數(shù)將會做video編碼
                do_video_out(of->ctx, ost, filtered_frame, float_pts);
                break;
            case AVMEDIA_TYPE_AUDIO:
                //do_audio_out函數(shù)將會做audioo編碼
                do_audio_out(of->ctx, ost, filtered_frame);
                break;
            default:
                // TODO support subtitle filters
                av_assert0(0);
            }

            av_frame_unref(filtered_frame);
        }
    }

    return 0;
}

前一節(jié)說了,filter_frame(…)的最終結果是,把buffer存在了buffersink.c的FIFO里。
那么,這一節(jié),說的其實就是一個從buffersink的FIFO讀數(shù)據(jù),并編碼的過程。
從上面可知,av_buffersink_get_frame_flags函數(shù),從buffersink讀取一幀數(shù)據(jù),放到filtered_frame。

6.2. do_video_out //ffmpeg.c

static void do_video_out(AVFormatContext *s,
                         OutputStream *ost,
                         AVFrame *next_picture,
                         double sync_ipts)
{
    int ret;
    AVCodecContext *enc = ost->enc_ctx;
    int nb_frames, nb0_frames, i;
    //省略300字
    for (i = 0; i < nb_frames; i++) {
        AVFrame *in_picture;
        if (i < nb0_frames && ost->last_frame) {
            in_picture = ost->last_frame;
        } else
            in_picture = next_picture;
        //省略300字
        ost->frames_encoded++;
        //開始編碼
        ret = avcodec_encode_video2(enc, &pkt, in_picture, &got_packet);
    }
    ///省略300字
}

該函數(shù)很長,做了很多雜事,但關鍵代碼就是調用編碼函數(shù)avcodec_encode_video2

7. 函數(shù)流程圖

說了那么久,得來個大招了!下面給出ffmpeg使用filter時的函數(shù)流程圖,主要把和filter相關的函數(shù)拉出來!
filter程序流程圖

對于ffmpeg常規(guī)的avcodec_register_all(…), avfilter_register_all(…), av_register_all(…)等函數(shù),我就不說啦。各種CSDN大牛說了很多了??!

transcode_init()主要用于初始化前文提到的各種結構體。
transcode_step主要工作:
解碼->送filter過濾->編碼->繼續(xù)解碼….

>choose_output()函數(shù)用于選擇一個OutputStream。比如有一個audio,一個video,那要根據(jù)pts策略,比如誰的pts比較小,就挑哪個OutputStream先干活。
transcode_frome_filter()函數(shù)用于選個一個InputStream,用于下一步的process_input()。
process_input()函數(shù)主要是解碼,并把解碼的buffer送往filter處理。
reap_filters()函數(shù)主要是,從filter的FIFO拿出buffer,并編碼。

8. 參考資料

FFmpeg官網(wǎng): http://www.
FFmpeg doc : http://www./documentation.html
FFmpeg wiki : https://trac./wiki
CSDN大牛:http://blog.csdn.net/leixiaohua1020/

    本站是提供個人知識管理的網(wǎng)絡存儲空間,所有內容均由用戶發(fā)布,不代表本站觀點。請注意甄別內容中的聯(lián)系方式、誘導購買等信息,謹防詐騙。如發(fā)現(xiàn)有害或侵權內容,請點擊一鍵舉報。
    轉藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多

    九九九热视频免费观看| 亚洲精品蜜桃在线观看| 国产一区一一一区麻豆| 日韩欧美高清国内精品| 东京热一二三区在线免| 尹人大香蕉一级片免费看| 在线亚洲成人中文字幕高清| 综合久综合久综合久久| 在线免费观看一二区视频| 国产又粗又猛又爽又黄| 欧美有码黄片免费在线视频| 东京热加勒比一区二区三区| 国产又粗又猛又爽色噜噜| 一区二区三区亚洲国产| 国产福利在线播放麻豆| 日本高清加勒比免费在线| 精品精品国产欧美在线| 亚洲欧美一二区日韩高清在线| 成年女人下边潮喷毛片免费| 久久精品中文扫妇内射| 日本高清视频在线观看不卡| 日本深夜福利视频在线| 亚洲二区欧美一区二区 | 国产精品欧美一区二区三区不卡 | 色婷婷视频在线精品免费观看| 亚洲一区二区三区免费的视频| 国产精品二区三区免费播放心 | av在线免费播放一区二区| 中文字幕免费观看亚洲视频| 手机在线不卡国产视频| 精品国产av一区二区三区不卡蜜| 白白操白白在线免费观看| 婷婷基地五月激情五月| 精品欧美一区二区三久久| 五月婷婷缴情七月丁香| 东京不热免费观看日本| 久久精品福利在线观看| 午夜亚洲少妇福利诱惑| 成年人免费看国产视频| 亚洲精品欧美精品一区三区| 国产精品不卡高清在线观看|