VIDEO FUNDAMENTALS FOR FFMPEG

学 FFmpeg 之前,
先把视频这台「相机」拆开看

学摄影要先懂光圈、快门、ISO、焦距、白平衡、RAW 与 JPEG;学 FFmpeg 也一样。命令行参数只是开关,开关背后控制的是一整套视频参数体系。这份教程的目标不是教你背命令,而是让你在敲下每一个参数之前,清楚知道自己正在改动什么、会付出什么代价、以及播放器能不能认。

14 章 · 从像素到推流 每个概念四个维度:是什么 / 为什么 / 对应参数 / 常见坑 含 60+ 命令示例与排错表 16 组真实前后效果对比 零基础可读,可当手册查阅
先看效果,再学原理

全书配有 16 组可拖动的前后效果对比图,左边是改前、右边是改后:打开视觉效果对比图鉴。这些图不是示意图——压缩、滤镜、色度抽样、GIF 调色板均由本机 FFmpeg 真实处理生成。建议读每章时先看对应的一组图,再回头看参数说明。

00怎么读这份教程

FFmpeg 之所以让初学者崩溃,不是因为命令难,而是因为一条命令里同时挤进了五六层不同领域的概念:

ffmpeg -i input.mov -c:v libx264 -crf 20 -preset slow -pix_fmt yuv420p \
  -vf "scale=1920:-2,fps=30" -c:a aac -b:a 160k -movflags +faststart out.mp4

这一行里:input.mov 是容器,libx264 是编码器,crf/preset 是码率控制与压缩效率,pix_fmt 是像素格式与色彩,scale/fps 是空间与时间重采样,aac 是音频编码,faststart 是容器布局。不懂这些词,就只能靠复制粘贴和玄学调参。

摄影参数 ↔ 视频参数对照表

如果你已经懂一点摄影,用这张表建立第一层映射;如果完全不懂摄影也没关系,右列本身就是本教程的目录。

摄影里的概念它在控制什么视频 / FFmpeg 里的对应物典型参数
分辨率 / 像素数画面有多少个采样点分辨率、宽高、缩放1920x1080、scale、-s
快门速度单帧曝光时间 → 运动模糊帧率、快门角、运动模糊-r 30、fps、tblend
ISO / 噪点信号与噪声的比例压缩噪声、量化噪声、降噪滤镜crf、hqdn3d、nlmeans
光圈 / 景深进光量与画质取舍码率预算与质量分配-b:v、-maxrate、-qmin
白平衡 / 色彩空间颜色如何被解释色域、色彩矩阵、传输函数、色深bt709、yuv420p10le、color_primaries
RAW vs JPEG原始数据 vs 有损压缩无损/中间编码 vs 有损分发编码ffv1、prores vs libx264
JPEG 质量滑块质量与文件体积的权衡CRF / 两遍编码 / 预设-crf 20、-preset slow
连拍 / 帧间隔时间采样密度帧率、时间戳、可变帧率r_frame_rate、PTS/DTS、VFR
存储卡 / 文件格式数据怎么装盒容器封装、流、索引mp4/mkv/ts、-map、moov
录制同期声声音与画面的同步音频采样、音画同步48000 Hz、-itsoffset、-shortest
镜头 / 滤镜对画面做处理滤镜图 filtergraph-vf、-filter_complex
相册 EXIF描述数据的数据元数据、旋转、章节、字幕轨-metadata、displaymatrix

一条贯穿全篇的主线

视频数据链路从光信号到屏幕:采样、色彩、压缩、封装、传输、解封装解码、显示 采集 / 采样帧·分辨率·帧率 色彩表示YUV·位深·色域 压缩编码I/P/B·码率·GOP 封装容器流·时间戳·索引 存储 / 传输文件·HLS·RTMP 解封装解码按时间戳还原 显示 / 播放色彩转换·同步
图 0-1 一个视频从光到屏幕的完整链路;FFmpeg 的工作位置在中间四个环节

FFmpeg 能做什么?它不生产画面,它在这条链路的「压缩编码 / 封装 / 解封装解码 / 画面处理」四处做搬运、改造和重新打包。所有参数,本质上都是在回答:这一帧用什么格式表示、用多少字节描述、贴在什么时间点、装进哪个盒子。

学习方法建议

每读一章,立刻打开终端对着同一个测试文件跑 ffprobe -show_streams -show_format,把书上的字段和输出里的真实值对上号。视频知识是「看得见」的知识,一定要配合 ffprobe 和 ffplay 边看边学。没有素材就用 ffmpeg -f lavfi -i testsrc=duration=10:size=1280x720:rate=30 test.mp4 生成一个测试片。

01视频的本质:帧、分辨率、像素

视频没有「动」这回事。所谓视频,就是一堆静止图片按固定时间间隔依次显示,加上伴随的声音,以及一份告诉大家「什么时候显示哪张」的时间表。理解这一点,后面所有概念都能挂上去。

1.1 帧(frame)与帧率(fps)

是什么:一张静止画面叫一帧;每秒显示的帧数叫帧率,单位 fps(frames per second)或 Hz。30 fps 意味着每帧占用约 33.3 ms(1/30 秒)。

为什么重要:帧率决定时间采样密度。运动越剧烈,需要的帧率越高,否则会出现顿挫或「频闪」感。它和摄影的快门速度不同但相关:电影 24 fps 配合约 180° 快门(每帧曝光约 1/48 秒)形成特定的运动模糊观感,这也是「电影感」的物理来源之一;把 24 fps 内容强行转成 60 fps 而不做插帧,只会重复帧,画面变得「太顺滑、像肥皂剧」。

常见帧率

24 / 25 / 30(29.97) / 50 / 60(59.94) fps。25 与 50 对应 PAL 制(中国、欧洲),29.97 与 59.94 对应 NTSC 制(北美、日本)。

那个诡异的 29.97

彩色电视时代为避免亮度与色度副载波干扰,把帧率下调了 0.1%。所以「30 fps」经常真的是 30000/1001 ≈ 29.97,写 -r 30 会与 29.97 素材产生微小漂移,长片可能音画不同步。

在 FFmpeg 里对应什么:

VFR:手机录屏与游戏录像的头号陷阱

可变帧率(VFR)意味着帧与帧之间的间隔不固定。手机录屏、屏幕录制、微信/浏览器导出、部分游戏录像都是 VFR。把它送进要求严格 CFR 的流程(拼接、加字幕、推流、非线性编辑)常导致音画不同步、时长错乱、画面卡顿。修复:-vf fps=30 -fps_mode cfr,或先转一遍中间格式。判断是否 VFR:ffprobe -v error -select_streams v:0 -show_entries stream=r_frame_rate,avg_frame_rate,nb_frames,duration -of default=nw=1 in.mp4。

1.2 分辨率、宽高比与「p / i」

分辨率是一帧的像素网格尺寸,写作 宽×高。1920x1080 表示横向 1920 个像素、纵向 1080 行。

俗称实际尺寸说明
480p / SD640×480、720×480、854×480标清,常用 BT.601 色彩矩阵
720p / HD1280×720高清起点
1080p / Full HD1920×1080最常见,BT.709
2K / DCI 2K2048×1080「2K」在消费市场常被误用来指 2560×1440(应叫 QHD/1440p)
4K UHD3840×2160电视/流媒体的 4K,正好是 1080p 的四倍面积
DCI 4K4096×2160数字电影标准
8K UHD7680×4320BT.2020、HEVC/AV1 的主场

p 与 i:p = progressive 逐行扫描,一帧包含完整的全部行;i = interlaced 隔行扫描,一「帧」由奇数行场和偶数行场拼成,来自老电视广播。隔行素材直接缩放或在逐行屏上播放会出现「拉丝/梳齿」。处理:-vf yadif 或 bwdif 去隔行,并注意场序 tff/bff。今天的互联网视频几乎全是逐行,看到 1080i 基本等于「广播电视素材」。

最常见的报错之一:width/height not divisible by 2

YUV 4:2:0 需要把 2×2 像素合并成一组色度样本,因此宽高必须是偶数。奇数尺寸(如 1920×1081、从 GIF 或任意裁切来的素材)会直接编码失败。修法:scale=1920:-2(-2 表示自动算高并取偶数)、crop=trunc(iw/2)*2:trunc(ih/2)*2、或 pad=ceil(iw/2)*2:ceil(ih/2)*2。

1.3 DAR / SAR:视频为什么会被拉伸

一个常被忽略的事实:像素不一定是正方形。三个宽高比要分清:

SAR(Sample Aspect Ratio,像素宽高比):单个像素的形状,1:1 = 方形像素
DAR(Display Aspect Ratio,显示宽高比):观众看到的画面比例,如 16:9、4:3
关系式:DAR = (宽 ÷ 高) × SAR

DVD 时代的变形宽银幕(anamorphic)会用 720×480 的非方形像素拉出 16:9;一些老设备、电视录制、监控视频也带非 1:1 的 SAR。如果你把 scale 到 1920×1080 却没重置 SAR,播放器仍会按原 SAR 拉伸,画面就变形了。

1.4 一帧到底有多大:算一道题

这是理解「为什么必须有压缩」的关键一步。以最常见的 1920×1080、YUV 4:2:0、8 bit、30 fps 未压缩视频为例(4:2:0 平均每个像素占 1.5 字节,第 2 章会解释):

一帧 = 1920 × 1080 × 1.5 B ≈ 3.11 MB(约 2.97 MiB)
一秒 = 3.11 MB × 30 ≈ 93.3 MB/s ≈ 747 Mbps
一分钟 ≈ 5.6 GB | 一部 90 分钟电影 ≈ 500 GB
而同样时长的 1080p 流媒体文件通常只有 1.5~3 GB

也就是说,压缩比常常达到 100:1 甚至更高,画面还「看起来差不多」。整个第 3 章讲的就是这件事是怎么做到的,以及代价是什么。

码率与文件体积的换算(这个公式会陪你一辈子):

文件大小(MB) ≈ 码率(Mbps) × 时长(s) ÷ 8
例:8 Mbps 的 10 分钟视频 ≈ 8 × 600 ÷ 8 = 600 MB
注意 Mbps(兆比特/秒)与 MB/s(兆字节/秒)差 8 倍;-b:v 2500k = 2.5 Mbps

1.5 帧的时间轴:一帧不只是「一张图」

帧与时间轴每一帧携带画面数据和时间戳,按固定间隔排列在时间轴上 时间 帧 0画面数据PTS = 0 ms 帧 1画面数据PTS = 33 ms 帧 2画面数据PTS = 67 ms 帧 3画面数据PTS = 100 ms …后续帧按 PTS 排序 0 ms33 ms67 ms100 ms 相邻帧间隔 = 1 / 帧率;30 fps → 33.3 ms
图 1-1 帧 = 画面数据 + 时间戳;「视频」就是带时间戳的帧序列

每一帧除了像素,还带着时间戳(PTS/DTS),告诉播放器「这张图该在第几毫秒出现」。第 4 章会展开,但请现在就记住:剪辑、变速、拼接、音画同步,本质上全是在操作时间戳。很多玄学问题(剪出来的片段开头黑屏、拼接后音画不同步)根源都在时间轴,而不在画质。

拖动分割线,左右对照参数改变前后的真实画面。

更多同章对比:隔行梳齿 → 去隔行

本章自测

① 一个 1280×720、8 bit、YUV420、25 fps 的未压缩视频,1 秒大约多少 MB?(答案:1280×720×1.5×25 ≈ 34.6 MB/s) ② -r 30 和 fps=30 的区别是什么? ③ 为什么把 853×480 直接编码成 yuv420p 会报错? ④ 画面被横向拉伸,先查哪两个字段?

02色彩:YUV、位深、色域、HDR

这一章是「转码后颜色不对」的全部答案来源,也是初学者最容易跳过、日后最痛的一章。摄影里的白平衡、色彩空间、RAW 位深,在这里一样都不少,而且更绕,因为视频的颜色需要「数据 + 标签 + 播放器解释」三方一致才正确。

2.1 RGB 与 YUV:为什么视频不用 RGB

屏幕最终当然要 RGB(红绿蓝)三种光。但视频存储和传输几乎都用 YUV:把画面拆成亮度 Y(明暗细节)和色度 U/V(也叫 Cb/Cr,颜色倾向)。原因是人眼对亮度细节远比对颜色细节敏感——这是生理事实,也是所有视频压缩的立足点。

于是可以大胆地少存颜色、多存亮度,即色度抽样(chroma subsampling)。记号 4:2:0 的含义:以 2×2 的四个像素为一组,记录 4 个亮度样本,但只记录 1 组色度样本(1 个 Cb + 1 个 Cr)。

色度抽样4 个像素共享一组色度样本,使 4:2:0 每像素只需 1.5 字节 4:2:0 的一组 2×2 像素 YYYY 共享 CbCr 4 个 Y + 1 个 Cb + 1 个 Cr = 6 字节 / 4 像素 = 1.5 字节每像素(8 bit) 每像素数据量对比(8 bit) 4:4:4 无抽样3 B 4:2:2 横向减半2 B 4:2:0 横纵各减半1.5 B
图 2-1 4:2:0 用 1/4 的色度信息换取一半的体积,人眼几乎看不出来
抽样格式色度分辨率典型用途
4:4:4与亮度相同无损/中间格式、屏幕录制(文字边缘)、专业调色、带 alpha 的素材
4:2:2横向减半专业摄像机、ProRes / DNxHR 编辑格式,便于抠像与调色
4:2:0横纵各减半绝大多数消费级视频:H.264/H.265/AV1 网络视频、蓝光、电视广播
4:2:0 的真实代价

彩色细线、红蓝小字、细网格、绿幕边缘会糊或串色,因为颜色细节被砍掉了 3/4。所以「录屏 / PPT / 代码字幕」用 4:2:0 特别吃亏;而字幕烧录时若色彩与背景对比强烈,边缘也会出现彩边。要保住文字锐度,只能上 4:4:4(但 H.264 High 4:4:4 Predictive 兼容性很差)或提高分辨率与码率。

2.2 像素格式 pix_fmt:读懂 yuv420p10le

ffprobe 输出的 pix_fmt 是一串「密码」,拆开看其实很有规律:

yuv 420 p 10 le
│  │  │ │  └ little-endian,字节序(le/be)
│  │  │ └──── 位深:不写 = 8 bit;10 = 10 bit;12 = 12 bit
│  │  └─────── planar(平面):Y、U、V 分别连续存放
│  └─────────── 色度抽样方式
└──────────────── 色彩模型:yuv / rgb / gray / gbrp …
pix_fmt含义场景 / 注意点
yuv420p8 bit、4:2:0、平面兼容性之王。发给别人、上传网站、网页播放,几乎都应转到这里
yuv420p10le10 bit、4:2:0HDR / HEVC Main10 / 高质量中间文件;大量老设备与浏览器不支持
yuv422p10le10 bit、4:2:2ProRes 422 等专业编辑格式
nv128 bit、4:2:0、Y 平面 + 交错的 UV硬件编解码(NVENC / QSV / VAAPI)常用,GPU 内存格式
yuvj420p / yuv420p(pc)full range 的 4:2:0多来自相机、图片序列、GIF;j = deprecated JPEG range
rgb24 / rgba / bgraRGB 8 bit,rgba 带透明通道图片、滤镜叠加、水印;编码前通常要转回 YUV
gray仅亮度黑白视频、分析用
yuv444p4:4:4 平面无损或高质量中间文件,文件明显更大

planar vs packed:yuv420p 的 p 指三个平面(先存完所有 Y,再存所有 U,再存所有 V);nv12 把 U/V 交错存;rgb24 是每个像素的 R/G/B 紧挨着(packed)。滤镜和硬件接口经常对格式有硬性要求,报错 Impossible to convert between the formats 时,通常插一个 format=yuv420p 就能解决。

一条黄金规则

任何「要交付给别人看」的 H.264 输出都显式加上 -pix_fmt yuv420p。因为 FFmpeg 默认会尽量保留输入格式:输入是 10 bit / 4:4:4 / rgba 时,x264 可能产出 yuv420p10le 或 yuv444p,文件在你电脑上能放,在别人的手机、微信、浏览器里就是黑屏或「不支持该格式」。

2.3 位深(bit depth):8 bit 与 10 bit 的区别

位深是每个颜色通道用多少二进制位表示。8 bit = 每通道 256 级;10 bit = 1024 级;12 bit = 4096 级。亮度从黑到白的过渡台阶数变多,最直接的好处是减少色彩断层(banding)——天空、渐变、暗部那种一圈圈的色带。

参数:-pix_fmt yuv420p10le、-vf format=yuv420p、zscale 滤镜的 d/dither 选项。x265 用 -pix_fmt yuv420p10le 会进入 Main10 profile。

2.4 色彩四件套:primaries / transfer / matrix / range

这是最容易被忽略、又最容易出事的一组概念。同一串数字(比如 Y=128, U=90, V=200)本身不表示任何固定颜色,必须靠四个标签才能被正确解释:

要素中文回答的问题常见取值FFmpeg 输出选项
color_primaries色域 / 三原色「红」到底有多红?能表示的颜色范围有多大bt601、bt709、bt2020、smpte432 (P3)-color_primaries bt709
color_transfer / color_trc传输函数 / 电光转换数字值与真实亮度之间怎么映射(gamma / PQ / HLG)bt709、smpte2084 (PQ)、arib-std-b67 (HLG)-color_trc bt709
colorspace / matrix色彩矩阵YUV 与 RGB 之间用哪套换算系数bt601、bt709、bt2020nc-colorspace bt709
color_range色彩范围黑是 0 还是 16?白是 255 还是 235?tv / limited (16–235)、pc / full (0–255)-color_range tv

范围(range)值得单独说:广播与视频文件传统上用 limited range,Y 只占 16–235,色度占 16–240,留出上下余量给过冲与同步信号;电脑屏幕、图片、部分相机用 full range 0–255。如果把一个 full range 的文件错误标记为 limited,画面会发灰、对比度变低;反过来则黑位死黑、高光溢出。这就是「转码后颜色变淡」的第一嫌疑。

矩阵与分辨率的经验对应(不是硬性规定,但非常常见):标清 SD 用 BT.601,高清 HD(720p/1080p)用 BT.709,4K/HDR 用 BT.2020。用错矩阵,红蓝会整体偏色(尤其红色和肤色),且这种偏差很难靠肉眼判断「对不对」。

极易踩的坑:打标签 ≠ 做转换

-colorspace bt709 -color_primaries bt709 -color_trc bt709 -color_range tv 这些选项只是往文件里写元数据标签,不会改动任何一个像素值。如果源是 BT.601 而你打了 BT.709 的标签,播放器会按错误系数解释,颜色反而更糟。真正做色彩转换要用 zscale(推荐)或 scale 的 in_color_matrix/out_color_matrix、in_range/out_range、以及 colorspace 滤镜,转换后再写正确标签。

# 先真正转换色彩,再打上正确标签(SD BT.601 full → HD BT.709 limited)
ffmpeg -i sd_full.mp4 -vf "scale=in_color_matrix=bt601:out_color_matrix=bt709:in_range=pc:out_range=tv,format=yuv420p" \
  -color_primaries bt709 -color_trc bt709 -colorspace bt709 -color_range tv out.mp4

# 更精确的做法(需要编译时带 libzimg)
ffmpeg -i in.mp4 -vf "zscale=p=bt709:t=bt709:m=bt709:r=limited,format=yuv420p" \
  -color_primaries bt709 -color_trc bt709 -colorspace bt709 out.mp4

2.5 HDR:不只是「更亮」

SDR(标准动态范围)假定屏幕峰值亮度约 100 nit,用 gamma 曲线编码;HDR 把峰值推到 1000 nit 以上,并改用新的传输函数:

典型事故:把 4K HDR 片源用 libx264 -pix_fmt yuv420p 转成 SDR 文件,画面一片灰白、像蒙了层雾。原因是 PQ 曲线的数值被当成 gamma 曲线解释了,且 10 bit 被砍到 8 bit、BT.2020 元数据丢失。正确做法是做色调映射(tone mapping):

# HDR(PQ/BT.2020) → SDR(BT.709),zscale + tonemap(需 libzimg)
ffmpeg -i hdr.mkv -vf "zscale=t=linear:npl=100,format=gbrpf32le,zscale=p=bt709:t=bt709:m=bt709:r=tv,tonemap=tonemap=hable:desat=0,zscale=t=bt709:m=bt709:r=tv,format=yuv420p" \
  -c:v libx264 -crf 20 -preset slow -color_primaries bt709 -color_trc bt709 -colorspace bt709 sdr.mp4

# 无 libzimg 时的近似做法
ffmpeg -i hdr.mkv -vf "zscale=t=linear:npl=100,tonemap=tonemap=mobius,format=yuv420p" -colorspace bt709 out.mp4

色彩参数最抽象,先看三组真实画面再回头读参数:

更多同章对比:位深色带 · 矩阵错配偏色

实用判断

拿到源文件先用 ffprobe -show_streams 看四个字段:pix_fmt(有没有 10)、color_primaries(bt2020?)、color_transfer(smpte2084/arib-std-b67?)、color_range。只要出现 smpte2084 或 bt2020,就按 HDR 流程处理;不要直接套普通转码模板。另有 side_data_list 里的 Mastering display metadata 与 Content light level metadata 也是判断依据。

03压缩与编码:为什么必须压缩,以及代价

第 1 章算出未压缩 1080p30 要 747 Mbps,而家用宽带、4G 网络、U 盘都扛不住。压缩不是「可选项」,是视频能存在的前提。理解压缩,才能真正理解 -crf、-preset、-g、-tune 这些参数在做什么。

3.1 冗余:压缩得以成立的四种理由

空间冗余

同一帧内,大片天空、墙面、皮肤相邻像素几乎一样。→ 帧内预测:用已编码的邻近块推测当前块。

时间冗余

相邻帧之间 95% 的内容没变,只是位置移动。→ 帧间预测 / 运动估计:只存「这块从上一帧的哪里搬来」和差值。

视觉冗余

人眼对高频细节、暗部噪声、色度变化不敏感。→ 量化:主动丢掉这些「看不出来」的信息,这是有损的主要来源。

编码冗余

符号出现概率不均。→ 熵编码(CABAC / CAVLC):给常见符号短码,类似 ZIP,本身无损。

3.2 编码器内部发生了什么

编码器流程分块、预测、求残差、变换、量化、熵编码,生成压缩码流,解码端反向执行 分块预测求残差变换量化熵编码 切成宏块/CU帧内 / 帧间原图 − 预测DCT / DST唯一有损步骤CABAC 无损 解码端反向执行:熵解码 → 反量化 → 反变换 → 加回预测值 → 得到重建帧(与原始帧不完全相同)
图 3-1 量化是压缩中唯一主动丢信息的一步,也是画质损失与码率大小的直接开关

量化步长(QP)越大,丢弃的细节越多,文件越小,画面越糊、越容易出现块效应和色带。-crf、-b:v 本质上都在间接控制 QP。-qp 0 或 -crf 0 表示无损(x264/x265),此时文件依然比原始未压缩小很多,因为预测与熵编码还在工作。

3.3 I / P / B 帧与 GOP:视频为什么不能随便剪

GOP 与 PTS/DTS显示顺序 I B B P,解码顺序 I P B B,B 帧必须等后面的 P 帧解码完成 显示顺序 解码 / 存储顺序 I (IDR) B B P B B P I (IDR) I P B B P B B I B 帧要参考后面的 P,所以 P 必须先被解码 结果:每个包同时带 PTS(何时显示)与 DTS(何时解码);有 B 帧时两者不相等 → 第 4 章
图 3-2 一个 GOP 中显示顺序与解码顺序不同,这是 PTS/DTS 与「剪切不精确」的根源

GOP 长度是一场三方权衡:

GOP 设置收益代价适用
短(如 -g 30,1 秒)拖动进度条快、剪辑点精确、直播首帧快、抗丢包关键帧多 → 同画质下码率更高、文件更大直播、HLS/DASH、需要频繁跳转的教学视频
长(如 -g 250,8 秒以上)压缩效率高、体积小seek 慢、误码后画面长时间花屏、剪切只能落到关键帧本地归档、一次性播放的成片
-ss 与 -c copy 的经典组合坑

用 -c copy 剪切时,FFmpeg 不能重新编码,只能从关键帧开始复制。若 -ss 00:01:23 落在两个 IDR 之间,输出要么从更早的关键帧开始(多出几秒),要么开头几秒黑屏/花屏/无声音。解决方案:① 想要精确 → 去掉 -c copy,重新编码;② 想要快且不重编码 → 用 -ss 配合关键帧对齐,接受秒级误差;③ 预处理时把 GOP 设短。

相关参数:-g 50(关键帧间隔)、-keyint_min 50(最小间隔)、-sc_threshold 0(禁止场景切换自动插关键帧,做固定时长 HLS 切片时必须)、-bf 0(禁用 B 帧)、-tune zerolatency(直播低延迟:禁 B 帧、禁用 lookahead、减小缓冲)。

3.4 码率控制:CRF 到底是啥

这是 FFmpeg 里最该吃透的一个参数。不同模式回答不同的问题:

模式目标参数何时用
CRF(Constant Rate Factor,恒定质量)「整片保持同样的主观质量」,复杂画面多给码率,简单画面少给-crf 18~28 + -preset默认首选:本地文件、归档、上传前的成品
2-pass ABR「最终文件恰好是指定大小 / 平均码率」-b:v 4M -pass 1/2有严格体积或带宽上限(如限定 2 GB、限定 5 Mbps)
CBR / 受约束 VBR「任何瞬间都不超过带宽」-b:v + -maxrate + -bufsize(VBV)直播推流、广播、HLS,防止瞬时码率冲垮网络
恒定 QP / 无损「完全不因内容改变量化」-qp 0 / -crf 0中间文件、科研、无损归档(体积大)
硬件 CQNVENC/QSV 等的质量模式-cq 23 -b:v 0GPU 编码时替代 CRF

CRF 的经验法则:x264 默认 23,x265 默认 28(两者观感大致相当);范围 0(无损)到 51(最差),数值每 ±6,码率大约翻倍 / 减半。18 通常「肉眼几乎无损」,23 是均衡点,28 开始能看出压缩痕迹。不要跨编码器照搬数值,也不要把不同分辨率/帧率的 CRF 值当通用真理。

# 推荐的通用成品模板
ffmpeg -i in.mov -c:v libx264 -crf 21 -preset slow -pix_fmt yuv420p \
  -c:a aac -b:a 160k -movflags +faststart out.mp4

# 两遍编码,精确控制平均码率(第一遍只写统计文件)
ffmpeg -y -i in.mp4 -c:v libx264 -b:v 4M -preset slow -pass 1 -an -f null /dev/null
ffmpeg    -i in.mp4 -c:v libx264 -b:v 4M -preset slow -pass 2 -c:a aac -b:a 160k out.mp4
# Windows 下第一遍输出改为 NUL

# 直播/推流:约束码率 + 低延迟 + 固定 2 秒 GOP
ffmpeg -re -i in.mp4 -c:v libx264 -preset veryfast -tune zerolatency \
  -b:v 4500k -maxrate 4500k -bufsize 9000k -g 60 -keyint_min 60 -sc_threshold 0 \
  -pix_fmt yuv420p -c:a aac -b:a 128k -f flv rtmp://server/live/stream

-preset 不直接改画质,改的是「花多少 CPU 时间去省码率」:从 ultrafast 到 veryslow,越慢越充分地搜索运动矢量、越精细地做率失真决策,同样画质下文件更小(或者同体积下画质更好),代价是编码时间成倍增长。实时推流只能选 veryfast/faster,离线出片可以 slow。-tune 针对内容调优:film、animation、grain(保胶片颗粒)、stillimage、fastdecode、zerolatency。

码率 ≠ 画质

「把 -b:v 设成 20M 画质就变好」是典型误解。画质损失来自量化,而量化由「码率预算 ÷ 内容复杂度 ÷ 分辨率 ÷ 帧率 ÷ 编码器效率」共同决定。同样 5 Mbps,拍访谈绰绰有余,拍烟花、海浪、体育赛事就是一团糊;H.265 在 5 Mbps 可能比 H.264 在 8 Mbps 更好。先选编码器与 CRF,再看码率结果,不要反过来。

3.5 编码格式族谱:选哪个 codec

编码格式FFmpeg 编码器大致效率兼容性 / 备注
H.264 / AVClibx264基准兼容性之王:任何手机、浏览器、电视都能放。首选交付格式
H.265 / HEVClibx265同画质省 30–50%4K/HDR 主流;浏览器与老设备支持不全,10 bit 需 Main10;编码慢很多
VP9libvpx-vp9接近 H.265WebM / YouTube,网页友好,无专利费
AV1libsvtav1 / libaom-av1优于 H.265开源免版税,流媒体新宠;libaom 极慢,日常用 SVT-AV1
H.266 / VVC部分实验性实现再省约 30%生态尚不成熟,日常不建议使用
MPEG-2mpeg2video低DVD、老广播电视、部分监控;会碰到 .ts / .vob
ProRes / DNxHRprores_ks / dnxhd几乎不压缩剪辑中间格式:帧内编码、任意帧可精确剪、体积巨大、不适合交付
FFV1ffv1无损归档用,常装进 MKV;比原帧小但不丢任何信息
MJPEGmjpeg每帧一张 JPEG老相机、监控、部分 .avi;逐帧可编辑

一个重要区分:分发格式 vs 中间格式。分发格式(H.264/HEVC/AV1)靠长 GOP 的帧间预测省体积,代价是难剪辑;中间格式(ProRes/DNxHR/FFV1)每帧独立,剪起来又快又准但很大。多次编辑、反复转码时,先转成中间格式再处理,能避免每代压缩累积糊化——这就是「generation loss(代际损失)」。

profile / level:为什么有的 H.264 某些设备放不了

Profile 是功能子集:Baseline(无 B 帧、无 CABAC,最兼容,老手机/视频会议)、Main、High(8 bit 主流)、High 10(10 bit,绝大多数硬件不解码)。Level 是对分辨率、帧率、码率、参考帧数的上限约定(如 Level 4.0 ≈ 1080p30)。设备只会解码自己声明支持的 profile/level,超了就黑屏。排查:ffprobe -show_entries stream=profile,level,codec_name,pix_fmt。降级示例:-profile:v baseline -level 3.1 -pix_fmt yuv420p(同时会禁用 B 帧与 CABAC,压缩效率下降)。另外注意 H.264/H.265 涉及专利授权,商业分发请自行评估合规,AV1/VP9 是免版税路线。

3.6 硬件编解码

CPU 编码(libx264)质量最好;GPU/专用芯片编码(NVENC / Intel QSV / AMD AMF / Apple VideoToolbox / Linux VAAPI)快得多、功耗低,适合实时和批量,但同码率下画质通常略逊,且可用参数不同(没有 -crf,改用 -cq、-qp 或 -b:v)。

# NVIDIA NVENC(编码)+ CUDA 解码
ffmpeg -hwaccel cuda -hwaccel_output_format cuda -i in.mp4 \
  -c:v h264_nvenc -preset p5 -cq 23 -b:v 0 -pix_fmt yuv420p out.mp4

# Intel QSV / Apple / Linux VAAPI 的编码器名
h264_qsv   hevc_qsv   h264_videotoolbox   h264_vaapi   h264_amf

# 看你的 ffmpeg 编译时带了哪些编码器
ffmpeg -hide_banner -encoders | findstr h264
ffmpeg -hide_banner -hwaccels

硬件路径的坑:显卡显存里的像素格式(nv12、cuda、vaapi)与 CPU 滤镜不通用,常需要 hwdownload,format=nv12 或 hwupload 显式搬运;滤镜链里一旦有滤镜不支持该格式就会报 Impossible to convert between the formats supported by the filter。

3.7 怎么客观评价画质

肉眼之外,可以用滤镜做定量比较(分数越高越接近原片):

# PSNR / SSIM:简单、快,但与主观观感相关性一般
ffmpeg -i out.mp4 -i ref.mp4 -lavfi "psnr=stats_file=psnr.log" -f null -
ffmpeg -i out.mp4 -i ref.mp4 -lavfi "ssim" -f null -

# VMAF:Netflix 开源,与主观感受相关性更好(需编译时带 libvmaf)
ffmpeg -i out.mp4 -i ref.mp4 -lavfi libvmaf -f null -

这是全书最值得亲手拖动的两组对比:都来自真实 H.264 编码后的同一帧。

本章自测

① CRF 从 23 调到 17,码率大约怎么变? ② -preset veryslow 会让画质变好吗?准确说法是什么? ③ 为什么 -c copy 剪切有时开头黑屏? ④ 一个视频在电脑上能放、手机上黑屏,最先查哪三个字段? ⑤ 为什么 5 Mbps 对不同片子画质差异巨大?

04容器、流与时间戳

「这个 MP4 是什么编码?」——这句话把两个概念混在了一起,也是初学者最大的认知障碍。容器是盒子,编码是盒子里东西的打包方式,两者互相独立。

4.1 容器 ≠ 编码格式

容器结构一个 MP4 文件里同时装着视频流、音频流、字幕流、索引和元数据 容器 / 封装格式:movie.mp4 盒子的规则 流 0 · 视频H.264 / 1920×1080 / yuv420p / 30 fps / 5 Mbps 0:v:0 流 1 · 音频AAC-LC / 48 kHz / 立体声 / 160 kbps 0:a:0 流 2 · 字幕mov_text / 中文 / 独立时间轴 0:s:0 索引 moov / 每包的时间戳表 / 时长 / 全局元数据 / 章节信息
图 4-1 容器 = 多路独立流 + 一张告诉大家「何时取哪一包」的索引表

三件必须分清的事:

容器能装什么特点与典型用途
MP4 / MOV / M4VH.264/HEVC/AV1 + AAC/ALAC,字幕仅 mov_text兼容性最好,网页/手机/交付首选。MOV 是苹果系,常装 ProRes;索引 moov 默认在文件尾
MKV / WebM几乎什么都能装:多音轨、ASS 字幕、章节、附件、HDR 元数据最灵活,收藏/归档/多语字幕首选;WebM = MKV 的网页精简版(VP9/AV1 + Opus)
MPEG-TS (.ts)MPEG-2 / H.264 + AC-3 / AAC为广播与丢包环境设计:固定 188 字节包、可从中间任意位置开始解码;HLS 的切片格式;体积有固定开销
FLVH.264 + AACRTMP 直播推流的事实格式,虽然老但仍是推流端常客
AVIMJPEG / MPEG-4 / DivX / MP3上古格式,索引与时间戳能力弱,不支持现代特性,见到就考虑转封装
MXF / MOV(专业)ProRes / DNxHR / XDCAM / RAW摄像机与后期交换格式,可能带时间码与多轨音频
音频容器M4A / MP3 / FLAC / OGG / WAV只装音频流;WAV 通常就是未压缩 PCM 加个头

4.2 流(stream)与 -map

一个文件里可以有很多条互相独立、各自带时间戳的流:1 路视频、多条不同语言的音轨、多条字幕轨、封面图、章节、数据轨。ffprobe 输出的每个 [STREAM] 块都有 index。FFmpeg 用 stream specifier 指代它们:

[输入文件序号]:[流类型][:该类型的第几条]
0:v:0 = 第 1 个输入文件的第 1 路视频流
0:a:1 = 第 1 个输入文件的第 2 路音轨
1:s:0 = 第 2 个输入文件的第 1 路字幕流
v / a / s / d / t = 视频 / 音频 / 字幕 / 数据 / 附件
-map 0 = 复制所有流  -map -0:d = 排除所有数据流

不写 -map 时,FFmpeg 会按默认规则「每种类型挑一条最好的」自动选择,这在多语轨、多音轨、带封面/数据轨的文件上经常选错。养成显式 -map 的习惯:

# 只保留视频与第一条音轨,丢掉字幕和数据流
ffmpeg -i in.mkv -map 0:v:0 -map 0:a:0 -c copy out.mp4

# 给无声视频加一条背景音乐,并保留原视频
ffmpeg -i video.mp4 -i bgm.m4a -map 0:v:0 -map 1:a:0 -c:v copy -c:a aac -shortest out.mp4

# 给 MKV 追加一条 SRT 软字幕(不重编码画面)
ffmpeg -i in.mkv -i zh.srt -map 0 -map 1 -c copy -c:s srt out.mkv
-c copy 的边界

-c copy(stream copy / 转封装)意味着「不解码、不编码,直接把压缩包搬过去」,所以快、无损、秒级完成。但正因如此,你不能同时改分辨率、加滤镜、改帧率、烧字幕、调音量、改变像素格式——这些都需要重新编码。加了 -vf 又写 -c copy,滤镜会被静默忽略或报错。另外目标容器必须支持源编码:把 MKV 里的 ASS 字幕或 FLAC 直接 copy 进 MP4 会失败(Could not find tag for codec ... in stream)。

4.3 转封装、remux 与 moov / faststart

# 纯换容器(零画质损失,通常几秒完成)
ffmpeg -i in.mkv -map 0 -c copy out.mp4

# 让 MP4 可以边下边播:把索引 moov 从文件尾挪到文件头
ffmpeg -i in.mp4 -map 0 -c copy -movflags +faststart out.mp4

# 直播用碎片化 MP4(fMP4,可边生成边播)
ffmpeg -i in.mp4 -c copy -movflags +frag_keyframe+empty_moov out.mp4

为什么 faststart 重要:MP4 的 moov 里存着「每一帧在文件的哪个字节、什么时间戳」这张索引表。编码器要等全部帧写完才能填这张表,所以默认把它放在文件末尾。浏览器用 HTTP 播放时,若没拿到 moov 就不知道从哪开始解,只能把整个文件下载完 → 用户看到长时间转圈。+faststart 只是把这张表挪到文件头,不改一个像素。

4.4 时间戳:PTS、DTS、time_base

概念全称作用
PTSPresentation TimeStamp这一帧/这段音频何时显示或播放
DTSDecoding TimeStamp这一包何时送进解码器。有 B 帧时 DTS 与 PTS 不同(见第 3 章)
time_base时间基时间戳的「单位」。PTS 存的是整数,真实秒数 = PTS × time_base。如 1/90000(TS)、1/1000(MKV)、1/12800(MP4 常见)
duration时长以 time_base 为单位的一帧/一包的持续时间;容器与流各有一个 duration,不一致很常见
start_time起始时间第一条流的起始时间戳。不为 0 会引起音画不同步,常见于录屏、直播切片、拼接素材

为什么必须懂:剪辑、拼接、变速、音画同步,本质都在改时间戳。典型报错:

# 查看每个包的时间戳、大小、是否关键帧(诊断同步问题的第一命令)
ffprobe -v error -select_streams v:0 -show_entries packet=pts_time,dts_time,duration_time,size,flags -of csv=p=0 in.mp4 | head -20

# 重置时间戳为从 0 开始(拼接前规范化,极常用)
ffmpeg -i clip.mp4 -vf "setpts=PTS-STARTPTS,fps=30" -af "asetpts=PTS-STARTPTS" norm.mp4

# 修正负起始时间 / 让容器时间戳从 0 起
ffmpeg -i in.mp4 -c copy -avoid_negative_ts make_zero out.mp4

# 保留原始时间戳(多机位、监控、需要绝对时间时用)
ffmpeg -copyts -i in.ts -c copy out.mp4

4.5 -ss 放在哪里,是两件完全不同的事

写法作用阶段速度精度
ffmpeg -ss 60 -i in.mp4 ...输入选项:先让 demuxer 跳到附近,只解码后面的内容很快(大文件几乎是瞬间)转码时默认 -accurate_seek 会解码到精确点,通常准确;配 -c copy 时只能落在关键帧
ffmpeg -i in.mp4 -ss 60 ...输出选项:从头解码,丢弃前 60 秒的帧慢(要解码前面全部内容)最精确,逐帧可控

配套参数:-t 10(持续 10 秒)、-to 00:01:10(结束于绝对时间点)、-sseof -10(从结尾往前 10 秒)。-ss 与 -t 放在 -i 前还是后,决定它们解释的是输入时间轴还是输出时间轴——命令选项是有作用域的,顺序就是语义,第 7 章会系统讲。

# 快速粗剪(不重编码,秒级,起点对齐关键帧)
ffmpeg -ss 00:05:20 -i in.mp4 -t 30 -map 0 -c copy -avoid_negative_ts make_zero clip.mp4

# 帧级精确剪切(重编码)
ffmpeg -ss 00:05:20 -i in.mp4 -t 30 -c:v libx264 -crf 20 -preset medium \
  -pix_fmt yuv420p -c:a aac -b:a 160k clip.mp4

4.6 旋转、显示矩阵与元数据

手机竖拍的视频,文件里往往仍然是横着的 1920×1080,只是附带一条「请旋转 90° 再显示」的元数据(displaymatrix 或旧的 rotate 标签)。这解释了很多怪事:用工具看分辨率是 1920×1080,播放器里却是竖屏;导出后传到某些平台变成躺着。

其他常见元数据:-metadata title="..."、-metadata:s:a:0 language=chi、-map_metadata 0(继承)、-map_metadata -1(清空)、-disposition:v:1 attached_pic(把封面图标记为封面)、-metadata comment=...。注意 creation_time、GPS、设备型号等隐私信息也会随 -map_metadata 0 一起被复制,对外发布前可用 -map_metadata -1 清一遍。

本章自测

① 把 .mkv 后缀改成 .mp4,里面变了吗? ② 为什么 -c copy 不能同时加 -vf scale? ③ time_base=1/90000、PTS=4500 是第几秒? ④ 快速剪切开头黑屏怎么解释、怎么修? ⑤ 手机竖屏视频在 ffprobe 里显示为 1920×1080,为什么?

05音频:另一半的视频

一半以上的「视频问题」其实是音频问题:没声音、音画不同步、忽大忽小、转完爆音。音频概念比视频少,但同样有一套必须记住的参数。

5.1 从声音到数字:PCM 三要素

采样率 sample_rate

每秒对声波取多少次样。44.1 kHz(CD/音乐)、48 kHz(视频/广播/几乎所有摄像机,视频流程默认选它)、96 kHz(专业制作)。采样率必须 ≥ 目标最高频率的 2 倍(奈奎斯特),人耳上限约 20 kHz。

位深 / 采样格式

s16(16 bit 有符号整数,CD 级)、s32、flt/fltp(浮点,滤镜链内部常用)、u8。p 后缀 = planar,各声道分开存;无 p = packed/interleaved,各声道交替存。

声道与声道布局

mono(1)、stereo(2)、2.1、5.1、7.1。-ac 2 改声道数,-channel_layout / pan 做精细映射。5.1 下混成立体声时,若不做处理容易丢掉人声或对白过小。

PCM 与音频编码

PCM 是未压缩原始采样,WAV 里通常就是它;AAC/MP3/Opus/FLAC 是压缩编码。音频压缩的数据量远小于视频(160 kbps vs 5 Mbps),但压缩同样有损(FLAC/ALAC 除外)。

未压缩立体声 48 kHz / 16 bit ≈ 48000 × 2 B × 2 声道 = 192 kB/s ≈ 1.54 Mbps
AAC 160 kbps 约是它的 1/10;而 1080p 未压缩视频是 747 Mbps —— 视频才是体积主角

5.2 常见音频编码怎么选

编码FFmpeg特点 / 用途
AAC-LCaac / libfdk_aacMP4 / HLS / 直播的事实标准,兼容性最好;FFmpeg 内置 aac 质量尚可,追求质量可用第三方 libfdk_aac(需自行编译)
HE-AAC / AAC-LDlibfdk_aac -profile:a aac_he低码率(≤64 kbps)或低延迟语音;部分老设备不支持 HE
MP3libmp3lame最通用但效率落后,MP4 里不推荐
Opuslibopus效率与低延迟俱佳,WebRTC / WebM / 语音首选,网页实时通信标配
FLAC / ALACflac / alac无损,归档与中间文件
AC-3 / E-AC-3 / DTSac3 / eac3 / dts杜比与影院多声道,蓝光/电视广播常见;很多播放器与网页不支持,常需转 AAC
PCMpcm_s16le 等WAV / MOV 中间格式,编辑无损但体积大

转码时的典型坑:AAC 编码器有「编码器延迟(encoder delay / priming)」,会在开头插入约 1024 个静音采样,容器用 skip_samples / edit list 记录。反复转码、拼接、剪切时若处理不当,就会出现每片开头一小段静音或整体音画错位。-c copy 拼接 AAC 尤其容易积累这个问题,多段拼接建议重编码音频。

5.3 音量、响度与削波

振幅 vs 响度:volume=2.0 是把波形数值乘 2(约 +6 dB),超过 0 dBFS 就会削波(clipping),产生不可逆的爆音。而人耳感受到的「响度」与峰值不是一回事,现代平台按 LUFS(Loudness Units relative to Full Scale) 衡量整体响度。

目标响度常见场景
−14 LUFSSpotify、YouTube、多数流媒体平台的归一化目标
−16 LUFS播客、部分移动端内容
−23 LUFSEBU R128 欧洲广播标准
真峰值 ≤ −1 dBTP防止有损编码后 intersample peak 超标(流媒体常要求 −1 或 −2 dBTP)
# 简单调整音量(dB 或倍数)
ffmpeg -i in.mp4 -af "volume=6dB" -c:v copy out.mp4

# 专业响度归一化(两遍法,第一遍测量,第二遍应用)
ffmpeg -i in.mp4 -af "loudnorm=I=-16:TP=-1.5:LRA=11:print_format=json" -f null -
ffmpeg -i in.mp4 -af "loudnorm=I=-16:TP=-1.5:LRA=11:measured_I=-12.3:measured_TP=-0.2:measured_LRA=8.1:measured_thresh=-22.5:offset=0.6:linear=true:print_format=summary" -c:v copy out.mp4

# 单遍动态模式(省事,质量略逊于两遍)
ffmpeg -i in.mp4 -af loudnorm -c:v copy out.mp4

5.4 音画同步:视频人最常被投诉的地方

音画同步的本质是两条独立流的时间戳对齐。任何一边的起始时间、时长、帧率转换出问题,都会表现为「嘴型对不上」。

# 画面比声音晚 0.3 秒:把音频整体延后 300 ms,并以较短流收尾
ffmpeg -i video.mp4 -itsoffset 0.3 -i audio.m4a \
  -map 0:v:0 -map 1:a:0 -c:v copy -c:a aac -shortest out.mp4

# 整个片子慢放 0.8 倍,音画一起变且不变调
ffmpeg -i in.mp4 -filter_complex "[0:v]setpts=PTS/0.8[v];[0:a]atempo=0.8[a]" -map "[v]" -map "[a]" slow.mp4
常用音频分析滤镜

silencedetect=noise=-40dB:d=1(找静音段,自动切片)、volumedetect(测最大/平均音量)、astats(详细统计)、ebur128(实时响度)、highpass=f=80(去低频隆隆声)、acompressor(动态压缩)、pan(声道重映射,如把 5.1 中置对人声的权重调高)。

本章自测

① 视频流程为什么普遍用 48 kHz 而不是 44.1 kHz? ② fltp 和 s16 分别是什么? ③ volume=3dB 和 loudnorm 解决的不是同一个问题,区别是什么? ④ 音画渐进失步,先怀疑什么?

06字幕、封面与元数据

6.1 三种字幕,三种完全不同的东西

类型原理优缺点
外挂字幕独立的 .srt/.ass 文件,播放器按文件名关联加载最灵活、可开关可换语言;传文件容易漏带,部分平台不认
软字幕(内封字幕轨)作为一条独立的字幕流封装进容器,与画面分开存可开关、可选语言、无损画质、体积几乎为零;依赖容器与播放器支持
硬字幕(烧录)用滤镜把文字画到每一帧像素上,成为画面的一部分任何设备都能显示、样式绝对一致;必须重编码、不可关闭、不可翻译、画质有一次损失
字幕格式特点适合容器
SRT / SubRip纯文本 + 时间码,最简单MKV;转进 MP4 需转成 mov_text
ASS / SSA支持字体、颜色、位置、描边、卡拉 OK、特效只能 MKV(作为软字幕);烧录时任意容器
WebVTT网页字幕标准,HLS 常用HTML5 / HLS 独立文件
mov_textMP4 内置文本字幕,样式能力弱MP4 / MOV
dvdsub / dvbsub / PGS位图字幕(图片,不是文字)蓝光/电视录制;烧录用 overlay,不能直接转 SRT(需 OCR)
最高频失败:ASS 字幕拷进 MP4

ffmpeg -i in.mkv -i sub.ass -c copy ... out.mp4 会报 Subtitle codec 'ass' is not supported by the mp4 muxer。MP4 只支持 mov_text 文本字幕。三种出路:① 换成 MKV 输出;② 转成 mov_text(-c:s mov_text,会丢掉样式);③ 烧录成硬字幕(保留全部样式)。

# 软字幕:MKV 里追加一条 ASS 轨(不重编码画面)
ffmpeg -i in.mkv -i zh.ass -map 0 -map 1 -c copy -c:s ass -metadata:s:s:0 language=chi out.mkv

# 软字幕:MP4 里追加一条 SRT 并转成 mov_text
ffmpeg -i in.mp4 -i zh.srt -map 0 -map 1 -c copy -c:s mov_text -metadata:s:s:0 language=chi out.mp4

# 硬字幕:烧录 SRT(画面必须重编码)
ffmpeg -i in.mp4 -vf "subtitles=zh.srt:force_style='FontName=Microsoft YaHei,FontSize=22,Outline=1'" \
  -c:v libx264 -crf 20 -preset medium -c:a copy out.mp4

# 硬字幕:烧录 ASS,并指定字体目录(否则中文/特效字体会变成方框)
ffmpeg -i in.mkv -vf "ass=zh.ass:fontsdir=./fonts" -c:v libx264 -crf 20 -c:a copy out.mp4

路径转义坑:滤镜参数里的 :、,、'、\ 都是语法字符。Windows 路径 C:\sub\a.srt 需要先写成正斜杠并转义冒号,例如 subtitles='C\:/sub/a.srt';更省事的做法是先把字幕文件复制到当前目录,用相对文件名。

6.2 封面、章节、语言与元数据

# 给 MP4/MKV 附加封面图(第 2 路视频流,标记为 attached_pic)
ffmpeg -i in.mp4 -i cover.jpg -map 0 -map 1 \
  -c copy -disposition:v:1 attached_pic out.mp4

# 打标题、作者、音轨语言
ffmpeg -i in.mp4 -map 0 -c copy \
  -metadata title="第一讲" -metadata artist="讲师" \
  -metadata:s:a:0 language=chi -metadata:s:v:0 language=chi out.mp4

# 从视频里每隔 10 秒抽一帧做成封面缩略图(雪碧图)
ffmpeg -i in.mp4 -vf "fps=1/10,scale=320:-2,tile=5x5" -frames:v 1 sheet.jpg

# 发布前清空可能含隐私的元数据
ffmpeg -i in.mp4 -map 0 -c copy -map_metadata -1 -map_chapters -1 clean.mp4

章节(chapters)是容器级别的时间段标记(起止时间 + 标题),MKV/MP4 都支持,可用 ffprobe -show_chapters 查看,通过 -map_chapters 1 从另一个文件导入。注意 -c copy 拼接多个文件时章节时间不会自动重算,容易错位。

07FFmpeg 流水线心智模型

到这一章,你已经有足够的知识看懂 FFmpeg 在做什么了。把所有命令都想象成同一条装配线,之后几乎不会再有「这个参数为什么没生效」的困惑。

7.1 一条装配线,六个工位

FFmpeg 流水线输入文件经过 demuxer、decoder、filtergraph、encoder、muxer,最后写出输出文件;每段由不同参数控制 输入文件in.mov 解封装解码滤镜处理编码封装 demuxerdecoderfiltergraphencodermuxer -f / -ss-c:v / -hwaccel-vf / -filter_complex-c:v libx264-map / -f 输出文件out.mp4 捷径:stream copy(-c copy) 跳过解码 / 滤镜 / 编码三个工位,压缩包原样搬运 → 快、无损,但不能改画面 解码后是「原始帧」,编码前也是「原始帧」——滤镜永远作用在未压缩的像素/采样上
图 7-1 所有 FFmpeg 命令都是这条流水线的某种配置;-c copy 是绕过中间三个工位的捷径

记住这条线,三个常见困惑会自动消解:

7.2 命令语法与「选项作用域」:顺序就是语义

ffmpeg [全局选项] [输入选项] -i 输入1 [输入选项] -i 输入2 ... [输出选项] 输出1 [输出选项] 输出2 ...

每个选项只作用于「它后面紧跟着的那个文件」
写在 -i 之前 → 控制「怎么读这个文件」;写在输出文件名之前 → 控制「怎么生成这个文件」

这是 FFmpeg 最容易让人抓狂的设计,也是 -ss、-r、-t 放在不同位置含义不同的根本原因。一条命令可以有多个输入和多个输出(一次解码,同时生成 1080p / 720p / 缩略图 / 纯音频),每个输出前都可以写一套独立的编码参数。

# 一次解码,同时输出三种规格(注意每个输出前的参数各自独立)
ffmpeg -i in.mp4 \
  -map 0:v:0 -map 0:a:0 -c:v libx264 -crf 20 -s 1920x1080 -c:a aac -b:a 160k out_1080p.mp4 \
  -map 0:v:0 -map 0:a:0 -c:v libx264 -crf 23 -s 1280x720  -c:a aac -b:a 128k out_720p.mp4 \
  -map 0:a:0 -c:a libmp3lame -q:a 4 audio_only.mp3
类别选项作用
全局-y / -n / -hide_banner / -loglevel / -nostdin / -stats / -benchmark / -threads覆盖写 / 不覆盖 / 隐藏版本横幅 / 日志级别 / 脚本中禁止读标准输入 / 进度 / 耗时统计 / 线程数
输入-ss / -t / -re / -f / -hwaccel / -itsoffset / -stream_loop -1定位起点 / 读取时长 / 按真实速度读(推流必加)/ 强制解封装格式 / 硬解 / 时间偏移 / 循环输入
输出-map / -c / -b:v / -crf / -preset / -vf / -af / -r / -pix_fmt / -f / -t / -shortest / -movflags / -metadata流选择 / 编码器 / 码率 / 质量 / 预设 / 滤镜 / 帧率 / 像素格式 / 容器 / 时长 / 收尾 / 容器标志 / 元数据
写脚本时的三个好习惯

① 加 -nostdin,否则循环里 FFmpeg 会吞掉 stdin 导致只处理第一个文件;② 加 -hide_banner -loglevel error 让日志干净,但要保留 -stats 观察进度;③ 用 -y 覆盖或 -n 跳过,避免批处理卡在「文件已存在,是否覆盖」的交互提示上。

7.3 -c 家族与「什么时候必须重编码」

写法含义
-c copy所有流原样复制(等价 -c:v copy -c:a copy -c:s copy)
-c:v libx264 -c:a aac视频用 H.264 重编码,音频用 AAC 重编码
-c:v copy -c:a aac常用组合:画面无损直通,只处理音频(加音量、换音轨、替换音轨)
-c:v libx264 -an只输出视频(-an 禁音频,-sn 禁字幕,-dn 禁数据)
-c:a copy -bsf:a aac_adtstoasc码流过滤器(bitstream filter):不改编码内容,只调整码流的封装形式,用于 TS → MP4 的 AAC 适配

必须重编码的操作清单:改分辨率/裁切/加水印/烧字幕/调色/降噪/改帧率/变速/画面拼接/画图/缩放/旋转像素/改像素格式/改编码器/改质量与码率。可以 -c copy 的:换容器、抽取某条流、增删音轨字幕轨、改元数据、改时间戳起始、剪切(不精确)、合并同参数片段、修索引 faststart。

7.4 读懂日志:故障信息都在这里

转码时终端会持续打印类似这样一行,值得逐段读懂:

frame= 1250 fps= 62 q=28.0 size=   18432kB time=00:00:41.70 bitrate=3621.4kbits/s speed=2.07x
│          │        │       │            │                  │                  └ 处理速度倍率
│          │        │       │            │                  └ 瞬时输出码率
│          │        │       │            └ 已处理到的时间戳(不是墙钟时间)
│          │        │       └ 已写出字节
│          │        └ 当前量化参数(越大画质越差)
│          └ 实时处理帧率(低于源帧率就说明编码跟不上实时)
└ 已处理帧数

-loglevel 级别:quiet < panic < fatal < error < warning < info(默认)< verbose < debug < trace。排查问题先切到 verbose 或 debug,很多「为什么没生效」的答案就在里面(比如自动插入的格式转换滤镜 auto_scale)。-loglevel +level 还能把级别前缀打出来。

# 查内置帮助:编码器参数、滤镜参数、可用格式
ffmpeg -hide_banner -h encoder=libx264
ffmpeg -hide_banner -h filter=scale
ffmpeg -hide_banner -codecs | findstr 264
ffmpeg -hide_banner -formats | findstr mp4
ffmpeg -hide_banner -filters | findstr overlay
ffmpeg -hide_banner -buildconf   # 看这个二进制编译时开了哪些库(有没有 libx265 / libzimg / libvmaf)
本章自测

① 把 -ss 从 -i 前移到 -i 后,命令语义变在哪? ② 为什么 -c:v copy -af volume=3dB 能生效,而 -c copy -vf scale=... 不行? ③ 一条命令输出两个文件,参数写在哪里? ④ 批处理里 FFmpeg 只处理了第一个文件,最可能缺什么参数?

08滤镜与滤镜图:处理画面的语言

滤镜(filter)作用在解码后的原始帧上。一个滤镜做一件事,用逗号串成「链」,用分号分成多条「链」,多条链通过标签组成滤镜图(filtergraph)。掌握这套语法,你才算真正会「用 FFmpeg 做视频」而不只是转格式。

8.1 两种滤镜入口

入口形状适用
-vf / -af单输入 → 单输出的线性链缩放、裁切、加一个水印(用 movie 源)、调音量等简单处理
-filter_complex任意有向图:多输入、分支、合并多文件叠加、画中画、拼接、混音、分屏、同时输出多路

8.2 语法:逗号、分号、标签、转义

滤镜链: filter1=k=v,filter2,f=k=v ← 逗号:前一滤镜的输出接后一滤镜的输入 滤镜图: 链1;链2;链3 ← 分号:并列的多条链 标签: [0:v]scale=1280:-2[bg]; ← [0:v] 是第 1 个输入的视频流,[bg] 是自定义中间名 [1:v]scale=320:-2[wm]; [bg][wm]overlay=W-w-20:20[out] 输出引用: -map "[out]" -map 0:a:0
滤镜图结构主视频经 split 分叉,logo 缩放后与主画面 overlay 合并输出 [0:v] 主画面 [1:v] 水印 split=2分叉成两路 scale=1280:-2[bg] scale=320:-2[logo] format=rgba保留透明度 overlayW-w-20 : H-h-20 [out]-map "[out]" 标签让数据沿任意路径流动:一条链的输出可以成为另一条链的输入
图 8-1 一个典型复杂滤镜图:分叉(split)→ 并行处理 → 合并(overlay)

8.3 常用滤镜速查(按用途分组)

类别滤镜典型写法与要点
几何scale crop pad transpose hflip vflip rotate setsarscale=1280:-2:flags=lanczos(-2 自动取偶数高);crop=1280:720:100:50(宽:高:x:y);pad=1920:1080:(ow-iw)/2:(oh-ih)/2:black;transpose=1 顺时针 90°
时间fps setpts trim select tpad reverse minterpolatefps=30;setpts=PTS/2 两倍速;trim=start=5:end=10,setpts=PTS-STARTPTS;select='eq(n,100)' 抽第 100 帧
画质 / 调色eq curves hue unsharp hqdn3d nlmeans colorbalance zscale tonemapeq=brightness=0.05:contrast=1.1:saturation=1.2;调色/降噪务必放在缩放之前还是之后要想清楚:先降噪再缩放通常更干净,先缩放更省算力
叠加 / 文字overlay drawtext drawbox fade boxblur subtitles assdrawtext=text='%{pts\:hms}':x=10:y=10:fontsize=24:fontcolor=white:box=1:boxcolor=black@0.5(时间戳里的冒号要转义);fade=t=in:st=0:d=1
拼接 / 分支split concat hstack vstack xstack blend[0:v][1:v][2:v]concat=n=3:v=1:a=0[v];hstack=inputs=2 左右分屏(要求高度一致)
音频volume atempo amix aresample pan loudnorm adelay afade atrim[0:a][1:a]amix=inputs=2:duration=first:dropout_transition=2[a](混音会自动归一化,音量可能变小,用 normalize=0 关闭)
分析 / 检测cropdetect blackdetect freezedetect silencedetect signalstats metadata showinfo psnr ssimblackdetect=d=0.5:pix_th=0.10 找黑场;cropdetect=24:16:0 自动找黑边裁切值;检测结果打在日志里,用 -loglevel info 看
格式 / 色彩format scale(色彩范围)colorspace zscale hwupload hwdownloadformat=yuv420p 显式转换像素格式;硬件编解码路径常需 hwdownload,format=nv12

缩放算法(flags=):neighbor(像素风,最快)→ bilinear / bicubic(默认附近)→ lanczos(锐利,放大与缩小的通用好选择)→ spline / full_chroma_int(更讲究但更慢)。缩小 4K→1080p 推荐 flags=lanczos;需要避免振铃时可用 bicubic。

8.4 五个必须会的滤镜图模板

# 1) 画中画 + 保留主音轨
ffmpeg -i main.mp4 -i pip.mp4 -filter_complex \
  "[1:v]scale=320:-2[pip];[0:v][pip]overlay=W-w-20:H-h-20[out]" \
  -map "[out]" -map 0:a:0 -c:v libx264 -crf 20 -c:a copy out.mp4

# 2) 三个片段无缝拼接(各片段参数不同也能拼,需重编码)
ffmpeg -i a.mp4 -i b.mp4 -i c.mp4 -filter_complex \
  "[0:v]setpts=PTS-STARTPTS[v0];[0:a]asetpts=PTS-STARTPTS[a0];\
   [1:v]setpts=PTS-STARTPTS[v1];[1:a]asetpts=PTS-STARTPTS[a1];\
   [2:v]setpts=PTS-STARTPTS[v2];[2:a]asetpts=PTS-STARTPTS[a2];\
   [v0][a0][v1][a1][v2][a2]concat=n=3:v=1:a=1[outv][outa]" \
  -map "[outv]" -map "[outa]" -c:v libx264 -crf 20 -c:a aac out.mp4

# 3) 同一个画面同时输出两个规格(split 分叉)
ffmpeg -i in.mp4 -filter_complex "[0:v]split=2[hi][lo];[lo]scale=1280:-2[lo2]" \
  -map "[hi]" -c:v libx264 -crf 18 -pix_fmt yuv420p hi.mp4 \
  -map "[lo2]" -c:v libx264 -crf 22 -pix_fmt yuv420p lo.mp4

# 4) 加半透明水印 + 淡入淡出 + 时间戳
ffmpeg -i in.mp4 -i logo.png -filter_complex \
  "[1:v]format=rgba,scale=160:-2,colorchannelmixer=aa=0.7[wm];\
   [0:v][wm]overlay=20:20,fade=t=in:st=0:d=1,fade=t=out:st=59:d=1[v]" \
  -map "[v]" -map 0:a:0 -c:v libx264 -crf 21 -c:a copy out.mp4

# 5) 两路音频混音(人声 + 背景音乐,BGM 降到 20% 并以人声为准收尾)
ffmpeg -i voice.m4a -i bgm.mp3 -filter_complex \
  "[1:a]volume=0.2[bg];[0:a][bg]amix=inputs=2:duration=first:normalize=0[a]" \
  -map "[a]" -c:a aac -b:a 160k mix.m4a

滤镜改变画面的效果,用眼睛看比读参数快:

更多同章对比:缩放算法 nearest vs lanczos · 锐化前后

滤镜图报错 Top 4

① Invalid stream specifier / No such filter:标签名拼写或漏了 -map "[v]";② Filter ... has an unconnected output:某条链的输出没被任何地方使用;③ Impossible to convert between the formats:相邻滤镜的像素格式不兼容,插 format=yuv420p;④ Error while filtering / 中文乱码:shell 引号被吞、字体不存在、或路径中的冒号没转义。排查时把 -filter_complex 从简到繁逐段加回来,比盯着整条命令猜快得多。

09ffprobe / ffplay:先诊断,再动手

专业和业余的分水岭,往往就是动手前先看一眼文件里到底有什么。ffprobe 是体检报告,ffplay 是听诊器,两者都不修改文件。

9.1 ffprobe:把文件看穿

# 最常用:JSON 格式列出所有流与容器信息(建议做成别名)
ffprobe -v error -show_format -show_streams -of json in.mp4

# 只看关心的字段(脚本里最实用)
ffprobe -v error -select_streams v:0 \
  -show_entries stream=codec_name,profile,level,width,height,pix_fmt,r_frame_rate,avg_frame_rate,bit_rate,nb_frames,color_range,color_space,color_transfer,color_primaries,sample_aspect_ratio,display_aspect_ratio \
  -show_entries format=duration,size,bit_rate,format_name,start_time -of json in.mp4

# 快速一行摘要(ffprobe 自带的友好格式)
ffprobe -hide_banner in.mp4
ffprobe -v error -select_streams v:0 -show_entries stream=codec_name,width,height,pix_fmt,avg_frame_rate -of csv=p=0 in.mp4
输出字段含义读它干嘛
codec_name / profile / level编码格式与档次判断兼容性、能不能 -c copy 进目标容器
width / height / sample_aspect_ratio尺寸与像素宽高比判断变形、旋转、是否偶数
pix_fmt像素格式是否 10 bit / 4:4:4 / 非 yuv420p(兼容性地雷)
r_frame_rate / avg_frame_rate标称 / 平均帧率不等 → VFR;含 30000/1001 → 29.97
bit_rate / nb_frames / duration码率、帧数、时长核算体积、判断是否缺帧;nb_frames=N/A 在 MKV/TS 很常见,需 -count_frames
color_* / color_range色彩四件套判断是否 HDR、颜色发灰的根因
time_base / start_time时间基与起始时间同步问题、负起始时间
side_data_list → displaymatrix旋转矩阵竖屏视频为什么显示成横的
format_name / tags / chapters容器、元数据、章节隐私信息、语言标记、章节
# 逐包 / 逐帧检查(同步、B 帧、关键帧问题的终极武器)
ffprobe -v error -select_streams v:0 -show_entries packet=pts_time,dts_time,duration_time,size,flags -of csv=p=0 in.mp4
ffprobe -v error -select_streams v:0 -show_entries frame=key_frame,pict_type,best_effort_timestamp_time -of csv=p=0 in.mp4

# 列出全部关键帧的时间点(判断 GOP 长度 / 能精确剪在哪)
ffprobe -v error -select_streams v:0 -skip_frame nokey \
  -show_entries frame=best_effort_timestamp_time -of csv=p=0 in.mp4

# 实际数一遍帧数(nb_frames 为 N/A 时)
ffprobe -v error -select_streams v:0 -count_frames -show_entries stream=nb_read_frames -of csv=p=0 in.mp4

# 只看某段时间、或只探前 5 秒(大文件省时)
ffprobe -v error -read_intervals 00:01:00%+5 -show_packets -of compact in.mp4
ffprobe -v error -show_chapters -of json in.mkv
批量体检脚本思路

把 ffprobe ... -of json 的输出喂给 jq / Python,就能批量筛出「所有非 yuv420p 的文件」「所有 VFR 文件」「所有缺音轨的文件」「所有超过 2 小时的文件」。这是处理几百个素材时唯一靠谱的做法,比一个个点开播放器快几个数量级。

9.2 ffplay:肉眼验证

ffplay in.mp4                          # 播放(会自动开音频和字幕)
ffplay -vf "scale=960:-2" in.mp4        # 带滤镜播放,实时预览调色/裁切效果
ffplay -an -loop 0 in.mp4               # 静音循环播放,检查画面
ffplay -ss 60 -t 10 in.mp4              # 只看某一段
ffplay -f lavfi "testsrc=size=1280x720:rate=30"   # 内置测试图

# 快捷键:空格暂停、← → 快退/快进 10s、↑ ↓ 60s、s 逐帧、f 全屏、w 切换显示模式、q 退出

lavfi 虚拟输入非常适合练手,不用准备素材:testsrc(彩条测试图)、smptebars、color=c=black:s=1920x1080:r=30:d=10(纯色)、sine=frequency=1000:duration=10(正弦波音频)、anullsrc(静音)、nullsrc(空画面)。生成练手素材:ffmpeg -f lavfi -i testsrc=duration=10:size=1280x720:rate=30 -f lavfi -i sine=frequency=440:duration=10 -c:v libx264 -c:a aac demo.mp4。

9.3 标准化排查顺序

  1. 先看:ffprobe -show_streams -show_format,记录 codec / pix_fmt / 帧率 / 时长 / 色彩 / 旋转 / 流数量。
  2. 再听看:ffplay 确认源文件本身没问题(很多「转码出问题」其实源文件就坏了)。
  3. 最小化复现:把命令砍到只剩 ffmpeg -i in.xxx out.yyy,逐段加参数,定位是哪一步引入问题。
  4. 加日志:-loglevel verbose,必要时 -report 生成完整日志便于求助。
  5. 隔离变量:先 -c copy 验证容器/时间戳,再重编码验证滤镜/编码器,别一次改十处。

10实战配方:把知识串起来

下面每一条都标注了「用到前面哪一章的知识」。建议不要直接复制,先想一遍它动的是流水线的哪一格、动了哪一层参数。

10.1 通用转码与交付

# 万能交付模板:H.264 + AAC + MP4(兼容、体积、画质的均衡解)  〔第2/3/4/5/7章〕
ffmpeg -i in.ANY -map 0:v:0 -map 0:a:0? \
  -c:v libx264 -crf 21 -preset slow -pix_fmt yuv420p -profile:v high -level 4.1 \
  -color_primaries bt709 -color_trc bt709 -colorspace bt709 -color_range tv \
  -c:a aac -b:a 160k -ac 2 -ar 48000 \
  -movflags +faststart out.mp4

# 高质量归档:HEVC 10 bit + FLAC(存 MKV)  〔第2/3/4章〕
ffmpeg -i in.mov -c:v libx265 -crf 24 -preset slow -pix_fmt yuv420p10le \
  -c:a flac -compression_level 8 archive.mkv

# 剪辑中间格式:帧内编码,逐帧可剪、不会糊  〔第3章〕
ffmpeg -i in.mp4 -c:v prores_ks -profile:v 3 -pix_fmt yuv422p10le -c:a pcm_s16le edit.mov

-map 0:a:0? 末尾的 ? 表示「这条流可选,不存在也不报错」,批量处理混合素材时非常有用。

10.2 无损换容器、修索引、抢救坏文件

# 转封装(零损失,秒级)  〔第4/7章〕
ffmpeg -i in.mkv -map 0 -c copy out.mp4
ffmpeg -i in.mp4 -map 0 -c copy -movflags +faststart web.mp4

# TS → MP4 时 AAC 需要码流过滤  〔第4/7章〕
ffmpeg -i in.ts -map 0 -c copy -bsf:a aac_adtstoasc out.mp4

# 缺索引 / 时间戳异常的文件,尝试重建  〔第4章〕
ffmpeg -fflags +genpts -i broken.mp4 -map 0 -c copy -avoid_negative_ts make_zero fixed.mp4
ffmpeg -err_detect ignore_err -i damaged.ts -map 0 -c copy recovered.mp4

# 统一 MP4 时间刻度(拼接前防止 time_base 不一致)  〔第4章〕
ffmpeg -i in.mp4 -map 0 -c copy -video_track_timescale 90000 norm.mp4

10.3 剪切、合并、拼接

# 精确切一段(重编码)  〔第3/4章〕
ffmpeg -ss 00:01:23.500 -i in.mp4 -t 00:00:30 -c:v libx264 -crf 20 -preset medium \
  -pix_fmt yuv420p -c:a aac -b:a 160k clip.mp4

# 快速切一段(copy,起点对齐关键帧)  〔第3/4章〕
ffmpeg -ss 00:01:23 -i in.mp4 -t 30 -map 0 -c copy -avoid_negative_ts make_zero clip.mp4

# 方法 A:concat demuxer —— 无损极快,但要求所有片段编码参数完全一致  〔第4章〕
# 先写 list.txt:file 'a.mp4' 换行 file 'b.mp4' ...(单引号不能省)
ffmpeg -f concat -safe 0 -i list.txt -map 0 -c copy merged.mp4

# 方法 B:concat 滤镜 —— 参数不同也能拼,但要重编码  〔第8章〕
ffmpeg -i a.mp4 -i b.mp4 -filter_complex \
  "[0:v]setpts=PTS-STARTPTS,fps=30,scale=1920:1080:force_original_aspect_ratio=decrease,pad=1920:1080:(ow-iw)/2:(oh-ih)/2,setsar=1[v0];\
   [0:a]asetpts=PTS-STARTPTS,aformat=sample_rates=48000:channel_layouts=stereo[a0];\
   [1:v]setpts=PTS-STARTPTS,fps=30,scale=1920:1080,setsar=1[v1];\
   [1:a]asetpts=PTS-STARTPTS,aformat=sample_rates=48000:channel_layouts=stereo[a1];\
   [v0][a0][v1][a1]concat=n=2:v=1:a=1[v][a]" -map "[v]" -map "[a]" \
  -c:v libx264 -crf 20 -c:a aac merged.mp4

# 循环某段 N 次(做背景视频/等待画面)  〔第7章〕
ffmpeg -stream_loop 3 -i clip.mp4 -c copy looped.mp4
concat 两种方法的取舍

demuxer 法不解码,几秒完成且画质零损失,但片段的 codec / profile / 分辨率 / 帧率 / 时间基 / 音频参数必须一致,否则后半段花屏或音画错位;滤镜法先解码成原始帧统一规格再拼,最稳但慢。拼接前用 ffprobe 比对参数,能省下大量返工。

10.4 抽取与转换

# 提取音频(能 copy 就 copy,别做无谓的有损转码)  〔第4/5章〕
ffmpeg -i in.mp4 -vn -c:a copy audio.m4a
ffmpeg -i in.mp4 -vn -c:a libmp3lame -q:a 2 audio.mp3

# 去掉音轨 / 提取纯视频  〔第7章〕
ffmpeg -i in.mp4 -an -c:v copy silent.mp4

# 抽单帧 / 按秒抽帧 / 抽一段为图片序列  〔第1章〕
ffmpeg -ss 00:00:10 -i in.mp4 -frames:v 1 cover.jpg
ffmpeg -i in.mp4 -vf fps=1 -q:v 2 thumb_%04d.jpg
ffmpeg -i in.mp4 -vf "fps=1/10,scale=320:-2,tile=5x5" -frames:v 1 sheet.jpg

# 图片序列 / 单张图片 → 视频(注意帧率与文件名编号)  〔第1章〕
ffmpeg -framerate 25 -i img_%04d.png -c:v libx264 -crf 18 -pix_fmt yuv420p out.mp4
ffmpeg -loop 1 -i cover.jpg -i audio.m4a -c:v libx264 -tune stillimage \
  -c:a aac -b:a 128k -pix_fmt yuv420p -shortest video.mp4

# 导出字幕 / 抽取封面 / 导出章节信息  〔第6章〕
ffmpeg -i in.mkv -map 0:s:0 sub.ass
ffmpeg -i in.mp4 -map 0:v:1 -frames:v 1 cover.jpg
ffprobe -v error -show_chapters -of json in.mkv

10.5 GIF / 动图(一个把色彩知识用足的例子)

# 直接转 GIF 会颜色失真:GIF 只有 256 色,必须生成专用调色板  〔第2章〕
ffmpeg -i in.mp4 -vf "fps=12,scale=480:-2:flags=lanczos,split[a][b];[a]palettegen=stats_mode=diff[p];[b][p]paletteuse=dither=bayer:bayer_scale=3" -loop 0 out.gif

# 只取片段 + 控制体积
ffmpeg -ss 5 -t 4 -i in.mp4 -vf "fps=10,scale=360:-2:flags=lanczos,split[a][b];[a]palettegen[p];[b][p]paletteuse" -loop 0 short.gif

GIF 无音轨、最多 256 色、8 bit 调色板、体积效率极低;做网页动效时优先用静音 MP4/WebM(H.264/AV1),画质与体积都好得多。GIF 只适合必须兼容极老环境的场合。

10.6 画面处理合集

# 缩放(自动偶数高)/ 裁切 / 补黑边保持比例  〔第1/8章〕
ffmpeg -i in.mp4 -vf "scale=1280:-2:flags=lanczos" -c:v libx264 -crf 20 -c:a copy out.mp4
ffmpeg -i in.mp4 -vf "crop=1280:720:320:180" -c:v libx264 -crf 20 -c:a copy out.mp4
ffmpeg -i in.mp4 -vf "scale=1920:1080:force_original_aspect_ratio=decrease,pad=1920:1080:(ow-iw)/2:(oh-ih)/2:black,setsar=1" out.mp4

# 自动检测黑边并裁掉(先跑一次 cropdetect 看日志里的 crop= 值)  〔第8章〕
ffmpeg -i in.mp4 -vf cropdetect=24:16:0 -f null -
ffmpeg -i in.mp4 -vf "crop=1920:800:0:140" -c:v libx264 -crf 20 -c:a copy out.mp4

# 旋转 / 翻转 / 去隔行  〔第1/4章〕
ffmpeg -i in.mp4 -vf "transpose=1" -c:v libx264 -crf 20 -c:a copy out.mp4
ffmpeg -i in.ts -vf "bwdif=mode=send_frame:parity=auto:deint=all" -c:v libx264 -crf 20 out.mp4

# 画中画 / 左右分屏 / 三宫格  〔第8章〕
ffmpeg -i a.mp4 -i b.mp4 -filter_complex "[1:v]scale=320:-2[pip];[0:v][pip]overlay=W-w-20:20" out.mp4
ffmpeg -i a.mp4 -i b.mp4 -filter_complex "[0:v]scale=960:540[l];[1:v]scale=960:540[r];[l][r]hstack=inputs=2" out.mp4

# 去噪 + 轻度锐化 + 调色(顺序会影响结果)  〔第8章〕
ffmpeg -i in.mp4 -vf "hqdn3d=1.5:1.5:6:6,unsharp=5:5:0.8,eq=contrast=1.05:saturation=1.08" \
  -c:v libx264 -crf 20 -c:a copy out.mp4

10.7 采集、录屏与推流

# Windows 屏幕录制(gdigrab)  〔第1/3/7章〕
ffmpeg -f gdigrab -framerate 30 -i desktop -c:v libx264 -preset ultrafast -crf 20 -pix_fmt yuv420p rec.mp4
# 带系统音频需配合 dshow 虚拟设备;Linux 用 x11grab,macOS 用 avfoundation

# 直播推流(-re 按真实速度读,否则会瞬间把文件推完)  〔第3/4/7章〕
ffmpeg -re -i in.mp4 -c:v libx264 -preset veryfast -tune zerolatency \
  -b:v 4000k -maxrate 4000k -bufsize 8000k -g 60 -keyint_min 60 -sc_threshold 0 \
  -pix_fmt yuv420p -c:a aac -b:a 128k -ar 48000 -f flv rtmp://server/live/key

# 生成 HLS 点播切片(vod:切片固定、生成完整播放列表)  〔第3/4章〕
ffmpeg -i in.mp4 -c:v libx264 -crf 21 -preset medium -g 60 -keyint_min 60 -sc_threshold 0 \
  -c:a aac -b:a 128k -f hls -hls_time 4 -hls_playlist_type vod \
  -hls_segment_filename "seg_%03d.ts" playlist.m3u8

# 直播 HLS(保留最近 5 个切片,自动清理)
ffmpeg -re -i in.mp4 -c:v libx264 -preset veryfast -g 60 -c:a aac -f hls \
  -hls_time 2 -hls_list_size 5 -hls_flags delete_segments+omit_endlist live.m3u8

# 一条输入同时推流 + 本地存档(tee 封装器)
ffmpeg -re -i in.mp4 -c:v libx264 -preset veryfast -c:a aac -f tee \
  -map 0:v -map 0:a "[f=flv]rtmp://server/live/key|[f=mpegts]archive.ts"

HLS 关键参数背后的知识:切片只能在关键帧处切,所以强制 -g 固定间隔并关掉场景切换自动插关键帧(-sc_threshold 0),否则切片时长忽长忽短、多码率自适应切换时会卡。这正是第 3 章 GOP 知识的直接应用。

10.8 批处理模板

# Bash / macOS / Git Bash:把目录里所有 mov 转成 mp4
for f in *.mov; do
  ffmpeg -nostdin -hide_banner -loglevel error -stats -y -i "$f" \
    -c:v libx264 -crf 21 -preset medium -pix_fmt yuv420p \
    -c:a aac -b:a 160k -movflags +faststart "${f%.mov}.mp4"
done

# PowerShell
Get-ChildItem *.mov | ForEach-Object {
  ffmpeg -nostdin -hide_banner -loglevel error -y -i $_.FullName `
    -c:v libx264 -crf 21 -preset medium -pix_fmt yuv420p -c:a aac -b:a 160k `
    -movflags +faststart ("out/" + $_.BaseName + ".mp4")
}

# 并行处理(4 路),CPU 核心多时更快;注意别开太多导致内存和磁盘争抢
ls *.mov | xargs -P 4 -I{} sh -c 'ffmpeg -nostdin -loglevel error -y -i "$1" -c:v libx264 -crf 21 -preset medium -pix_fmt yuv420p -c:a aac "out/${1%.mov}.mp4"' _ {}
批处理三条军规

① -nostdin 必加;② 输出到另一个目录,避免把刚生成的文件又当输入;③ 先用 ffprobe 抽样体检,确认没有 VFR / 10 bit / 缺音轨的异类素材,再统一上模板,否则中途失败或产出不一致。

11避坑与排错手册

把前面所有「常见坑」汇总成一张可检索的表。先按现象找行,再回头看对应章节。

11.1 现象 → 原因 → 修复

现象最可能的原因修复 / 命令要点
别人打不开,自己能放;手机黑屏pix_fmt 是 10 bit / 4:4:4,或 HEVC、High10 profile-c:v libx264 -pix_fmt yuv420p -profile:v high -level 4.1;查 ffprobe 的 profile/level
转码后颜色发灰、对比度低full/limited range 标错或没转换scale=in_range=pc:out_range=tv 或 zscale=r=limited,再写 -color_range tv
HDR 片源转完一片灰白PQ 曲线被当 gamma 解释、10 bit 被砍按第 2.5 节做 zscale + tonemap,不要直接套 SDR 模板
红色/肤色整体偏色BT.601 与 BT.709 矩阵用错用 colorspace / zscale 真正转换,再打正确标签
画面被拉伸 / 变形SAR 非 1:1,缩放后没重置scale=...,setsar=1;核对 display_aspect_ratio
竖屏视频传出去变横的旋转只写在 displaymatrix 元数据里转码时让 autorotate 物理旋转;或统一处理 rotate 标记
剪切后开头黑屏几秒 / 无声音-c copy 只能从关键帧起,B 帧没有参考帧去掉 -c copy 重新编码;或缩短源 GOP;加 -avoid_negative_ts make_zero
音画逐渐不同步VFR、帧率转换丢/重复帧、拼接时 time_base 不一致-fps_mode cfr -vf fps=30、统一 -video_track_timescale;-af aresample=async=1:first_pts=0
开头一小段静音AAC encoder delay / priming避免反复 -c copy 拼接 AAC;重编码音频或启用 gapless 处理
输出文件比输入还大CRF 太低、-preset ultrafast、源本身码率很低、或用了无损编码CRF 调高 2–4,换 preset slow,或直接 -c copy
画质糊、有马赛克码率不够 / CRF 太高 / 放大后再编码降 CRF、换更慢 preset、换高效编码器;不要对已压缩素材反复重编码
天空/渐变出现色带8 bit 量化 + 4:2:0 在低码率下暴露10 bit 编码、加轻微抖动 zscale=d=ordered、适当提高码率
网页播放要等下载完MP4 的 moov 在文件尾-c copy -movflags +faststart
ASS 字幕拷进 MP4 失败MP4 不支持 ass 字幕流输出 MKV;或 -c:s mov_text;或烧录
烧录字幕是方框 / 乱码 / 无样式缺字体、路径冒号没转义、fontsdir 未指定用相对路径、ass=xx.ass:fontsdir=./fonts、安装字体
拼接后后半段花屏 / 卡住片段编码参数不一致却用了 concat demuxer改用 concat 滤镜;或先统一转码再无损拼
HLS 切片时长忽长忽短场景切换自动插关键帧、GOP 不固定-g 60 -keyint_min 60 -sc_threshold 0
推流瞬间结束 / 平台收不到漏了 -re,或码率超过上行带宽加 -re;用 -maxrate/-bufsize 约束码率
批处理只处理了第一个文件FFmpeg 吞掉了 stdin加 -nostdin
滤镜「加了但没效果」同时写了 -c copy;或选项位置写错去掉 copy;确认选项在正确的文件之前

11.2 报错原文 → 含义 → 处理

报错 / 警告含义处理
width/height not divisible by 2yuv420 要求偶数尺寸scale=-2、crop=trunc(iw/2)*2:...、pad=ceil(iw/2)*2:...
Unknown encoder 'libx265'这个 ffmpeg 编译时没带该库换带完整库的构建,或改用 libx264;ffmpeg -encoders / -buildconf 确认
Non-monotonous DTS in output stream时间戳倒流setpts=PTS-STARTPTS、统一 time_base、-fflags +genpts、-avoid_negative_ts make_zero
moov atom not foundMP4 索引缺失(下载未完成 / 录制中断 / 文件尾部被截)重新下载;损坏文件需用专门工具重建索引,普通转码救不回
Could not find tag for codec ... in stream目标容器不支持该编码换容器(MKV),或把该流重编码(如 FLAC→AAC、ASS→mov_text)
Impossible to convert between the formats相邻滤镜像素格式不兼容插 format=yuv420p / format=nv12;硬件路径补 hwdownload
Filter ... has an unconnected output滤镜图中某条链的输出没被使用给输出贴标签并在 -map 引用,或删掉多余分支
Invalid stream specifier / matches no streams-map 或标签写错、流不存在ffprobe -show_streams 核对索引;可选流用 -map 0:a:0?
Subtitle codec 'ass' ... not supportedMP4 不支持 ASS 软字幕见第 6 章
Past duration X too large / Application provided invalid DTSVFR 或帧间隔异常(录屏/摄像头常见)先规范为 CFR:-vf fps=30 -fps_mode cfr;必要时 -fflags +genpts
Conversion failed!笼统的失败总结,真正原因在上面几十行往上翻日志;加 -loglevel verbose 重跑;用 -report 存日志
Too many packets buffered for output stream某条流(常见字幕/音频)时间戳异常导致复用器缓冲堆积-max_muxing_queue_size 1024,并修复源头时间戳
Could not write header for output file输出路径不存在、无权限、扩展名与 -f 冲突建目录、检查权限、显式 -f 指定格式
一条元规则

FFmpeg 的报错往往只在最后一行给结论,根因几乎总在前 20~50 行。养成往上翻日志的习惯,比搜索引擎快得多。另外,ffmpeg -report 会把完整命令行、版本、构建配置和全部日志写进当前目录的 ffmpeg-*.log,求助时附上它,别人才能真的帮上忙。

12术语表 · 自测答案 · 练习路线

12.1 中英术语对照(按主题)

中文英文 / 缩写一句话
帧 / 帧率frame / fps一张静止画面 / 每秒显示多少张
逐行 / 隔行progressive / interlaced完整扫描一帧 / 奇偶场交替
可变帧率VFR (Variable Frame Rate)帧间隔不固定,拼接与同步的头号麻烦
分辨率 / 宽高比resolution / DAR / SAR像素网格 / 显示比例 / 单个像素形状
像素格式 / 色度抽样pix_fmt / chroma subsamplingyuv420p 等 / 4:4:4、4:2:2、4:2:0
位深 / 色带bit depth / banding8/10/12 bit / 渐变处的一圈圈断层
色域 / 传输函数 / 矩阵primaries / TRC / matrix颜色的「字典」三件套:BT.601/709/2020、PQ/HLG
有限 / 全范围limited(tv) / full(pc) range16–235 还是 0–255
高动态范围HDR / SDR / tonemap峰值亮度与曲线不同,转换需色调映射
编码 / 解码 / 转码encode / decode / transcode压缩 / 还原 / 解了再压
编解码器codecH.264、HEVC、AV1、AAC 等算法
容器 / 封装 / 转封装container / mux / remuxMP4、MKV 等盒子 / 装盒 / 只换盒子
解复用 / 复用demux / mux拆出流 / 合并成文件
流 / 流选择stream / -map独立编码的一条数据 / 指定哪些流进输出
流拷贝stream copy (-c copy)不解码不编码,原样搬运
码率 / 恒定质量bitrate / CRF每秒多少比特 / 恒定主观质量因子
两遍编码 / 缓冲控制2-pass / VBV先统计再分配码率 / 限制瞬时码率峰值
预设 / 调优preset / tune编码速度与效率的取舍 / 按内容类型微调
量化参数 / 量化QP / quantization压缩中唯一主动丢信息的步骤
关键帧 / 图像组I-frame / IDR / GOP可独立解码的锚点 / 两个锚点之间的一组帧
前向 / 双向预测帧P-frame / B-frame参考前面 / 参考前后,B 帧引入延迟
档次 / 级别profile / level功能子集 / 分辨率帧率码率上限
显示 / 解码时间戳PTS / DTS何时显示 / 何时解码
时间基time_base时间戳整数的单位,秒 = PTS × time_base
索引块moov atom / faststartMP4 的帧索引;放文件头才能边下边播
显示矩阵displaymatrix / autorotate「请旋转 90° 再显示」的元数据
采样率 / 声道 / 采样格式sample rate / channel / sample_fmt48 kHz / stereo / fltp、s16
响度 / 真峰值 / 削波LUFS / dBTP / clipping整体听感 / 峰值上限 / 波形被截断的爆音
软字幕 / 硬字幕softsub / hardsub (burn-in)独立字幕轨 / 画进像素里
滤镜 / 滤镜链 / 滤镜图filter / filterchain / filtergraph处理原始帧的一个操作 / 逗号串联 / 分号组成有向图
码流过滤器bitstream filter (bsf)不改编码内容,只调整码流封装形式
代际损失generation loss每次有损重编码累积的画质下降

12.2 各章自测参考答案

第 1 章 帧与像素

① 1280×720×1.5 B×25 ≈ 34.6 MB/s。② -r 是输出帧率设置,通过丢帧/重帧实现;fps 是滤镜,作用于解码后的帧流,控制更精细(还可配合 setpts、round)。③ yuv420 的色度以 2×2 为一组,宽高必须为偶数,853 是奇数。④ sample_aspect_ratio 与 display_aspect_ratio,再看有没有 displaymatrix 旋转。

第 2 章 色彩

核心:YUV 把亮度与色度分开,4:2:0 用 1/4 的色度换一半体积;pix_fmt 描述抽样、位深、平面布局;颜色正确需要 primaries / trc / matrix / range 四个标签与像素值一致;打标签 ≠ 转换;HDR 用 PQ/HLG 曲线,直接按 SDR 解码会发灰,必须 tonemap。

第 3 章 压缩与编码

① CRF 减 6,码率大约翻倍(不是绝对精确)。② veryslow 在相同 CRF 下画质基本相同但文件更小;在相同码率下画质更好。本质是「花更多 CPU 时间换取更高压缩效率」。③ copy 不解码,只能从关键帧开始,非关键帧缺少参考帧。④ pix_fmt、profile/level、codec_name(再看容器与 -movflags)。⑤ 码率预算要除以内容复杂度:运动剧烈、细节丰富、噪点多的画面每帧需要更多比特才能维持同样质量。

第 4 章 容器与时间戳

① 没变,后缀只是名字。② copy 绕过解码与滤镜工位,没有原始帧可供处理。③ 4500 × 1/90000 = 0.05 秒。④ 起点落在两个 IDR 之间,输出从更晚的关键帧才有可解数据;改成重编码精确剪切,或把 -ss 对齐关键帧。⑤ 数据本身是横的,旋转写在 displaymatrix 元数据里,播放器显示时才旋转。

第 5 章 音频

① 视频/广播/摄像设备体系以 48 kHz 为标准,避免与 44.1 kHz 素材混用时重采样,也是 AAC/Dolby 的常见基准。② fltp = 32 位浮点、平面存放;s16 = 16 位有符号整数、交错存放。③ volume 线性缩放波形可能削波;loudnorm 按 LUFS 响度目标做整体归一化并控制真峰值。④ 先怀疑 VFR / 帧率转换与 start_time 不一致,用 ffprobe 对比两条流的 pts 与 duration。

第 7 章 流水线

① -i 前是输入定位(快速跳),-i 后是输出裁剪(逐帧解码丢弃)。② -c:v copy 只直通视频,音频仍走解码→滤镜→编码,所以滤镜生效;-c copy 把所有流都直通,滤镜无从作用。③ 写在每个输出文件名之前,各自独立。④ 缺 -nostdin。

12.3 四周练习路线(每阶段都有可验证的产出)

第 1 周 · 看懂文件

用 lavfi 生成 3 个不同参数的测试片(24/30/60 fps、720p/1080p、带音轨与不带音轨)。对每个文件跑 ffprobe -show_streams -show_format,把 codec、pix_fmt、r_frame_rate/avg_frame_rate、bit_rate、time_base、duration 手抄一遍并解释。验收:能不看资料说出任意一个字段的含义,并能从 -show_packets 的 pts/dts 里指出哪个文件有 B 帧。

第 2 周 · 转码与体积

同一个 30 秒素材,用 CRF 18/23/28 与 preset ultrafast/medium/slow 各转一遍,记录文件体积、耗时,用 psnr/ssim 对比,肉眼挑出差差异。验收:能用数据解释「CRF / preset / 码率 / 画质」四者关系,并能估算任意码率与时长下的文件体积。

第 3 周 · 时间与流

练习精确剪切、copy 粗剪、concat demuxer 与 concat 滤镜各做一次拼接;故意制造一次 Non-monotonous DTS 并修好;给视频加第二条音轨和一条软字幕;用 -ss 放不同位置对比耗时与结果。验收:能解释三种剪切/拼接方式的精度与画质差异,看到黑屏能立刻定位到关键帧。

第 4 周 · 画面与交付

做一个完整的「成品」:缩放 + 加半透明水印 + 烧录字幕 + 淡入淡出 + 响度归一化 + faststart;再产出 720p 与纯音频两份派生文件;最后写一段批处理转 10 个文件。验收:能画出这整条命令对应的流水线,指出每个参数作用在哪一格;输出文件在手机、浏览器、播放器里都能正常播放。

12.4 一页速查

我要…最短命令骨架
看文件信息ffprobe -v error -show_format -show_streams -of json in.mp4
万能转码ffmpeg -i in -c:v libx264 -crf 21 -preset slow -pix_fmt yuv420p -c:a aac -b:a 160k out.mp4
无损换容器ffmpeg -i in -map 0 -c copy out
网页秒开ffmpeg -i in.mp4 -c copy -movflags +faststart out.mp4
精确剪切ffmpeg -ss 时:分:秒 -i in -t 秒数 -c:v libx264 -crf 20 -c:a aac out.mp4
快速粗剪ffmpeg -ss 时:分:秒 -i in -t 秒数 -c copy out.mp4
缩放-vf "scale=1280:-2:flags=lanczos,setsar=1"
抽帧 / 抽音频-ss 10 -i in -frames:v 1 out.jpg / -i in -vn -c:a copy out.m4a
加字幕(软 / 硬)-i sub.srt -map 0 -map 1 -c copy -c:s mov_text / -vf subtitles=sub.srt
修音画同步-fps_mode cfr -vf fps=30 / -af "aresample=async=1:first_pts=0" / -itsoffset
排查诡异问题-loglevel verbose + ffprobe -show_packets + 最小化复现
查参数帮助ffmpeg -h encoder=libx264 / ffmpeg -h filter=scale / ffmpeg -buildconf

12.5 继续深入

最后一句话

FFmpeg 的参数从来没有「玄学」:每一个开关都对应这份教程里的某一层概念。遇到没见过的参数,先问三件事——它作用在流水线的哪一格?它改的是像素、时间还是字节封装?播放器需要什么才能正确解释它?这三个问题能解决绝大多数问题。

13视觉效果对比图鉴 · 参数改变前后

这一章回答一个文字很难回答的问题:这个参数改了,画面到底会变成什么样?下面 16 组对比都可以拖动中间的分割线,左边是改前、右边是改后;也可以用图下方的滑块控制。每张卡片都写明了「看哪里」「对应命令」和「生成方式」。

怎么操作

把鼠标放到图上按住左右拖动,或直接拖卡片下方的滑块。建议先把分割线拉到最左、再拉到最右,整体看一遍,然后停在中间反复比较细节区域。

这些图是怎么来的

先用程序合成一张标准测试画面(含天空渐变、灰阶条、彩条、1px 彩色细线、高频网格、肤色块、文字和圆形),再对同一个画面施加不同参数。标注为「真实处理」的组由本机 FFmpeg 9.0 实际处理得到:libx264 编码(30 帧运动序列,取同一帧解码)、scale、hqdn3d、eq、unsharp、yadif、palettegen/paletteuse。也就是说,压缩糊化、块效应、去隔行、调色板色带都是真的,不是画上去的。

另一类问题(范围误标、矩阵错配、HDR 曲线误解、SAR、旋转元数据、位深量化、4:2:0 抽样)本质是「同一串数字被错误解释」,视觉结果由播放器的换算公式决定,因此按与播放器一致的数学变换还原,并在每组卡片下方明确标注为「数学还原」。其中位深与色度抽样刻意做了放大/极端化,否则在普通画面上肉眼几乎看不出——这本身也是 4:2:0 能成立的原因。

看对比时的三个提醒

① 有些失真只出现在局部(细字、边缘、渐变),整图看会觉得「差不多」,这正是压缩能省体积的原因;② 屏幕缩放、浏览器色彩管理、显示器亮度都会影响判断,务必把滑块拉到两端对比;③ 为方便网页展示,图片以 WebP 质量 88 保存,本身引入的压缩极轻微,不影响上述结论。

想自己复现

所有素材与生成脚本都在同目录的 assets/:make_images.py 负责生成 32 张对比图与 manifest.json,embed_assets.py 负责把图片内嵌进这份 HTML。改脚本里的参数(比如把 CRF 40 换成 32),重跑这两个脚本,就能得到属于你自己的对比图鉴。