ffmpeg语音（音开源基础）

一、ffmpeg、ffplay、ffprobe区别

FFmpeg：超快音视频编码器（类似爱剪辑）

ffplay：简单媒体播放器

ffprobe：简单多媒体流分析器

二、帮助文档查看

2.1 ffmpeg查看帮助文档

基本信息：ffmpeg -h

高级信息：ffmpeg -h long

所有信息：ffmpeg -h full

2.2 ffplay、ffprobe帮助文档

ffplay：ffpay -h

ffprobe：ffprobe -h

注意：ffmpeg、ffplay、ffprobe部分参数通用，部分不通用

三、ffmpeg命令处理流程

如下一条命令将1920×1080的MP4文件转码成1280×720的flv文件

ffmpeg -i test_1920x1080.mp4 -acodec copy -vcodec libx264 -s 1280x720 test_1280x720.flv

将test_1920×1080的文件解复用成音频和视频（demuxer）

将数据包解码成数据帧（decoder）

将帧处理成不同分辨率（filter）

将处理后的数据帧编码成数据包（encoder）

将编码后的音频和视频数据包输出到文件（muxer）

四、 ffmpeg命令

4.1 命令分类查询

命令分页：windows下可采取

ffmpeg -formats | more

命令查找：

# windows ffmpeg -formats | findstr flv #linux ffmpeg -formats | grep flv

查询具体分类所支持的参数

# 语法 ffmepg -h type=name # 示例1 ffmpeg -h muxer=flv # 示例2 ffmpeg -h filter=atempo

【免费分享】整理了一些学习资料、教学视频和学习路线图，资料包括《Andoird音视频开发必备手册 音视频学习视频 学习文档资料包 大厂面试真题 2022最新学习路线图》等有需要可以点击FFmpegWebRTCRTMPRTSPHLSRTP播放器-音视频流媒体高级开发

formats：如图所示（此命令包含muxers和demuxers），其中第一个参数为支持的复用器。其中D为支持解复用器，E为支持复用器

devices

1. dshow：支持录制设备（比如摄像头、麦克风）lavfi：虚拟设备sdl,sdl2：代表支持sdl输出vfwcap：摄像头采集
2. codes

其中第一个参数代表每个字母代表含义如下：

D…：解码支持

.E…：编码支持

…V…：视频编解码器（Video）

…A…：音频编解码器（Audio）

…S…：字母编解码器（Subtitle）

…I…：内幕帧编解码器，不需要参考别的帧（Intra frame-only ）

…L.：有损的压缩（Lossy）

…S：无损的压缩（Lossless）

decoders

encoders

bsfs

protocols

filters

pix_fmts

layouts

sample_fmts

colors

4.2 ffmpeg转封装4.2.1 截取视频

• -i 设定输入流
• -f 设定输出格式
• -ss 开始时间
• -t 时间长度(毫秒)

ffmpeg -i .\test.mp4 -codec copy -ss 10 -t 20 -f flv

4.2.2音频处理

• -aframes 设置要输出的音频帧数
• -b:a 音频码率
• -ar 设定采样率
• -ac 设定声音的Channel数
• -acodec 设定声音编解码器，如果用copy表示原始编解码数据必须被拷贝。
• -an 不处理音频
• -af 音频过滤器

ffmpeg -i test.mp4 -b:a 192k -ar 48000 -ac 2 -acodec libmp3lame -aframes 200 out2.mp3

4.2.3 视频处理

-vframes 设置要输出的视频帧数

-b 设定视频码率

-b:v 视频码率

-r 设定帧速率

-s 设定画面的宽与高

-vn 不处理视频

-aspect aspect 设置横纵比 4:3 16:9 或 1.3333 1.7777

-vcodec 设定视频编解码器，如果用copy表示原始编解码数据必须被拷贝。

-vf 视频过滤器

ffmpeg -i test.mp4 -vframes 300 -b:v 300k -r 30 -s 640x480 -aspect 16:9 -vcodec libx265

4.2.4 提取音频数据

# 保留封装格式 ffmpeg -i test.mp4 -acodec copy -vn audio.mp4 # 保留编码格式 ffmpeg -i test.mp4 -acodec copy -vn test.aac # 强制格式 ffmpeg -i test.mp4 -acodec libmp3lame -vn test.mp3

4.2.5 提取视频数据

# 保留封装格式 ffmpeg -i test.mp4 -vcodec copy -an video.mp4 # 保留编码格式 ffmpeg -i test.mp4 -vcodec copy -an test.h264 # 强制格式 ffmpeg -i test.mp4 -vcodec libx264 -an test_force.h264

4.2.6 提取YUV

-pix_fmt

-s

# 提取3秒数据，分辨率和源视频一致 ffmpeg -i test_1280x720.mp4 -t 3 -pix_fmt yuv420p yuv420p_orig.yuv # 提取3秒数据，分辨率转为320x240 ffmpeg -i test_1280x720.mp4 -t 3 -pix_fmt yuv420p -s 320x240 yuv420p_320x240.yuv

4.2.7 提取RGB

# 提取3秒数据，分辨率转为320x240 ffmpeg -i test.mp4 -t 3 -pix_fmt rgb24 -s 320x240 rgb24_320x240.rgb # RGB和YUV之间的转换 ffmpeg -s 320x240 -pix_fmt yuv420p -i yuv420p_320x240.yuv -pix_fmt rgb24 rgb24_320x240_2.rgb

4.2.8 提取PCM

ffmpeg -i buweishui.mp3 -ar 48000 -ac 2 -f s16le 48000_2_s16le.pcm ffmpeg -i buweishui.mp3 -ar 48000 -ac 2 -sample_fmt s16 out_s16.wav ffmpeg -i buweishui.mp3 -ar 48000 -ac 2 -codec:a pcm_s16le out2_s16le.wav ffmpeg -i buweishui.mp3 -ar 48000 -ac 2 -f f32le 48000_2_f32le.pcm ffmpeg -i test.mp4 -t 10 -vn -ar 48000 -ac 2 -f f32le 48000_2_f32le_2.pcm

4.2.9 保持编码格式

ffmpeg -i test.mp4 -vcodec copy -acodec copy test.ts ffmpeg -i test.mp4 -codec copy test.ts

4.2.10 改变编码格式

ffmpeg -i test.mp4 -vcodec libx265 -acodec libmp3lame out.mkv

4.2.11 改变帧率

ffmpeg -i test.mp4 -r 15 -codec copy output.mp4(错误命令) ffmpeg -i test.mp4 -r 15 output2.mp4

4.2.12 修改视频码率

ffmpeg -i test.mp4 -b 400k output_b.mkv(音频也被重新编码) ffmpeg -i test.mp4 -b:v 400k output_b.mkv

4.2.13 修改音频码率

ffmpeg -i test.mp4 -b:a 192k output.mp4 # 不重新编码video ffmpeg -i test.mp4 -b:a 192k -vcodec copy output.mp4

4.2.14 修改音视频码率

ffmpeg -i test.mp4 -b:v 400k -b:a 192k out.mp4

4.2.15 修改视频分辨率

ffmpeg -i test.mp4 -s 480x270 output_480x270.mp4

4.2.16 修改音频采样率

ffmpeg -i test.mp4 -ar 44100 output_44100hz.mp4

4.2.17 裁剪视频，并转化成ts和flv格式，然后合并视频流

# 找三个不同的视频每个视频截取10秒内容 ffmpeg -i java.mp4 -ss 00:05:00 -t 10 -codec copy 1.mp4 ffmpeg -i cpp.mp4 -ss 00:05:00 -t 10 -codec copy 2.mp4 ffmpeg -i go.mp4 -ss 00:05:00 -t 10 -codec copy 3.mp4 # 如果音视频格式不统一则强制统一为 -vcodec libx264 -acodec aac # 将上述1.mp4/2.mp4/3.mp4转成ts格式 ffmpeg -i 1.mp4 -codec copy -vbsf h264_mp4toannexb 1.ts ffmpeg -i 2.mp4 -codec copy -vbsf h264_mp4toannexb 2.ts ffmpeg -i 3.mp4 -codec copy -vbsf h264_mp4toannexb 3.ts # 分离某些封装格式（例如MP4/FLV/MKV等）中的H.264的时候，需要首先写入SPS和PPS，否则会导致分离出来的数据没有SPS、PPS而无法播放。H.264码流 的SPS和PPS信息存储在AVCodecContext结构体的extradata中。需要使用ffmpeg中名称为“h264_mp4toannexb”的bitstream filter处理 # 转成flv格式 ffmpeg -i 1.mp4 -codec copy 1.flv ffmpeg -i 2.mp4 -codec copy 2.flv ffmpeg -i 3.mp4 -codec copy 3.flv # 拼接视频流 # 以MP4格式进行拼接 # 方法1：只有第一个个视频，所以此法不行 ffmpeg -i "concat:1.mp4|2.mp4|3.mp4" -codec copy out_mp4.mp4 # 方法2：音频正常，视频从第二个视频开始就便缓慢，不同步 ffmpeg -f concat -i mp4list.txt -codec copy out_mp42.mp4 # 以TS格式进行拼接 # 方法1：正常播放 ffmpeg -i "concat:1.ts|2.ts|3.ts" -codec copy out_ts.mp4 # 方法2：正常播放 ffmpeg -f concat -i tslist.txt -codec copy out_ts2.mp4 # 以FLV格式进行拼接 # 方法1：只有第一个个视频，所以此法不行 ffmpeg -i "concat:1.flv|2.flv|3.flv" -codec copy out_flv.mp4 # 方法2：正常播放 ffmpeg -f concat -i flvlist.txt -codec copy out_flv2.mp4 # 修改音频编码 ffmpeg -i 2.mp4 -vcodec copy -acodec ac3 -vbsf h264_mp4toannexb mod_1.ts ffmpeg -i "concat:1.ts|2.ts|3.ts" -codec copy out1.mp4 结果第二段没有声音 # 修改音频采样率 ffmpeg -i 2.mp4 -vcodec copy -acodec aac -ar 96000 -vbsf h264_mp4toannexb 2.ts ffmpeg -i "concat:1.ts|2.ts|3.ts" -codec copy out2.mp4 第二段播放异常 # 修改视频编码格式 ffmpeg -i 1.mp4 -acodec copy -vcodec libx265 1.ts ffmpeg -i "concat:1.ts|2.ts|3.ts" -codec copy out3.mp4 # 修改视频分辨率 ffmpeg -i 1.mp4 -acodec copy -vcodec libx264 -s 800x472 -vbsf h264_mp4toannexb 1.ts ffmpeg -i "concat:1.ts|2.ts|3.ts" -codec copy out4.mp4

把每个视频封装格式也统一为ts，拼接输出的时候再输出你需要的封装格式

视频分辨率可以不同，但是编码格式需要统一

音频编码格式需要统一，音频参数(采样率/声道等)也需要统一

4.2.18 截取图片

-y 覆盖

-f 格式

image2 格式

-vframes 帧，日光IP大于1那么输出加d testd.jpg

-s 格式带线啊哦

# 截取图片 ffmpeg -i test.mp4 -y -f image2 -ss 00:00:02 -vframes 1 -s 640x360 test.jpg ffmpeg -i test.mp4 -y -f image2 -ss 00:00:02 -vframes 1 -s 640x360 test.bmp # 转化视频位图片，每帧一张图 ffmpeg -i test.mp4 -t 5 -s 640x360 -r 15 framed.jpg # 图片转换为视频 ffmpeg -f image2 -i framed.jpg -r 25 video.mp4 # 从视频中生成GIF图片 ffmpeg -i test.mp4 -t 5 -r 1 image1.gif ffmpeg -i test.mp4 -t 5 -r 25 -s 640x360 image2.gif # 将 GIF 转化为 视频 ffmpeg -f gif -i image2.gif image2.mp4

4.2.19 视频录制

1. 查看设备,windows最好装下https://sourceforge.net/projects/screencapturer/files/

ffmpeg -list_devices true -f dshow -i dummy [dshow @ 033bd280] DirectShow video devices (some may be both video and audio devices) [dshow @ 033bd280] "Integrated Camera" [dshow @ 033bd280] Alternative name "@device_pnp_\\?\usb#vid_04f2&pid_b6d9&mi_00#6&850bcba&1&0000#{65e8773d-8f56-11d0-a3b9-00a0c9223196}\global" [dshow @ 033bd280] "screen-capture-recorder" [dshow @ 033bd280] Alternative name "@device_sw_{860BB310-5D01-11D0-BD3B-00A0C911CE86}\{4EA6930A-2C8A-4AE6-A561-56E4B5044439}" [dshow @ 033bd280] DirectShow audio devices [dshow @ 033bd280] "楹﹀厠椋?(Realtek(R) Audio)" [dshow @ 033bd280] Alternative name "@device_cm_{33D9A762-90C8-11D0-BD43-00A0C911CE86}\wave_{2290534C-E8B7-4A5D-93CC-94AF1DA12D4D}" [dshow @ 033bd280] "virtual-audio-capturer" [dshow @ 033bd280] Alternative name "@device_sw_{33D9A762-90C8-11D0-BD43-00A0C911CE86}\{8E14549B-DB61-4309-AFA1-3578E927E935}" # 查看视频录制的可选参数 ffmpeg -f dshow -list_options true -i video="screen-capture-recorder" # 查看音频录制的可选参数 ffmpeg -f dshow -list_options true -i audio="virtual-audio-capturer“ ffmpeg -f dshow -list_options true -i audio="麦克风 (Realtek Audio)"

音视频录制

# 录制视频（默认参数） # 桌面 ffmpeg -f dshow -i video="screen-capture-recorder" v-destop.mp4 # 摄像头 ffmpeg -f dshow -i video="Integrated Camera" -y v-camera.flv (要根据自己摄像头名称) # 录制声音（默认参数） # 系统 ffmpeg -f dshow -i audio="virtual-audio-capturer" a-system.aac # 系统 麦克风声音： ffmpeg -f dshow -i audio="麦克风 (Realtek(R) Audio)" -f dshow -i audio="virtual-audio-capturer" -filter_complex amix=inputs=2:duration=first:dropout_transition=2 record_audio.aac(中文会乱码) # 同时录制声音和视频（默认参数） ffmpeg -f dshow -i audio="麦克风 (Realtek Audio)" -f dshow -i audio="virtual-audio-capturer" -filter_complex amix=inputs=2:duration=first:dropout_transition=2 -f dshow -i video="screen-capture-recorder" -y av-out.flv(中文会乱码)

指定参数录制

ffmpeg -f dshow -i audio="virtual-audio-capturer" -f dshow -video_size 1920x1200 -framerate 30 -pixel_format yuv420p -i video="screen-capture-recorder" -vcodec h264_qsv -b:v 3M -y av-out.flv

4.3 ffmpeg转码4.4 ffmpeg流媒体4.4.1 ffmpeg和ffplay拉取直播流

ffplay rtmp://server/live/streamName # 对于不是rtmp的协议 -c copy要谨慎使用 ffmpeg -i rtmp://server/live/streamName -c copy dump.flv

4.5 ffmpeg滤镜

4.5.1 滤镜分类

按照处理的类型，可分为：

音频filter

视频filter

字幕filter

按照编解码的的位置划分：

prefilter：解码前

intrafilters：解码时

postfilter：解码后

FFmpeg 中 filter 分为：

source filter （只有输出）

audio filter

video filter

Multimedia filter

sink filter （只有输入）

除了 source 和 sink filter，其他 filter 都至少有一个输入、至少一个输出。

4.5.2 裁剪语法

将输入视频帧的宽度和高度从x和y值表示的位置裁减到指定的宽度和高度，x和y是输出的左上角坐标，协调系统的中心是输入视频帧的左上角。

如果使用了可选的keep_aspect参数，将会改变输出SAR（样本宽比）以补偿新的DAR（显示长宽比）

语法：

crop=ow[:oh[:x[:y[:keep_aspect]]]]

4.5.3 裁剪实例

# 可以直接看效果 # iw/3裁剪的宽度为源宽度的1/3，ih裁剪的高度为源高度，iw/3*2从图像的宽2/3处开始裁剪，0从源高度就开始裁剪 ffplay -i input.jpg -vf crop=iw/3:ih:iw/3*2:0 ffmpeg -i input.jpg -vf crop=iw/3:ih:iw/3*2:0 out.jpg

裁剪 100x100 的区域，起点为(12,34)

ffplay -i input.jpg -vf crop=100:100:12:34 # 相同效果: ffplay -i input.jpg -vf crop=w=100:h=100:x=12:y=34

裁剪中心区域，大小为 100x100

ffplay -i input.jpg -vf crop=100:100

裁剪中心区域，大小为输入视频的 2/3

ffplay -i input.jpg -vf crop=iw*2/3:ih*2/3

裁剪中心区域的正方形，高度为输入视频的高

ffplay -i input.jpg -vf crop=ih

裁剪偏移左上角 100 像素

ffplay -i input.jpg -vf crop=iw-100:ih-100:100:100

裁剪掉左右 10 像素，上下 20 像素

ffplay -i input.jpg -vf crop=iw-2*10:ih-2*20

裁剪右下角区域

ffplay -i input.jpg -vf crop=in_w/2:in_h/2:in_w/2:in_h/2

4.5.4 添加文字水印五、ffplay命令5.1 ffplay命令格式

ffplay [options] input_file

5.2 ffplay播放控制

5.3 ffplay主要选项

5.4 ffplay高级选项

5.5 其他选项

http://www.ffmpeg.org/ffplay.html

5.6 播放示例

播放本地文件

ffplay -window_title “test time” -ss 2 -t 10 -autoexit test.mp4

ffplay buweishui.mp3

播放网络流

ffplay -window_title “rtmp stream” rtmp://202.69.69.180:443/webcast/bshdlive-pc

强制解码器

mpeg4解码器：ffplay -vcodec mpeg4 test.mp4

h264解码器：ffplay -vcodec h264 test.mp4

禁用音频或视频

禁用音频：ffplay test.mp4 -an

禁用视频：ffplay test.mp4 -vn

播放YUV数据

ffplay -pixel_format yuv420p -video_size 320x240 -framerate 5 yuv420p_320x240.yuv

播放RGB数据

ffplay -pixel_format rgb24 -video_size 320x240 -i rgb24_320x240.rgb

ffplay -pixel_format rgb24 -video_size 320x240 -framerate 5 -i rgb24_320x240.rgb

播放PCM数据

ffplay -ar 48000 -ac 2 -f f32le 48000_2_f32le.pcm

-ar set audio sampling rate (in Hz) (from 0 to INT_MAX) (default 0)

-ac set number of audio channels (from 0 to INT_MAX) (default 0)

5.7 过滤器

视频旋转

ffplay -i test.mp4 -vf transpose=1

视频反转

ffplay test.mp4 -vf hflip ffplay test.mp4 -vf vflip

视频旋转和反转

ffplay test.mp4 -vf hflip,transpose=1

视频变速播放

ffplay -i test.mp4 -vf setpts=PTS/2

音视频同时变速

ffplay -i test.mp4 -vf setpts=PTS/2 -af atempo=2

5.8参考资料

http://www.ffmpeg.org/ffmpeg-filters.html

播放PCM数据

ffplay -ar 48000 -ac 2 -f f32le 48000_2_f32le.pcm

-ar set audio sampling rate (in Hz) (from 0 to INT_MAX) (default 0)

-ac set number of audio channels (from 0 to INT_MAX) (default 0)

5.7 过滤器

视频旋转

ffplay -i test.mp4 -vf transpose=1

视频反转

ffplay test.mp4 -vf hflip ffplay test.mp4 -vf vflip

视频旋转和反转

ffplay test.mp4 -vf hflip,transpose=1

音频变速播放

ffplay -i test.mp4 -af atempo=2

视频变速播放

ffplay -i test.mp4 -vf setpts=PTS/2

音视频同时变速

ffplay -i test.mp4 -vf setpts=PTS/2 -af atempo=2

5.8参考资料

http://www.ffmpeg.org/ffmpeg-filters.html

最近在跟一个的免费直播，讲音视频开发,讲得不错分享给大家：

【免费】FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发-学习视频教程-腾讯课堂

,