视频制作中碰到最棘手的问题是谱面视频和演奏视频如何同步。这里的难点在于 谱面视频需要先变速后再和我的演奏严格对齐,而 Premiere Pro 2022 无法处理好这个问题。
先说一下演奏视频是怎么拍的。我的耳机连着平板,平板上播放谱面视频,用 mpv 自带的调速功能变速到 0.81 倍速,即 111bpm * 0.81 ~= 90bpm,同时手机在侧身后拍摄 1080p60 的演奏视频。
看一下两个视频的规格:
- 谱面视频:
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from '.\憂、燦々【ヨルシカ】动态鼓谱.29836772107.mp4':
Metadata: ...
Duration: 00:04:13.50, start: 0.000000, bitrate: 544 kb/s
Stream #0:0[0x1](und): Video: h264 (High) (avc1 / 0x31637661), yuv420p(tv, bt709, progressive), 1920x1080 [SAR 1:1 DAR 16:9], 357 kb/s, 30 fps, 30 tbr, 16k tbn, start 0.100000 (default)
Metadata: ...
Stream #0:1[0x2](und): Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, stereo, fltp, 182 kb/s (default)
Metadata: ...
- 演奏视频:
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from '.\VID_20260131_171959_HDR10PLUS.mp4':
Metadata: ...
Duration: 00:12:34.33, start: 0.000000, bitrate: 38835 kb/s
Stream #0:0[0x1](eng): Video: hevc (Main 10) (hvc1 / 0x31637668), yuv420p10le(tv, bt2020nc/bt2020/smpte2084), 1920x1080, 38501 kb/s, 60.02 fps, 60 tbr, 90k tbn (default)
Metadata: ...
Stream #0:1[0x2](eng): Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, stereo, fltp, 320 kb/s, start 0.004208 (default)
Metadata: ...
在 Pr 里我使用了 1920x1080 @ 60, 48000 Hz 的 Sequence,然后保持演奏视频原速,直接调整谱面视频到 0.81 倍速,马上就发现有三个问题:
- 音频波形没法完全对齐
- 在音频轨尽量对齐的情况下,预览播放的音频严重不对齐
- 从开头到结尾对齐不一致
如果调整到预览播放「听起来对齐」,那音频波形其实已经偏移很多了。出于对 Pr 变速的信任,我首先认为问题出在「演奏视频的速率前后不一致」,原因是录制时我直接听着 mpv 变速播放的谱面,假如平板有性能问题或者 mpv 本身做不到恒定的速率播放,那我录制出来的就是速率不一致的演奏。
至于预览播放的音频不对齐,我解释为「Pr 有性能问题,只要听起来是对齐的,导出就应该是对齐的」。
基于以上假设,我花了很长的时间一点点调整谱面视频的变速和前后位置,力求在预览播放的时候听起来是对齐的。然而结果很悲观,从开头到结尾我实在没办法找到一致对齐的轨道设定。尝试导出后更是惊讶地发现,导出后的视频竟然又出现了完全不一样的前后偏差。
因此我只能得出结论:Pr 的变速不可信! 我分析可能有以下两个原因:
- 我电脑的性能问题,可能跟硬件加速相关
- Pr 本身没办法精确处理变速,例如 30 fps 的原视频经过 0.81x 的变速后,画面和音频应该如何准确映射到 60 fps 的轨道呢?
根据新的假设,我想到一个办法是:先在外部处理变速,用 ffmpeg 把谱面视频转换成和演奏视频一样的 0.81x, 60.02 fps,然后再放进相同规格的 Pr Sequence 里,是否就能避免 Pr 变速带来的问题?
ffmpeg 命令:
ffmpeg -i input.mp4 -filter_complex "[0:v]setpts=1.2345679*PTS,fps=60.02[v];[0:a]atempo=0.81[a]" -map "[v]" -map "[a]" output.mp4
结果相当顺利,由 ffmpeg 变速的谱面在 Pr 里能很好地与演奏视频对齐,并且保持从开头到结尾高度一致。
最终结论:
- mpv 变速播放可信
- ffmpeg 变速处理可信
- Pr 变速不可信