Skip to content

基于自研网络库与 RPC 框架的分布式视频转码平台 ​

这个项目是视频网站的转码后台:调用方提交一段原始视频和目标规格(分辨率、码率、容器格式),平台探测时长后把视频按时间切成 shard,调度多台 Worker 用 FFmpeg 并行转码,再收集分片合并成完整成品。它把一条单机吃不满多核的长任务,变成可并行、可重试、可横向扩容的分布式作业——Worker 掉线、执行卡死、结果上报丢失、调度器重启,都会自动收敛回「重置该 shard 重新调度」,调用方只需要拿一个 job_id 查状态。

三层逐层递进的项目,每一层都是上一层的直接使用者:

text
wevix_muduo(网络库) → mprpc(RPC 框架) → video_platform(视频平台)

平台层接入的中间件:ZooKeeper、MySQL、Redis、RabbitMQ、FFmpeg。

技术栈:C++17 · epoll · Protobuf · ZooKeeper · MySQL · Redis · RabbitMQ · FFmpeg · Docker

一、wevix_muduo:Reactor 网络库 ​

One Loop Per Thread 模型:

text
mainLoop(Acceptor)→ 新连接按 fd 取模分给 subLoops → IO 线程处理读写
                                                    └→ 重活提交 workThreadPool
  • 连接内状态免锁:一条连接从建立到销毁只属于一个 IO 线程,fd、Buffer、回调都在该线程内,连接级状态天然无竞争。
  • Buffer 三区模型:prependable / readable / writable,消费已读数据和前插协议头都是 O(1) 指针移动;readv 散射读,空间不足落栈上副缓冲。
  • 帧编解码下沉:粘包/半包在连接层按长度前缀处理,应用层只收到完整帧。
  • 线程池双模式:IO 线程固定、work 线程按积压扩容并空闲回收;

二、mprpc:RPC 框架 ​

自定义协议帧:

text
[total_len(4B)] + [payload]
  请求 payload:[header_size(4B)] + [RpcHeader] + [args]
  响应 payload:[header_size(4B)] + [ResponseHeader] + [body]
  • 两层帧头:外层长度归网络层 codec,作为帧边界;内层 header_size 归应用层。两层互不影响。
  • 单帧 64MB 上限:长度非法直接清缓冲拒绝,坏包在协议层被拦下。
  • 拆帧与业务分离:IO 线程只拆帧投递,ffprobe 这类最长 15 秒的阻塞业务不会卡住同 loop 的其他连接。

三、video_platform:分布式视频平台 ​

五个微服务:

服务职责端口
JobService任务提交、查询、取消9001
SchedulerService时长探测、分片、调度、重试9002
WorkerManagerWorker 注册、心跳、负载9003
TranscodeWorkerFFmpeg 转码,可横向扩容9004+
ResultCollector结果收集、合并、终态判定9005

任务模型 ​

Job → Shard → Attempt 三层建模。Shard 是调度、重试、幂等的最小单元;每次重试递增 attempt_id 标记执行代次,迟到的旧结果按代次丢弃。

调度 ​

  • 资源评分:空闲槽×10 - CPU×0.5 - 内存×0.2,轮内账本修正静态快照造成的超额分配;
  • 重试优先换节点,避免反复命中同一台故障机;
  • 优先级队列,同优先级 FIFO 防饥饿;Worker 侧超载硬拒绝。

故障恢复 ​

五类故障统一收敛为「shard 重置为 WAITING 重新调度」:

故障检测恢复
执行失败结果上报失败重试,优先换节点
Worker 退出心跳超时 20 秒未完成 shard 重置排队
执行卡死5 分钟无更新取消旧代次后重置
上报失败上报链路失败本地队列每 3 秒兜底
调度器重启启动恢复扫描残留 RUNNING 全部重置

一致性与幂等 ​

  • 状态推进全部用条件更新:UPDATE ... WHERE status IN (前置状态),借 MySQL 行级原子性做 CAS;
  • 三层防护:分配前 Redis 分布式锁、数据库条件更新、attempt_id 代次校验;
  • 取消链路:状态层 CAS 强保证不再调度,执行层尽力通知并杀子进程。

中间件降级 ​

MySQL 和 ffmpeg 是 fail-fast,启动必检;Redis 和 MQ 可降级——连不上只告警并走替代路径,恢复后自动切回。RabbitMQ 只承担调度,结果上报走 RPC,避免为一条用不上的独占价值付维护成本。

部署 ​

docker compose up -d --build 启动 4 个中间件 + 5 个服务;--scale transcode_worker=3 即可横向扩容,worker_id 取容器 hostname,无需改配置。

源码 ​

GitHub · mprpc-video-platform