主题
基于自研网络库与 RPC 框架的分布式视频转码平台
这个项目是视频网站的转码后台:调用方提交一段原始视频和目标规格(分辨率、码率、容器格式),平台探测时长后把视频按时间切成 shard,调度多台 Worker 用 FFmpeg 并行转码,再收集分片合并成完整成品。它把一条单机吃不满多核的长任务,变成可并行、可重试、可横向扩容的分布式作业——Worker 掉线、执行卡死、结果上报丢失、调度器重启,都会自动收敛回「重置该 shard 重新调度」,调用方只需要拿一个 job_id 查状态。
三层逐层递进的项目,每一层都是上一层的直接使用者:
text
wevix_muduo(网络库) → mprpc(RPC 框架) → video_platform(视频平台)平台层接入的中间件:ZooKeeper、MySQL、Redis、RabbitMQ、FFmpeg。
技术栈:C++17 · epoll · Protobuf · ZooKeeper · MySQL · Redis · RabbitMQ · FFmpeg · Docker
一、wevix_muduo:Reactor 网络库
One Loop Per Thread 模型:
text
mainLoop(Acceptor)→ 新连接按 fd 取模分给 subLoops → IO 线程处理读写
└→ 重活提交 workThreadPool- 连接内状态免锁:一条连接从建立到销毁只属于一个 IO 线程,fd、Buffer、回调都在该线程内,连接级状态天然无竞争。
- Buffer 三区模型:prependable / readable / writable,消费已读数据和前插协议头都是 O(1) 指针移动;
readv散射读,空间不足落栈上副缓冲。 - 帧编解码下沉:粘包/半包在连接层按长度前缀处理,应用层只收到完整帧。
- 线程池双模式:IO 线程固定、work 线程按积压扩容并空闲回收;
二、mprpc:RPC 框架
自定义协议帧:
text
[total_len(4B)] + [payload]
请求 payload:[header_size(4B)] + [RpcHeader] + [args]
响应 payload:[header_size(4B)] + [ResponseHeader] + [body]- 两层帧头:外层长度归网络层 codec,作为帧边界;内层
header_size归应用层。两层互不影响。 - 单帧 64MB 上限:长度非法直接清缓冲拒绝,坏包在协议层被拦下。
- 拆帧与业务分离:IO 线程只拆帧投递,ffprobe 这类最长 15 秒的阻塞业务不会卡住同 loop 的其他连接。
三、video_platform:分布式视频平台
五个微服务:
| 服务 | 职责 | 端口 |
|---|---|---|
| JobService | 任务提交、查询、取消 | 9001 |
| SchedulerService | 时长探测、分片、调度、重试 | 9002 |
| WorkerManager | Worker 注册、心跳、负载 | 9003 |
| TranscodeWorker | FFmpeg 转码,可横向扩容 | 9004+ |
| ResultCollector | 结果收集、合并、终态判定 | 9005 |
任务模型
Job → Shard → Attempt 三层建模。Shard 是调度、重试、幂等的最小单元;每次重试递增 attempt_id 标记执行代次,迟到的旧结果按代次丢弃。
调度
- 资源评分:
空闲槽×10 - CPU×0.5 - 内存×0.2,轮内账本修正静态快照造成的超额分配; - 重试优先换节点,避免反复命中同一台故障机;
- 优先级队列,同优先级 FIFO 防饥饿;Worker 侧超载硬拒绝。
故障恢复
五类故障统一收敛为「shard 重置为 WAITING 重新调度」:
| 故障 | 检测 | 恢复 |
|---|---|---|
| 执行失败 | 结果上报失败 | 重试,优先换节点 |
| Worker 退出 | 心跳超时 20 秒 | 未完成 shard 重置排队 |
| 执行卡死 | 5 分钟无更新 | 取消旧代次后重置 |
| 上报失败 | 上报链路失败 | 本地队列每 3 秒兜底 |
| 调度器重启 | 启动恢复扫描 | 残留 RUNNING 全部重置 |
一致性与幂等
- 状态推进全部用条件更新:
UPDATE ... WHERE status IN (前置状态),借 MySQL 行级原子性做 CAS; - 三层防护:分配前 Redis 分布式锁、数据库条件更新、
attempt_id代次校验; - 取消链路:状态层 CAS 强保证不再调度,执行层尽力通知并杀子进程。
中间件降级
MySQL 和 ffmpeg 是 fail-fast,启动必检;Redis 和 MQ 可降级——连不上只告警并走替代路径,恢复后自动切回。RabbitMQ 只承担调度,结果上报走 RPC,避免为一条用不上的独占价值付维护成本。
部署
docker compose up -d --build 启动 4 个中间件 + 5 个服务;--scale transcode_worker=3 即可横向扩容,worker_id 取容器 hostname,无需改配置。