主题
自研 RPC 框架
让 C++ 服务之间像调本地函数一样互相调用不同进程的框架:服务端在 .proto 里声明接口并注册实现,客户端拿到 Stub 后直接调用,序列化、TCP 收发、按服务名找地址都由框架完成,业务代码不碰 socket。它解决的是分布式部署后「A 服务怎么找到并调用 B 服务」的问题;当前版本是单次建连、同步调用的简化实现,连接复用、超时与地址缓存后来在视频平台项目里重做。
技术栈:C++11 · muduo · Protobuf · ZooKeeper C Client · CMake
整体链路
text
服务端:实现业务 → NotifyService 注册 → Run 监听 + 写入 ZooKeeper
客户端:Stub 调用 → MprpcChannel::CallMethod → ZK 查地址 → 序列化 → TCP → 等响应六个模块
| 模块 | 职责 |
|---|---|
| Application / Config | 读取 rpcserver、zookeeper 地址端口 |
| Protobuf 协议 | .proto 定义接口,负责序列化与反序列化 |
| RpcProvider | muduo 收发、拆包、路由、反射调度 |
| Channel / Controller | 客户端代理与调用状态记录 |
| ZkClient | 服务注册、发现、节点维护 |
| Logger | 异步日志落盘 |
关键设计
- 透明调用:继承
google::protobuf::RpcChannel,重写CallMethod。Stub 生成本地方法,调用时进入统一入口。 - 反射注册:
NotifyService用ServiceDescriptor扫描服务名、方法名,建立服务名 → 方法名 → 方法描述符的映射,服务端不用为每个接口写分发代码。 - 自定义协议:
[header_size] + [RpcHeader] + [args]。先读固定长度头部确定 body 长度,解决 TCP 粘包/半包。 - 异步日志:日志级别与消息打包成
LogMsg,经LockQueue由单独线程落盘,业务线程不阻塞在 I/O 上。
一次请求的处理过程
- muduo 的
OnMessage收到字节流,读出header_size; - 反序列化
RpcHeader,拿到服务名、方法名、参数长度; - 在注册表里查
ServiceInfo与方法描述符; - 按描述符动态构造
Request并反序列化参数; - 调用业务实现,填充
Response,执行done->Run(); - 框架序列化响应并通过连接写回。
取舍与局限
- 连接不复用:当前
CallMethod每次调用都新建 socket、重新connect,方法返回后关闭。实现简单,但高频调用下建连成本明显。 - 每次调用查 ZooKeeper:地址不做本地缓存,ZK 抖动会直接放大到调用链路上。
- 同步模型:调用方阻塞等待响应,没有超时、重试和异步回调;
Controller只负责记录失败原因。 - 单注册中心:ZK 是唯一发现来源,没有多级缓存或本地兜底。
继续演进的方向很明确:连接池 + 调用超时 + 本地地址缓存 + 按服务做负载均衡。这些问题在后继的 mprpc-video-platform 里已经按工程化方式重新设计。