主题
可集群部署的聊天服务器
这是即时通讯场景的后端:用户注册登录后可以加好友、单聊、建群,在线消息实时推送,离线消息落库等上线后拉取。单机连接数有上限,所以部署多台 ChatServer、前置 Nginx 做四层转发,跨机消息经 Redis Pub/Sub 路由到目标用户所在节点——它解决的是消息要发给别的机器上的用户和多节点对客户端透明这两件事。
技术栈:C++11 · muduo · MySQL · Redis (hiredis) · Nginx Stream · nlohmann/json
系统结构
text
客户端 ×N
│
Nginx(stream 负载均衡)
├── ChatServer 1 ──┐
└── ChatServer 2 ──┴── Redis(Pub/Sub)── MySQL分层
| 层 | 职责 |
|---|---|
ChatServer | muduo 网络层:连接、收发、JSON 解析 |
ChatService | 业务分发:按 msgid 路由到具体处理函数 |
Model | 数据访问:User / Friend / Group / OfflineMessage |
Redis | 跨服务器消息通道 |
网络层与业务层分开,ChatService 不感知 socket 细节,方便单测和替换传输层。
跨服消息怎么走
- Server 1 收到发给用户 B 的消息,发现 B 不在本机连接表里;
- 向 Redis 通道(以 B 的用户 ID 命名)发布消息;
- 订阅了该通道的 Server 2 收到消息,推给 B 的客户端。
Redis 在这里只做「跨节点通知」,不承担消息持久化;离线消息落 MySQL,用户上线后拉取。
协议与表结构
- 消息统一 JSON,头部
msgid标识业务类型(登录、注册、单聊、建群等),字段定义集中在public.hpp。 - 核心表:
user、friend、allgroup、groupuser、offlinemessage。
取舍
- 用 Redis Pub/Sub 而不是自建消息总线:实现成本低,天然支持多节点;代价是订阅关系按用户 ID 建立,连接规模大时 Redis 的订阅管理需要额外设计。
- Nginx 只做四层转发:不解析业务,换节点对客户端透明。
- 消息不落 Redis:Redis 重启不影响历史消息,离线消息始终以 MySQL 为准。