Kafka线上环境部署

本章内容是如何规划 Kafka 服务器的相关内容.

1.操作系统选型

linux 效率优于 windows. 因为 I/O 模型和网络传输效率(sendfile).

2.磁盘规划

1.性价比 JBID 优于 RAID
2.使用机械盘完全可以满足 Kafka 集群的使用，SSD 更好.

3.磁盘容量规划

1.新增消息数
2.消息留存时间
3.平均消息大小
4.副本数
5.是否启用压缩

4.内存规划

1.尽量分配跟多的内存给操作系统的 page cache.
2.不要为 broker 设置过大的堆内存，最好不超过 6GB.
3.page cache 大小至少要大于一个日志段的大小.

5.CPU 规划.

1.使用多核系统，CPU核数最好大于 8.


6.带宽规划

1.尽量使用高速网络.
2.根据自身网络条件和带宽来评估 Kafka 集群机器数量.
3.避免使用跨机房网络.

7.典型线程环境配置

CPU24核
内存32GB
磁盘 1TB 7200 转 SAS 盘两块
带宽1GB/s
Socket Buffer 至少 64KB


分布式部署
1.安装多节点 Zookeeper 集群.
2.安装多节点Kafka集群.