百万大数据 5 期 - 鲍少明 -02 课作业

设计一个日志采集平台

要求 高可用，高性能，数据安全，可扩展。

log-pilot 可以以 node 模式部署到容器的宿主机上。

所以，可以随着容器的扩容而扩容。同时，也保证宿主机出问题，只影响到这台

宿主机，保证了高可用。

同时句柄保持机制和 checkPoint 机制可以保证容器日志文件不丢。

采集日志如果采用 filebeat 插件，吞吐量可以达到 85000 行/秒，性能高。

kafka 集群 本身具有 高可用，高性能，数据安全，可扩展这些特点。

canal 主备集群通过 zookeeper 管理，如果主节点挂了，就会切换到备节点。