被 Docker 日志坑惨了
原文链接： 被 Docker 日志坑惨了
最近在读《计算机程序的构造和解释》，里面有一句话：代码必须能够被人阅读，只是机器恰巧可以执行。
我也想到了一句话：BUG 一定能够被人写出，只是恰好我写的多而已。
说多了都是泪，来看看我最近遇到的一个问题。
问题
普通的一天，打开普通的电脑，登录一台普通的服务器，敲下一条普通的命令。
在我使用命令补全时，出现了一条不普通的提示：
怎么磁盘满了？
使用 df -h 一看还真是。
什么原因呢？
解决
首先，查找一下系统里的大文件，看看是哪个小可爱搞的鬼。
很快就定位到了这个目录：/var/lib/docker/containers。
原来是 Docker 这家伙，这个目录下存放的都是容器运行过程中产生的日志。
使用下面命令来给这些文件按大小排个序：
文件名称就是容器 ID，每个文件对应一个容器，也就可以定位到，具体是哪个容器产生了大量的日志。
使用这个命令可以将大文件快速清空：
但是清空了文件哪算解决问题，新的日志还在源源不断往日志里打呢。看了看日志内容，很熟悉。前两天为了调试程序，刚加的一条 print。
编辑代码，删除 print，重启容器。好了，日志不再疯狂追加了。
为什么 print 语句将日志都输出到文件里了呢？别着急，后面再来详细介绍。
先处理一下眼前的问题，放任日志无限增长是肯定不行的，需要有一个单个文件大小限制。否则，明天张三再加一条 print，磁盘又满了。
这里有两个方案：
单一容器配置
全局配置
单一容器配置
启动容器时，通过参数来控制日志的文件个数和单个文件的大小：
但这样做是比较麻烦的，更多的采用的是全局配置的方式。
全局配置
编辑 /etc/docker/daemon.json：
重启 Docker 服务：
注意： 已存在的容器不会生效，需要重建才可以。
接下来再说说上文提到的 print 问题。
Docker 日志
Docker 日志分为两类：
Docker 引擎日志（也就是 dockerd 运行时的日志）
容器的日志，容器内的服务产生的日志
引擎日志
Docker 引擎日志一般是交给了 Upstart(Ubuntu 14.04) 或者 systemd (CentOS 7, Ubuntu 16.04)。前者一般位于 /var/log/upstart/docker.log 下，后者一般通过 journalctl -u docker 进行查看。
不同系统的位置都不一样，网上有人总结了一份列表，我修正了一下，可以参考：
容器日志
使用下面命令可以显示当前运行的容器的日志信息：
UNIX 和 Linux 命令有三种输入输出，分别是 STDIN、STDOUT 和 STDERR。docker logs 显示的内容包含 STDOUT 和 STDERR。
在生产环境下，如果我们的应用输出到日志文件里，那么我们在使用 docker logs 时一般收集不到太多重要的信息。
这里来看一下 nginx 和 httpd 是怎么做的：
nginx 官方镜像，使用了一种方式，让日志输出到 STDOUT，也就是创建一个符号链接 /var/log/nginx/access.log 到 /dev/stdout。
httpd 使用的是让其输出到指定文件，正常日志输出到 /proc/self/fd/1 (STDOUT) ，错误日志输出到 /proc/self/fd/2 (STDERR)。
当日志量比较大的时候，使用 docker logs 来查看日志，会对 docker daemon 造成比较大的压力，容易导致容器创建慢等一系列问题。
只有使用了 local 、json-file、journald 日志驱动的容器才可以使用 docker logs 捕获日志，使用其他日志驱动无法使用 docker logs。
Docker 默认使用 json-file 作为日志驱动。
除此之外，Docker 还提供了很多其他日志驱动，这里就不过多介绍。还有日志管理方案，我也不是很有经验，大家如果感兴趣的话自己搜搜看吧。
参考文章：
https://www.cnblogs.com/zhangmingcheng/p/13960496.html
https://www.cnblogs.com/operationhome/p/10907591.html
文章中的脑图和源码都上传到了 GitHub，有需要的同学可自行下载。
地址： https://github.com/yongxinz/tech-blog
Go 专栏文章列表：
版权声明: 本文为 InfoQ 作者【AlwaysBeta】的原创文章。
原文链接:【http://xie.infoq.cn/article/630bd1ea5a8622849ff72de76】。
本文遵守【CC-BY 4.0】协议，转载请保留原文出处及本版权声明。
微信公众号：AlwaysBeta 2017.11.30 加入
后端开发，技术栈：Python，Django，Go，Redis，RabbitMQ，Kafka，Elasticsearch，MySQL
评论