原文转载自「刘悦的技术博客」https://v3u.cn/a_id_203
容器，又见容器。Docker 容器的最主要优点就在于它们是可移植的。一套服务，其所有的依赖关系可以捆绑到一个独立于 Linux 内核、平台分布或部署模型的主机版本的单个容器中。此容器可以传输到另一台运行 Docker 的主机上，并且在没有兼容性问题的情况下执行。而传统的微服务架构会将各个服务单独封装为容器，虽然微服务容器化环境能够在给定数量的基础架构内实现更高的工作负载密度，但是，在整个生产环境中创建、监视和销毁的容器需求总量呈指数级增长，从而显著增加了基于容器管理环境的复杂性。
藉此，本次我们将服务化零为整，将 Tornado 服务和 Nginx 服务器以及配套的监控管理程序 Supervisor 集成到一个单独的容器中，将其高度可移植性最大化地发挥。
Docker 具体安装流程请移玉步到：一寸宕机一寸血，十万容器十万兵|Win10/Mac系统下基于Kubernetes(k8s)搭建Gunicorn+Flask高可用Web集群
整体容器内的系统架构如图所示：
首先，创建项目目录 mytornado:
这里 web 服务框架我们使用业内著名的非阻塞异步框架 Tornado6.2，创建一个服务的入口文件 main.py
import json import tornado.ioloop import tornado.web import tornado.httpserver from tornado.options import define, options define('port', default=8000, help='default port', type=int) class IndexHandler(tornado.web.RequestHandler): def get(self): self.write("Hello, Tornado") def make_app(): return tornado.web.Application([ (r"/", IndexHandler), ]) if __name__ == "__main__": tornado.options.parse_command_line() app = make_app() http_server = tornado.httpserver.HTTPServer(app) http_server.listen(options.port) tornado.ioloop.IOLoop.instance().start()
复制代码
这里运行端口我们通过命令行传参的方式进行监听，方便多进程服务的启动。
之后，创建 requirements.txt 项目依赖文件：
接下来，创建 Nginx 的配置文件 tornado.conf
upstream mytornado { server 127.0.0.1:8000; server 127.0.0.1:8001; } server { listen 80; location / { proxy_pass http://mytornado; proxy_set_header Host $host; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } }
复制代码
这里 Nginx 监听 80 端口，反向代理到本地系统的 8000 和 8001 端口，这里我们使用默认的负载均衡方案：轮询，如果有其他需求，可以按照其他的方案进行修改：
1、轮询（默认） 每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。 upstream backserver { server 192.168.0.14; server 192.168.0.15; } 2、权重 weight 指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。 upstream backserver { server 192.168.0.14 weight=3; server 192.168.0.15 weight=7; } 3、ip_hash（ IP绑定） 上述方式存在一个问题就是说，在负载均衡系统中，假如用户在某台服务器上登录了，那么该用户第二次请求的时候，因为我们是负载均衡系统，每次请求都会重新定位到服务器集群中的某一个，那么已经登录某一个服务器的用户再重新定位到另一个服务器，其登录信息将会丢失，这样显然是不妥的。 我们可以采用ip_hash指令解决这个问题，如果客户已经访问了某个服务器，当用户再次访问时，会将该请求通过哈希算法，自动定位到该服务器。 每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题。 upstream backserver { ip_hash; server 192.168.0.14:88; server 192.168.0.15:80; } 4、fair（第三方插件） 按后端服务器的响应时间来分配请求，响应时间短的优先分配。 upstream backserver { server server1; server server2; fair; } 5、url_hash（第三方插件） 按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，后端服务器为缓存时比较有效。 upstream backserver { server squid1:3128; server squid2:3128; hash $request_uri; hash_method crc32; }
复制代码
下面我们编写 Supervisor 的配置文件 supervisord.conf：
[supervisord] nodaemon=true [program:nginx] command=/usr/sbin/nginx [group:tornadoes] programs=tornado-8000,tornado-8001 [program:tornado-8000] command=python3.8 /root/mytornado/main.py --port=8000 # 执行目录 directory=/root/mytornado # 自动重启 autorestart=true # 启动supervisor时，程序自启动 autostart=true # 日志 stdout=/var/log/tornado-8000.log redirect_stderr=true loglevel=info [program:tornado-8001] command=python3.8 /root/mytornado/main.py --port=8001 # 执行目录 directory=/root/mytornado # 自动重启 autorestart=true # 启动supervisor时，程序自启动 autostart=true # 日志 stdout=/var/log/tornado-8001.log redirect_stderr=true loglevel=info
复制代码
Supervisor 是专门用来在类 Unix 系统上监控管理进程的工具，发布于 2004 年，它对应的角色分别为 Supervisorctl 和 Supervisord。后者的主要作用是启动配置好的程序、响应 Supervisorctl 发过来的指令以及重启退出的子进程，而前者是 Supervisor 的客户端，它以命令行的形式提供了一系列参数，来方便用户向 Supervisord 发送指令，常用的有启动、暂停、移除、更新等命令。
这里我们主要使用 Supervisor 针对 Tornado 服务进行监控和管理，这里默认的项目目录为/root/mytornado/
进程配置两个，分别对应 nginx 的监听端口：8000 和 8001
最后，编写容器配置文件 Dockerfile:
FROM yankovg/python3.8.2-ubuntu18.04 RUN sed -i "s@/archive.ubuntu.com/@/mirrors.163.com/@g" /etc/apt/sources.list \ && rm -rf /var/lib/apt/lists/* \ && apt-get update --fix-missing -o Acquire::http::No-Cache=True RUN apt install -y nginx supervisor pngquant # application RUN mkdir /root/mytornado WORKDIR /root/mytornado COPY main.py /root/mytornado/ COPY requirements.txt /root/mytornado/ RUN pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ # nginx RUN rm /etc/nginx/sites-enabled/default COPY tornado.conf /etc/nginx/sites-available/ RUN ln -s /etc/nginx/sites-available/tornado.conf /etc/nginx/sites-enabled/tornado.conf RUN echo "daemon off;" >> /etc/nginx/nginx.conf # supervisord RUN mkdir -p /var/log/supervisor COPY supervisord.conf /etc/supervisor/conf.d/supervisord.conf # run CMD ["/usr/bin/supervisord"]
复制代码
这里基础镜像选择预装了 Python3.8 的 Ubuntu18，兼具了小体积和可扩展的特性，添加 apt-get 的安装源之后，分别安装 Nginx 以及 Supervisor。
随后，依照 Supervisor 配置文件内所书，在容器内部创建项目目录/root/mytornado/
并且将上面编写好的 main.py 以及 requirements.txt 复制到容器内部，运行 pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ 安装项目的所有依赖。
最后，将 tornado.conf 和 supervisord.conf 也拷贝到对应的配置路径中，分别启动 Nginx 和 Supervisor 服务。
编写好之后，在项目根目录的终端内运行命令打包镜像：
docker build -t 'mytornado' .
复制代码
首次编译会等待一小会儿，因为需要下载基础镜像服务：
liuyue:docker_tornado liuyue$ docker build -t mytornado . [+] Building 16.2s (19/19) FINISHED => [internal] load build definition from Dockerfile 0.1s => => transferring dockerfile: 37B 0.0s => [internal] load .dockerignore 0.0s => => transferring context: 2B 0.0s => [internal] load metadata for docker.io/yankovg/python3.8.2-ubuntu18.04:latest 15.9s => [internal] load build context 0.0s => => transferring context: 132B 0.0s => [ 1/14] FROM docker.io/yankovg/python3.8.2-ubuntu18.04@sha256:811ad1ba536c1bd2854a42b5d6655fa9609dce1370a6b6d48087b3073c8f5fce 0.0s => CACHED [ 2/14] RUN sed -i "s@/archive.ubuntu.com/@/mirrors.163.com/@g" /etc/apt/sources.list && rm -rf /var/lib/apt/lists/* 0.0s => CACHED [ 3/14] RUN apt install -y nginx supervisor pngquant 0.0s => CACHED [ 4/14] RUN mkdir /root/mytornado 0.0s => CACHED [ 5/14] WORKDIR /root/mytornado 0.0s => CACHED [ 6/14] COPY main.py /root/mytornado/ 0.0s => CACHED [ 7/14] COPY requirements.txt /root/mytornado/ 0.0s => CACHED [ 8/14] RUN pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ 0.0s => CACHED [ 9/14] RUN rm /etc/nginx/sites-enabled/default 0.0s => CACHED [10/14] COPY tornado.conf /etc/nginx/sites-available/ 0.0s => CACHED [11/14] RUN ln -s /etc/nginx/sites-available/tornado.conf /etc/nginx/sites-enabled/tornado.conf 0.0s => CACHED [12/14] RUN echo "daemon off;" >> /etc/nginx/nginx.conf 0.0s => CACHED [13/14] RUN mkdir -p /var/log/supervisor 0.0s => CACHED [14/14] COPY supervisord.conf /etc/supervisor/conf.d/supervisord.conf 0.0s => exporting to image 0.0s => => exporting layers 0.0s => => writing image sha256:2dd8f260882873b587225d81f7af98e1995032448ff3d51cd5746244c249f751 0.0s => => naming to docker.io/library/mytornado 0.0s
复制代码
打包成功后，运行命令查看镜像信息：
可以看到镜像总大小不到 1g:
liuyue:docker_tornado liuyue$ docker images REPOSITORY TAG IMAGE ID CREATED SIZE mytornado latest 2dd8f2608828 4 hours ago 828MB
复制代码
接着让我们来启动容器：
docker run -d -p 80:80 mytornado
复制代码
通过端口映射技术，将容器内的 80 端口服务映射到宿主机的 80 端口。
输入命令查看服务进程：
显示正在运行:
docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 60e071ba2a36 mytornado "/usr/bin/supervisord" 6 seconds ago Up 2 seconds 0.0.0.0:80->80/tcp, :::80->80/tcp frosty_lamport liuyue:docker_tornado liuyue$
复制代码
此时我们打开浏览器访问 http://127.0.0.1
没有任何问题。
同时可以根据运行中的容器 id 来选择进入对应的容器：
liuyue:docker_tornado liuyue$ docker exec -it 60e071ba2a36 /bin/sh #
复制代码
在容器内部我们可以看到项目的所有文件：
# pwd /root/mytornado # ls main.py requirements.txt #
复制代码
重要的是，可以使用 Supervisor 对既有的 Tornado 进程进行管理操作，
查看所有进程：
根据配置文件，我们容器内运行着三个服务：
# supervisorctl status nginx RUNNING pid 10, uptime 0:54:28 tornadoes:tornado-8000 RUNNING pid 11, uptime 0:54:28 tornadoes:tornado-8001 RUNNING pid 12, uptime 0:54:28
复制代码
依据服务名称，对服务进行停止操作：
# supervisorctl stop tornadoes:tornado-8001 tornadoes:tornado-8001: stopped # supervisorctl status nginx RUNNING pid 10, uptime 0:55:52 tornadoes:tornado-8000 RUNNING pid 11, uptime 0:55:52 tornadoes:tornado-8001 STOPPED Dec 28 08:47 AM #
复制代码
再次启动：
# supervisorctl start tornadoes:tornado-8001 tornadoes:tornado-8001: started # supervisorctl status nginx RUNNING pid 10, uptime 0:57:09 tornadoes:tornado-8000 RUNNING pid 11, uptime 0:57:09 tornadoes:tornado-8001 RUNNING pid 34, uptime 0:00:08 #
复制代码
如果服务进程意外终止，Supervisor 可以对其进行拉起操作，满血复活：
# ps -aux | grep python root 1 0.0 0.1 55744 20956 ? Ss 07:58 0:01 /usr/bin/python /usr/bin/supervisord root 11 0.0 0.1 102148 22832 ? S 07:58 0:00 python3.8 /root/mytornado/main.py --port=8000 root 34 0.0 0.1 102148 22556 ? S 08:48 0:00 python3.8 /root/mytornado/main.py --port=8001 root 43 0.0 0.0 11468 1060 pts/0 S+ 08:51 0:00 grep python # kill -9 34 # supervisorctl status nginx RUNNING pid 10, uptime 1:00:27 tornadoes:tornado-8000 RUNNING pid 11, uptime 1:00:27 tornadoes:tornado-8001 RUNNING pid 44, uptime 0:00:16
复制代码
如果愿意，也可以将编译好的镜像提交到 Dockerhub 上，这样可以做到随时使用随时拉取，不需要每次都进行编译操作，这里我已经将镜像推送到云端，需要的话可以直接拉取使用：
docker pull zcxey2911/mytornado:latest
复制代码
Dockerhub 的具体操作流程请参见：利用DockerHub在Centos7.7环境下部署Nginx反向代理Gunicorn+Flask独立架构
结语：诚然，Docker 容器技术消除了线上线下的环境差异，保证了服务生命周期的环境一致性标准化。开发者使用镜像实现标准开发环境的构建，开发完成后通过封装着完整环境和应用的镜像进行迁移，藉此，测试和运维人员可以直接部署软件镜像来进行测试和发布，大大简化了持续集成、测试和发布的过程，但是我们也不得不正视容器技术现有阶段的劣势，那就是性能的损耗，Docker 容器对 CPU 和内存的使用几乎没有任何开销，但它们会影响 I/O 和 OS 交互。这种开销是以每个 I/O 操作的额外周期的形式出现的，所以小 I/O 比大 I/O 遭受的损失要大得多。这种开销增加了 I/O 延迟，减少了用于有用工作的 CPU 周期，从而限制了吞吐量。也许不久的将来，随着内核技术的提升，该缺陷会被逐步解决，最后奉上项目地址，与君共觞：https://github.com/zcxey2911/Docker_Tornado6_Supervisor_Python3.8
原文转载自「刘悦的技术博客」 https://v3u.cn/a_id_203
评论