在之前的文章中,我们聊过了一些和 Faiss 相关的事情,包括如何将数据转换为向量、如何挑选索引类型、如何简单加速向量检索性能、以及如何实现简单的语义搜索功能。也曾提到会聊聊更多实际场景中向量数据库的用法,揭开所谓大厂里的核心服务的神秘面纱,比如:实现简单的搜索引擎、推荐系统、风控系统等等。
为了大家都能简单的上手,我做了一个 210MB 的 Docker 镜像,本篇文章就来讲讲这个镜像如何使用,以及我是如何制作这个镜像的。
写在前面
因为这个工具基于 Docker,所以我们需要先完成 Docker 运行环境的安装,如果你的本地环境中已经安装了 Docker,那么可以跳过这个小节,阅读后面的内容。
如果你是桌面运行环境,可以访问官网 下载安装文件 ,如果你使用的是服务端环境,可以参考这篇文章中的“更简单的 Docker 安装”,来完成 Docker 环境的准备。
两步上手
这个镜像的使用方法比较简单,就两步。
我们先使用一条简单的命令,启动一个本地的 Milvus 服务容器,并给它起个名字叫做“milvus”:
docker run --rm -it --name=milvus soulteary/milvus:embed-2.1.0
复制代码
在容器启动后,大概 1~2 秒钟,我们将看到一条日志输出,告诉我们服务启动好了,就可以开始“第二步”啦。
---Milvus Proxy successfully initialized and ready to serve!---
复制代码
在服务启动之后,我们就可以随心所欲的来上手体验了。
比如,我们可以打开一个新的“命令行终端窗口”,让我们刚刚起名为“milvus”的容器来运行下 Milvus SDK
中类似 “MySQL CRUD” 操作的 “Hello World”:
docker exec -it milvus python hello-world.py
复制代码
我们将会得到类似下面的结果:
=== start connecting to Milvus ===
Does collection hello_milvus exist in Milvus: False
=== Create collection `hello_milvus` ===
=== Start inserting entities ===
Number of entities in Milvus: 3000
=== Start Creating index IVF_FLAT ===
=== Start loading ===
=== Start searching based on vector similarity ===
hit: (distance: 0.0, id: 2998), random field: -13.0
hit: (distance: 0.16608965396881104, id: 1059), random field: -12.0
hit: (distance: 0.17376846075057983, id: 976), random field: -18.0
hit: (distance: 0.0, id: 2999), random field: -15.0
hit: (distance: 0.09368982911109924, id: 760), random field: -15.0
hit: (distance: 0.1466047316789627, id: 263), random field: -12.0
search latency = 0.2489s
=== Start querying with `random > -14` ===
query result:
-{'pk': 16, 'random': -11.0, 'embeddings': [0.73126, 0.492735, 0.017334, 0.219567, 0.872692, 0.050455, 0.072988, 0.322331]}
search latency = 0.2517s
=== Start hybrid searching with `random > -12` ===
hit: (distance: 0.2523949146270752, id: 2281), random field: -11.0
hit: (distance: 0.34272605180740356, id: 2146), random field: -11.0
hit: (distance: 0.34762364625930786, id: 467), random field: -11.0
hit: (distance: 0.249067485332489, id: 819), random field: -11.0
hit: (distance: 0.3513686954975128, id: 2786), random field: -11.0
hit: (distance: 0.4150209426879883, id: 1486), random field: -11.0
search latency = 0.3481s
=== Start deleting with expr `pk in [0, 1]` ===
query before delete by expr=`pk in [0, 1]` -> result:
-{'pk': 0, 'random': -17.0, 'embeddings': [0.336848, 0.42659, 0.09273, 0.587923, 0.559363, 0.854384, 0.348711, 0.16934]}
-{'pk': 1, 'random': -20.0, 'embeddings': [0.273309, 0.255625, 0.597282, 0.181107, 0.198166, 0.758371, 0.186847, 0.120927]}
query after delete by expr=`pk in [0, 1]` -> result: []
=== Drop collection `hello_milvus` ===
复制代码
当然,我们也可以直接启动一个交互式的 Python 终端,在里面干自己的事儿:
docker exec -it milvus python
复制代码
镜像中的数据会保存在 /etc/milvus
目录中,如果你需要将本地调试或者试验时的数据进行持久化保存,可以在执行容器的时候,将数据目录映射到本地:
docker run --rm -it --name=milvus \
-v `pwd`/data:/etc/milvus/data \
-v `pwd`/logs:/etc/milvus/logs \
-v `pwd`/etcd:/etc/milvus/etcd/data \
-v `pwd`/rdbs:/etc/milvus/rdb/data \
-v `pwd`/data:/etc/milvus/data \
soulteary/milvus:embed-2.1.0
复制代码
如果你有测试各种语言 SDK 的需求,也可以将容器的某些端口进行本地暴露,至于有哪些端口可用,可以参考 soulteary/portable-docker-app/milvus/config.yml 这个配置文件,再次就不多赘述啦。
对于有更高技术追求的同学,可以继续阅读我是如何优化这个镜像的,如果你只想愉快的在本地玩 Milvus,那么文章到此就可以结束啦。
工具镜像的制作
为了得到这个 200 MB 左右的镜像,属实费了“一番功夫”。在展开聊工具镜像的制作之前,我们需要先对制作素材有一定了解,先得来了解下 “Embed Milvus” 这个项目。
关于 Embed Milvus 项目
在 Milvus 2.1 版本中,推出了一个新的功能 Embedded Milvus,伴随这个新功能官方社区中也出现了一个新仓库: milvus-io/embd-milvus 。
这个项目是一个典型的“Golang 项目模块化”的例子,借助 Golang 能够使用 buildmode=c-shared
构建出一个通用的 C-Style 的动态链接库(SO)。相比较其他的构建模式,这样构建出的“模块产物”,能够在各种语言中被低成本的调用,比如在开源项目 vladimirvivien/go-cshared-examples 中,你就能够找到至少十种主流编程语言对于 Go 构建模块产物的调用例子。
因为这个 Embeded 项目还在初期,所以在使用体验上并没有想象中的好用,如果想顺利玩起来这个项目,需要踩不少系统环境相关的坑,比如:
这些事情折腾下来太麻烦了,而且会浪费很多的磁盘空间,如果使用传统方式安装,过程中各种缓存和不必要的文件将占用好几个 G 的空间。
为了解决这些问题,我决定花一些时间,制作一个 体验更好的工具镜像 。
分析 Embedded Milvus 运行所需资源
Milvus 项目属于大型开源项目,构建过程还是比较复杂的,我在之前的博客里有提到过:(一)、 (二) 、(三)。为了能够在最短时间内得到 Milvus 构建出的 Embeded 的动态链接库,我选择直接“解包”官方项目中的产物。
先基于 Python 官方镜像创建一个只安装了 milvus
软件包的 Docker 镜像,来作为“资源镜像”:
FROM python:3.9-slim-buster AS Builder
RUN sed -i -E "s/\w+.debian.org/mirrors.tuna.tsinghua.edu.cn/g" /etc/apt/sources.list
RUN apt-get update && \
apt-get install -y libtbb-dev libboost-dev libtbb-dev libopenblas-dev && \
apt-get remove --purge -y && \
rm -rf /var/lib/apt/lists/*
RUN pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple && \
pip install milvus==2.1.0 --no-deps && \
pip cache purge
复制代码
在编写完 Dockerfile 之后,我们执行 docker build -t milvus-builder .
完成资源镜像的构建,这个镜像中就包含了我们所需要的一切“程序资源”:
Sending build context to Docker daemon 2.048kB
Step 1/4 : FROM python:3.9-slim-buster AS Builder
---> 2f2210ecbb1c
Step 2/4 : RUN sed -i -E "s/\w+.debian.org/mirrors.tuna.tsinghua.edu.cn/g" /etc/apt/sources.list
---> Using cache
---> 89067599fc0b
Step 3/4 : RUN apt-get update && apt-get install -y libtbb-dev libboost-dev libtbb-dev libopenblas-dev && apt-get remove --purge -y && rm -rf /var/lib/apt/lists/*
---> Using cache
---> c6401d21d519
Step 4/4 : RUN pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple && pip install milvus==2.1.0 --no-deps && pip cache purge
---> Using cache
---> d6235e521ebb
Successfully built d6235e521ebb
Successfully tagged milvus-builder:latest
复制代码
在完成镜像的构建后,我们使用 docker run --rm -it soulteary/milvus:embed-2.1.0 bash
进入资源容器,通过 find . | grep milvus
来寻找到关键的程序资源:
root@4bea421f5615:/# find . | grep milvus
./usr/local/lib/python3.9/site-packages/milvus
./usr/local/lib/python3.9/site-packages/milvus/bin
./usr/local/lib/python3.9/site-packages/milvus/bin/embd-milvus.so
./usr/local/lib/python3.9/site-packages/milvus/bin/embd-milvus.h
./usr/local/lib/python3.9/site-packages/milvus/lib
./usr/local/lib/python3.9/site-packages/milvus/lib/libmilvus_segcore.so
./usr/local/lib/python3.9/site-packages/milvus/lib/libknowhere.so
....
复制代码
在确定资源都存放在 /usr/local/lib/python3.9/site-packages/milvus/bin/
和 /usr/local/lib/python3.9/site-packages/milvus/lib/
中之后。我们继续使用 ldd
命令,来依次分析这俩路径中各种 *.so
链接库的依赖关系,确定我们未来制作容器需要保留哪些程序文件。
使用 ldd
分析动态程序,将得到类似下面的结果:
root@4bea421f5615:/# ldd ./usr/local/lib/python3.9/site-packages/milvus/bin/embd-milvus.so
linux-vdso.so.1 (0x00007ffc4a1f2000)
libstdc++.so.6 => /usr/lib/x86_64-linux-gnu/libstdc++.so.6 (0x00007f859265b000)
libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007f85924d8000)
libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007f85924b7000)
libmilvus_indexbuilder.so => not found
libmilvus_segcore.so => not found
libmilvus_common.so => not found
libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007f85924b0000)
librt.so.1 => /lib/x86_64-linux-gnu/librt.so.1 (0x00007f85924a6000)
libgcc_s.so.1 => /lib/x86_64-linux-gnu/libgcc_s.so.1 (0x00007f859248c000)
libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f85922cc000)
/lib64/ld-linux-x86-64.so.2 (0x00007f8598c2e000)
复制代码
经过漫长的分析过程,我们最终能够确认一份简单的依赖清单。从而确定 “Embeded Milvus” 想要正常运行,需要哪些文件。
一切就绪之后,接下来就可以编写工具镜像的 Dockerfile 啦。
制作 All In One 的 Milvus 工具镜像
为了避免跨操作系统引起的“动态链接库”的水土不服,这里我们选择和资源容器镜像相同的操作系统:
FROM python:3.9-slim-buster
复制代码
在前文中,我们确认了两个资源集中的目录,通过简单的 COPY --from
指令将他们复制到新的容器中的 /usr/lib/
目录里来:
COPY --from=builder /usr/local/lib/python3.9/site-packages/milvus/bin/* /usr/lib/
COPY --from=builder /usr/local/lib/python3.9/site-packages/milvus/lib/* /usr/lib/
复制代码
除了 Milvus 项目本地的依赖程序之外,别忘记还需要复制我们分析排查出的系统依赖清单里的内容。
COPY --from=builder /usr/lib/x86_64-linux-gnu/libtbb.so.2 /usr/lib/x86_64-linux-gnu/
COPY --from=builder /usr/lib/x86_64-linux-gnu/libopenblasp-r0.3.5.so /usr/lib/x86_64-linux-gnu/
COPY --from=builder /usr/lib/x86_64-linux-gnu/libgomp.so.1.0.0 /usr/lib/x86_64-linux-gnu/
COPY --from=builder /usr/lib/x86_64-linux-gnu/libgfortran.so.5.0.0 /usr/lib/x86_64-linux-gnu/
COPY --from=builder /usr/lib/x86_64-linux-gnu/libquadmath.so.0.0.0 /usr/lib/x86_64-linux-gnu/
COPY --from=builder /usr/lib/x86_64-linux-gnu/libatomic.so.1.2.0 /usr/lib/x86_64-linux-gnu/
复制代码
这里没有选择和一开始制作资源文件一样,使用 apt-get install
来完成系统依赖的安装,是因为通过 COPY --from
挑选复制必要文件,能够实现最大程度的容器镜像尺寸的瘦身。
除了对上面的文件进行复制之外,我们还需要根据之前收集的信息,使用 ln
命令,来根据之前 ldd
收集的信息,对这些系统依赖的路径创建一些“分身”,避免程序调用过程出现问题,同时也确保容器镜像中不会因为冗余内容造成体积膨胀问题。
RUN ln -s /usr/lib/x86_64-linux-gnu/libtbb.so.2 /usr/lib/x86_64-linux-gnu/libtbb.so && \
ln -s /usr/lib/x86_64-linux-gnu/libopenblasp-r0.3.5.so /usr/lib/x86_64-linux-gnu/libopenblas.so.0 && \
ln -s /usr/lib/x86_64-linux-gnu/libopenblasp-r0.3.5.so /usr/lib/x86_64-linux-gnu/libopenblas.so && \
ln -s /usr/lib/x86_64-linux-gnu/libgomp.so.1.0.0 /usr/lib/x86_64-linux-gnu/libgomp.so.1 && \
ln -s /usr/lib/x86_64-linux-gnu/libgfortran.so.5.0.0 /usr/lib/x86_64-linux-gnu/libgfortran.so.5 && \
ln -s /usr/lib/x86_64-linux-gnu/libatomic.so.1.2.0 /usr/lib/x86_64-linux-gnu/libatomic.so.1 && \
ln -s /usr/lib/x86_64-linux-gnu/libquadmath.so.0.0.0 /usr/lib/x86_64-linux-gnu/libquadmath.so.0
复制代码
到这里为止,Embedded Milvus 的最小运行环境就就绪了。
因为我希望这是一个 All in One 的运行环境,所以我们还需要进一步安装 Python SDK:
RUN pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple && \
pip install pymilvus==2.1.0 protobuf==3.20.2 && \
pip cache purge
复制代码
简单的几行命令,容器就会从“清华源”下载两个固定版本的软件包,并且在下载完毕之后,清理掉下载过程中使用的缓存,确保容器体积没有因为“垃圾文件”而膨胀。
在一切就绪后,我们还需要创建一些目录,以及将上文提到的,准备好的配置文件复制到程序会读取的位置,确保程序在被调用的时候,不会报错:
RUN mkdir -p /etc/milvus/logs/ && \
mkdir -p /etc/milvus/data/ && \
mkdir -p /etc/milvus/etcd/data/ && \
mkdir -p /etc/milvus/rdb/data && \
mkdir -p /var/bin/e-milvus/configs/ && \
mkdir -p /var/bin/e-milvus/lib/ && \
chmod 0700 /etc/milvus/etcd/data
COPY config.yml /var/bin/e-milvus/configs/embedded-milvus.yaml
复制代码
为了简化官方 Embed 程序的执行环境,我们可以准备一个简单的“容器入口程序”:
#!/bin/bash
export LD_PRELOAD=/usr/lib/embd-milvus.so
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib:/usr/local/lib
python -c "import ctypes;library = ctypes.cdll.LoadLibrary('/usr/lib/embd-milvus.so');library.startEmbedded();"
复制代码
将上面的内容保存为 entrypoint.sh
之后,我们将它复制到容器中:
COPY entrypoint.sh /
CMD ["/entrypoint.sh"]
复制代码
当程序没有添加任何参数而被使用的时候,就会执行这个文件,按照官方项目中所要求的那样设置好系统环境变量,接着在 Python 中,调用 ctypes.cdll.LoadLibrary
函数加载动态链接库,然后启动 Milvus 程序。
最后,为了我们能够快速验证 Milvus 是否运行正常,我们还可以复制一个 Python 程序到容器的工作目录中,我这里选择的是官方 Python SDK 中的 Hello World 文件 :
WORKDIR /app
COPY hello-world.py ./
复制代码
在上面的代码都就绪之后,我们执行 soulteary/milvus:embed-2.1.0
就能够完成这个相对小巧的工具镜像的构建啦。
最后
完整代码,我上传到了 soulteary/portable-docker-app/milvus ,有需要可以自取。
希望这个工具镜像能够帮到想进入向量世界的你。
–EOF
评论