Elasticsearch 源码解析：环境搭建

 关注
发布于: 2020 年 07 月 20 日
在之前学习Redis的过程中，我就是一边通过文档/视频学习，一边阅读源码。我发现两种方法可以相辅相成，互相补充。阅读文档可以帮助我们快速了解某个功能，阅读源码有助于我们更深入的理解这一功能的实现及思想。
﻿
因此，在学习 Elasticsearch 的时候我也准备采用这样的模式。所以，从今天开始，我会定期更新学习 Elasticsearch 源码的收获。在开始学习之前，需要先把环境准备好。所以今天就先分享一下准备环境的过程。
﻿
软件环境﻿
Intellij Idea:2020.1版本
﻿
JDK 12
﻿
Gradle 5.5
﻿
下载源码﻿
你可以在 Github 中下载 release 版本或指定 tag 的源码，地址如下。
﻿
https://github.com/elastic/elasticsearch/releases
﻿
下载好以后解压到指定目录/
﻿
tar -xzvf elasticsearch-7.3.1.tar.gz
﻿
也可以直接在命令行通过 git 下载源码
﻿
git clone git@github.com:elastic/elasticsearch.git
﻿
然后可以切换到你想要的版本
﻿
git checkout v7.3.1
﻿
导入IntelliJ IDEA﻿
下载好源码以后，我们来将项目导入 IDEA，首先，进入到项目的根目录，执行命令
﻿
./gradlew idea
﻿
这一步是生成 IntelliJ 的项目文件，需要下载一些依赖包，下载的不顺利的同学可以选择将 gradle 源切换成国内的源。
﻿
切换 gradle 源﻿
进入目录
﻿
cd ~/.gradle
﻿
新建一个名为 init.gradle 的目录，内容如下
﻿
allprojects {
    repositories {
        def ALIYUN_REPOSITORY_URL = 'https://maven.aliyun.com/repository/public'
        all { ArtifactRepository repo ->
            if(repo instanceof MavenArtifactRepository){
                def url = repo.url.toString()
                if (url.startsWith('https://repo1.maven.org/maven2')) {
                    project.logger.lifecycle "Repository ${repo.url} replaced by $ALIYUN_REPOSITORY_URL."
                    remove repo
                }
            }
        }
        maven { url ALIYUN_REPOSITORY_URL }
    }
}
﻿
文件生成好之后，会有如下提示
﻿
﻿
现在我们开始往 idea 中导入项目，File -> New Project From Existing Sources，选择你的代码根目录，然后点击open，之后在Import project from external model -> Gradle，到 idea 中，它还会下载一些包。下载完以后，我们就算是导入完成了。
﻿
本地运行Elasticsearch﻿
将项目导入到 idea 中之后，我们就可以尝试运行项目了，这一步看似简单，却是我花费时间最多的一步。首先我们找到 server 包下的org/elasticsearch/bootstrap/Elasticsearch.java，运行其中的main函数。
﻿
如果你运行失败，不要惊慌，我们需要加一些配置。
﻿
点开 Run/Debug Configrations，如图，我们需要在 VM options 中加一些配置。还需要勾选上 Include dependencies with "Provided" scope
﻿
﻿
 VM options`如下
﻿
-Des.path.home=/Users/moka/eshome
-Des.path.conf=/Users/moka/eshome/config
-Xms1g
-Xmx1g
-Dlog4j2.disable.jmx=true
-Djava.security.policy=/Users/moka/eshome/config/elasticsearch.policy
﻿
下面对这些参数进行一下说明
﻿
-Des.path.home：指定eshome所在路径，elasticsearch 会需要从这个路径下加载一些包，因此，我们需要指定一个目录，然后把必要的模块和配置文件复制到该目录下，你可以选择自己编译源码，或者是从官网下载对应的二进制版本，
﻿
tar -zxvf elasticsearch-7.3.1-darwin-x86_64.tar.gz
cd elasticsearch-7.3.1
cp -r config modules plugins /Users/moka/eshome
﻿
-Des.path.conf：指定配置文件所在的路径名，后续调整节点配置时，修改其下的配置文件
﻿
-Xms1g 和 -Xmx1g 设置 JVM 堆的大小
﻿
-Dlog4j2.disable.jmx=true：这个是 jvm.options 文件中的默认配置，不加的话会报“access denied”等错误。
﻿
-Djava.security.policy：这个也是权限问题，配置 policy 文件路径，内容如下
﻿
grant{
  permission javax.management.MBeanTruxtPermission "register";
  permission javax.management.MBeanServerPermission "createMBeanServer";
  permission java.lang.RuntimePermission "createClassLoader";
};
﻿
按照这些配置好以后，发现还是会报错
﻿
java.lang.NoClassDefFoundError: org/elasticsearch/plugins/ExtendedPluginsClassLoader
	at org.elasticsearch.plugins.PluginsService.loadBundle(PluginsService.java:494) ~[main/:?]
	at org.elasticsearch.plugins.PluginsService.loadBundles(PluginsService.java:422) ~[main/:?]
	at org.elasticsearch.plugins.PluginsService.<init>(PluginsService.java:146) ~[main/:?]
	at org.elasticsearch.node.Node.<init>(Node.java:303) ~[main/:?]
	at org.elasticsearch.node.Node.<init>(Node.java:246) ~[main/:?]
	at org.elasticsearch.bootstrap.Bootstrap$5.<init>(Bootstrap.java:213) ~[main/:?]
	at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:213) ~[main/:?]
	at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:323) ~[main/:?]
	at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:121) ~[main/:?]
	at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:112) ~[main/:?]
	at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[main/:?]
	at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[main/:?]
	at org.elasticsearch.cli.Command.main(Command.java:90) ~[main/:?]
	at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:92) ~[main/:?]
	at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:85) ~[main/:?]
Caused by: java.lang.ClassNotFoundException: org.elasticsearch.plugins.ExtendedPluginsClassLoader
	at jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.java:582) ~[?:?]
	at jdk.internal.loader.ClassLoaders$AppClassLoader.loadClass(ClassLoaders.java:190) ~[?:?]
	at java.lang.ClassLoader.loadClass(ClassLoader.java:499) ~[?:?]
	... 15 more
﻿
这一步应该是 IDEA 的报错，网上有同学说是勾选 Include dependencies with "Provided" scope，我试了一下没什么效果。然后把 server 包下的 build.gradle 文件修改一下解决了问题。
﻿
找到
﻿
compileOnly project(':libs:elasticsearch-plugin-classloader')
﻿
修改为
﻿
compile project(':libs:elasticsearch-plugin-classloader')
﻿
改完之后再次运行，会有一个空指针报错，报错位置是
﻿
server/src/main/java/org/elasticsearch/node/InternalSettingsPreparer.java:119
﻿
﻿
这里是因为我没有设置 node.name，在 elasticsearch.yml 文件中设置一下就可以了。
﻿
现在再点击 Run/Debug ，就可以成功运行了。
﻿
﻿
远程调试﻿
本地调试的另一种方法就是远程 debug。
﻿
首先，我们进入到下载的一个稳定版本的 elasticsearch 目录，在 bin/elasticsearch 文件中加上一行代码
﻿
-agentlib:jdwp=transport=dt_socket,server=y,address=8888,suspend=y \
﻿
加上之后的代码如下：
﻿
if ! echo $* | grep -E '(^-d |-d$| -d |--daemonize$|--daemonize )' > /dev/null; then
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -agentlib:jdwp=transport=dt_socket,server=y,address=8888,suspend=y \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -Des.distribution.flavor="$ES_DISTRIBUTION_FLAVOR" \
    -Des.distribution.type="$ES_DISTRIBUTION_TYPE" \
    -Des.bundled_jdk="$ES_BUNDLED_JDK" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@"
else
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -Des.distribution.flavor="$ES_DISTRIBUTION_FLAVOR" \
    -Des.distribution.type="$ES_DISTRIBUTION_TYPE" \
    -Des.bundled_jdk="$ES_BUNDLED_JDK" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@" \
    <&- &
  retval=$?
  pid=$!
  [ $retval -eq 0 ] || exit $retval
  if [ ! -z "$ES_STARTUP_SLEEP_TIME" ]; then
    sleep $ES_STARTUP_SLEEP_TIME
  fi
  if ! ps -p $pid > /dev/null ; then
    exit 1
  fi
  exit 0
fi
exit $?
﻿
然后我们执行./elasticsearch，会出现如下信息，说明 Elasticsearch 在监听8888端口。
﻿
﻿
现在我们到 IDEA 中添加一个 Remote Run
﻿
﻿
接着进行端口配置。
﻿
﻿
然后就可以选择这个 Remote 来进行 Debug 了。当控制台出现
﻿
Connected to the target VM, address: 'localhost:8888', transport: 'socket'
﻿
说明连接成功了。
﻿
我们来实验一下，在这个位置打一个断点
﻿
server/src/main/java/org/elasticsearch/rest/action/cat/RestHealthAction.java:54
﻿
然后在浏览器地址栏中输入
﻿
http://localhost:9200/_cat/health
﻿
如果进入断点，说明我们已经可以成功 Debug 了。
﻿
总结﻿
工欲善其事，必先利其器。在阅读源码之前，我们首先需要搭建好环境，本文我们介绍了两种方法，一种是直接在 IDEA 中启动 Elasticsearch ，另一种是 Debug 远程的 Elasticsearch。其中第二种方法，相对比较简单，推荐大家使用。
﻿