kudu 参数优化设置，让集群飞起来~，2021 年 Python 开发陷入饱和

参数：Maximum Process File Descriptors?

5.参数设置了每个 Tablet 的默认复制因子，默认值为 3，表示每个表的数据会在 Kudu 中存储 3 份副本。

我们可以根据需要修改这个全局默认值，也可以在建表语句中通过’kudu.num_tablet_replicas’属性来设置每个表的副本数，

参数：kudu.num_tablet_replicas=1

6.tserver 宕掉后，5 分钟后没有恢复的情况下，该机器上的 tablet 会移动到其他机器?

参数：--follower_unavailable_considered_failed_sec=300?

7.超过参数时间的历史数据会被清理，如果是 base 数据不会被清理。而真实运行时数据大小持续累加，没有被清理。?

参数：--tablet_history_max_age_sec=900

8.hash 分区数量 * range 分区数量不能超过 60 个（1.7.0 版本之后没限制了）

9.设置 block 的管理器为文件管理器（默认是日志服务器）

解释：并非所有文件系统格式都需要设置该选项。ext4、xfs 格式支持 hole punching（打孔），所以不需要设置 block_manager=file，但是 ext3 格式需要。可以通过 df -Th 命令来查看文件系统的格式。

参数：--block_manager=file

10.设置 ntp 服务器的时间误差不超过 20s（默认是 10s）

参数：max_clock_sync_error_usec=20000000

11.设置 rpc 的连接时长（默认是 3s，建议不要设置）

参数：--rpc_negotiation_timeout_ms=300000

12.设置 rpc 一致性选择的连接时长（默认为 1s，建议不要设置）

参数：--consensus_rpc_timeout_ms=1000

13.记录 kudu 的 crash 的信息

解释：

Kudu 在遇到崩溃时，使用 Google Breakpad 库来生成 minidump。这些 minidumps 的大小通常只有几 MB，即使禁用了核心转储生成，也会生成，

生成 minidumps 只能在 Linux 上建立。

minidump 文件包含有关崩溃的进程的重要调试信息，包括加载的共享库及其版本，崩溃时运行的线程列表，处理器寄存器的状态和每个线程的堆栈内存副本，

以及 CPU 和操作系统版本信息。

Minitump 可以通过电子邮件发送给 Kudu 开发人员或附加到 JIRA，以帮助 Kudu 开发人员调试崩溃。为了使其有用，

开发人员将需要知道 Kudu 的确切版本和发生崩溃的操作系统。请注意，虽然 minidump 不包含堆内存转储，但它确实包含堆栈内存，

因此可以将应用程序数据显示在 minidump 中。如果机密或个人信息存储在群集上，请不要共享 minidump 文件。

参数：

--minidump_path=minidumps ? ? ? ? ? ? ?

--max_minidumps=9

（默认是在设置的 log 目录下生成 minidumps 目录，里边包含最多 9 个以 dmp 结尾的文件，无法设置为空值，需要注意的是如果自定义 minidump 文件，

在 master 不能启动的情况下，需要将该目录中的文件删除）

14.Stack WatchLog

解释：每个 Kudu 服务器进程都有一个称为 Stack Watchdog 的后台线程，它监视服务器中的其他线程，以防它们被阻塞超过预期的时间段。

这些跟踪可以指示操作系统问题或瓶颈存储。通过 WARN 日志信息的跟踪（Trace）可以用于诊断由于 Kudu 以下的系统（如磁盘控制器或文件系统）引起的根本原因延迟问题。

15.cdh 设置多 master

参数：--master_addresses=cdh01:7051,cdh02:7051cdh03:7051

16.kudu 出现启动速度特别慢

解决办法：

1、取消所有配置参数（除了资源、时间同步）

2、升级版本到 kudu1.6.0

3、client 必须停止（client 不占用 io 的情况，3 台机器，每台机器 60G，127 分区数量，启动速度 3 分钟）

4、查看 io 使用情况 iostat -d -x -k 1 200

17.单 hash 分区最大是 60

18.安装 kudu 过程中，会要求 CPU 支持 ssc4.2 指令集，但是我们的虚拟机 cpu 没有这个执行集，所以无法安装

19.设置 client 长连接过期时间

参数：--authn_token_validity_seconds=12960000（150 天）

注意：设置到 tserver 的配置文件中

最后

Python 崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS 等更加高级的领域。Python 可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python 可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

??Python 所有方向的学习路线??

Python 所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

??Python 必备开发工具??

工欲善其事必先利其器。学习 Python 常用的开发软件都在这里了，给大家节省了很多时间。

??Python 全套学习视频??

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

??实战案例??

学 python 就与学数学一样，是不能只看书不做题的，

直接看步骤和答案会让人误以为自己全都掌握了，但是碰到生题的时候还是会一筹莫展。

因此在学习 python 的过程中一定要记得多动手写代码，教程只需要看一两遍即可。

??大厂面试真题??

我们学习 Python 必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。