在 2024 年，笔者对 50 个采用 ELK 技术的项目进行了深入调研，这些项目涵盖了汽车制造、半导体、银行业、证券业、能源业、水利管理以及快速消费品等多个行业。调研的初衷是为了探究企业在从开源解决方案转向商业解决方案时，成本是否有所增加，以及促使这种转变的具体原因。经过细致的调研和分析，笔者发现了一些普遍存在的问题，并在此分享，以帮助相关企业规避潜在的风险。本文将从选择开源框架的动因、应用过程中遇到的挑战，以及从开源框架转向商业框架的前后对比等方面进行详细讨论。

选择开源框架的理由：

在进行调研的过程中，企业根据其研发实力被划分为两类：小型企业和中大型企业。小型企业通常研发实力较弱，其应用需求场景也相对有限；而中大型企业则展现出较强的研发实力，并且在信息技术水平及日志应用场景方面更为复杂多变。尽管两类企业在规模和能力上存在差异，但它们在评估开源框架时都普遍关注成本和技术认知水平这两个关键因素。

小型企业认为

• 开源省钱，不用花钱即可搭建使用，投入少许计算与存储资源即可。

• 入门简单，仅做日志存储，偶尔查询，不做分析，不需要定制。

• 数据量小，一天约 20-30GB 数据，完全能应对。

中大型企业认为

• 企业要控制成本，技术负责人认为研发人员多，可以轻松搭建日志平台。

• 需要自主可控，不能依赖厂商，以防被厂商倒闭等情况波及。

• 有开源社区支持，不担心受技术限制。

应用困境

在走访使用开源日志框架 1-3 年并最终替换成商业日志分析平台的企业时，发现了如下共性问题：

• 技术风险

技术能力稍弱的企业在应用一段时间 ELK 后发现，随着日志量增大，平台愈发难维护，配置不当、性能问题（如入库延迟、大查询爆内存、日志解析）、计算资源消耗大等问题越来越严重。

• 功能完备性差

开源日志平台的分析需求完全依赖于研发团队，需经历研发周期。软件在通用性和易用性方面表现不佳，采集解析配置需通过文件手动实现，集群管理依赖于命令行操作，数据采集缺乏加密，数据使用缺少权限管理。面对如《证券期货业经营机构内部应用系统日志规范》等行业管理要求，一两名研发人员难以迅速实现。某证券公司运维工程师指出，运营人员频繁调用交易日志，导致运维人员需在休息时间取数据，影响其价值认同感。

• 成本消耗超过预期

让我们通过一个实际案例来评估成本效益。以一家企业为例，该企业在采用开源日志平台进行二次开发三年后，每日数据增量达到 1TB。目前，该平台的研发团队由 2 人组成，运维团队也有 2 人。研发团队全职投入三年后发现，资源投入超出了预期控制，日志平台的功能开发和性能优化几乎占据了这两个人的大部分时间，这是最初未预料到的。按照每人每年 50 万的成本计算，四人每年的总投入超过 200 万，而商用产品则可以用 200 万购买产品及三年的维护服务。一个令人深思的事实是，在投入三年时间和资源自主研发开源日志分析平台后，即便人员稳定，谁敢断言已经掌握了核心技术？相比之下，商用日志分析产品的公司，按照 300 人的规模计算，其研发团队占总人数的 30%。

• 安全风险

在安全风险的认知上，存在两种截然不同的观点。一方面，有人认为由于应用局限于内网环境，安全风险相对较低，依赖开源社区提供的系统补丁，且认为修补漏洞和内网安全应由安全部门负责。另一方面，有人支持国产化，以响应政策导向，从根本上消除供应中断或漏洞风险，并在过渡到新平台时考虑实现双平台的平稳过渡。

• 服务

众多企业自建日志平台往往基于负责人或研发人员的个人经验和技术，缺乏从全局角度出发的战略规划。这种做法常常导致项目进展随意，仅根据即时需求进行开发，忽视了专业产品公司长期积累的经验的重要性，这也是许多企业自研日志平台项目失败的直接原因。相比之下，商业产品提供的是经过反复验证的产品及服务。在下一篇文章中，我们将讨论选择优质产品与服务的重要性，并提供实例说明。

替换开源框架后的变化

• 数据体量增加

在对 50 家企业的样本调查中，95%的企业在使用商业日志分析产品后，其日均新增日志量显著增长，而剩余 5%的企业在迁移前后日志量变化不大或仅有小幅增加。具体来说，一家快速消费品行业的企业在替换前日均日志增量约为 100GB，而采用商业解决方案后，日均管理的新增日志量逐步增加至 1TB。金融和制造业的增长尤为显著，例如，一家证券公司在使用开源日志平台 3 年后转向商业平台，其日志量从 2TB 激增至 25TB。另一方面，开源框架在易用性、功能完备性、技术风险和安全风险等方面的局限性，限制了企业在日志应用方面的广度和深度。

• 需求响应变快了

商用日志分析平台的功能经过众多用户的实践检验，能够满足广泛的管理与分析需求，基本实现完美匹配。对于极少数特殊需求，厂商亦能提供定制化支持。以证券公司为例，商用平台通过权限控制简化了日志提取流程，运维人员仅需提供查询语句，运营团队即可自行完成操作。受访者还指出，相较于过去开源日志分析平台在系统变更或升级时需在多台设备上进行配置并由两人复核的繁琐流程，商用产品允许直接通过管理界面导入升级包，极大提升了运维人员的工作效率和满意度，有效减少了那些价值认同感较低的工作任务。

• 日志管理更规范

某证券运维这样说，使用商用日志平台以后，公司内部先统一了日志输出规范，为了更好的保障业务连续性所有日志需要根据运维的要求输出，同时规定了一整套管理规范既符合行业标准《证券期货业经营机构内部应用系统日志规范》的要求，又兼顾了公司的特点。

• 更专注

一位银行经理表示，采用日志易平台之后，他们得以释放资源，专注于业务连续性保障以及其他工作的优化与研发。平台的易用性激发了他们深入挖掘日志价值的热情。

选择商用日志平台的 5 个理由

电影《后会无期》中流传着一句经典台词：“只有小孩子才分对错，成年人只权衡利弊。”选择使用开源日志平台或商用日志平台并非简单的对错问题，而是企业在有限资源下的战略决策——是站在巨人的肩膀上快速前进，还是重新发明轮子？基于实际应用和管理的角度，以下是选择商用日志平台的几个理由：

• 企业技术实力：是否具备长期研发和维护开源应用的技术实力。

• 企业需求：国家政策导向、行业具体要求、自身日志管理需求。

• 成本：从未来 3 年的技术、资源投入来看，开源平台的成本是否比买商用更低？商用产品从 5 万-1000 万可选范围较大，可按需购买。

• 最佳实践：俗话说，熟能生巧，巧能生妙。商用产品是经过了上千家用户的洗礼沉淀，才有了应对复杂应用场景的从容。

• 服务：技术、安全、版权风险是可以规避的，企业为什么要自己来承担呢？IT 行业流传着一则真理，“3 分技术+7 分管理”。日志分析工具仅仅是项目上线的一个临时任务，运营才是持久工作，专业服务则显得尤为重要。

写在最后

开源日志平台有自己独有的魅力和价值，是集众人的智慧结晶，适合研究和创新，而企业级日志分析平台则需要更聚焦、更稳定、更高效。以上内容仅为笔者个人所见，恐有不足和错误，欢迎评论反馈。