为什么痴迷排名？

中华文化基因的问题。我相信有些读者会说海外也看排名啊，的确如此，然而万事怕细节，而不是黑与白。如果有读者真正的生活在西方社会或者常年与海外作业务合作，就会发现排名在做决策中的地位和投资回报的平衡中，中华文化与西方文化有量和质的区别。

之所以说是传统文化基因的问题，可以追溯到中国的第五大发明：科举制度。自隋唐以来，科举这个一千又五百年的社会发明，影响深远超另四大发明。科举制度的一个特点就是考取与没有考取，进士榜单上的排名会直接影响一个人的一生，以至于一个家族的兴衰。有一些社会阅历的读者，了解些许苦读的艰难，经历多次被否定的挫折，设身处地到范进的生活空间中，多年一朝得中，喜若狂人绝对是正常的反应。不展开了，推荐两本书：瞿同祖的《清代地方政府》和张仲礼的《中国绅士研究》。

如果说科举制度离我们太遥远没有感觉的话，那 99%的读者应该经过那个叫高考的东西（保送清北复交浙的那几位朋友请主动退下），80%的读者应该做过招聘相关的工作。当看到一个候选人的背景和简历的时候，你第一眼看的是不是学校？标准术语：第一学历决定论。人为划定的 985，211，Top2，C9，既有很多主观性和偶然性，又被用人单位作为最主要的硬件指标。

在简历上一个 985 毕业的学生，不管是考公考教职，还是进入大厂，都会很轻松的跨过简历筛选的第一关，甚至是负责招聘的 HR 的重要 KPI。而能力很强但是第一学历不够“好”学生就非常辛苦，他们投递简历的过程便是挫折教育了。

这就是现实情况，也是我们工作中常用的方法。不是黑与白的对错问题，而是在有限的精力资源和有限的信息获取途径下，做了招聘者认可的合理的取舍。

我们理解一个数据库也是如此。就好像很多面试官或没有能力或没有精力去评价全面评价一个 985 与一个二本学生的真正工作能力，大部分用户包括圈内的数据库专家，也许没有能力和没有权限去看数据库内核的 code，也许没有时间或资源去试水和实际使用的诸多数据。于是我们就看的榜单，这也是一个合理的取舍。

一、Gartner 数据库魔力象限 ⭐⭐⭐⭐⭐

• 国际影响力：5

• 国内影响力：5

• 投入成本：5

• 费用/成本：几十万美金

• 认可度/趋势：最高/保持

• 透明度：3

• 特点：商业性

Gartner

全称《云数据库管理系统魔力象限》Magic Quadrant for Cloud Database Management Systems。

魔力象限 2023 在 12 月中旬发布，算是数据库圈中最近两三个月的一件大事儿了。各种硬文软文很多已经走了三轮了。排在比较高或者上升趋势的厂家肯定会极力的推崇，而排的较低尤其是走下降趋势的自然会低调处理。同样是“荣誉提及”已经是几家欢乐几家愁了。

在诸多咨询公司中（IDC, Forrester）, 魔力象限是数据库厂家最重视的。这是一个相辅相成的过程，就好像世界杯必须有巴西阿根廷一样。同时它评估的特点很重视商业的成功，也就是执行力。所以我们不会看到开源产项目，如 MySQL, PostgreSQL, Spark, 而是其相关的商业公司。

同时这一个榜单也是历时几十年的演变过程，倾向于比较传统的保守，其规则黑盒主观因素不少，但公允性的口碑又很不错。顺便说一个路边社的八卦。大部分圈内人士也都没有注意到：惯例是 12 月中旬正式发布，也就是今年的 12 月 15 号。但是本次推迟到了而是转到了第 2 周，这在欧美环境中其实是不多的，因为那一周按理说都已经放假，大家回家玩去了。路边社消息是某一个厂家对于排名或者说评价有质疑，所以耽误了一点时间。另一个数据可以看到，他这个报告中有一个微小的错误。魔力象限上只列了 19 个，而在第 3 页中还是说的 20。

二、TPC benchmark ⭐⭐⭐⭐

• 国际影响力：4

• 国内影响力：4

• 投入成本：5

• 组织者费用：5～20 万美金 （真实成本：$1M+)

• 认可度/趋势：中高/下降

• 透明度：5 (https://www.tpc.org/tpc_documents_current_versions/current_specifications5.asp)

• 特点：考察性价比

TPC benchmark

大家经常提及的关系数据库跑分就是 TPC-C(1992), TPC-H(1999), TPC-E(2006)和 TPC-DS(2011)。其中 TPC-C(还有 SysBench)和 TPC-H 使用的相对较多。尽管 TPC 与时共进的增添了大数据，IOT 等新的 benchmark, 其权威性都无法追上上面列举的 90 年代和 00 年代的辉煌。具体国内的情况，上世纪的 TPCC 和 TPCH 更“火”一些，其中一个重要原因是：TPC-C 和 TPC-H 是相对（TPC-E 和 TPC-DS）简单的 TP 和 AP benchmark，比较容易满足审核要求。

审核其实是上榜 TPC 的关键。TPC 提供数据表格 schema 和数据生成标准，和测试要求，但不提供测试框架。运行 TPC-C 容易，搭建满足审核要求的测试框架难。而且，由于 TPC 在过去十多年中趋于下降，硅谷的公司很少花钱参与正式的评测和审核。其 auditor 只剩下一个，又形成了事实上的“垄断”。

国内公司正式打榜的时候，就会面临多重困难。硬实力方面，比如数据库能力，资源的使用，SQL 语法的兼容，能否长时间稳定运行，测试框架是否 robust; 软实力方面，如何同 auditor 沟通，三五次反复测试，根据反馈改动数据库引擎和测试框架。所以打一次榜的成本非常高，包括硬件，数据库内核开发，测试框架开发，auditor 费用等等。笔者曾经问过打榜成功的朋友，据说如果希望结果能拿得出手的话，预算要到(rmb)千万级。

当然，门槛高的好处是，一担上榜，就证明了该数据库的整体实力在国内进入第一集团。

三、DB-Engine ⭐⭐⭐

• 国际影响力：4

• 国内影响力：4

• 投入成本：1

• 组织者费用：几百～几千美金

• 认可度/趋势：中/上升

• 透明度：5 （https://db-engines.com/en/ranking_definition）

• 特点：兼并包容 （417 systems in ranking, Feb 2024）

DB-Engine

DB-Engine 体现的是人气（popularity）。如果想加入评比（而数据库本身又比较小众的话），手续非常简单，它会收的收费 $500~600 的入场费。这是 2019～20 标准，笔者团队就是这样把某大厂核心数据库搬上的。DB-Engine 的另一个收入就是广告，费用不菲，也透明（https://db-engines.com/en/services）

具体排名算法也是很透明的，用网站上提及系统的次数，以搜索引擎查询中的结果数正则化（normalization）来衡量，包括：

• 搜索引擎 Google 和 Bing

• 普遍感兴趣 Google Trends

• 技术论坛讨论 Stack Overflow 和 DBA Stack Exchange

• 工作机会 Indeed 和 Simply Hired

• 职业技能 Linkedin

• 社交媒体 Twitter(X)

上面的算法，在规则透明的基础上，造成了两大偏差和一个落后：

• 第一，不考虑数据库系统背后的商业支持，所以通常是开源的 MySQL 和 PG 各领风骚，而商业成功的如 Aurora(48)和 Snowflake(9)不可能称为年度数据库；

• 第二，大家也就理解为什么主打国内本土市场的数据库在排名上的落后， 排名最高的 TiDB（80）全力海外市场 3～4 年，TDEngine 在其 CEO 两年主攻海外的情况先还在百名之外，国内大厂领跑者 PolarDB(276)和 OpenGuass(177)是在 popularity 的维度，是无足轻重的地位。作为重要的补充，我们可以参考下面这个排名。

• 第三，多年积累的声誉，也是其发展的累赘。比如没有包括新的 hacknews, discord, slack。

四、墨天轮数据库 ⭐⭐

全名《墨天轮中国数据库流行度排行》

• 国际影响力：0

• 国内影响力：4

• 投入成本：2

• 组织者费用：未知

• 国内认可度/趋势：中高/增加

• 透明度：5 （https://www.modb.pro/db/189802）

• 特点：面向国产/国内数据库

墨天轮

墨天轮同样体现人气，设计和算法与 DB-Engine 基本一致， 2024 年 2 月报告包括 290 个数据库。数据从九个维度计算：搜索引擎（百度、必应、谷歌），趋势指数（微信指数、百度指数、谷歌趋势、360 趋势数据）， 资质数量， 核心案例数（摩天轮自己整理），专利数，论文数（《中国计算机学会推荐国际学术会议和期刊目录（2022）》），招聘岗位数（51JOB），书籍（摩天轮自己整理），墨天轮内容数量。

与 DB-Engine 相比，摩天轮对于国内本土数据库的评价更加完善，是有益的补充。同时也有两大偏差和一个缺憾：

• 第一， （对比 DB-Engine)表面上维度多了，数据全面了。但其可操作空间也多了。比如专利，IBM 的专利一直是领先的，但其数据库在过去 20 年的颓势明显，而且开源社区大部分是不写专利的。

• 第二，墨天轮的公允性。数据中有 1/3 是摩天轮自己整理或者就在自己的平台上，同时该公司自己的数据库也参与评比。作为裁判，即定规则，并且提供原始数据，又亲自下场比赛，没有遵循第三方的回避原则。

• 第三，非常遗憾，没有公布其他非本土数据库在其算法中的分数和排名（这里不应该有任何技术难度）。大概是没有对比就没有伤害吧。举个例子，作为资深球迷，中国（特指男子）足球队打败多少次香港或台湾队（还不一定能打败省队），都不如一年前输给越南和最近亚洲杯一球不进，让我们体会到差距。

缺憾归缺憾。爱因斯坦说：“所有的东西的是相对的” （老爱：我说过吗？）。摩天轮的排名在面向国内本土数据库方面，是权威的，有参考价值的。期待它能摆脱主观因素，更进一步。

五、尾巴

Disclaimer: 关于上面的四个评比，前三个笔者都有第一手经验， 第四个墨天轮没有亲力亲为，体感有限。

排名是一个数据库系统成熟性的门槛，也是客户选择的重要参考指标。然而过度迷信排名，将驱使开发者去研究排名算法，比如买百度热点，或针对二十年前的 TPC 标准设计数据库（TPC 的一个重要的问题是 pre-Cloud 的标准）。最终似乎公允透明的排名，成为生产力发展的阻碍。如同科举，曾经是中国政府活动中最为重视，最为公平的制度，时过境迁，也不可避免的成为阻碍中国发展富强的鸿沟。

写在最后：本文的部分思路是在河北省图书馆完成的。假期期间，需要排队抢座位，学子们（大部分是小，初，高中生）继续着通往高考的努力。

原文：https://mp.weixin.qq.com/s/52siSIW1UdA1mpIOktrrbg

作者：Ni Demai