亿级别搜索系统架构与总结

曾任某直播公司，海外直播部，主导搜索系统的开发工作。从刚开始的主播搜索到后面的用户搜索、直播间搜索，游戏搜索等，从 5 个搜索字段到后期的三十多个字段，数据规模也从 100 万到亿级别，技术上由原来简单的数据库 Like 查询，到纯缓存查询，再到最后的复杂 ES 搜索系统。在搜索相关性方面下了功夫，如分词、粗排与精排、搜索联想、搜索纠错与推荐等。在高并发大流量方面也做了精细化的优化，如融断、并行搜索、多级缓存技术等，接受了瞬间 50 倍流量峰值考验。还要接受产品与运营无比复杂的需求迭代开发。结果也表现优秀，产品影响因子 0.25，技术指标 A 或 S 级，三年零事故，特别难。过程还是挺深刻的，也成就了该成就的人或事，积累了一定的经验与技巧，借些机会用来分享，希望你喜欢。

总结原创精品，欢迎慢慢品尝阅读，叙述结构如下：

1.1、为什么选择 ES 作为搜索引擎

1.2、什么是搜索并行技术？

1.3、多级数据缓存技术

1.4、热点数据加载机制

1.5、亿级别增量数据索引技术

1.6、融断机制

1.7、AB-TEST 搜索方案

1.8、搜索相关性

1.8.1、分词技术

1.8.2、搜索纠错系统

1.8.3、搜索评分方案

1.8.4、搜索联想技术

1.8.5、数据精排系统（数据召回）

1.9、辅助推荐系统

2.0、数据清洗技术应用

2.1、技术指标、日志与监控

详情见我的技术博客：

http://goodrain.cc/search-by-es.html?s=infoq