分词_分词资料文章-InfoQ写作平台

全部标签 



写点什么

登录注册

分词

0 人感兴趣 · 2 次引用

关注

最新
推荐

https://static001.geekbang.org/infoq/de/de774f63f029fc4db9c2b0537c1d5225.png?x-oss-process=image/resize,w_416,h_234

ES 终于可以搜到“悟空哥”了！

悟空聊架构4 月 21 日

Elasticsearch 搜索引擎内置了很多种分词器，但是对中文分词不友好，所以我们需要借助第三方中文分词工具包。

中文分词 elasticsearch 分词 ES ik

https://static001.geekbang.org/infoq/22/22dfd3e789134c70d0a442375f1c1cca.png?x-oss-process=image/resize,w_416,h_234

使用 Python 和 SudachiPy 进行日语分词

Roc2020 年 5 月 27 日

需要对一些日文进行词频统计，其中主要的技术点就是日语分词。本文使用 Python 和 SudachiPy 库进行日语分词。

Python 日语分词