写点什么

分词

0 人感兴趣 · 2 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/de/de774f63f029fc4db9c2b0537c1d5225.png?x-oss-process=image/resize,w_416,h_234

ES 终于可以搜到“悟空哥”了!

用户头像
悟空聊架构4 月 21 日

Elasticsearch 搜索引擎内置了很多种分词器,但是对中文分词不友好,所以我们需要借助第三方中文分词工具包。

https://static001.geekbang.org/infoq/22/22dfd3e789134c70d0a442375f1c1cca.png?x-oss-process=image/resize,w_416,h_234

使用 Python 和 SudachiPy 进行日语分词

用户头像
Roc2020 年 5 月 27 日

需要对一些日文进行词频统计,其中主要的技术点就是日语分词。本文使用 Python 和 SudachiPy 库进行日语分词。

分词_分词资料文章-InfoQ写作平台