V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
veike
V2EX  ›  自然语言处理

V 站的中分分词怎么能做到如此之快的

  •  
  •   veike · 2019-03-26 10:53:35 +08:00 · 21236 次点击
    这是一个创建于 2104 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前使用了 php jieba 分词,加载了自己的词库,14 万行的词库,速度太慢。 有什么好的解决方法吗?

    2 条回复    2020-08-28 00:27:24 +08:00
    veike
        1
    veike  
    OP
       2019-03-26 13:05:40 +08:00
    那我就自问自答一波了。使用 swoole 搭建一个 http 服务器,加载字典的步骤在启动 swoole http 服务器的时候就执行。速度杠杠的。swoole 太牛逼了。现在别说 100000 行的字典,20 万行的字典都没有问题了。
    KalaSearch
        2
    KalaSearch  
       2020-08-28 00:27:24 +08:00
    好久的贴,顺手答一波

    词库加载速度和分词速度应该分开来算,词库一般加载后就 singleton 一直用了。单个分词速度可以试试不同分词器来算一下。

    如果分词的作用是做搜索的话,我会建议

    1. 不要把分词搞太复杂,需要高精度分词才能达到优秀结果的搜索引擎体验不会好
    2. 主要把工作在索引的时候做完

    如果感觉分词头疼,就是需要个搜索引擎用,也懒得维护个 ES 之类,可以考虑我们做的卡拉搜索
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2447 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 15:54 · PVG 23:54 · LAX 07:54 · JFK 10:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.