这是一个创建于 3574 天前的主题，其中的信息可能已经有所发展或是发生改变。
这么说吧，假如你有一段文本，还有一个巨大的关键词库（几十万起步），现在需要从文本中找出这些关键词，甚至要基于关键词对应的值做一些替换，怎么弄？
在这个简单又常见的需求面前，strtr str_replace preg_replace 什么的集体歇菜了，因为词库太大。
scws？一开始我也这么弄的，可惜它只能帮你把词库中的词找出来，不能基于关键词对应的值进行处理。虽然可以利用词库的属性字段，但它只支持两个字节，显然不能满足需求。
在 Google 上找了半天也没找到我需要的轮子，只好自己撸了一个词库工具：
SimpleDict
https://github.com/nowgoo/dict
简单。纯 PHP 实现，不用安装扩展，也不依赖 xcache memcache redis 之类的缓存。
实用。支持大词库，我自己 40W 的词库跑起来轻轻松松。还支持回调式替换哦！
快速。使用了高大上的 trie 树进行匹配，查找耗时跟文本长度相关，跟词库大小关系不大，速度杠杠的。词典保存成二进制文件，使用时只维持一个文件句柄，避免了传统 trie 树内存开销巨大的弊端。
欢迎有需要的朋友试用 :P
在这个简单又常见的需求面前，strtr str_replace preg_replace 什么的集体歇菜了，因为词库太大。
scws？一开始我也这么弄的，可惜它只能帮你把词库中的词找出来，不能基于关键词对应的值进行处理。虽然可以利用词库的属性字段，但它只支持两个字节，显然不能满足需求。
在 Google 上找了半天也没找到我需要的轮子，只好自己撸了一个词库工具：
SimpleDict
https://github.com/nowgoo/dict
简单。纯 PHP 实现，不用安装扩展，也不依赖 xcache memcache redis 之类的缓存。
实用。支持大词库，我自己 40W 的词库跑起来轻轻松松。还支持回调式替换哦！
快速。使用了高大上的 trie 树进行匹配，查找耗时跟文本长度相关，跟词库大小关系不大，速度杠杠的。词典保存成二进制文件，使用时只维持一个文件句柄，避免了传统 trie 树内存开销巨大的弊端。
欢迎有需要的朋友试用 :P
 |
1
kenzi 2014-07-04 07:14:47 +08:00 via Android
多谢，最近正好需要给几个大文件替换不同的内容生成不同的文件。 preg_replace 太慢了
|
 |
3
wgqzlj 2014-07-04 09:06:16 +08:00
这个很赞，star了！
|
 |
4
cornelia 2014-07-04 09:11:25 +08:00
点赞头像,野田妹;-)
|
 |
5
wanjun 2014-07-04 09:12:08 +08:00
我是来看头像的
|
 |
6
jingwentian 2014-07-04 09:26:54 +08:00
准备文本格式的词库的格式: 词语<tab>值
LZ给两个例子我看看吧 已感谢.. |
 |
7
ideaa 2014-07-04 09:56:05 +08:00
刚好要用,赞个
|
 |
8
zjupigeon 2014-07-04 12:42:54 +08:00
php有没有什么好的开源项目，想学习下php
|
 |
9
raincious 2014-07-04 12:52:58 +08:00
求做成Composer兼容的。
|
 |
10
crny520 2014-07-04 12:56:58 +08:00
我冲着头像来的。。
|
 |
11
chijiao 2014-07-04 13:10:56 +08:00
感觉很吊的样子
|
 |
12
star001007 2014-07-29 18:33:05 +08:00
star
|
 |
13
mingyun 2014-11-23 15:50:14 +08:00
nice
|
Select Language