这是一个创建于 5245 天前的主题，其中的信息可能已经有所发展或是发生改变。
Index and Search Server:
Tokyo Dystopia http://1978th.net/tokyodystopia/
API Server:
Tornado: http://www.tornadoweb.org/
及用来起到加速目的的 Nginx 和 Memcached。
Tokyo Dystopia http://1978th.net/tokyodystopia/
API Server:
Tornado: http://www.tornadoweb.org/
及用来起到加速目的的 Nginx 和 Memcached。
 |
1
Livid MOD OP |
|
2
Livid MOD OP |
 |
3
gonbo 2010-07-22 09:23:46 +08:00
呵呵，分词怎么做的？
|
|
4
Livid MOD OP N-gram
|
|
5
gonbo 2010-07-22 09:34:53 +08:00
这个，聊胜于无
|
|
6
gonbo 2010-07-22 09:35:39 +08:00
当然 search不是社区的主要功能，不提供也可以。呵呵
|
 |
7
Kenyth 2010-07-22 10:19:07 +08:00
跟我之前了解到的全文搜索方案有点不一样。
你的方案应该不全是在GAE上实现的吧？ 其他的server是host在什么地方的呢？ |
|
8
Livid MOD OP 在另一个云里。
|
|
9
Kenyth 2010-07-22 10:28:20 +08:00
是在Amazon的云里吗？
|
|
10
Kenyth 2010-07-22 10:37:28 +08:00
还有你的index server是怎么访问这个v2ex的数据的呢，直接开的HTTP的API？ 这样要达到近似于实时索引应该要用掉不少GAE上的quota吧？
还是你已经开始用Google Storage（没用过这个，不太了解）来访问了？ |
 |
11
areless 2010-07-22 11:39:47 +08:00
sphinx现在有realtime了。
|
|
12
Livid MOD OP 2.4.0 时这部分通讯代码会开源的。
|
|
13
Kenyth 2010-07-22 12:56:43 +08:00
可以有的一种方案是：
<ul> <li>Storage用独立的方案（Google的、Amazon的或者其他的，我总觉得GAE的datastore有性能问题，GAE上quota太容易就用掉了） <li>处理一个数据变更请求时异步的ping一下索引服务器，索引服务器再去异步的访问storage并建立索引 </ul> 云一出来，跨云的解决方案也一并出来了。 |
 |
14
cnleoyang 2010-07-22 13:12:02 +08:00
|
|
15
Livid MOD OP 一个贴子连上回复通常数据流量是不会超过 10K 的。
|
 |
16
lin 2010-07-23 12:09:40 +08:00
我对这些东西完全不懂，但是刚才无意中看到有一篇叫
full text search on app engine 的东西： http://www.ultrasaurus.com/sarahblog/2010/06/full-text-search-on-app-engine/ 不知道有没有什么价值，先贴上来。 |
 |
18
oldgun 2010-07-24 16:27:07 +08:00
|
Select Language