怎么从 ES 中取出 20w 数据

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› elasticseaerch-analysis-ik

这是一个创建于 2284 天前的主题，其中的信息可能已经有所发展或是发生改变。

10 条回复 • 2020-09-29 20:23:28 +08:00

Evan0302

2018-09-19 23:32:36 +08:00

最好一次性取出来

windfarer

2018-09-19 23:45:53 +08:00 via Android

prolic

2018-09-19 23:55:06 +08:00 via Android

search after 还是 after search 来的

ClutchBear

2018-09-20 09:19:08 +08:00

es 我记得一次性最多取一万条.
没法一次性的,
只能用 scroll

qinxi

2018-09-20 13:54:15 +08:00

@ClutchBear 1W 是默认值可以改

reself

2018-09-20 19:35:52 +08:00 via Android

@qinxi 不管是 1w 还是多少，search api 禁止深翻页。获取数据请用 scroll。

Evan0302

2018-09-20 21:10:15 +08:00

公司业务坑爹啊，之前用的 redis:keys。。。。

rmrdf

2019-03-05 10:20:59 +08:00

还是用 scroll 分页查询吧,20w 条很快的

demohjw

2020-09-18 08:43:52 +08:00

@rmrdf 我这边 20 万条，通过 scroll 分页查询取出来，需要 20 多秒，这也太慢了，mysql20 万数据返回都不到 1 秒，这是什么原因呢，我的 es 配置，8 核，8G,能告知一下不

rmrdf

2020-09-29 20:23:28 +08:00

@demohjw scroll size 设置 1w 20s 有点久。。。