nodejs 插入 ElasticSearch 的 api 操作直接异步执行了，插入数据太多 如何保持低速比较好
whereabouts · 2018-07-28 11:46:43 +08:00 · 1949 次点击这是一个创建于 2310 天前的主题，其中的信息可能已经有所发展或是发生改变。
用了 ElasticSearch 官方的 nodejs 包，发现
ElasticSearchClient.index({
index; "name",
type: "name",
body: someJson},
function(err, resp, status){ dosomething..}
});
是直接异步执行了，对于数据仓库几千万行直接就蹦了，循环插入就机器资源撑不住。
希望能保持每时每刻并发插入几百个，每个插入线程（形容不准确）插入完了再插入下一个，类似线程池的概念。
NodeJs 有什么比较好的方法吗？
ElasticSearchClient.index({
index; "name",
type: "name",
body: someJson},
function(err, resp, status){ dosomething..}
});
是直接异步执行了，对于数据仓库几千万行直接就蹦了，循环插入就机器资源撑不住。
希望能保持每时每刻并发插入几百个，每个插入线程（形容不准确）插入完了再插入下一个，类似线程池的概念。
NodeJs 有什么比较好的方法吗？
 |
1
richard1122 2018-07-28 12:47:18 +08:00 via iPhone  1
|
 |
2
ctsed 2018-07-28 12:47:37 +08:00 via Android
async.js queue
|
 |
3
hcymk2 2018-07-28 13:12:15 +08:00
bulk
|
 |
4
noe132 2018-07-28 15:49:41 +08:00 1
我之前写的一个异步队列的程序，
用的是 TokenBucket + 并发控制， TokenBucket 就是基础的令牌桶，我用 ts 简单实现的。 https://gist.github.com/noe132/a7885918ab4fb083ea5ce0316b6f11a2 通过 TokenBucket 来限制任务的最大并发速度 通过 concurrecy 来限制异步队列的最大数目 这样并发数能控制下来， 异步队列也不会一次推入过多爆掉 判断没有任务可做，并且 concurrency 为 0 时就做完了，就可以调用 tokenBucket.destroyed()销毁定时器。 还可以自己封装一下，提高抽象级别 |
|
5
noe132 2018-07-28 15:51:49 +08:00 1
我写了个滑动窗口测速，上面的并发限制基本很准，误差在±5%左右，和 token bucket 的一些参数有关。
|
 |
6
RqPS6rhmP3Nyn3Tm 2018-07-28 17:22:05 +08:00 via iPhone
bulk
最差也能 promise 串一遍 |
Select Language