一个有趣的爬虫经历： nodejs v8.4.0 环境下，处理 4w+数据写入 excel 两天未成功，望大佬们答疑解惑

[betamee]

各位 V 友们，第一次发帖，有个关于 nodejs 的问题请教下，具体记录在这篇帖子里： Issues-记录一次有趣的爬虫经历

简单来讲，就是 nodejs v8 下一下子处理 4w+数据写入 excel 两天都没好。。。

写入 excel 用的是 xlsx 这个库，自己写的处理函数主要用到 map 和 Object.assign，就是将数据格式化，再用 xlsx 处理。

之前的 9k 多数据几个小时就好，数据量更小的话几分钟也能好，所以排除代码的问题。

这个情况有点纠结啊，是不是 nodejs 下一次处理 4w+数据有问题？ ==

[oott123]

你居然等了两天？？？

[ReVanTis]

先写 csv 再想办法转吧

[betamee]

@oott123 对.....挂在电脑上跑了两天都没有好......

[betamee]

@ReVanTis 当时也没考虑很多，直接用了 xlxs 库，数据小可以用，数据大了就 gg。就想知道这背后发生了什么(ﾟ o ﾟ;;

[lamada]

首先处理大量数据可以考虑分段，或者流的形式处理。

[betamee]

@lamada 嗯嗯，现在看来得做一下修改了🤣

[lamada]

或者拆分成多个子进程处理，这样哪一段数据有问题也更容易定位。看人家也有提 issue 说处理大量数据会有各种问题。其实用其他语言像 java 处理也不是很难，感觉会跟合适一点，有成熟的库，搭个本地服务器处理一下就好。

[betamee]

@lamada 嗯嗯，这几天赶工期准备先减少数据量把数据搞完再说，之后再好好研究下爬虫数据处理的问题。感谢老哥的建议👀

[kingme]

Object.assign 不要用。我记得京东那个基于 electron 的 excel 数据清理软件有提到，这里有性能问题

[fqzz]

27: .reduce((prev, next) => Object.assign({}, prev, { [next.position]: { v: next.v } }), {});
光算时间的话 Object.assign 是 O(n) 的时间复杂度，这 reduce 下去 O(n*n)。
并且每次 assign 都是生成一个新对象，你可以测一下生成 4W 个 object 要多久，并且在每个 obj 上加上 2w 的属性 。