前排问一下，一直说的『单表超过 x 千万后，效率瞬间下降』，是因为 B+ 树层数变高（这个量级应该是 3 层变为 4 层吧），但缓存没变（比如，只缓存了前两层），导致看起来原本实际进行一次 IO ，现在需要两次，即多一倍耗时？

如果是这样，那楼主看看现在是不是已经 4 层 B+ 树了，若是就不必要分表了？（ 4 层可以容纳上百亿行了吧）

实在不行，上海鲜市场淘个旧旗舰呗。比如小米 8 骁龙 845 好像三四百就可以买到了

肯定存时间戳啊

时区问题这么复杂，你确定数据库真的都能处理好了？

万一以后中国又实行夏令时，你数据库咋处理。。

感觉 WinRAR 的恢复记录功能，会对你有帮助（如果不想压缩一遍再添加恢复记录，可用类似的独立功能软件，如 MultiPar ）

如，设定生成 3% 的恢复记录，允许你出错最多不超过 3% 的情况下，恢复原文件

既能帮你验证文件，又能修补你说的复制出错，还能一定程度预防存储出错（当然，肯定多份备份更好）

@LuckyPocketWatch Python 有个 lxml 库*（该库是对 libxml2 的包装，速度很快）*，支持你说的『不需要解析树，查询某个节点』场景（ SAX ）

文档地址： https://lxml.de/tutorial.html#event-driven-parsing


另外，不考虑转成数据库嘛？我觉得这个场景，SQLite 的速度都能吊打 XML 。。

上百 GB 的 XML ，咋修改某些节点？

若要在偏开头位置插入一字节的数据（或实际等效操作，如 999 修改为 1000 ），岂不要整个 100GB 往后挪 1 字节？？

@superchijinpeng 你们现在有什么 5G 的应用场景吗？

我是 K40 ，支持 5G ，但开了后耗电，且网络体验提升不大（即，原来 4G 够用）

总觉得当前 5G 不是手机的刚需

@monetto 9 楼给的官方文档说了，一个 connection 内同时读写的行为是未定义的。即，按道理，是有问题的

你试试每个线程一个 connection ？

我这里测试没崩啊

Windows 10
Python 3.10
PyCharm 2021

另外，根据[文档]( https://sqlite.org/isolation.html )所说，你不应该在同一个连接内同时读写数据库，此行为未定义

最后，贴代码起码用下 Markdown 啊。回复用不了就算了，帖子还不用。。

我目前使用以下方式，在资源管理器中，通过 Z 盘访问安卓手机的 /sdcard：

- 安卓端 Termux 上启动 `sshd`
- 电脑端 cmd 运行 `net use Z: \\sshfs.kr\192.168.1.2!8022\storage\emulated\0`


前提：

1. Windows 安装 [SSHFS-Win]( https://github.com/winfsp/sshfs-win )
2. Windows SSH 公钥已放入 Termux 的 `~/.ssh/authorized_keys`

@zzl22100048

> 高并发下有概率出现读取 tcp 流的异常和 broken pipe 异常；

Emm 。。反正我做了错误检测，超时 /错了就重试。也不知道频不频繁


> session 不能携带之前的 cookie ；

也没注意这个问题，因为爬的小说不要求登录。。

@dfgddgf 感觉脚本语言的网络库、正则库、网页解析库等，底层应该都是 C/C++ 实现的吧

Python 、Perl 、Ruby 速度应该差不多的

perl 好像是文本处理较为优势，听说搞生物的常用？

@dfgddgf 你在上一个帖子的意思，不是『如何用最少的人工，写出速度最快的爬虫』嘛

感觉你有几亿数十亿页面要爬取解析来着。。

所以想看看你最后，是如何用最优雅的姿势，写出最能压榨机器性能的爬虫的

@dfgddgf 你本地测试，平均每秒能爬下来并解析多少页面呢

想看看这 perl 的效率如何

每秒大概能爬多少个页面？

@zzl22100048 有啥 bug 吗？我用这个库爬了好多小说了

@dfgddgf 我提供一个 Python 异步 + 多线程 的数据：

环境：Redmi Note 5 （高通骁龙 636 ）的 Linux Deploy 里，Debian 11 arm64 ，Python 3.10 ，百兆 WIFI ，电池供电

流程：sqlite3 读取网址，aiohttp 并发下载多个章节，json 解析，每本书所有章节合并成一个 json ，编码成 UTF-16 ，多线程 lzma 压缩，每一千本保存一个 tar

速度：峰值 700 章节 /秒（每个章节需下载一个页面，大约在凌晨 3 点 ~ 7 点）

@ztoben seek 再 write 能满足吗？

@sunnysab 你 python 用啥做 html 的 parser ？ lxml 的速度也不够吗？

啥意思。。

比如 a.part.1 、a.part.2 、a.part.3 ，每个 1MB ，合并成 3MB 的 a.txt ？

但 a.part.3 有可能写入不完整？

下次继续运行时，需要重新在 a.txt 的 2MB 处，写入 a.part.3 ？