V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Sponsored by
LinkedIn
2000 个不用坐班的远程好工作在召唤你 · 弹性上班不打卡,工作和生活都能拥有
2000 个不用坐班的全球远程工作,帮助 V2EX 的小伙伴开启全新的工作方式。
Promoted by LinkedIn
V2EX  ›  wxf666  ›  全部回复第 1 页 / 共 13 页
回复总数  258
1  2  3  4  5  6  7  8  9  10 ... 13  
20 小时 24 分钟前
回复了 humbass 创建的主题 Node.js 比较好奇大家时间都是怎么存数据库的
肯定存时间戳啊

时区问题这么复杂,你确定数据库真的都能处理好了?

万一以后中国又实行夏令时,你数据库咋处理。。
23 小时 10 分钟前
回复了 lingaolc 创建的主题 问与答 请问如何方便地避免:大文件夹拷贝后,部分文件损坏
感觉 WinRAR 的恢复记录功能,会对你有帮助(如果不想压缩一遍再添加恢复记录,可用类似的独立功能软件,如 MultiPar )

如,设定生成 3% 的恢复记录,允许你出错最多不超过 3% 的情况下,恢复原文件

既能帮你验证文件,又能修补你说的复制出错,还能一定程度预防存储出错(当然,肯定多份备份更好)
@LuckyPocketWatch Python 有个 lxml 库*(该库是对 libxml2 的包装,速度很快)*,支持你说的『不需要解析树,查询某个节点』场景( SAX )

文档地址: https://lxml.de/tutorial.html#event-driven-parsing


另外,不考虑转成数据库嘛?我觉得这个场景,SQLite 的速度都能吊打 XML 。。
上百 GB 的 XML ,咋修改某些节点?

若要在偏开头位置插入一字节的数据(或实际等效操作,如 999 修改为 1000 ),岂不要整个 100GB 往后挪 1 字节??
3 天前
回复了 xuanxiao 创建的主题 Android 小米 12s ultra 和华为 mate50 怎么选
@superchijinpeng 你们现在有什么 5G 的应用场景吗?

我是 K40 ,支持 5G ,但开了后耗电,且网络体验提升不大(即,原来 4G 够用)

总觉得当前 5G 不是手机的刚需
4 天前
回复了 monetto 创建的主题 程序员 Python 操作 SQLite 异常
@monetto 9 楼给的官方文档说了,一个 connection 内同时读写的行为是未定义的。即,按道理,是有问题的

你试试每个线程一个 connection ?
4 天前
回复了 monetto 创建的主题 程序员 Python 操作 SQLite 异常
我这里测试没崩啊

Windows 10
Python 3.10
PyCharm 2021

另外,根据[文档]( https://sqlite.org/isolation.html )所说,你不应该在同一个连接内同时读写数据库,此行为未定义

最后,贴代码起码用下 Markdown 啊。回复用不了就算了,帖子还不用。。
9 天前
回复了 KIRAYOMATO 创建的主题 问与答 安卓和 pc 互传文件的最佳方案?
我目前使用以下方式,在资源管理器中,通过 Z 盘访问安卓手机的 /sdcard:

- 安卓端 Termux 上启动 `sshd`
- 电脑端 cmd 运行 `net use Z: \\sshfs.kr\192.168.1.2!8022\storage\emulated\0`


前提:

1. Windows 安装 [SSHFS-Win]( https://github.com/winfsp/sshfs-win )
2. Windows SSH 公钥已放入 Termux 的 `~/.ssh/authorized_keys`
9 天前
回复了 dfgddgf 创建的主题 程序员 请问最佳的爬虫语言是什么
@zzl22100048

> 高并发下有概率出现读取 tcp 流的异常和 broken pipe 异常;

Emm 。。反正我做了错误检测,超时 /错了就重试。也不知道频不频繁


> session 不能携带之前的 cookie ;

也没注意这个问题,因为爬的小说不要求登录。。
@dfgddgf 感觉脚本语言的网络库、正则库、网页解析库等,底层应该都是 C/C++ 实现的吧

Python 、Perl 、Ruby 速度应该差不多的

perl 好像是文本处理较为优势,听说搞生物的常用?
@dfgddgf 你在上一个帖子的意思,不是『如何用最少的人工,写出速度最快的爬虫』嘛

感觉你有几亿数十亿页面要爬取解析来着。。

所以想看看你最后,是如何用最优雅的姿势,写出最能压榨机器性能的爬虫的
@dfgddgf 你本地测试,平均每秒能爬下来并解析多少页面呢

想看看这 perl 的效率如何
每秒大概能爬多少个页面?
9 天前
回复了 dfgddgf 创建的主题 程序员 请问最佳的爬虫语言是什么
@zzl22100048 有啥 bug 吗?我用这个库爬了好多小说了

@dfgddgf 我提供一个 Python 异步 + 多线程 的数据:

环境:Redmi Note 5 (高通骁龙 636 )的 Linux Deploy 里,Debian 11 arm64 ,Python 3.10 ,百兆 WIFI ,电池供电

流程:sqlite3 读取网址,aiohttp 并发下载多个章节,json 解析,每本书所有章节合并成一个 json ,编码成 UTF-16 ,多线程 lzma 压缩,每一千本保存一个 tar

速度:峰值 700 章节 /秒(每个章节需下载一个页面,大约在凌晨 3 点 ~ 7 点)
9 天前
回复了 ztoben 创建的主题 Python Python 如何删除文件中指定范围的内容?
@ztoben seek 再 write 能满足吗?
9 天前
回复了 dfgddgf 创建的主题 程序员 请问最佳的爬虫语言是什么
@sunnysab 你 python 用啥做 html 的 parser ? lxml 的速度也不够吗?
9 天前
回复了 ztoben 创建的主题 Python Python 如何删除文件中指定范围的内容?
啥意思。。

比如 a.part.1 、a.part.2 、a.part.3 ,每个 1MB ,合并成 3MB 的 a.txt ?

但 a.part.3 有可能写入不完整?

下次继续运行时,需要重新在 a.txt 的 2MB 处,写入 a.part.3 ?
9 天前
回复了 sickick 创建的主题 Python lstrip()问题
[文档]( https://docs.python.org/zh-cn/3/library/stdtypes.html?highlight=lstrip#str.lstrip )说:

> 实际上 chars 参数并非指定单个前缀;而是会移除参数值的所有组合

因为 'o' in "/root/kyApi/wwwroot/transfer/avatar-",所以也会移除

> 参见 [str.removeprefix()]( https://docs.python.org/zh-cn/3/library/stdtypes.html?highlight=lstrip#str.removeprefix ) ,该方法将删除单个前缀字符串,而不是全部给定集合中的字符

你应该想用 str.removeprefix("/root/kyApi/wwwroot/transfer/avatar-")
9 天前
回复了 wanqiuyao 创建的主题 Android 现安卓手机信号这块哪个品牌好一点
@cweijan 你们现在一般用 5G 干啥?

我开了 5G ,耗电变快了,但网络体验没有提高太多(原来 4G 也够用)
9 天前
回复了 maichaide 创建的主题 Linux Linux 下好用的磁盘空间分析应用 baobab
感觉 ncdu 和这个很像
1  2  3  4  5  6  7  8  9  10 ... 13  
关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2416 人在线   最高记录 5497   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 88ms · UTC 04:03 · PVG 12:03 · LAX 21:03 · JFK 00:03
Developed with CodeLauncher
♥ Do have faith in what you're doing.