V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Get Google Chrome
Vimium · 在 Chrome 里使用 vim 快捷键
ClericPy
V2EX  ›  Chrome

Linux 下 Chromium 的两个问题, 有关下载以及虚拟内存过大

  •  
  •   ClericPy · 2021-03-07 20:36:06 +08:00 · 976 次点击
    这是一个创建于 1117 天前的主题,其中的信息可能已经有所发展或是发生改变。
    1. 下载方面

    我是在 https://omahaproxy.appspot.com/ 这里查找最新的 stable 版本, 然后在 https://commondatastorage.googleapis.com/chromium-browser-snapshots/index.html 这里找到特定的版本, 六位数字的那个不确定是分支号还是什么号. 每次 stable 版本都找不到, 是因为 stable 版本都变成 Chrome 了吗?

    之所以要下 Linux 编译好的通用版本, 主要还是更新比较方便, 直接 unzip 就可以用了, Chrome 的话安装起来不如这种绿色版简单. 因为机器数量不一定, 没法一个个安装, 所以目前是通过挂 NAS 共享盘的方式来启动 Chromium 的

    2. 虚拟内存方面

    Chromium 内存已经比较可控了, 平时写爬虫单 Tab 物理内存最少 50 MB 左右, 多的时候 100 出头(屏蔽了图片, css, 视频). 然而虚拟内存直接飙升到几十 GB. 88 版本以前处理一些页面逻辑比较多的(Facebook 登录后) 虚拟内存能到 20GB+, 然而 89 版本以后, 直接 40GB+ 虚拟内存了, 这个用了各种命令行参数都没成功降下来

    主要是跑在 Hadoop Streaming 上面的一些爬虫, 物理虚拟内存比例已经调整到 1:20 了, 还是不靠谱, 也不敢完全放开内存限制.
    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5305 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 09:05 · PVG 17:05 · LAX 02:05 · JFK 05:05
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.