V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
miv
V2EX  ›  奇思妙想

作为一个抠门的人,如何压榨服务器,不然它吃灰?

  •  
  •   miv · 337 天前 · 6930 次点击
    这是一个创建于 337 天前的主题,其中的信息可能已经有所发展或是发生改变。

    买了一个服务器 2u4g 的,之前看我帖子知道。 现在这台服务器还是工作量不饱和啊~

    所以用几天学习了一下 Python 。 这下好了,今晚上线了自己的一个小爬虫。 功能就是抓取一些感兴趣的信息,然后信息落库到 SQLite ,接着发送到邮件通知。 太舒服了~

    58 条回复    2023-05-09 00:38:38 +08:00
    miv
        1
    miv  
    OP
       337 天前
    接着,我给大家分享几本我入手 Python 学习的资料吧。有一样的需求可以收藏:
    1.《 Python3 反爬虫原理与绕过实战》:这本书牛皮,很多反扒都说了,打开小白的眼界了。
    2.《 Python 王者归来》:小白入门好书,挑选其中好看的部分就行,这本书超级全面,啥模块都有介绍。
    3. 《看漫画学 Python 》:愉快的书,消遣可以看看。
    对于不搞那些异步爬虫,分布式爬虫的人的业余人士来说,学这几本可以就差不多了。
    入门门槛低,学习以后让 Python 爬虫帮你干活,也没有消耗很大服务器资源,非常香。
    LeegoYih
        2
    LeegoYih  
       337 天前   ❤️ 1
    面向铁窗编程👍
    miv
        3
    miv  
    OP
       337 天前 via Android
    @LeegoYih 我一小时才抓一次,毛毛雨啦,一次才十几条数据而已,公开的数据。
    hsir
        4
    hsir  
       337 天前
    “感兴趣的信息”.... 有啥值得抓的数据?🤔️
    em70
        5
    em70  
       337 天前
    爬些视频,用 ffmpeg 转码,一下就饱和了
    muzihuaner
        6
    muzihuaner  
       337 天前 via Android
    24h 直播
    imaning
        7
    imaning  
       337 天前
    转码这小鸡怕是要炸。
    locoz
        8
    locoz  
       337 天前 via Android
    你还差个 Python3 网络爬虫开发实战
    HowardChan
        9
    HowardChan  
       337 天前
    装个 k8s 集群
    jacy
        10
    jacy  
       337 天前
    有些服务商的 tos 里不允许长期跑满,小心 ban 机
    artnowben
        11
    artnowben  
       337 天前
    跑个 DPDK 程序,cpu 直接 100%了,例如用 dperf 测一下这个虚拟网卡的性能。
    https://github.com/baidu/dperf
    lakehylia
        12
    lakehylia  
       337 天前
    要不要试试视频转码?
    sheeta
        13
    sheeta  
       337 天前 via Android
    跑 benchmark
    shinko
        14
    shinko  
       337 天前
    还好你不是做老板的人。
    fiht
        15
    fiht  
       337 天前   ❤️ 2
    > 作为一个抠门的人,如何压榨服务器,不然它吃灰?
    这是个很好的问题,也是我最近一段时间一直在思考的事情。

    压榨服务器,不让服务器吃灰,本质上是让服务器发挥价值,创造财富。而楼主提到的 “利用服务器跑爬虫” 就是其中一种让服务器发挥价值的事情。
    还有另外两个典型的低门槛,用计算资源就能创造价值的事情:
    1. 利用闲置的流量 /带宽。一个典型的应用场景是 PCDN ,或者以分享为主的 PT 资源。
    2. 利用限制的算力。比如说挖矿。
    这两个事情无需专业技能就可以上手。

    我也在服务器上投入了不少资源,也在尝试让服务器(计算资源)创造财富,这个是我最近在做的
    1 )学习炼丹技术。尝试用深度学习来简化安全运营里的一些运营工作。提高工作效率,学习新技能,节省时间 == 创造财富。
    2 )针对 bug bounty 做一些自动的安全测试。发现厂商漏洞,提交漏洞,也可以创造财富

    我觉得楼主可以想想,除了让服务器帮助自己学习技能外,怎么使用计算资源为人类创造财富(给自己赚点钱)。


    我快把 V2EX 当知乎用了 QAQ
    nevadax
        16
    nevadax  
       337 天前 via Android   ❤️ 2
    @fiht 那两个低门槛的事情,服务器挂机 pt 会扰乱正常的市场,很多都会 ban 掉。挖矿这个操作,本质就是完全没意义浪费资源的事情,您是真的懂如何资源最大化的。v2ex 当知乎,你猜猜我们为什么不用知乎?搞乱别的环境还好意思说
    Mutoo
        17
    Mutoo  
       337 天前
    作为很抠门的人,我想知道 CPU 由低负载变为高负载的时候电费会增加多少。
    hamsterbase
        18
    hamsterbase  
       337 天前 via iPhone   ❤️ 1
    @fiht 用 ai 回答,会被封号
    fiht
        19
    fiht  
       337 天前   ❤️ 1
    @nevadax
    首先
    1 )服务器挂 PT 会扰乱正常的市场。请解释为何会扰乱正常的市场? VPS 限制资源和使用量,在使用量内使用计算资源,有何不可?
    2 )挖矿是没有意义和浪费资源的事情,这个是你对挖矿的看法。我不辩驳。
    3 )你提到我扰乱别的环境,请详细说明我扰乱什么环境了?

    我在和楼主讨论 “关于如何让限制的资源创造一点价值” 里我的看法,我认为我的答案对别人有帮助 ;-)
    fiht
        20
    fiht  
       337 天前
    @hamsterbase 手敲的哦~
    ODESZA
        21
    ODESZA  
       337 天前
    @LeegoYih 草,给我看笑了
    fiht
        22
    fiht  
       337 天前
    @nevadax
    我指的 “当知乎”是指 “认真的,有条理的回答题主的问题”,并尽量让自己的回复对别人有帮助。;-D
    iOCZ
        23
    iOCZ  
       337 天前
    出租,做毕设啥的
    nevadax
        24
    nevadax  
       337 天前 via Android
    @fiht 扰乱市场不是说 VPS 有问题,而是说 pt 。找找为啥盒子刷 pt 被标记。再说,许多 VPS 都有限制,尤其不允许挖矿,您这不是把人往坑里带啊。
    Drumming
        25
    Drumming  
       337 天前
    卖掉
    miv
        26
    miv  
    OP
       337 天前 via Android
    有台服务器还是很方便。我买一年大概 800 多,够我搞事情了。平时一些东西也会用到。所以算下来还是要搞一台。现在就是要最大化利用了。不然每一天也要花 2 元多的成本。感谢楼上评论,和提供的思路。
    blankmiss
        27
    blankmiss  
       337 天前
    @fiht
    1. PT 需要大口子上传,国内机几乎不支持,就算是国外机,也有可能被标记为盒子
    2.挖矿违反平台规则 会封号
    christin
        28
    christin  
       337 天前
    @fiht 哪家的服务器可以让你挖矿和跑 pt 啊?被查到直接 ban ,你真的跑过吗?
    inhzus
        29
    inhzus  
       337 天前
    当然是 BOINC 捐献自己的计算力给公益项目啦
    tony1890
        30
    tony1890  
       337 天前
    1. 云盘--kod 、nextcloud 等。
    2. 代码仓库--gitea 、gogs 等。
    3. 在线编程--code-server 。
    4. 博客--避免每次碰到同样的问题都需要在互联网的杂乱信息堆里翻有用信息。
    5. docker......
    6. 网站导航
    7. 笔记
    ……
    fiht
        31
    fiht  
       337 天前
    @christin
    回答您的问题
    1. 哪家的服务器可以支持挖矿和跑 PT ,我可以列举一大推 TOS 未禁止挖矿的服务器提供商。
    2. 我真的跑过吗?-我真的跑过

    我希望您可以用更友好的方式来交流 :-)
    kangyue9999
        32
    kangyue9999  
       337 天前 via Android
    电费不要钱吗
    fiht
        33
    fiht  
       337 天前
    @blankmiss 在“如何利用国内的 VPS 的计算资源来创造收益”的话题下,您这个完全没问题。 如果聊到“如何用计算资源来获取收益”的话,我的回复也没有问题,不冲突 😄
    miv
        34
    miv  
    OP
       337 天前
    @kangyue9999 云服务器啊,每天固定 2 块多的成本
    myqoo
        35
    myqoo  
       336 天前
    给诈骗网站做压测
    SimonOne
        36
    SimonOne  
       336 天前
    @blankmiss #27 想问下,为啥 pt 站不欢迎上传带宽高的,本质不是分享资源嘛,有高速度的节点帮助大家怎么还不欢迎呢?难道就是因为会让别的低带宽上传的人拿不到分?
    这感觉就很奇怪啊。
    520discuz
        37
    520discuz  
       336 天前
    如果人人都你这个想法,那以后服务器只会越来越贵。放那吃灰不好吗?你现在能那么便宜买这个配置的服务器,也是因为大家一起吃灰才能得到这么便宜的价格。
    pluto1
        38
    pluto1  
       336 天前 via iPhone
    @SimonOne 在 pt 站这个属于作弊,具体原因的话主要还是不公平之类的吧,当然这个也看 pt 站的政策,有些是直接 ban ,有些是只算 0.2 之类的倍率
    miv
        39
    miv  
    OP
       336 天前
    @520discuz 放着吃灰,你开玩笑吧,你的意思是要我直接给人送钱吗?你这脑回路也是厉害了
    amrice
        40
    amrice  
       336 天前 via Android
    我的 2c4g 挂了好几个 docker
    520discuz
        41
    520discuz  
       336 天前
    @miv 我的意思是,你现在能买的到这么便宜的服务器,就是很多人吃灰(工作量不饱和)你才买的到。如果人人都学你一样想着花些钱就要榨干服务器,你可能又该抱怨为什么服务器那么贵了.
    520discuz
        42
    520discuz  
       336 天前
    虽然云服务器说是独享资源,但是本质上还是共享母鸡资源,如果人人都和你一样抱着榨干的想法,那后果是啥你自己想
    miv
        43
    miv  
    OP
       336 天前
    @520discuz 你想多了,服务商那边有限制的。在限制范围内,你爱怎么搞就这么搞。
    我那个爬虫才 20 多 m 占用,搞 100 个也没问题。买来的东西,就是要给自己创作价值,这才是重要的一点。
    而且也不可能人人和我一样,很多人吃灰的多。
    miv
        44
    miv  
    OP
       336 天前
    @520discuz 你这种想法很伟大,我很赞同你这样去做。
    但是你可以要求自己,但是不要来要求别人。
    nevadax
        45
    nevadax  
       336 天前 via Android   ❤️ 1
    @SimonOne 从贡献的角度来说没问题,主要的问题在于不可持续发展,类似内卷。有人用盒子,正常家用带宽拿不到分,需求还没变(还是需要下载资源的嘛),接下来其他人也会用盒子刷分,造成的结果有两个,一是提高了普通用户门槛,并且变成恶性竞争,二是会占用更多的低配置高带宽 VPS ,进而导致厂商限制(类似于 Oracle 免费 vm 被玩儿坏)。
    kwh
        46
    kwh  
       336 天前
    写一个代理
    nevadax
        47
    nevadax  
       336 天前 via Android
    @miv 我建议换个方向利用资源。真的不推荐极致创造价值的方式(比如挖矿,盒子之类的),确实不是每个人都这样,总有很多机器吃灰的,但如果这种氛围兴起,仍然会破坏环境,到时候那些可以吃灰的机器总会消失的,只是时间问题。

    就好像很多人都在用盗版,国内环境真的不好,小的开发者真没多少人愿意捐赠,但本质来讲,这件事本身不应该这么做。

    扯远了,回到正题,换个方向利用资源,2c4g 对吧?如果你用出了 2c8g ,是不是也算赚到了?上面的资源可以分为两部分,一部分是你规划的,稳定的资源,比如你可以造 blong ,gitea ,图床。另一部分用于探索,比如玩玩 k3s ,整整 harbor ,造造 Jenkins 啥的,这些资源不一定非要实际有用,装着好玩儿就行,扩展新领域。

    内存不够?没事,加块磁盘,挂成 swap ,个人没啥访问量,性能低一些也没啥。
    nevadax
        48
    nevadax  
       336 天前 via Android
    @520discuz 同意
    blankmiss
        49
    blankmiss  
       336 天前
    @SimonOne 下载资源要扣上传 获取上传的方法是下载资源上传,如果一部分人用了盒子,因为盒子的宽带口子大,普通用户根本抢不过盒子,这样盒子用户能拿到绝大部分上传,普通用户只能拿到一点点,每况愈下,普通用户最后都没上传可以下载其他资源
    blankmiss
        50
    blankmiss  
       336 天前
    虽然我也是个不要脸的盒子玩家,机器已经被标记为盒子了
    520discuz
        51
    520discuz  
       336 天前
    @miv 的确回复这个帖子的时候我忘了你标题的那前 8 个字,是我的错。
    SimonOne
        52
    SimonOne  
       336 天前
    @blankmiss #49 所以目的是积分要均富,要大家都有的下,不能垄断在高上传的用户手里。
    那其实完全可以改积分的计算公式(我看好多站本来那公式就很复杂,肯定考虑了一些影响因素的),上传越快积分越多但是增速会越来越慢(随便瞎想个,不是很严谨的,积分获取速度=ln(速率 /基准速率+1)),这样高上传的用户也不用限速防止被 ban ,其他下种的也能快速下完就很开心。pt 站本来是为了分享资源,同时又防止有人光下不分享才出现的,我想这样也没违背初衷吧。
    XXWHCA
        53
    XXWHCA  
       336 天前
    那就参与科研项目运算,造福人类,例如:中国分布式运算 https://equn.com/ 算力拉满保证不吃灰
    miv
        54
    miv  
    OP
       336 天前 via Android   ❤️ 1
    @520discuz 大老言重了,仔细想想,你说的也是很有道理。提供了另外的角度,感谢。
    XuanYuan
        55
    XuanYuan  
       333 天前
    @fiht 所以能否麻烦您列举一大堆未禁止挖矿的服务商?
    Pepsigold
        56
    Pepsigold  
       332 天前
    我说说我吧,同配置,做了 16 垃圾站,卖一个补一个,养一个站差不多一年,能卖 6000 往上!
    fiht
        57
    fiht  
       328 天前
    @XuanYuan 挖矿是个有争议的话题,以 Top 的云厂商为例

    1. AWS: > 我查阅了一下,在 TOS 里没有看到相关的规定。

    2. GCP: > You may not use the Free Trial Services to engage in mining cryptocurrency. You must obtain Google's prior written approval before you can engage in any cryptocurrency mining activities. Blockchain activities that are not resource-intensive, such as Proof of Stake (PoS), do not require verification. (获得许可之后可以挖矿,但是禁止使用免费实例挖矿。)
    reference: https://support.google.com/cloud/answer/7002354?hl=en#zippy=%2Cwhy-was-my-project-flagged-for-cryptocurrency-minin


    3. Azure: > However, on Pay-as-you-go subscription type it does not currently have any terms that prohibit cryptocurrency mining. 免费实例和 Student 的公益实例不能挖矿,付费实例可以用于挖矿。
    reference: https://learn.microsoft.com/en-us/answers/questions/610334/crypto-mining-with-azure
    xiaomoxian
        58
    xiaomoxian  
       324 天前 via Android
    @Pepsigold 备案了吗
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5476 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 08:54 · PVG 16:54 · LAX 01:54 · JFK 04:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.