首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
广告
0o0O0o0O0o
V2EX  ›  分享创造

试着开放一个免费的微信公众号的 RSS 服务

  •  4      
  •   0o0O0o0O0o · 2020-09-19 18:20:22 +08:00 · 26568 次点击
    这是一个创建于 1525 天前的主题，其中的信息可能已经有所发展或是发生改变。

    众所周知，微信公众号比较封闭，爬取也有一定门槛，一些常用的订阅方案经常需要多安装一个 APP，对于 RSS 用户来说很不友好，加上如今订阅号的推送也是乱序时间轴的，作为在推荐算法的重重包围下做挣扎的一员，做了一个订阅提醒的服务，希望在此借助 Github 为同好提供有限的订阅服务。

    目前比较简陋，只有标题、发布时间和链接，因为我出发点就仅仅是提醒😓，如果将来需要摘要、缩略图的朋友比较多会考虑加上。

    如需新增公众号请提 pr，RSS 文件定时自动更新到 github/gitee 。

    希望能帮到有需要的人。

    github 地址: → 传送门

    第 1 条附言  ·  2020-09-20 19:47:22 +08:00
    gitee 同步也做好了
  • RSS
  • GitHub
  • 订阅
  • 公众
    80 条回复  •  2021-08-21 14:51:40 +08:00
    codeforyou
        1
    codeforyou  
       2020-09-19 19:41:18 +08:00
    你是如何爬取到数据的？
    0o0O0o0O0o
        2
    0o0O0o0O0o  
    OP
       2020-09-19 19:54:41 +08:00 via iPhone   ❤️ 4
    @codeforyou

    #1

    虚假且有法律风险的回答：逆向了 wechat

    真实：全部是我一条一条手动抄录的

    👀
    chotow
        3
    chotow  
       2020-09-19 20:21:28 +08:00
    GitHub 的默认分支虽然以后要改成 main，但这是一个配置项，你可以手动修改：
    https://github.com/settings/repositories
    改过后就不用担心未来会被「强制」修改。
    0o0O0o0O0o
        4
    0o0O0o0O0o  
    OP
       2020-09-19 20:40:10 +08:00 via iPhone
    @chotow

    #3

    啊…感谢科普，是我想当然了
    zdb1115
        5
    zdb1115  
       2020-09-19 22:55:48 +08:00
    谢谢 试用一下
    pC0oc4EbCSsJUy4W
        6
    pC0oc4EbCSsJUy4W  
       2020-09-19 23:01:55 +08:00
    RSShub 支持吗?
    0o0O0o0O0o
        7
    0o0O0o0O0o  
    OP
       2020-09-19 23:04:06 +08:00
    @zdb1115

    #5

    欢迎提 pr 添加你想订阅的公众号~
    0o0O0o0O0o
        8
    0o0O0o0O0o  
    OP
       2020-09-19 23:13:04 +08:00
    @fatelight

    #6

    🤝我也是 RSSHub 用户

    RSSHub 是一种 RSS 生成器，这个的实现逻辑不太方便基于 RSSHub 实现，相当于我已经生成好了订阅源文件，通过 github/gitee 来更新，没太搞懂 RSSHub 的介入点，或许等足够稳定之后可以自荐到 RSSHub 收录的路由页面~
    x9sec
        9
    x9sec  
       2020-09-19 23:38:25 +08:00
    方便分享下爬取思路吗？企鹅：MTY0OTg4MDk4OA==
    imdong
        10
    imdong  
       2020-09-19 23:48:04 +08:00
    思路大概有两个，一个如一楼大神所说，逆向客户端，另一个思路是搜狗搜索吧。

    另：

    crontab 0 0 0 * * send "楼主服务关闭了没？"
    BetterSci
        11
    BetterSci  
       2020-09-20 07:29:42 +08:00
    想订阅的公众号：MeetChem
    化学教育期刊
    共享化学
    BetterSci
        12
    BetterSci  
       2020-09-20 07:35:44 +08:00
    bizid：MzIxOTI2MDQ5Mw==
    iiusky
        13
    iiusky  
       2020-09-20 09:38:20 +08:00 via Android
    微信 rss 还是小众用户。。我是自己需要，所以搞了一个。v 站有一些小伙伴也用过。🌚
    0o0O0o0O0o
        14
    0o0O0o0O0o  
    OP
       2020-09-20 11:31:29 +08:00
    @BetterSci

    #11

    我用你的需求做了个图文教程来示范如何添加公众号（截图截到手酸😓），你可以看一下（例如 Better 化学大本营 已经同步了一次了可以订阅了）

    都是在网页上操作，你可以自己尝试着添加 化学教育期刊 或者其他公众号🤝
    scottyeung
        15
    scottyeung  
       2020-09-20 13:19:43 +08:00
    好活！之前我也有这样的想法，但是数据来源不好弄就放弃了
    star 一个字词一下
    nnxs
        16
    nnxs  
       2020-09-20 22:44:02 +08:00
    简直太棒了, 配合 Reeder 的 Reader view 太完美了!
    0o0O0o0O0o
        17
    0o0O0o0O0o  
    OP
       2020-09-21 20:29:41 +08:00
    在搜索引擎收集了一些公开的榜单，目前已收录近 700 个公 x 号，目前服务正常
    0o0O0o0O0o
        18
    0o0O0o0O0o  
    OP
       2020-09-22 20:05:12 +08:00
    当前已收录近 1500 个公 x 号，目前服务正常
    BetterSci
        19
    BetterSci  
       2020-09-24 08:12:43 +08:00
    @0o0O0o0O0o Thanks for great work and sharing...
    BetterSci
        20
    BetterSci  
       2020-09-24 19:38:06 +08:00
    @0o0O0o0O0o 抱歉，我还没有学会怎么添加
    BetterSci
        21
    BetterSci  
       2020-09-24 19:55:29 +08:00
    利用搜索引擎，搞明白了怎么 pr 了，再次感谢
    0o0O0o0O0o
        22
    0o0O0o0O0o  
    OP
       2020-09-24 20:31:03 +08:00 via iPhone
    @BetterSci

    #21

    没有收到 pr，我看了下你 fork 出去的，你可能需要再对照一下 readme 中的操作流程，都是网页操作，仔细对照应该没有问题的
    BetterSci
        23
    BetterSci  
       2020-09-25 09:15:06 +08:00
    谢谢你热情而洋溢的指导，昨天重新尝试了 pr 提交了 化学教育 的 bizid
    0o0O0o0O0o
        24
    0o0O0o0O0o  
    OP
       2020-09-25 15:13:43 +08:00
    @BetterSci

    #23

    没有收到...

    我看了下你只完成了第四步
    BetterSci
        25
    BetterSci  
       2020-09-25 19:17:50 +08:00
    @0o0O0o0O0o 我再学习下
    0o0O0o0O0o
        26
    0o0O0o0O0o  
    OP
       2020-09-26 15:28:40 +08:00
    稳定运行...啊不是稳定抄录一周😂
    linxl
        27
    linxl  
       2020-09-29 09:43:37 +08:00
    biz 的话是通过公众号后台得插入文章链接爬的 (这个途径有频率限制, 一天查不了几次)?
    0o0O0o0O0o
        28
    0o0O0o0O0o  
    OP
       2020-09-29 09:53:01 +08:00 via iPhone
    @linxl

    #27

    只是提供一个公益服务，不能讨论实现细节，还是坚称手动抄录吧

    （可以看一下 feeds 分支这一周的提交记录，感觉目前每天监控几万个公众号应该问题不大吧…
    MrMario
        29
    MrMario  
       2020-09-29 10:04:11 +08:00
    有一个小问题反馈一下，目前基于托管站点的 raw 查阅，响应是文件下载，没有正确适配 MIME type，部分 rss 上无法正常添加
    0o0O0o0O0o
        30
    0o0O0o0O0o  
    OP
       2020-09-29 10:20:18 +08:00   ❤️ 1
    @MrMario

    #29

    这个我也没有什么好办法。。。因为本身就是希望借助 github/gitee 来控制成本（查阅了条款不算滥用）😂

    像 reeder 、feed reader 之类的工具是可以添加成功，不支持的目前可能需要自己处理一下了，例如借助 cloudflare workers，免费的每天十万条请求的额度，自用肯定够了
    saimax
        31
    saimax  
       2020-10-01 22:28:51 +08:00
    支持～ 非常好～ 已经把目前大多数的 bizid 拼上具体的 url 链接自用方便搜索导入了～
    0o0O0o0O0o
        32
    0o0O0o0O0o  
    OP
       2020-10-01 23:08:50 +08:00
    @saimax

    #31

    现在这样确实不方便，一个方便搜索和复制链接的页面一直写在 TODO 里，就是还没时间去做😂

    找个时间做一下
    treblex
        33
    treblex  
       2020-10-02 02:19:13 +08:00   ❤️ 1
    @0o0O0o0O0o #32 https://github.com/Treblex/wechat-feeds-page 深夜摸鱼，做了个简单的页面
    0o0O0o0O0o
        34
    0o0O0o0O0o  
    OP
       2020-10-02 10:43:58 +08:00 via iPhone
    @suke971219

    #33

    棒～
    0o0O0o0O0o
        35
    0o0O0o0O0o  
    OP
       2020-10-04 15:10:52 +08:00
    稳定抄录两周~当前 1500 余个


    在 @suke971219 的贡献下，增加了展示的页面
    BetterSci
        36
    BetterSci  
       2020-10-05 16:51:25 +08:00
    @saimax 实在是太棒了
    BetterSci
        37
    BetterSci  
       2020-10-05 16:52:22 +08:00
    @0o0O0o0O0o 感谢你热情且及时的帮助
    ashine
        38
    ashine  
       2020-10-05 22:28:51 +08:00
    微信公众号头像要如何获取呢？
    > list.csv 里面没有
    0o0O0o0O0o
        39
    0o0O0o0O0o  
    OP
       2020-10-05 22:49:28 +08:00
    @ashine

    feeds 分支下面的 details.json
    saimax
        40
    saimax  
       2020-10-08 16:17:33 +08:00
    @suke971219 实在是太 6 了
    0o0O0o0O0o
        41
    0o0O0o0O0o  
    OP
       2020-10-18 12:45:48 +08:00
    稳定抄录一个月~当前 1600 余个
    0o0O0o0O0o
        42
    0o0O0o0O0o  
    OP
       2020-11-06 23:52:28 +08:00
    今天服务器出了点问题，故障了十几个小时，已恢复
    Anna1879
        43
    Anna1879  
       2020-11-11 02:31:31 +08:00
    已 star，太感谢了
    wangtiezhu
        44
    wangtiezhu  
       2020-11-16 16:23:59 +08:00
    老哥，后期会考虑弄公众号图标吗，目前正在安卓端测试哪些软件可以用，有的还得 fanqiang 才能看到
    0o0O0o0O0o
        45
    0o0O0o0O0o  
    OP
       2020-11-16 18:24:41 +08:00
    @wangtiezhu

    #44

    公众号图标是指公众号头像吗？考虑过，你看展示页面其实也有头像的，但是不是 RSS 工具都支持展示 icon/logo 呢？

    有国内镜像的，展示页面右上角可以切换。
    0o0O0o0O0o
        46
    0o0O0o0O0o  
    OP
       2020-11-19 12:50:38 +08:00
    稳定抄录两个月~当前 2000 余个
    0o0O0o0O0o
        47
    0o0O0o0O0o  
    OP
       2020-11-29 15:24:56 +08:00
    @0o0O0o0O0o

    服务器又出了岔子，考虑迁移一下
    0o0O0o0O0o
        48
    0o0O0o0O0o  
    OP
       2020-11-29 16:56:14 +08:00
    @0o0O0o0O0o

    #47

    已恢复
    mywaiting
        49
    mywaiting  
       2020-12-13 22:08:08 +08:00
    mark 备用~~~

    最近需要跟踪 N 多的公众号更新，mark 一个，万一贴主会私信我如何实现抓数据的方法呢[~醒醒~]
    0o0O0o0O0o
        50
    0o0O0o0O0o  
    OP
       2020-12-13 22:32:29 +08:00
    @mywaiting

    #49

    N<7000 的话你可以写个脚本处理下提 pr 然后跟踪它，不过如果频率要求很高就不行了，你可以看 readme 中的更新时间
    mywaiting
        51
    mywaiting  
       2020-12-13 23:05:50 +08:00
    @0o0O0o0O0o #50 几番折腾，大概知道你是怎么拿到如此巨量公众号更新的，我还有点工程化的小问题解决

    还是挺感谢你提供这么一种可能性，不然看看就觉得没啥希望的事情了~~~

    BTW

    友情暗示，这货有商用的可能的，可以考虑一下商用的可能，现成的例子就是 werss
    0o0O0o0O0o
        52
    0o0O0o0O0o  
    OP
       2020-12-13 23:27:41 +08:00 via iPhone
    @mywaiting

    #51

    恭喜恭喜

    我发布服务前有调研过，知道有一些同类的商业化服务，但认真计较的话还是违法的，所以还是免费服务到成本太高的那天就停止服务吧。
    0o0O0o0O0o
        53
    0o0O0o0O0o  
    OP
       2020-12-13 23:29:36 +08:00 via iPhone
    @mywaiting

    #51

    不开源并坚持声明我是手动抄录的顾虑也在于此
    mywaiting
        54
    mywaiting  
       2020-12-13 23:35:42 +08:00
    @0o0O0o0O0o #53 这样的服务开源是不可能的，毕竟见光即刻 die

    违法这事情还是有多种方法规避吧，有很多思路能合理合法（也不是那么合法不过不会惹事上身就是了）地搬运这些内容的

    还是感谢贴主的免费服务，多谢！！！
    0o0O0o0O0o
        55
    0o0O0o0O0o  
    OP
       2020-12-16 21:27:19 +08:00
    服务器宕了十几个小时，已修复
    0o0O0o0O0o
        56
    0o0O0o0O0o  
    OP
       2021-01-19 18:42:56 +08:00
    gitee 同步最近出了点问题，暂时已修复
    0o0O0o0O0o
        57
    0o0O0o0O0o  
    OP
       2021-01-25 20:42:01 +08:00 via iPhone
    试着用奇怪的办法处理了下图标，各位平时用阅读器的可以帮忙测试下，有别的好思路可以共同讨论，参见 issue #895
    0o0O0o0O0o
        58
    0o0O0o0O0o  
    OP
       2021-01-25 22:45:10 +08:00
    @0o0O0o0O0o

    #57

    目前 Feedbro 、Reeder 3 、Newsify 、RSS Feed Reader (Chrome)、NetNewsWire 支持显示不同图标了
    Notzuonotdied
        59
    Notzuonotdied  
       2021-01-31 15:41:47 +08:00
    你这个太 nice 了吧
    yhkang
        60
    yhkang  
       2021-02-02 11:19:14 +08:00
    很不错
    0o0O0o0O0o
        61
    0o0O0o0O0o  
    OP
       2021-03-05 11:43:52 +08:00 via iPhone
    为什么昨天突然新增了好多 star，发生了什么(°ー°〃)
    saimax
        62
    saimax  
       2021-03-16 10:13:06 +08:00
    用了好几个月了，来顶一下。一边见人就宣传，一边又怕知道的人多了会有停止服务的那天，纠结
    0o0O0o0O0o
        63
    0o0O0o0O0o  
    OP
       2021-03-16 11:13:29 +08:00 via Android
    @saimax #62

    感谢感谢。

    由于托管在 github 上，所以最大头的服务器费用反而省了，所以成本上还好；至于法律风险嘛，是由不知疲倦的我手动抄录的，也不牟利，腾讯应该也没法这么霸道

    唯一可能造成停止服务的情况是腾讯加大了抄录的难度，这个和使用的人数关系不大，只能说是腾讯生态的趋势，总有那么一天的
    0o0O0o0O0o
        64
    0o0O0o0O0o  
    OP
       2021-03-31 17:26:11 +08:00 via Android
    今天总算超过 5000 个了
    hdjs5264
        65
    hdjs5264  
       2021-05-01 14:32:28 +08:00
    哇，好人，感谢
    0o0O0o0O0o
        66
    0o0O0o0O0o  
    OP
       2021-05-10 13:38:16 +08:00 via Android
    犹豫了大半年，今天因为 #2408 终究还是决定放弃全文 RSS 的计划，使用本项目如果有全文需求还是请各位借助阅读器吧
    0o0O0o0O0o
        67
    0o0O0o0O0o  
    OP
       2021-05-10 20:00:44 +08:00
    由于一些原因，移除了 gitee 的同步，将只更新 github，说声抱歉
    saimax
        68
    saimax  
       2021-05-11 08:50:59 +08:00
    @0o0O0o0O0o 安全第一~
    0o0O0o0O0o
        69
    0o0O0o0O0o  
    OP
       2021-05-11 22:53:45 +08:00
    服务器挂了，联系客服中
    0o0O0o0O0o
        70
    0o0O0o0O0o  
    OP
       2021-05-11 23:33:36 +08:00
    @0o0O0o0O0o #69 已恢复
    0o0O0o0O0o
        71
    0o0O0o0O0o  
    OP
       2021-05-22 16:23:23 +08:00 via iPhone
    6000 个了
    0o0O0o0O0o
        72
    0o0O0o0O0o  
    OP
       2021-06-03 12:29:43 +08:00 via Android
    昨天和今天被刷屏新增了一千多个荐股公众号，虽然有点恶意揣测，但感觉是拿本项目当爬虫用而不是 RSS 。

    目前总共七千多个了，离一万个的限额不远了。
    fghshunzi
        73
    fghshunzi  
       2021-06-09 16:59:41 +08:00
    @0o0O0o0O0o 帅哥 10000 个很快被占掉了 下面会新增吗
    0o0O0o0O0o
        74
    0o0O0o0O0o  
    OP
       2021-06-09 20:49:24 +08:00
    @fghshunzi #73 见 issue 讨论，我先将上限调节到了 20000，但之后的具体措施仍待讨论
    fghshunzi
        75
    fghshunzi  
       2021-06-22 21:24:52 +08:00
    @0o0O0o0O0o 凉凉了吗？
    0o0O0o0O0o
        76
    0o0O0o0O0o  
    OP
       2021-06-22 22:27:35 +08:00 via iPhone
    @fghshunzi 很有可能
    fghshunzi
        77
    fghshunzi  
       2021-06-22 22:30:50 +08:00
    @0o0O0o0O0o 是被微信封杀了？
    crisrock
        78
    crisrock  
       2021-06-23 10:47:43 +08:00
    @0o0O0o0O0o 是被微信封了？
    caryRowen
        79
    caryRowen  
       2021-06-30 13:09:35 +08:00
    @codeforyou 可惜了。
    hvboekml
        80
    hvboekml  
       2021-08-21 14:51:40 +08:00
    新的，试试

    https://github.com/feeddd/feeds
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2850 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 09:19 · PVG 17:19 · LAX 01:19 · JFK 04:19
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.