V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
baobao1270
V2EX  ›  问与答

如何镜像一个 MediaWiki 网站?

  •  
  •   baobao1270 · 347 天前 · 1079 次点击
    这是一个创建于 347 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想要备份一个国内小众圈子的 Wiki ,害怕哪天整个站都被屏蔽了

    1. 不是维基百科,对方也不提供 dump 文件,所以不能使用「离线 Wiki 浏览器」之类的东西
    2. 想要采集 Wiki 语言格式的文件内容,而不是 HTML 格式
    5 条回复    2023-04-16 17:13:09 +08:00
    clockwise9
        1
    clockwise9  
       347 天前 via Android
    根据 https://m.mediawiki.org/wiki/Web_scraping_access ,url 加参数 action=raw 就可以获得 wikitext 内容
    baobao1270
        2
    baobao1270  
    OP
       347 天前
    @clockwise9 不是很想自己写爬虫,最好有能够有已经有的开源程序
    LxnChan
        3
    LxnChan  
       347 天前
    https://lxnchan.cn/wget-all-grab.html

    刚才我用我自己的 mediawiki 试了一下,wget 整站抓取基本是可行的,但是抓下来的东西比较乱而且只能是静态页面(包括在页面内跳转也会失效)。不过可以参考#1 的思路,在抓取时每个 url 后加 raw 参数然后自己本地搭一个把 raw 导入数据库应该也可行。
    vazo
        4
    vazo  
       347 天前
    可以试试 HTTrack
    http://www.httrack.com/page/2/
    winterx
        5
    winterx  
       347 天前
    特殊:导出页面
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3152 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 12:40 · PVG 20:40 · LAX 05:40 · JFK 08:40
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.