V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
shinonome
V2EX  ›  问与答

从视频文件名提取结构化信息用什么训练好呢

  •  
  •   shinonome · 20 小时 44 分钟前 · 448 次点击

    正则提取名字和集数感觉怎么都有上限, 很多视频文件名(主要是动漫)千奇百怪, 想来问问想要自已跑一个简单的模型有什么选择呢? 目前的需求是:

    1: 95 以上的准确率 2: n100 可跑 ( 是最后的目标, 前期主要是准确率)

    主要在 BERT 和 LSTM(RNN) 中选,

    纠结 BERT 主要还是数据真不够, 1w 就累死我了, 还有就是太大了,

    LSTM 则是想效果会不会很一般

    目前还是整理数据的阶段, 想请大佬指点一下 大概是这样 input: " [幻樱字幕组] [ 4 月新番] [古见同学有交流障碍症 第二季 Komi-san wa, Komyushou Desu. S02 ] [ 22 ] [ GB_MP4 ] [ 1920X1080 ] " output: '{"group": "幻樱字幕组", "title_en": "Komi-san wa, Komyushou Desu.", "resolution": "1920X1080", "episode": 22, "season": 2, "title_zh": "古见同学有交流障碍症", "sub": "", "title_jp": "", "season_raw": "", "source": ""}'

    10 条回复    2024-11-28 14:27:22 +08:00
    renmu
        1
    renmu  
       20 小时 42 分钟前 via Android
    其实字幕组一共就那么几个,多做几个匹配就可以
    SimonDing
        2
    SimonDing  
       20 小时 40 分钟前
    关注
    aminobody
        3
    aminobody  
       20 小时 38 分钟前
    调 LLM API, 某国产的便宜的就像不要钱.
    shinonome
        4
    shinonome  
    OP
       20 小时 33 分钟前
    @renmu #1 常用的是没什么问题的,但总会有些奇怪的
    例如
    [推しの子] 久保同学不放过我 / Kubo-san wa Mob wo Yurusanai - 10 (Sentai 1920x1080 AVC AAC MKV) [复制磁连]
    还有各种格式
    目前试过一遍, 没一个能大部份覆盖的
    gaobh
        5
    gaobh  
       20 小时 31 分钟前 via iPhone
    只有大模型不行,加上豆瓣信息
    gaobh
        6
    gaobh  
       20 小时 31 分钟前 via iPhone
    @gaobh #5 或者加上国外的那个叫什么来着
    shinonome
        7
    shinonome  
    OP
       20 小时 20 分钟前
    @gaobh #5 我只是把文件名结构化一下, 不用豆瓣或 tmdb 吧
    shinonome
        8
    shinonome  
    OP
       20 小时 20 分钟前
    @aminobody #3 不会提示, 效果不是很好 TVT
    mumbler
        9
    mumbler  
       18 小时 59 分钟前
    用大模型,给个格式示例,就全部给你结构化了,喂给免费的 gemini flash 模型 api ,一次分析 1 万个文件名,每天可用 1500 次
    liulicaixiao
        10
    liulicaixiao  
       3 小时 20 分钟前
    大模型力大砖飞,你可以提示词里指明你需要什么属性,让它输出成什么格式,一般的大模型最擅长输出的格式是 json ,给个写的好一点的例子,然后测试几遍,如果偶尔出现问题就再写个检测,失败时再重新调用几遍。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5042 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 09:47 · PVG 17:47 · LAX 01:47 · JFK 04:47
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.