V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
chuwt
V2EX  ›  程序员

如何优化 Go 频繁的读文件导致的调度开销

  •  
  •   chuwt · 2021-09-18 09:43:57 +08:00 · 2752 次点击
    这是一个创建于 922 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在需要对一个文件频繁的读,没有写,文件大小在 100-500G 左右,有顺序读,有随机读。 现在是读取次数太多陷入 syscall 太多然后导致调度占用时间变多,大佬们这种如何优化。

    10 条回复    2021-09-20 00:37:58 +08:00
    JKeita
        1
    JKeita  
       2021-09-18 09:52:50 +08:00
    顺序读也就每次加载一段数据到内存,随机的话感觉优化不了。
    MidGap
        2
    MidGap  
       2021-09-18 10:01:29 +08:00
    可以参考 mmap
    rrfeng
        3
    rrfeng  
       2021-09-18 10:05:38 +08:00 via Android
    根据文件内容,拆分后索引起来。
    如果文件本身有序那也可以索引 offset
    wellsc
        4
    wellsc  
       2021-09-18 10:07:01 +08:00
    文件啥类型的,纯文本?有没有格式?
    ch2
        5
    ch2  
       2021-09-18 10:08:15 +08:00
    直接 mmap
    misaka19000
        6
    misaka19000  
       2021-09-18 10:20:19 +08:00
    mmap+1 让 OS 帮你调度
    llllIIIIllll
        7
    llllIIIIllll  
       2021-09-18 13:54:08 +08:00
    买 1T 内存
    index90
        8
    index90  
       2021-09-18 14:22:45 +08:00
    了解一下 golang 的 netpoll,仿造一个?
    CrazyMonkeyV
        9
    CrazyMonkeyV  
       2021-09-18 16:26:09 +08:00
    长打开这个文件,不关闭就行了
    b00tyhunt3r
        10
    b00tyhunt3r  
       2021-09-20 00:37:58 +08:00
    不 close 不就行了吗?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   963 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 20:40 · PVG 04:40 · LAX 13:40 · JFK 16:40
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.