V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
Ironsongming
V2EX  ›  问与答

表单提交 10w 行数据

  •  
  •   Ironsongming · 2017-09-15 12:00:45 +08:00 · 2399 次点击
    这是一个创建于 2624 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在做一个保存功能,允许添加 10w 左右的商品,现在前端保存的时候,需要直接提交上来,但是这样对内存的负担很大,有没有好一点的替代方案?

    9 条回复    2017-09-15 17:41:52 +08:00
    wellsc
        1
    wellsc  
       2017-09-15 12:06:27 +08:00
    改成文件提交,服务器接受之后起个进程 parser 一下,然后存进数据库?
    sfree2005
        2
    sfree2005  
       2017-09-15 12:09:42 +08:00 via Android
    是需要改成文件提交的,文件上存到服务器器之后再读取输入到数据库
    oh
        3
    oh  
       2017-09-15 12:15:04 +08:00 via iPhone
    好想知道这 10w 数据难道是手工录入的…?
    gamexg
        4
    gamexg  
       2017-09-15 12:18:51 +08:00 via Android
    如果不是浏览器内存大,那么也可以前端拆分后分批提交。
    yidinghe
        5
    yidinghe  
       2017-09-15 12:38:41 +08:00 via Android
    文件导入,导入的格式最好是能一次读取一条记录的那种。
    doubleflower
        6
    doubleflower  
       2017-09-15 12:55:18 +08:00
    10w 记录的文件才多大内存,对服务器小 case 了吧
    LxExExl
        7
    LxExExl  
       2017-09-15 14:29:51 +08:00
    一个商品 1K 字 2KB
    100K 商品 2KB*100K=200M 对内存负担很大? 这才哪到哪
    roricon
        8
    roricon  
       2017-09-15 15:41:33 +08:00
    做成文件, 然后把 request 当做流来处理. Django 的例子 https://docs.djangoproject.com/en/1.11/ref/request-response/#django.http.HttpRequest.__iter__
    Ironsongming
        9
    Ironsongming  
    OP
       2017-09-15 17:41:52 +08:00
    @LxExExl 200M。。。。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   984 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 20:36 · PVG 04:36 · LAX 12:36 · JFK 15:36
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.