V2EX › Kcelone 的所有回复 › 第 2 页 / 共 3 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3

❮

❯

2018-10-10 14:56:25 +08:00

回复了 Kcelone 创建的主题 › Python › Python 解决， mysql 表数据去重及导入失败方案设计

@CharlieBrown 不如唯一索引。

2018-10-10 14:55:25 +08:00

回复了 Kcelone 创建的主题 › Python › Python 解决， mysql 表数据去重及导入失败方案设计

@kifile @zjlletian 可以使用唯一索引的，其实在刚开始的时候用的就是唯一索引，后面改成了 insert into select where...，然后又改成了 sqlalchemy 来操作，原因就是原生 sql 不易维护，且版本影响较大，比如关键字 ignore 在 5.7 之后就不再使用。

2018-10-10 10:43:46 +08:00

回复了 Kcelone 创建的主题 › Python › Python 解决， mysql 表数据去重及导入失败方案设计

如果有好的想法，欢迎留言，大家集思广益，多多提建议，一起搞个技术贴模块的讨论区间出来。鄙人建了个技术群欢迎加入，在这里一起搞事情。902788038

2018-10-09 13:48:32 +08:00

回复了 Kcelone 创建的主题 › Python › celery 任务有时注册失败

本地测试（ postman 连接本地服务） OK，测试服务器测试就异常。

2018-09-28 10:52:09 +08:00

回复了 Kcelone 创建的主题 › Python › 将 Excel 上传网站并导入数据库，如何进行设计？

想来想去，要搞个 Python 后端的技术研发群，群号：902788038，欢迎各位 Python 小伙伴加入，欢迎各位有志者在群里拉帮结派搞事情。

2018-09-27 10:27:43 +08:00

回复了 lauix 创建的主题 › Python › celery 有失败任务，怎么回事？

请问你这个后面是怎么解决的？我现在遇到个类似问题，就是任务有时候会注册不成功，redis 中返回结果是 "result": {
"exc_type": "NotRegistered",
"exc_message": "'tasks.excel.excel_to_db'"
},请问知道是哪里出了问题吗？

2018-09-20 14:23:35 +08:00

回复了 Kcelone 创建的主题 › Python › 将 Excel 上传网站并导入数据库，如何进行设计？

@saulshao 嗯，类似于“ cots_18_09_20_Sep_09_1537423865 ”这样的，记录日志的数据表里 key 字段，我就三个字段，id，key, msg，这个 key 在第一步上传处理时，已经产生，请求发出后，会将其返回，用以第二步中的日志查询。目前采用的就是这种方式了，以后有新的想法，再持续更新吧，感觉做的还是有点 low。

2018-09-20 13:43:58 +08:00

回复了 Kcelone 创建的主题 › Python › 将 Excel 上传网站并导入数据库，如何进行设计？

@draguo 或着就是做成分步完成该需求，1. 文件上传，异步处理，2.查询产生的日志。

2018-09-20 13:38:42 +08:00

回复了 Kcelone 创建的主题 › Python › 将 Excel 上传网站并导入数据库，如何进行设计？

@draguo 因为做了些尝试，发现可以获取到异步处理的 id 及状态，所以原本想着，前端这边做个轮询的机制，进行同步结果反馈，做出来的效果的话，就像你在页面上提交东西，页面按钮进行转圈那种等待效果，感觉是这样。

2018-09-20 13:36:00 +08:00

回复了 Kcelone 创建的主题 › Python › 将 Excel 上传网站并导入数据库，如何进行设计？

@sampeng 嗯，当前也是改成这个样子了，做成非实时显示的了，上传后立刻就返回上传成功之类，然后同时开始异步处理，提供另外一个接口进行结果查询。

2018-09-20 13:31:39 +08:00

回复了 Kcelone 创建的主题 › Python › 将 Excel 上传网站并导入数据库，如何进行设计？

@saulshao 目前是将日志进行持久化了，然而我该什么时候去查询这些日志呢？这是个问题，所以我才想到去监听 celery 的处理结果，等状态更新为 SUCCESS 的时候，再去数据库查询这些日志，然而这就引出另一个问题，就是轮询时间等待的问题，文件稍微大点，岂不要等很久。。。

2018-09-20 10:22:58 +08:00

回复了 Kcelone 创建的主题 › Python › 将 Excel 上传网站并导入数据库，如何进行设计？

嗯，这里有个疑问就是前端轮询也是要花费一些时间的吧，那么界面是不是就卡在那里了。。

2018-09-20 10:21:01 +08:00

回复了 Kcelone 创建的主题 › Python › 将 Excel 上传网站并导入数据库，如何进行设计？

@sonyxperia 如果你要去重的话，可以这么搞，我去重就是这么个思路，然后销毁 tableA，当然我使用的是临时表，表名根据一定的规则进行命名，防止重复建表。

2018-09-20 10:19:00 +08:00

回复了 Kcelone 创建的主题 › Python › 将 Excel 上传网站并导入数据库，如何进行设计？

@valkyrja backend 是 redis，我等下就研究下这个思路。感谢

2018-09-20 10:17:50 +08:00

回复了 Kcelone 创建的主题 › Python › 将 Excel 上传网站并导入数据库，如何进行设计？

@Eds1995 我等下就看看 celery 的状态获取方面的东西，希望有接口可以使用，我想在前端这边搞个轮训监听，反复查询 celery 处理状态，然后再设置个超时时间，不知道可行不？

2018-09-20 10:16:21 +08:00

回复了 Kcelone 创建的主题 › Python › 将 Excel 上传网站并导入数据库，如何进行设计？

@Eds1995 而且，我记得 Python 执行程序时，内存超过一定大小，就会报内存错误，记得当时上传镜像文件时，超过某个值（估计 200M 左右，没具体研究过）后就会报错，就是内存爆了。

2018-09-20 10:14:05 +08:00

回复了 Kcelone 创建的主题 › Python › 将 Excel 上传网站并导入数据库，如何进行设计？

@Eds1995 嗯，之前文件大小的事，没有考虑，现在确实有必要了。

2018-09-20 10:13:16 +08:00

回复了 Kcelone 创建的主题 › Python › 将 Excel 上传网站并导入数据库，如何进行设计？

@Moorj 对，目前采用的方式就是这样，主要是这个 celery 啊，有坑在里面，具体的可以看下我其他的回复。

2018-09-20 10:12:33 +08:00

回复了 Kcelone 创建的主题 › Python › 将 Excel 上传网站并导入数据库，如何进行设计？

@shuperjolly 应该不太好吧，应该是没有哪个系统是放到前端进行校验的，容易出问题，一般这种校验都是放到后端来做。

2018-09-20 10:00:51 +08:00

回复了 Kcelone 创建的主题 › Python › 将 Excel 上传网站并导入数据库，如何进行设计？

@Linxing 这么说吧，比如有个 100m 的数据大小的文件要导入数据库，那么使用 celery 的话，主线程可以立刻返回给前端结果，比如上传成功，导入成功，（而且 celery 处理完之后，会把一些处理日志放到了 table_L 表中），实际上，celery 还在处理过程中国，当 celery 的处理状态还是 PENDING，我就无法获取到 table_L 表中的日志情况，因为我现在要把处理日志返回给前端，告诉用户，那些数据异常，需要处理，现在是这个问题了。还有就是索引唯一性，也是去重的一个方式，不过我采用的是临时表的方式。

1 2 3

❮

❯