首页   注册   登录
 lewin5 最近的时间轴更新

lewin5

V2EX 第 409687 号会员,加入于 2019-05-07 11:40:48 +08:00
lewin5 最近回复了
3 天前
回复了 lewin5 创建的主题 MySQL mysql load data 大数据文件,太慢了
@fuyufjh
主要表有点多,这样弄的挺麻烦的,有没有什么办法在 load data 的时候设置 commit(),拆分一下。
3 天前
回复了 lewin5 创建的主题 MySQL mysql load data 大数据文件,太慢了
@neocanable
my.cnf:
skip-log-bin
innodb_doublewrite = 0
innodb_log_file_size = 2048M
innodb_log_buffer_size=2048M
innodb_flush_log_at_trx_commit = 0
innodb_buffer_pool_size = 10240M #大概内存的 70%

set_sql_log_bin=0
像上改了之后,这样就快很多了,有可能之前是写日志,内存分配太小,有的表一次性导入事务太大,写到磁盘了。然后 20g 大概用了 40 分钟;后面有张表 30 多 g,可能事务太大,undo(10g)写不下又变慢了,mysql 有什么自动 commit 的办法吗,load data 的时候。
@troywinter 看了下好像在 docker 里面 install 这些的时候,依赖什么的本来就这么大,是想针对开发或者测试环境搭建一个 docker image,jenkins 其实只是通过 hook 触发来打包分发这些 image,可能还是得这么大,嗯,谢谢了。
96 天前
回复了 lewin5 创建的主题 PostgreSQL PostgreSQL 的 FDW 访问远程 Mysql_server 报错
@beginor 现在已经确定了用 PG 原生的 fdw 来访问 mysql 数据库,后面验证了下好像跟 mysql 的版本有关,5.X 版本跟 8.0 版本的 mysql 对应访问会出现 host 报错的问题,5.7 跟 5.6 就没有上面问题。谢谢了。
@troywinter 嗯,thx,现在暂时把 jenkins 那块剥离出来了,只针对运行环境做成镜像,FROM ubuntu 然后在 dockerfile 里面 install 一些需要的依赖和工具就行了,现在就是感觉做出来的 image Size 有点大,装了些 jdk、camke、gcc 之类的 7~8 个依赖和工具后,size 差不多就有 800+M 了。。。有没有什么办法能减小 image 的大小?
@XSG 嗯,有考虑过选一个 base image 然后每个步骤,所需环境一步步写在 dockerfile 里面,就是觉得太麻烦了,在想有没有啥类似快照的方式直接将本地环境转换成 dockerfile 不用自己一步步来写,现在应该还没有,以后应该会有的把。
128 天前
回复了 fenrao 创建的主题 程序员 各位老哥是如何抗压的呢?
习惯就好了。。。
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   843 人在线   最高记录 5043   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 18ms · UTC 20:11 · PVG 04:11 · LAX 13:11 · JFK 16:11
♥ Do have faith in what you're doing.