大文件导入 MYSQL，如何最快速。

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› MySQL 5.5 Community Server

› MySQL 5.6 Community Server

› Percona Configuration Wizard

› XtraBackup 搭建主从复制

Great Sites on MySQL

› Percona

› MySQL Performance Blog

› Severalnines

推荐管理工具

› Sequel Pro

› phpMyAdmin

推荐书目

› MySQL Cookbook

MySQL 相关项目

› MariaDB

› Drizzle

参考文档

› http://mysql-python.sourceforge.net/MySQLdb.html

这是一个创建于 3775 天前的主题，其中的信息可能已经有所发展或是发生改变。

现有一个文本文件，5G，一条记录一行，总共两千多万条
每条记录都有固定格式。
有什么方法能快速导入？
用python一条一条插入，感觉效率很低。

导入

文本文件

MySQL

8 条回复 • 2014-07-23 07:01:47 +08:00

p2p

2014-07-22 20:40:13 +08:00

The LOAD DATA INFILE statement reads rows from a text file into a table at a very high speed.

hjse7en

2014-07-22 21:11:06 +08:00

LOAD DATA INFILE

fisherv

2014-07-22 21:12:54 +08:00

那么大的文件...

Sevnx

2014-07-22 21:17:13 +08:00 via Android

@fisherv
@hjse7en
@p2p
谢了。已经搞定了。

dekinr

2014-07-22 21:38:14 +08:00

咋搞定的，求分享 @Sevnx

lijinma

2014-07-22 22:09:24 +08:00

如果是我，我会把大文件记录----》生成 SQL 语句 ------》 source

不知道会不会快一点？

Sevnx

2014-07-22 22:41:36 +08:00 via Android

刚跑完。就一楼那个指令。跑到现在了。也不是很快。。
@dekinr

monkeylyf

2014-07-23 07:01:47 +08:00

batch load/batch write