注册 登录  
 加关注
查看详情
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

曾国藩的博客

 
 
 

日志

 
 

从文件导入数据到MySQL数据库 我用  

2012-07-02 14:19:10|  分类: SQL/Oracle/Mysql |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
http://lubobill1990.blog.163.com/blog/static/36930386201115112843875/

mysql可执行文件mysqlimport.exe还有一个mysql命令中的load data两个命令可以从文件中把格式化的数据导入数据库,如果有一个包含大数据量的文件,可以实现快速的数据导入。如果自定义程序读取文件,通过insert命令把数据一条条地插入数据库,这样的速度会非常慢,在我的laptop上如果单条地插入数据,每秒钟才插入约50条,那样的话,如果要插入100000条数据,需要2000秒,约30分钟,这样慢的速度你能够忍受吗?

 

当然你可以使用每次插入多条数据的insert语句尝试,我试过,每插入5000条在我的laptop上用时仅0.5秒,这样插入100000条数据用时仅20秒,也不失为一个插入数据的好方法,但是一定要用以下形式的insert语句

INSERT INTO `some_table` (column1,column2,...) values(data1,data2,...),(data3,data4)...;

 

mysqlimport的用法如下:

mysqlimport [options] db_name textfile1 [textfile2 ...]

其中db_name为要插入的数据库名字,textfile为要插入的格式化数据所在的文件,文件里的数据插入到文件名去掉后缀后剩余名字对应的表中

 

比如:mysqlimport [省略选项] database_name some_table.txt

会把some_table.txt中的数据插入到数据库名为database_name,表名为some_table的数据表中

 

mysqlimport还有很多选项,下面按照使用的频率列出如下:

--columns=第一列对应的数据表列名,第二列对应的数据表列名,…

定义被导入文件中的每一列对应的数据库表列名

--fields-terminated-by=

数据域以什么结束,参数为字符串,默认为\t

--fields-enclosed-by=

数据域用什么符号扩起来,默认为空,一般可以是双引号、括号等

--fields-optionally-enclosed-by=

数据域可以用什么符号括起来,因为为只有部分数据用这些符号括起来

--fields-escaped-by=

转义字符,参数为字符,默认为\

--lines-terminated-by=

数据行以什么结束,参数为字符串,windows默认为\r\n

--user=user_name -u user_name

--password[=password] -p[password]

--host=host_name -h hostname

--port=port_num-P port_num

定义用户名、密码、mysql服务器ip用于连接的TCP/IP端口号,默认为mysql默认端口3306

--ignore-lines=n

忽视数据文件的前n行,因为很多数据文件前面有表头

--delete -D

在把文件中的数据插入前删除表中原先的数据

--local -L

指定从客户端电脑读入数据文件,否则从服务器电脑读取

--lock-tables -l

处理文本文件前锁定所有表以便写入确保所有表在服务器上保持同步

--protocol={TCP | SOCKET | PIPE | MEMORY}

使用的连接协议

--force -f

忽视错误。例如,如果某个文本文件的表不存在,继续处理其它文件

不使用--force,如果表不存在则mysqlimport退出

--compress -C

压缩在客户端和服务器之间发送的所有信息(如果二者均支持压缩)

--silent-s

沉默模式只有出现错误时才输出

--socket=path-S path

当连接localhost时使用的套接字文件(为默认主机)

--verbose-v

冗长模式。打印出程序操作的详细信息。

--version-V

显示版本信息并退出。

 

Load data的用法如下:

LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name.txt'

    [REPLACE | IGNORE]

    INTO TABLE tbl_name

    [FIELDS      //字段

        [TERMINATED BY 'string']  //字段分割符

        [[OPTIONALLY] ENCLOSED BY 'char']//括起字段的符号

           [ESCAPED BY 'char' ]       //字段中的转义符   

    ]

    [LINES

        [STARTING BY 'string']    //行的开始字符串      

        [TERMINATED BY 'string']  //末尾分割   

    ]

    [IGNORE number LINES]          //跳过前面number

    [(col_name_or_user_var,...)] //字段名称

    [SET col_name = expr,...)]

 

比如一个数据文本如下:

  股票代码       股票名称    开盘价    收盘价

Def:"000001","深发展A","13.24","13.56"

Def:"000002","万科A","24.43","24.77"

 

用两种方法导入mysql分别为:

mysqlimport --columns=stock_code,stock_name,opening,settlement --fields-terminated-by=, --fields-enclosed-by=" --fields-escaped-by=\ --lines-terminated-by=\r\n -uroot -ppasswd -hlocalhost -P3306 --ignore-lines=1 -L database_name table_name.txt

 

LOAD DATA LOCAL INFILE 'table_name.txt'

INTO TABLE database_name

FIELDS TERMINATED BY ',' ENCLOSED BY '"' ESCAPED BY '\'

LINES STARTING BY 'Def'

IGNORE 1 LINES

(stock_code,stock_name,opening,settlement);

  评论这张
 
阅读(791)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018