由于业务需要对用户操作数据进行分析,需要将批量的用户操作记录文件插入到mysql数据库。本人是python小白,以此文记录一下,同时也希望能帮到其他有这方面困扰的童鞋:
python的基本语法不阐述,网上有很多的教程,但是需要注意的是,如果你用的退格符不相同,是很容易引起各种错误的,所以看到报错的时候耐心检查一下自己的格式。
退格相关报错如下图:
全文退格使用的是tab,在这个位置我用空格符退一个的空格会报错。
步骤流程: 一、获取文件相关的信息,并解析
1、首先能够读取到路径下的文件列表
2、遍历所有文件目录,判断是否是文件夹,是的话继续遍历文件夹
3、非文件夹的文件,对文件名字进行过滤,过滤在config.py的keyword,设置为自己的需要过滤的内容即可。
4、读取文件内容
5、将文件的内容解析成能够插入数据库的列表,每一组数据都保存到totalList,
all_the_text是文件的所有内容,config.GaomuTrue==1是我定制的解析数据格式,如果有其他要求,可以自己在else部分添加,并且把config.py的GaomuTrue的值给改为0。解析结果得到totalList,
二、连接上mysql数据库,并创建表插入数据
1、安装python-mysql
mac推荐链接: http://blob.csdn.net/xiaodanpeng/article/details/46120359
windows跟linux的就要自己去找啦,嘿嘿。
2、连接mysql数据库,并选择使用的数据库名称,该名称的配置在config文件的databaseName.
3、插入数据
sql_string为mysql的语句,cur.executemany()这个方法是同时插入多个语句,这是mysql中最高效的插入方式。最后conn.commit()执行后,数据才会出现在数据库中。
Forexample:下图是本机的一个终端运行输出的例子。 遍历文件夹0000下面的所有文件