Skip to content

这个是用python脚本去遍历指定目录下的所有文件,并将文件内容提取出来,按照自己制作的数据插入到mysql的数据库中。

Notifications You must be signed in to change notification settings

zhuangchuming/python_-Traverse_file

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

11 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

由于业务需要对用户操作数据进行分析,需要将批量的用户操作记录文件插入到mysql数据库。本人是python小白,以此文记录一下,同时也希望能帮到其他有这方面困扰的童鞋:

python的基本语法不阐述,网上有很多的教程,但是需要注意的是,如果你用的退格符不相同,是很容易引起各种错误的,所以看到报错的时候耐心检查一下自己的格式。

退格相关报错如下图:

Image

全文退格使用的是tab,在这个位置我用空格符退一个的空格会报错。

步骤流程: 一、获取文件相关的信息,并解析

1、首先能够读取到路径下的文件列表

image

2、遍历所有文件目录,判断是否是文件夹,是的话继续遍历文件夹

Image

3、非文件夹的文件,对文件名字进行过滤,过滤在config.py的keyword,设置为自己的需要过滤的内容即可。

4、读取文件内容

Image

5、将文件的内容解析成能够插入数据库的列表,每一组数据都保存到totalList,

all_the_text是文件的所有内容,config.GaomuTrue==1是我定制的解析数据格式,如果有其他要求,可以自己在else部分添加,并且把config.py的GaomuTrue的值给改为0。解析结果得到totalList,

Image

二、连接上mysql数据库,并创建表插入数据

1、安装python-mysql

mac推荐链接: http://blob.csdn.net/xiaodanpeng/article/details/46120359

windows跟linux的就要自己去找啦,嘿嘿。

2、连接mysql数据库,并选择使用的数据库名称,该名称的配置在config文件的databaseName.

Image

3、插入数据

Image

sql_string为mysql的语句,cur.executemany()这个方法是同时插入多个语句,这是mysql中最高效的插入方式。最后conn.commit()执行后,数据才会出现在数据库中。

Forexample:下图是本机的一个终端运行输出的例子。 遍历文件夹0000下面的所有文件

Image

About

这个是用python脚本去遍历指定目录下的所有文件,并将文件内容提取出来,按照自己制作的数据插入到mysql的数据库中。

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages