注1: 本文对应的教学视频私信我“学习”获取！
注2: 以上代码需在Python3环境下运行
要说在工作中最让人头疼的就是用 同样的方式处理一堆文件夹中文件 ，这并不难，但就是繁。所以在遇到机械式的操作时一定要记得使用Python来合理偷懒！今天我将以处理微博热搜数据来示例如何 使用Python批量处理文件夹 中的文件，主要将涉及：
- Python批量读取不同文件夹( :star: :star: :star: )
- Pandas数据处理( :star: :star: )
- Python操作markdown文件( :star: )
需求分析
首先来说明一下需要完成的任务，下面是我们的文件夹结构
因为微博历史热搜是没有办法去爬的，所以只能写一个爬虫每天定时爬取热搜并保存，所以在我当时分析数据时使用的就是上图展示的数据， 每天的数据以套娃形式被保存在三级目录下 ，并且热搜是以markdown文件存储的，打开是这样:point_down:
而我要做的就是将这三个月的微博热搜数据处理成这样:point_down:
这困难吗，手动的话无非是依次 点三下 进入每天的数据文件夹再打开md文件 手动复制粘贴 进Excel，不就几万条数据，大不了一天不吃饭也能搞定！现在我们来看看如何 用Python光速处理。
Python实现
在操作之前我们来 思考一下如何使用Python实现 ，其实和手动的过程类似：先 读取全部文件，再对每一天的数据处理、保存。所以第一步就是将我们需要的 全部文件路径提取出来 ，首先导入相关库
import pandas as pd
import OS
import glob
from pathlib import Path
读取全部文件名的方法有很多比如使用 OS模块
但是由于我们是多层文件夹，使用 OS模块 只能一层一层读取，要写多个循环从而效率不高，所以我们告别 os.path 使用 Pathlib 来操作，三行代码就能搞定，看注释
from pathlib import Path
p = Path("/Users/liuhuanshuo/Desktop/热搜数据/") #初始化构造Path对象
fileList=list(p.glob("**/*.md")) #得到所有的markdown文件
来看下结果
成功读取了热搜数据下多层文件夹中的全部md文件！但是新的问题来了，每天有两条热搜汇总，一个11点一个23点，考虑到会有 重合数据 所以我们在处理之前先 进行去重 ，而这就简单了，不管使用 正则表达式 还是按照奇偶位置提取都行，这里我是用 lambda表达式 一行代码搞定
filelist = list(filter(lambda x: str(x).find("23点") >= 0, FileList))
现在我们每天就只剩下23点的热搜数据，虽然是markdown文件，但是Python依旧能够轻松处理，我们打开其中一个来看看
打开方式和其他文件类似使用 with语句 ，返回一个list，但是这个list并不能直接为我们所用，第一个元素包含时间，后面每天的热搜和热度也不是直接存储，含有markdown语法中的一些没用的符号和换行符，而 清洗这些数据 就是常规操作了，使用下面的代码即可，主要就是使用正则表达式，看注释
with open(file) as f:
lines = f.readlines()
lines = [i.strip() for i in lines] #去除空字符
data = list(filter(None, lines))
del data[0]
data = data[0:100]
date = re.findall('年(. )2',str(file))[0]
content = data[::2] #奇偶分割
rank = data[1::2]
#提取内容与排名
for i in range(len(content)):
content[i] = re.findall('、(. )',content[i])[0]
for i in range(len(rank)):
rank[i] = re.findall(' (. )',rank[i])[0]
最后只需要 写一个循环遍历 每一天的文件并进行清洗，再创建一个DataFrame用于存储每天的数据即可
可以看到，并 没有使用太复杂的代码 就成功实现了我们的需求！
结束语
以上就是使用Python再一次解放双手并成功 偷懒 的案例，可能读取Markdown文件在你的日常工作中并用不到，但是通过本案例希望你能学会 如何批量处理文件夹 ，批量读取清洗数据。更重要的是在你的工作学习中， 遇到需要重复操作的任务时，是否能够想起使用Python来自动化解决！拜拜，我们下个案例见～
,
