南强小屋 Design By 杰米
在处理数据的时候,因为没有及时的去重,所以需要重新对生成txt进行去重。
可是一个文件夹下有很多txt,总不可能一个一个去操作,这样效率太低了。这里我们需要用到 os 这个包
关键的代码
<span style="font-size:14px;"># coding=utf-8
#出现了中文乱码的问题,于是我无脑utf-8 。希望后期的学习可以能理解
import os
import os.path
import re
import sys
import codecs
reload(sys)
sys.setdefaultencoding('utf-8')
#这里放着你要操作的文件夹名称
path = 'E:\\get_key\\'
#把e:\get_key\目录下的文件名全部获取保存在files中
files = os.listdir(path.decode('utf-8'))
#用set可以很好的去重,在数据处理的时候经常会被使用到。这里做初始化
datas = set()
for file in files :
#准确获取一个txt的位置,利用字符串的拼接
txt_path = 'E:\\get_key\\'+file.decode('utf-8')
#把结果保存了在contents中
contents = codecs.open(txt_path.decode('utf-8'),'r',encoding='utf-8')
#datas的数据清空
datas.clear()
#把数据add到datas中,可以去重
for content in contents:
print(content.decode('utf-8'))
datas.add(content.decode('utf-8'))
#去重后新的文件保存的路径
new_txt_path = 'E:\\get_key3\\' + file.decode('utf-8')
unique_keywords = codecs.open(new_txt_path.decode('utf-8'), 'w', encoding='utf-8')
#把datas里的数据输出到新生成的txt中
for data in datas:
unique_keywords.write(data+"\n")
#释放资源
unique_keywords.close()</span>
以上这篇Python 读取某个目录下所有的文件实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
标签:
python,读取,目录文件
南强小屋 Design By 杰米
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
南强小屋 Design By 杰米
暂无Python 读取某个目录下所有的文件实例的评论...
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。