下面给大家介绍下pandas读取CSV文件时查看修改各列的数据类型格式,具体内容如下所述:
我们在调bug的时候会经常查看、修改pandas列数据的数据类型,今天就总结一下:
1.查看:
Numpy和Pandas的查看方式略有不同,一个是dtype,一个是dtypes
print(Array.dtype) #输出int64 print(df.dtypes) #输出Df下所有列的数据格式 a:int64,b:int64
2.修改
import pandas as pd import numpy as np df = pd.read_csv('000917.csv',encoding='gbk') df = df[df['涨跌幅']!='None'] df['涨跌幅'] = df['涨跌幅'].astype(np.float64) print(df[df['涨跌幅']>5])
ps:在Pandas中更改列的数据类型
先看一个非常简单的例子:
a = [['a', '1.2', '4.2'], ['b', '70', '0.03'], ['x', '5', '0']] df = pd.DataFrame(a)
有什么方法可以将列转换为适当的类型?例如,上面的例子,如何将列2和3转为浮点数?有没有办法将数据转换为DataFrame格式时指定类型?或者是创建DataFrame,然后通过某种方法更改每列的类型?理想情况下,希望以动态的方式做到这一点,因为可以有数百个列,明确指定哪些列是哪种类型太麻烦。可以假定每列都包含相同类型的值。
解决方法
可以用的方法简单列举如下:
对于创建DataFrame的情形
如果要创建一个DataFrame,可以直接通过dtype参数指定类型:
df = pd.DataFrame(a, dtype='float') #示例1 df = pd.DataFrame(data=d, dtype=np.int8) #示例2 df = pd.read_csv("somefile.csv", dtype = {'column_name' : str})
对于单列或者Series
下面是一个字符串Seriess的例子,它的dtype为object:
> s = pd.Series(['1', '2', '4.7', 'pandas', '10']) > s 0 1 1 2 2 4.7 3 pandas 4 10 dtype: object
使用to_numeric转为数值。默认情况下,它不能处理字母型的字符串'pandas':
> pd.to_numeric(s) # or pd.to_numeric(s, errors='raise') ValueError: Unable to parse string
可以将无效值强制转换为NaN,如下所示:
> pd.to_numeric(s, errors='coerce') 0 1.0 1 2.0 2 4.7 3 NaN 4 10.0 dtype: float64
如果遇到无效值,第三个选项就是忽略该操作:
> pd.to_numeric(s, errors='ignore') # the original Series is returned untouched
对于多列或者整个DataFrame
如果想要将这个操作应用到多个列,依次处理每一列是非常繁琐的,所以可以使用DataFrame.apply处理每一列。
对于某个DataFrame:
> a = [['a', '1.2', '4.2'], ['b', '70', '0.03'], ['x', '5', '0']] > df = pd.DataFrame(a, columns=['col1','col2','col3']) > df col1 col2 col3 0 a 1.2 4.2 1 b 70 0.03 2 x 5 0
然后可以写:
df[['col2','col3']] = df[['col2','col3']].apply(pd.to_numeric)
那么'col2'和'col3'根据需要具有float64类型。
但是,可能不知道哪些列可以可靠地转换为数字类型。在这种情况下,设置参数:
df.apply(pd.to_numeric, errors='ignore')
然后该函数将被应用于整个DataFrame,可以转换为数字类型的列将被转换,而不能(例如,它们包含非数字字符串或日期)的列将被单独保留。
另外pd.to_datetime和pd.to_timedelta可将数据转换为日期和时间戳。
软转换——类型自动推断
版本0.21.0引入了infer_objects()方法,用于将具有对象数据类型的DataFrame的列转换为更具体的类型。
例如,用两列对象类型创建一个DataFrame,其中一个保存整数,另一个保存整数的字符串:
> df = pd.DataFrame({'a': [7, 1, 5], 'b': ['3','2','1']}, dtype='object') > df.dtypes a object b object dtype: object
然后使用infer_objects(),可以将列'a'的类型更改为int64:
> df = df.infer_objects() > df.dtypes a int64 b object dtype: object
由于'b'的值是字符串,而不是整数,因此'b'一直保留。
astype强制转换
如果试图强制将两列转换为整数类型,可以使用df.astype(int)。
示例如下:
a = [['a', '1.2', '4.2'], ['b', '70', '0.03'], ['x', '5', '0']] df = pd.DataFrame(a, columns=['one', 'two', 'three']) df Out[16]: one two three 0 a 1.2 4.2 1 b 70 0.03 2 x 5 0 df.dtypes Out[17]: one object two object three object df[['two', 'three']] = df[['two', 'three']].astype(float) df.dtypes Out[19]: one object two float64 three float64
总结
以上所述是小编给大家介绍的pandas读取CSV文件时查看修改各列的数据类型格式,希望对大家有所帮助,如果有任何疑问欢迎给我留言,小编会及时回复大家的!
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。