- 浏览: 78334 次
文章分类
1、导入数据
pd.read_csv(filename):从CSV文件导入数据
pd.read_excel(filename):从Excel文件导入数据
pd.read_table(filename):从限定分隔符的文本文件导入数据
pd.read_sql(query, connection_object):从SQL表/库导入数据
pd.read_json(json_string):从JSON格式的字符串导入数据
pd.read_html(url):解析URL、字符串或者HTML文件,抽取其中的tables表格
pd.read_clipboard():从你的粘贴板获取内容,并传给read_table()
pd.DataFrame(dict):从字典对象导入数据,Key是列名,Value是数据
2、将数据保存到指定文档
pd.to_csv() //保存数据到csv文档
pd.to_excel() //保存数据到excel
3、常用的查看、检查数据函数
df.head(n):查看DataFrame对象的前n行
df.tail(n):查看DataFrame对象的最后n行
df.index 查看行名(有时为0、1、2、3...,可以看出有多少行数据)
df.columns 查看列名
df.values 查看矩阵,也就是实际数据
df.shape:查看行数和列数
df.info():查看索引、数据量、每列数据类型、是否存在空值、内存信息,例子如下
df.describe():查看数值型列的汇总统计(数据总数、平均值、标准差、最小值、最大值、排序后位于25%的值、位于50%的值(中位数)以及位于75%的值),例子如下:
也可以单独查看某项统计
df.count() :返回每一列非空值的个数
df.sum() :返回每一列的总和
df.min() :返回每一列的最小值
df.max():返回每一列的最大值
df.mean():返回每一列的平均值
df.median():返回每一列的中位数
df.std():返回每一列的标准差
df.corr(): 列与列之间的相关系数
df.idxmin():???
df.idxmax():???
也可以单独查看某一列的sun、min、max、mean、median,语法如下:
df['B'].sum():查看B列所有数据的总和,其余类似
df.dtypes:查看每一列数据的数据类型
df[‘B’].dtype :查看列名为B的这列数据的数据类型
df.isnull() :判断每个数据是否为空值,返回的是df原数据换成True或False后的矩阵结果
df['B'].isnull():判断B列每个数据是否为空,返回的是B列数据换成True或False后的Series
df['B'].unique() :B列数据去重后的结果,有些网站上说的是查看B列唯一值,本人实际运行后发现是获取所有数据去重后的值
4、数据排序
df1 = df.sort_index(axis=1, ascending=False) # df1为df按列名降序排列后的数据
df1 = df.sort_values(by='B') # df1为df按照列B的值升序排序后的结果数据
5、数据选取
df[col] 根据列名,并以Series的形式返回数据
df[[col1, col2]]:以DataFrame形式返回多列,注意是两个综括号
另外可以通过loc、iloc选择数据。
首先创建一个DataFrame:
增加一列:
df.insert(3,'english',[89,94,80,94,94,90]) //列索引从0开始,这里增加第4列,索引所在位置为3,列名为english,值为[89,94,80,94,94,90]。直接在原DataFrame上增加
df['english'] = [89,94,80,94,94,90] //DataFrame中增加english列
增加一行:
df.loc['g'] = [7,'Iric',99,85] //行索引g如果存在则更新,不存在则新增
删除数据:drop函数用于删除数据,label参数为要删除的数据,默认是行,如果要删除列,可以设置axis=1,axis默认为0表示行;如果不用label,使用index和columns参数可以删除行和列,看下面具体例子。
删除一列:
df1 = df.drop(columns='english') //drop并不改动原来的DataFrame,而是生成新的DataFrame
df1 = df.drop(['english'],axis=1) //作用与上面等价
删除一行:
df1 = df.drop(index='f') //删除索引为f的行,原DataFrame不动,生成新的DataFrame
df1 = df.drop(['a','f']) //删除行索引为a,f的行
drop方法默认不在DataFrame本身进行操作,要想在本身进行操作,需要加上inplace=True参数,等价于操作完再赋值给本身,即df = df.drop(columns='english') 等价于df.drop(columns='english',inplace=True)
loc函数:基于索引标签值选择数据
df.loc['c'] //取行索引为c的那一行的数据
df.loc[['a','d','f']] //取行索引为a,d,f的那三行数据
df.loc['b':'e'] //取行索引为b到e的数据,包含b和e行
df.loc['b','english'] //取行索引为'b',列名为english的那个数据。
df.loc[df['id']>2,'name'] //取id大于2的name列的数据
df.loc['c',['id','name']] //取行索引为c的那一行对应的id和name两列的数据
df.loc['a':'c','name':'english'] //取行索引为a到c行,列名从name到english的所有数据
df.loc[:,'name'] //取name列的所有行
iloc函数:基于数字选择数据,行、列均从0开始
df.iloc[2] //取行下标为2的那一行的数据(是我们看到的第三行,下标从0开始)
df.iloc[[0,3,5]] //取行下标为0,3,5的那三行数据,即我们看到的第一行、第四行、第六行
df.iloc[3:5] //取行下标为3到5(不包含5)的数据,即我们看到的第四、第五行
df.iloc[2,3] //取行下标为2,列下标为3的那个数据
df.iloc[2,[0,1]] //取行下标为2,列下标为0、1的数据,即行索引为c,列名为id,name的数据
df.iloc[0:2,1:3] //取行下标为0到2但不包含2,列下标为1到3但不包含3的数据,即行索引为a、b,列索引为name、math的所有数据
df.iloc[:,1] //提取name列的所有行
df.iloc[lambda x: x.index % 2 == 0] //这里DataFrame的index要是数字,即上面例子中的abcdef索引换成012345,该行代码结果就是取索引为0,2,4的三行数据
at:用来选择单个值的,用法类似于loc
df.at['a','english'] //等价于df.loc['a','english']
iat:也是用来选择单个值,只是输入的参数是索引坐在的行号,类似iloc
df.iat[0,3] //选择的值与df.at['a','english'] 一样
综上:
1)loc和iloc函数都是用来选择某行的,iloc与loc的不同是:iloc是按照行索引所在的位置来选取数据,参数只能是整数,从0开始计数。而loc是按照索引名称来选取数据,参数类型依索引类型而定;
2)at和iat函数是只能选择某个位置的值,iat是按照行索引和列索引的位置来选取数据的,同iloc一样,从0开始计数。而at是按照行索引和列索引名称来选取数据;
3)loc和iloc函数的功能包含at和iat函数的功能
4)另外iloc与loc不同的一点是切片范围,iloc不包含范围的结束下标,例如0:3,df.loc['a':'d']选择的是a、b、c、d四行,而df.iloc[0:3]选择的是0、1、2三行。
6、数据清洗
填充空值:
df.fillna(value=0) //用0填充整个DataFrame的NaN值
df.fillna(df['math'].mean()) //用math列的均值填充整个DataFrame的NaN值
df['math'].fillna(df['math'].mean()) //用math列的均值填充math列的NaN值
fillna函数默认不在DataFrame本身进行操作,要想得到填充后的数据,要么自己赋值(df = df.fillna(0) df['math'] = df['math'].fillna(df['math'].mean())),要么在fillna函数中设置inplace=True
去除空格:
df['name'].str.strip //只能去掉字符串首尾的空格,中间的不会去掉
df['name'] = df['name'].map(str.strip) //效果同上,上面的返回结果数据类型是<class 'method'>,如果直接赋值给name列,那么name列所有数据变成<bound method StringMethods.strip of <pandas.core.strings.StringMethods object at 0x0000000DEF153908>>,利用map函数转换则返回数据类型是Series,重新赋值给name列
大小写转换:
df['name'] = df['name'].map(str.lower) //全部小写,加map的道理同上
df['name'] = df['name'].map(str.upper) //全部大写
df['name'] = df['name'].map(str.capitalize) //首字母大写,其余小写
//python对字符串的处理函数中,不需要传入参数的都可以放到map里写成str.method
map可以根据数组、Series或者DataFrame列中的值来实现转换,下面给出一个例子:
更改数据格式:
df['math'] = df['math'].astype('int') //假设原来math列为float类型,更改为int类型时,小数部分直接去掉,不进行四舍五入
更改列名:
df.rename(columns={'sepal_length':'length'},inplace=True) //sepal_length更改为length,inplace=True设置更改作用在原DataFrame上,否则原DataFrame不会改变
替换某列的值:
df['name'] = df['name'].replace('Iris-setosa','yy') //将name列值为Iris-setosa的数据用yy替换,不用等号赋值也可以在replace中设置inplace=True
删除后出现的重复的值:
df['name']=df['name'].drop_duplicates() //drop_duplicates()将name列中的重复元素删除,保留最先出现的一个,将删除后返回的数据再赋值给name列时,原来重复的位置数据为NaN
删除先出现的重复的值:
df['name']=df['name'].drop_duplicates(keep='last') //同上,相当于将name列最先出现的重复值设置为NaN
整个DataFrame删除某列重复的数据:
df.drop_duplicates(['math'],inplace=True) //删除math列后出现的重复值对应的记录
df=df.drop_duplicates(['math','english']) //删除math和english两列同时重复的后出现的记录,keep='last'参数作用同上
7、多表处理
1)merge合并
df1 = pd.DataFrame(
{"id":[1001,1002,1003,1004,1005,1006],
"date":pd.date_range('20130102', periods=6),
"city":['Beijing', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '],
"age":[23,44,54,32,34,32],
"indextest":['a','b','c','d','e','f'],
"price":[1200,np.nan,2133,5433,np.nan,4432]},
columns =['id','date','city','category','age','price'])
df2 = pd.DataFrame(
{"id":[1001,1002,1003,1004,1005,1006,1007,1008],
"gender":['male','female','male','female','male','female','male','female'],
##"city":['Beijing', 'SH', 'GZ', 'SZ', 'SH', 'BJ'],
"pay":['Y','N','Y','Y','N','Y','N','Y',]},
index=['a','c','d','e','f','g','h','i']
)
pd.merge(df1,df2) //将df1、df2以join方式合并,自动查找列名相同的进行join
pd.merge(df1,df2,on='id',how='left') //相当于sql的df1 left join df2 on df1.id = df2.id。on参数指定关联的列名,必须是两个DataFrame都有的;how参数指定关联的方式,默认为join,另外还有left、right、outer
pd.merge(df1,df2,left_on='id',right_on='idd') //df1 join df2 on df1.id = df2.idd。当df1和df2中没有相同的列索引名时,不能使用on,需要指定两边进行关联的列名,通过left_on、right_on参数指定
pd.merge(df1,df2,on=['id','city'],how='outer') //根据id和city两个列名进行合并
pd.merge(df1t,df2,on='id',suffixes=('_left','_right')) //df1和df2有两个相同的列名id和city,当只用id做合并关联字段时,city就是重复的,通过suffixed参数指定重复列名合并后的新名称,左边的表在原名称基础上加上‘_left’,右边的表在原名称基础上加上‘_right’,最终合并后的列名为id,date,city_left,age,category,price,gender,city_right,pay
pd.merge(df1,df2,left_on='indextest',right_index=True) //df1的indextest列与df2的行索引即index进行关联合并。当需要左表使用行索引进行关联时,设置left_index=True。
复合行索引与多列进行关联,例如:
lefth = pd.DataFrame({'key1':['Ohio','Ohio','Ohio','Nevada','Nevada'],
'key2':[2000,2001,2002,2001,2002],
'data':np.arange(5.0)})
righth = pd.DataFrame(np.arange(12).reshape((6,2)),
index=[['Nevada','Nevada','Ohio','Ohio','Ohio','Ohio'],
[2001,2000,2000,2000,2001,2002]],
columns=['event1','event2'])
pd.merge(lefth,righth,left_on=['key1','key2'],right_index=True)
结果如下:
2)join合并(单纯使用索引进行合并)例子如下:
left2 = pd.DataFrame([[1.0,2.0],[3.0,4.0],[5.0,6.0]],index = ['a','c','e'],columns=['Ohio','Nevada'])
right2 = pd.DataFrame([[7.0,8.0],[9.0,10.0],[11.0,12.0],[13.0,14.0]],index = ['b','c','d','e'],columns=['Missouri','Alabama'])
left2.join(right2)
3)append合并:
将一个表的数据追加到另一个表中,两个表的列名必须相同
df1 = pd.DataFrame([[1, 2], [3, 4]], columns=list('AB'))
A B
0 1 2
1 3 4
df2 = pd.DataFrame([[5, 6], [7, 8]], columns=list('AB'))
df1.append(df2)
A B
0 1 2
1 3 4
0 5 6
1 7 8
df1.append(df2, ignore_index=True)
A B
0 1 2
1 3 4
2 5 6
3 7 8
注意,append函数是生成新的DataFrame,并不会影响原来的DataFrame,所以需要赋值才能让原变量获取合并后的数据(上面例子df1并没有变化)。
df1 = df1.append({'A':8,'B':8},ignore_index=True) 查看df1结果如下:
A B
0 1 2
1 3 4
2 8 8
4)轴向链接concat
轴向链接是指根据某个轴向来拼接数据,pandas中索引列(纵轴)为0,列名(横轴)行为1,concat函数默认在0轴上工作,即axis参数默认为0。concat可以作用于Series和DataFrame,下面看例子。
在0轴拼接:
s1 = pd.Series([0,1],index=['a','b'])
s2 = pd.Series([2,3,4],index=['c','d','e'])
s3 = pd.Series([5,6],index=['f','g'])
pd.concat([s1,s2,s3])
#输出
a 0
b 1
c 2
d 3
e 4
f 5
g 6
dtype: int64
在1轴拼接:
pd.concat([s1,s2,s3],axis=1)
#输出
0 1 2
a 0.0 NaN NaN
b 1.0 NaN NaN
c NaN 2.0 NaN
d NaN 3.0 NaN
e NaN 4.0 NaN
f NaN NaN 5.0
g NaN NaN 6.0
在上面的情况下,参与连接的片段在结果中区分不开,假设你想要在连接轴上创建一个层次化索引,我们可以额使用keys参数:
result = pd.concat([s1,s1,s3],keys=['one','two','three'])
result
#输出
one a 0
b 1
two a 0
b 1
three f 5
g 6
dtype: int64
result = pd.concat([s1,s1,s3],keys=['one','two','three'],axis=1)
#输出
one two three
a 0.0 0.0 NaN
b 1.0 1.0 NaN
f NaN NaN 5.0
g NaN NaN 6.0
8、离散化数据
在数据分析中,有些数据需要归类到几个大类中,比如根据年龄将人划分为少年,青年,壮年,老年,可以用cut函数实现,具体用法如下,这里只介绍关键的参数。
df = pd.DataFrame({'name':['luci','jack','bob'],'age':[20,5,45]})
df['age_s']=pd.cut(df['age'],[0,15,30,60,100],labels=False)
df
name age age_s
0 luci 20 1
1 jack 5 0
2 bob 45 2
cut中第一个参数是需要进行划分范围的数据,第二个参数是范围,像上面例子中的[0,15,30,60,100]是划分了4个范围,对应的code为0,1,2,3,labels的False设定不显示范围值,用code代替,也可以设置labels为你需要的值,例如labels=['少年','青年','壮年','老年'],如果不设置labels参数,则显示的是范围值,如下所示
ct = pd.cut(df['age'],[0,15,30,60,100])
0 (15, 30]
1 (0, 15]
2 (30, 60]
Name: age, dtype: category
Categories (4, interval[int64]): [(0, 15] < (15, 30] < (30, 60] < (60, 100]]
第二个参数也可以是一个整数,例如我们希望分4段,参数值为4时,pandas会根据所有的值自动划分,如下所示,pandas自动划分成了(4.96, 15.0] 、 (15.0, 25.0] 、 (25.0, 35.0] <、(35.0, 45.0]四个范围:
ct = pd.cut(df['age'],4)
0 (15.0, 25.0]
1 (4.96, 15.0]
2 (35.0, 45.0]
Name: age, dtype: category
Categories (4, interval[float64]): [(4.96, 15.0] < (15.0, 25.0] < (25.0, 35.0] < (35.0, 45.0]]
pd.read_csv(filename):从CSV文件导入数据
pd.read_excel(filename):从Excel文件导入数据
pd.read_table(filename):从限定分隔符的文本文件导入数据
pd.read_sql(query, connection_object):从SQL表/库导入数据
pd.read_json(json_string):从JSON格式的字符串导入数据
pd.read_html(url):解析URL、字符串或者HTML文件,抽取其中的tables表格
pd.read_clipboard():从你的粘贴板获取内容,并传给read_table()
pd.DataFrame(dict):从字典对象导入数据,Key是列名,Value是数据
2、将数据保存到指定文档
pd.to_csv() //保存数据到csv文档
pd.to_excel() //保存数据到excel
3、常用的查看、检查数据函数
df.head(n):查看DataFrame对象的前n行
df.tail(n):查看DataFrame对象的最后n行
df.index 查看行名(有时为0、1、2、3...,可以看出有多少行数据)
df.columns 查看列名
df.values 查看矩阵,也就是实际数据
df.shape:查看行数和列数
df.info():查看索引、数据量、每列数据类型、是否存在空值、内存信息,例子如下
I<class 'pandas.core.frame.DataFrame'> Int64Index: 150 entries, 0 to 149 Data columns (total 5 columns): sepal length 150 non-null float64 sepal width 150 non-null float64 petal length 150 non-null float64 petal width 150 non-null float64 Iris class 150 non-null object dtypes: float64(4), object(1) memory usage: 7.0+ KB None
df.describe():查看数值型列的汇总统计(数据总数、平均值、标准差、最小值、最大值、排序后位于25%的值、位于50%的值(中位数)以及位于75%的值),例子如下:
sepal length sepal width petal length petal width count 150.000000 150.000000 150.000000 150.000000 mean 5.843333 3.057333 3.758000 1.199333 std 0.828066 0.435866 1.765298 0.762238 min 4.300000 2.000000 1.000000 0.100000 25% 5.100000 2.800000 1.600000 0.300000 50% 5.800000 3.000000 4.350000 1.300000 75% 6.400000 3.300000 5.100000 1.800000 max 7.900000 4.400000 6.900000 2.500000
也可以单独查看某项统计
df.count() :返回每一列非空值的个数
df.sum() :返回每一列的总和
df.min() :返回每一列的最小值
df.max():返回每一列的最大值
df.mean():返回每一列的平均值
df.median():返回每一列的中位数
df.std():返回每一列的标准差
df.corr(): 列与列之间的相关系数
df.idxmin():???
df.idxmax():???
也可以单独查看某一列的sun、min、max、mean、median,语法如下:
df['B'].sum():查看B列所有数据的总和,其余类似
df.dtypes:查看每一列数据的数据类型
df[‘B’].dtype :查看列名为B的这列数据的数据类型
df.isnull() :判断每个数据是否为空值,返回的是df原数据换成True或False后的矩阵结果
df['B'].isnull():判断B列每个数据是否为空,返回的是B列数据换成True或False后的Series
df['B'].unique() :B列数据去重后的结果,有些网站上说的是查看B列唯一值,本人实际运行后发现是获取所有数据去重后的值
4、数据排序
df1 = df.sort_index(axis=1, ascending=False) # df1为df按列名降序排列后的数据
df1 = df.sort_values(by='B') # df1为df按照列B的值升序排序后的结果数据
5、数据选取
df[col] 根据列名,并以Series的形式返回数据
df[[col1, col2]]:以DataFrame形式返回多列,注意是两个综括号
另外可以通过loc、iloc选择数据。
首先创建一个DataFrame:
test_dict = {'id':[1,2,3,4,5,6],'name':['Alice','Bob','Cindy','Eric','Helen','Grace'],'math':[90,89,99,78,97,93]} df = pd.DataFrame(test_dict,index=['a','b','c','d','e','f'])
增加一列:
df.insert(3,'english',[89,94,80,94,94,90]) //列索引从0开始,这里增加第4列,索引所在位置为3,列名为english,值为[89,94,80,94,94,90]。直接在原DataFrame上增加
df['english'] = [89,94,80,94,94,90] //DataFrame中增加english列
增加一行:
df.loc['g'] = [7,'Iric',99,85] //行索引g如果存在则更新,不存在则新增
删除数据:drop函数用于删除数据,label参数为要删除的数据,默认是行,如果要删除列,可以设置axis=1,axis默认为0表示行;如果不用label,使用index和columns参数可以删除行和列,看下面具体例子。
删除一列:
df1 = df.drop(columns='english') //drop并不改动原来的DataFrame,而是生成新的DataFrame
df1 = df.drop(['english'],axis=1) //作用与上面等价
删除一行:
df1 = df.drop(index='f') //删除索引为f的行,原DataFrame不动,生成新的DataFrame
df1 = df.drop(['a','f']) //删除行索引为a,f的行
drop方法默认不在DataFrame本身进行操作,要想在本身进行操作,需要加上inplace=True参数,等价于操作完再赋值给本身,即df = df.drop(columns='english') 等价于df.drop(columns='english',inplace=True)
loc函数:基于索引标签值选择数据
df.loc['c'] //取行索引为c的那一行的数据
df.loc[['a','d','f']] //取行索引为a,d,f的那三行数据
df.loc['b':'e'] //取行索引为b到e的数据,包含b和e行
df.loc['b','english'] //取行索引为'b',列名为english的那个数据。
df.loc[df['id']>2,'name'] //取id大于2的name列的数据
df.loc['c',['id','name']] //取行索引为c的那一行对应的id和name两列的数据
df.loc['a':'c','name':'english'] //取行索引为a到c行,列名从name到english的所有数据
df.loc[:,'name'] //取name列的所有行
iloc函数:基于数字选择数据,行、列均从0开始
df.iloc[2] //取行下标为2的那一行的数据(是我们看到的第三行,下标从0开始)
df.iloc[[0,3,5]] //取行下标为0,3,5的那三行数据,即我们看到的第一行、第四行、第六行
df.iloc[3:5] //取行下标为3到5(不包含5)的数据,即我们看到的第四、第五行
df.iloc[2,3] //取行下标为2,列下标为3的那个数据
df.iloc[2,[0,1]] //取行下标为2,列下标为0、1的数据,即行索引为c,列名为id,name的数据
df.iloc[0:2,1:3] //取行下标为0到2但不包含2,列下标为1到3但不包含3的数据,即行索引为a、b,列索引为name、math的所有数据
df.iloc[:,1] //提取name列的所有行
df.iloc[lambda x: x.index % 2 == 0] //这里DataFrame的index要是数字,即上面例子中的abcdef索引换成012345,该行代码结果就是取索引为0,2,4的三行数据
at:用来选择单个值的,用法类似于loc
df.at['a','english'] //等价于df.loc['a','english']
iat:也是用来选择单个值,只是输入的参数是索引坐在的行号,类似iloc
df.iat[0,3] //选择的值与df.at['a','english'] 一样
综上:
1)loc和iloc函数都是用来选择某行的,iloc与loc的不同是:iloc是按照行索引所在的位置来选取数据,参数只能是整数,从0开始计数。而loc是按照索引名称来选取数据,参数类型依索引类型而定;
2)at和iat函数是只能选择某个位置的值,iat是按照行索引和列索引的位置来选取数据的,同iloc一样,从0开始计数。而at是按照行索引和列索引名称来选取数据;
3)loc和iloc函数的功能包含at和iat函数的功能
4)另外iloc与loc不同的一点是切片范围,iloc不包含范围的结束下标,例如0:3,df.loc['a':'d']选择的是a、b、c、d四行,而df.iloc[0:3]选择的是0、1、2三行。
6、数据清洗
填充空值:
df.fillna(value=0) //用0填充整个DataFrame的NaN值
df.fillna(df['math'].mean()) //用math列的均值填充整个DataFrame的NaN值
df['math'].fillna(df['math'].mean()) //用math列的均值填充math列的NaN值
fillna函数默认不在DataFrame本身进行操作,要想得到填充后的数据,要么自己赋值(df = df.fillna(0) df['math'] = df['math'].fillna(df['math'].mean())),要么在fillna函数中设置inplace=True
去除空格:
df['name'].str.strip //只能去掉字符串首尾的空格,中间的不会去掉
df['name'] = df['name'].map(str.strip) //效果同上,上面的返回结果数据类型是<class 'method'>,如果直接赋值给name列,那么name列所有数据变成<bound method StringMethods.strip of <pandas.core.strings.StringMethods object at 0x0000000DEF153908>>,利用map函数转换则返回数据类型是Series,重新赋值给name列
大小写转换:
df['name'] = df['name'].map(str.lower) //全部小写,加map的道理同上
df['name'] = df['name'].map(str.upper) //全部大写
df['name'] = df['name'].map(str.capitalize) //首字母大写,其余小写
//python对字符串的处理函数中,不需要传入参数的都可以放到map里写成str.method
map可以根据数组、Series或者DataFrame列中的值来实现转换,下面给出一个例子:
data = pd.DataFrame({'food':['bacon','pulled pork','bacon','Pastrami'], 'ounces':[4,3,12,6]}) meat_to_animal = {'bacon':'pig','pulled pork':'pig','pastrami':'cow'} #Series的map方法接受一个函数或含有映射关系的字典对象,对元素进行相应的转换 data['animal']=data['food'].map(str.lower).map(meat_to_animal) data food ounces animal 0 bacon 4.0 pig 1 pulled pork 3.0 pig 2 bacon 12.0 pig 3 Pastrami 6.0 cow data['animal1'] = data['food'].map(lambda x: meat_to_animal[x.lower()])//作用与上面等价 data food ounces animal animal1 0 bacon 4.0 pig pig 1 pulled pork 3.0 pig pig 2 bacon 12.0 pig pig 3 Pastrami 6.0 cow cow
更改数据格式:
df['math'] = df['math'].astype('int') //假设原来math列为float类型,更改为int类型时,小数部分直接去掉,不进行四舍五入
更改列名:
df.rename(columns={'sepal_length':'length'},inplace=True) //sepal_length更改为length,inplace=True设置更改作用在原DataFrame上,否则原DataFrame不会改变
替换某列的值:
df['name'] = df['name'].replace('Iris-setosa','yy') //将name列值为Iris-setosa的数据用yy替换,不用等号赋值也可以在replace中设置inplace=True
删除后出现的重复的值:
df['name']=df['name'].drop_duplicates() //drop_duplicates()将name列中的重复元素删除,保留最先出现的一个,将删除后返回的数据再赋值给name列时,原来重复的位置数据为NaN
删除先出现的重复的值:
df['name']=df['name'].drop_duplicates(keep='last') //同上,相当于将name列最先出现的重复值设置为NaN
整个DataFrame删除某列重复的数据:
df.drop_duplicates(['math'],inplace=True) //删除math列后出现的重复值对应的记录
df=df.drop_duplicates(['math','english']) //删除math和english两列同时重复的后出现的记录,keep='last'参数作用同上
7、多表处理
1)merge合并
df1 = pd.DataFrame(
{"id":[1001,1002,1003,1004,1005,1006],
"date":pd.date_range('20130102', periods=6),
"city":['Beijing', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '],
"age":[23,44,54,32,34,32],
"indextest":['a','b','c','d','e','f'],
"price":[1200,np.nan,2133,5433,np.nan,4432]},
columns =['id','date','city','category','age','price'])
df2 = pd.DataFrame(
{"id":[1001,1002,1003,1004,1005,1006,1007,1008],
"gender":['male','female','male','female','male','female','male','female'],
##"city":['Beijing', 'SH', 'GZ', 'SZ', 'SH', 'BJ'],
"pay":['Y','N','Y','Y','N','Y','N','Y',]},
index=['a','c','d','e','f','g','h','i']
)
pd.merge(df1,df2) //将df1、df2以join方式合并,自动查找列名相同的进行join
pd.merge(df1,df2,on='id',how='left') //相当于sql的df1 left join df2 on df1.id = df2.id。on参数指定关联的列名,必须是两个DataFrame都有的;how参数指定关联的方式,默认为join,另外还有left、right、outer
pd.merge(df1,df2,left_on='id',right_on='idd') //df1 join df2 on df1.id = df2.idd。当df1和df2中没有相同的列索引名时,不能使用on,需要指定两边进行关联的列名,通过left_on、right_on参数指定
pd.merge(df1,df2,on=['id','city'],how='outer') //根据id和city两个列名进行合并
pd.merge(df1t,df2,on='id',suffixes=('_left','_right')) //df1和df2有两个相同的列名id和city,当只用id做合并关联字段时,city就是重复的,通过suffixed参数指定重复列名合并后的新名称,左边的表在原名称基础上加上‘_left’,右边的表在原名称基础上加上‘_right’,最终合并后的列名为id,date,city_left,age,category,price,gender,city_right,pay
pd.merge(df1,df2,left_on='indextest',right_index=True) //df1的indextest列与df2的行索引即index进行关联合并。当需要左表使用行索引进行关联时,设置left_index=True。
复合行索引与多列进行关联,例如:
lefth = pd.DataFrame({'key1':['Ohio','Ohio','Ohio','Nevada','Nevada'],
'key2':[2000,2001,2002,2001,2002],
'data':np.arange(5.0)})
righth = pd.DataFrame(np.arange(12).reshape((6,2)),
index=[['Nevada','Nevada','Ohio','Ohio','Ohio','Ohio'],
[2001,2000,2000,2000,2001,2002]],
columns=['event1','event2'])
pd.merge(lefth,righth,left_on=['key1','key2'],right_index=True)
结果如下:
key1 | key2 | data | event1 | event2 | 0 | Ohio | 2000 | 0.0 | 4 | 5 | 0 | Ohio | 2000 | 0.0 | 6 | 7 | 1 | Ohio | 2001 | 1.0 | 8 | 9 | 2 | Ohio | 2002 | 2.0 | 10 | 11 | 3 | Nevada | 2001 | 3.0 | 0 | 1 |
2)join合并(单纯使用索引进行合并)例子如下:
left2 = pd.DataFrame([[1.0,2.0],[3.0,4.0],[5.0,6.0]],index = ['a','c','e'],columns=['Ohio','Nevada'])
right2 = pd.DataFrame([[7.0,8.0],[9.0,10.0],[11.0,12.0],[13.0,14.0]],index = ['b','c','d','e'],columns=['Missouri','Alabama'])
left2.join(right2)
Ohio | Nevada | Missouri | Alabama | a | 1.0 | 2.0 | NaN | NaN | c | 3.0 | 4.0 | 9.0 | 10.0 | e | 5.0 | 6.0 | 13.0 | 14.0 |
3)append合并:
将一个表的数据追加到另一个表中,两个表的列名必须相同
df1 = pd.DataFrame([[1, 2], [3, 4]], columns=list('AB'))
A B
0 1 2
1 3 4
df2 = pd.DataFrame([[5, 6], [7, 8]], columns=list('AB'))
df1.append(df2)
A B
0 1 2
1 3 4
0 5 6
1 7 8
df1.append(df2, ignore_index=True)
A B
0 1 2
1 3 4
2 5 6
3 7 8
注意,append函数是生成新的DataFrame,并不会影响原来的DataFrame,所以需要赋值才能让原变量获取合并后的数据(上面例子df1并没有变化)。
df1 = df1.append({'A':8,'B':8},ignore_index=True) 查看df1结果如下:
A B
0 1 2
1 3 4
2 8 8
4)轴向链接concat
轴向链接是指根据某个轴向来拼接数据,pandas中索引列(纵轴)为0,列名(横轴)行为1,concat函数默认在0轴上工作,即axis参数默认为0。concat可以作用于Series和DataFrame,下面看例子。
在0轴拼接:
s1 = pd.Series([0,1],index=['a','b'])
s2 = pd.Series([2,3,4],index=['c','d','e'])
s3 = pd.Series([5,6],index=['f','g'])
pd.concat([s1,s2,s3])
#输出
a 0
b 1
c 2
d 3
e 4
f 5
g 6
dtype: int64
在1轴拼接:
pd.concat([s1,s2,s3],axis=1)
#输出
0 1 2
a 0.0 NaN NaN
b 1.0 NaN NaN
c NaN 2.0 NaN
d NaN 3.0 NaN
e NaN 4.0 NaN
f NaN NaN 5.0
g NaN NaN 6.0
在上面的情况下,参与连接的片段在结果中区分不开,假设你想要在连接轴上创建一个层次化索引,我们可以额使用keys参数:
result = pd.concat([s1,s1,s3],keys=['one','two','three'])
result
#输出
one a 0
b 1
two a 0
b 1
three f 5
g 6
dtype: int64
result = pd.concat([s1,s1,s3],keys=['one','two','three'],axis=1)
#输出
one two three
a 0.0 0.0 NaN
b 1.0 1.0 NaN
f NaN NaN 5.0
g NaN NaN 6.0
8、离散化数据
在数据分析中,有些数据需要归类到几个大类中,比如根据年龄将人划分为少年,青年,壮年,老年,可以用cut函数实现,具体用法如下,这里只介绍关键的参数。
df = pd.DataFrame({'name':['luci','jack','bob'],'age':[20,5,45]})
df['age_s']=pd.cut(df['age'],[0,15,30,60,100],labels=False)
df
name age age_s
0 luci 20 1
1 jack 5 0
2 bob 45 2
cut中第一个参数是需要进行划分范围的数据,第二个参数是范围,像上面例子中的[0,15,30,60,100]是划分了4个范围,对应的code为0,1,2,3,labels的False设定不显示范围值,用code代替,也可以设置labels为你需要的值,例如labels=['少年','青年','壮年','老年'],如果不设置labels参数,则显示的是范围值,如下所示
ct = pd.cut(df['age'],[0,15,30,60,100])
0 (15, 30]
1 (0, 15]
2 (30, 60]
Name: age, dtype: category
Categories (4, interval[int64]): [(0, 15] < (15, 30] < (30, 60] < (60, 100]]
第二个参数也可以是一个整数,例如我们希望分4段,参数值为4时,pandas会根据所有的值自动划分,如下所示,pandas自动划分成了(4.96, 15.0] 、 (15.0, 25.0] 、 (25.0, 35.0] <、(35.0, 45.0]四个范围:
ct = pd.cut(df['age'],4)
0 (15.0, 25.0]
1 (4.96, 15.0]
2 (35.0, 45.0]
Name: age, dtype: category
Categories (4, interval[float64]): [(4.96, 15.0] < (15.0, 25.0] < (25.0, 35.0] < (35.0, 45.0]]
发表评论
-
excel之常用函数
2019-12-23 20:00 3521、IF IF(判断条件, ... -
pandas之读取excel文件
2019-11-20 18:22 0如果一个excel中某列的数据中以逗号分隔,想分隔为很多列,查 ... -
pandas之read_csv
2019-11-20 17:03 330读取csv文件 df = pd.read_cs ... -
anaconda与winpython的区别
2019-07-29 15:43 0作者:peng wang 链接:https://www.zhi ... -
python随机森林函数参数详解
2019-01-10 15:09 0RandomForestClassifier( n_estim ... -
机器学习
2018-09-21 18:33 0特征工程: https://blog.csdn.net/wei ...
相关推荐
在这个"pythonpandas基本操作练习50题"中,我们将重点讨论如何利用Pandas进行数据预览、数据清洗、数据统计以及数据分组等基础操作。 首先,数据预览是分析的起点。`df.head()`函数用于查看数据集的前几行,这有助...
pandas基础操作知识
以下是一些关于Pandas基础操作的详细说明: 1. **数据读取与加载**: - `read_csv()` 函数用于读取CSV文件,将数据转换为DataFrame对象。 - `read_excel()` 函数则用于读取Excel文件。 2. **数据查看**: - `...
Pandas基本操作.ipynb
pandas 基本操作 pandas 是 Python 中一个功能强大的数据分析库,提供了高效的数据分析和处理功能。本文档将详细介绍 pandas 的基本操作,包括数据表的增加、删除、修改、查看、排序和分类汇总等操作。 1. 数据表...
本篇主要介绍pandas的基础操作,包括Series和DataFrame的创建,以及Series的切片、索引和读取外部文件。 1. **pandas常用数据类型** - **Series**:Series是一种一维数据结构,类似于一维数组,但每个元素都有一个...
在这个“天池_pandas”实践项目中,我们将会探讨并应用Pandas库的一些基础操作,这些操作是通过提供的数据集进行的。以下是对每个数据文件的简要介绍以及可能涉及的Pandas知识点: 1. 文件名:pokemon.csv 这个CSV...
Pandas是一款强大的Python数据分析工具包,由Wes McKinney于2008年首次创建,目前是PyData项目的一部分。Pandas主要提供了快速、灵活且表达力强的数据结构,旨在使“关系”或“标签”数据的处理变得简单直观。它设计...
《Pandas常用操作详解》 Pandas,作为Python数据分析...通过熟练掌握这些基础操作,你可以更高效地处理和分析Excel数据,为你的数据分析工作提供强大支持。在实践中不断探索和学习,你会发现Pandas的潜力远不止于此。
根据题目描述,这份材料主要涉及Python中的pandas库的基础操作,包括数据读取、数据处理、数据分析等多个方面。通过这些习题,我们可以了解到如何使用pandas进行基本的数据分析任务。 #### 二、详细知识点解释 **...
在Python的科学计算领域,numpy和pandas是两个不可或缺的库。...通过阅读《机器学习numpy和pandas基础.pdf》这样的教程,你可以系统地学习这两个库的基本用法和高级特性,从而在实际项目中游刃有余。
4. Pandas基本操作 - 使用`.head()`和`.tail()`方法查看DataFrame的前几行或后几行数据。 - 使用`.describe()`方法快速统计分析数据集的数值特征。 - 使用`.info()`方法了解DataFrame的结构信息,包括索引、数据...
通过这个"学习Pandas打卡第一天的程序和代码",你将掌握Pandas的基本操作,并能运用到实际的数据分析项目中。课后习题的解答可以帮助巩固所学知识,提升解决问题的能力。在实践中不断学习和应用,你将逐渐成为Pandas...
pands:基础的数据结构,基本操作,层级索引,函数应用,分组和聚合,透视表,交叉表等
对DataFrame的基本操作还包括选取、切片和筛选。选取多个列时,需要将列名放入方括号[]内,如[['actor_1_name','actor_2_name']]。方法链(method chaining)是一种通过点记号的方式将多个函数调用顺序连接起来的...
* 操作:了解pandas的数据操作方法 * 合并:了解如何合并数据 * 分组:了解如何分组和聚合数据 * 重塑:了解如何重塑数据 高级特性 pandas还提供了多种高级特性,包括: * MultiIndex和Panel数据结构 * 高性能的...
本资源集成了一系列深入探讨Pandas库高级功能的Python脚本,涵盖数据合并、重塑、分组聚合操作以及复杂的时间序列分析,并辅以直观的数据可视化实例。内容详尽、案例丰富,适合已具备Pandas基础知识的数据分析师、...
根据给定文件信息,以下是关于“pandas全部操作指令表”的详细知识点说明: 一、基本导入与数据导入 1. 导入pandas与numpy库,通常使用别名pd与np,以便后续操作。 ```python import pandas as pd import numpy as ...
在数据分析领域,Pandas是一个非常重要的库,它提供了高效的数据操作和分析工具。在这个“Pandas综合练习题一”中,我们将深入探讨四个关键知识点:查看数据表基本信息、处理重复数据、处理异常值以及处理缺失值。每...
1. **Pandas基础操作**:这部分包括了创建和加载数据框(DataFrame)、序列(Series)的基本知识,以及查看和调整数据结构。例如,创建DataFrame、使用head()和tail()函数查看数据、利用info()获取数据基本信息等。 ...