Question

python怎么对dataframe进行操作

Answer 1

用pandas中的DataFrame时选取行或列：
import numpy as npimport pandas as pdfrom pandas import Sereis, DataFrameser = Series(np.arange(3.))data = DataFrame(np.arange(16).reshape(4,4),index=list('abcd'),columns=list('wxyz'))data['w'] #选择表格中的'w'列，使用类字典属性,返回的是Series类型data.w #选择表格中的'w'列，使用点属性,返回的是Series类型data[['w']] #选择表格中的'w'列，返回的是DataFrame类型data[['w','z']] #选择表格中的'w'、'z'列data[0:2] #返回第1行到第2行的所有行，前闭后开，包括前不包括后data[1:2] #返回第2行，从0计，返回的是单行，通过有前后值的索引形式，
#如果采用data[1]则报错data.ix[1:2] #返回第2行的第三种方法，返回的是DataFrame，跟data[1:2]同data['a':'b'] #利用index值进行切片，返回的是**前闭后闭**的DataFrame,
#即末端是包含的
data.irow(0) #取data的第一行data.icol(0) #取data的第一列data.head() #返回data的前几行数据，默认为前五行，需要前十行则data.head(10)data.tail() #返回data的后几行数据，默认为后五行，需要后十行则data.tail(10)ser.iget_value(0) #选取ser序列中的第一个ser.iget_value(-1) #选取ser序列中的最后一个，这种轴索引包含索引器的series不能采用ser[-1]去获取最后一个，这会引起歧义。data.iloc[-1] #选取DataFrame最后一行，返回的是Seriesdata.iloc[-1:] #选取DataFrame最后一行，返回的是DataFramedata.loc['a',['w','x']] #返回‘a’行'w'、'x'列，这种用于选取行索引列索引已知data.iat[1,1] #选取第二行第二列，用于已知行、列位置的选取。123456789101112131415161718192021222324252627282930313233343536373839404142

下面是简单的例子使用验证：
import pandas as pdfrom pandas import Series, DataFrame
import numpy as np

data = DataFrame(np.arange(15).reshape(3,5),index=['one','two','three'],columns=['a','b','c','d','e'])

data
Out[7]:
a b c d eone 0 1 2 3 4two 5 6 7 8 9three 10 11 12 13 14#对列的操作方法有如下几种data.icol(0) #选取第一列E:\Anaconda2\lib\site-packages\spyder\utils\ipython\start_kernel.py:1: FutureWarning: icol(i) is deprecated. Please use .iloc[:,i] # -*- coding: utf-8 -*-Out[35]:
one 0two 5three 10Name: a, dtype: int32

data['a']
Out[8]:
one 0two 5three 10Name: a, dtype: int32

data.aOut[9]:
one 0two 5three 10Name: a, dtype: int32

data[['a']]
Out[10]:
aone 0two 5three 10data.ix[:,[0,1,2]] #不知道列名只知道列的位置时Out[13]:
a b cone 0 1 2two 5 6 7three 10 11 12data.ix[1,[0]] #选择第2行第1列的值Out[14]:
a 5Name: two, dtype: int32

data.ix[[1,2],[0]] #选择第2,3行第1列的值Out[15]:
atwo 5three 10data.ix[1:3,[0,2]] #选择第2-4行第1、3列的值Out[17]:
a ctwo 5 7three 10 12data.ix[1:2,2:4] #选择第2-3行，3-5（不包括5）列的值Out[29]:
c dtwo 7 8data.ix[data.a>5,3]
Out[30]:
three 13Name: d, dtype: int32

data.ix[data.b>6,3:4] #选择'b'列中大于6所在的行中的第4列，有点拗口Out[31]:
dthree 13data.ix[data.a>5,2:4] #选择'a'列中大于5所在的行中的第3-5（不包括5）列Out[32]:
c dthree 12 13data.ix[data.a>5,[2,2,2]] #选择'a'列中大于5所在的行中的第2列并重复3次Out[33]:
c c cthree 12 12 12#还可以行数或列数跟行名列名混着用data.ix[1:3,['a','e']]
Out[24]:
a etwo 5 9three 10 14data.ix['one':'two',[2,1]]
Out[25]:
c bone 2 1two 7 6data.ix[['one','three'],[2,2]]
Out[26]:
c cone 2 2three 12 12data.ix['one':'three',['a','c']]
Out[27]:
a cone 0 2two 5 7three 10 12data.ix[['one','one'],['a','e','d','d','d']]
Out[28]:
a e d d done 0 4 3 3 3one 0 4 3 3 3#对行的操作有如下几种：data[1:2] #（不知道列索引时）选择第2行，不能用data[1]，可以用data.ix[1]Out[18]:
a b c d etwo 5 6 7 8 9data.irow(1) #选取第二行Out[36]:
a 5b 6c 7d 8e 9Name: two, dtype: int32

data.ix[1] #选择第2行Out[20]:
a 5b 6c 7d 8e 9Name: two, dtype: int32

data['one':'two'] #当用已知的行索引时为前闭后闭区间，这点与切片稍有不同。Out[22]:
a b c d eone 0 1 2 3 4two 5 6 7 8 9data.ix[1:3] #选择第2到4行，不包括第4行，即前闭后开区间。Out[23]:
a b c d etwo 5 6 7 8 9three 10 11 12 13 14data.ix[-1:] #取DataFrame中最后一行，返回的是DataFrame类型,**注意**这种取法是有使用条件的，只有当行索引不是数字索引时才可以使用，否则可以选用`data[-1:]`--返回DataFrame类型或`data.irow(-1)`--返回Series类型Out[11]:
a b c d ethree 10 11 12 13 14data[-1:] #跟上面一样，取DataFrame中最后一行，返回的是DataFrame类型Out[12]:
a b c d ethree 10 11 12 13 14data.ix[-1] #取DataFrame中最后一行，返回的是Series类型，这个一样，行索引不能是数字时才可以使用Out[13]:
a 10b 11c 12d 13e 14Name: three, dtype: int32

data.tail(1) #返回DataFrame中的最后一行data.head(1) #返回DataFrame中的第一行123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186

最近处理数据时发现当pd.read_csv()数据时有时候会有读取到未命名的列，且该列也用不到，一般是索引列被换掉后导致的，有强迫症的看着难受，这时候dataframe.drop([columns,])是没法处理的，怎么办呢，
最笨的方法是直接给列索引重命名：
data6

Unnamed: 0 high symbol timedate 2016-11-01 0 3317.4 IF1611 18:10:44.82016-11-01 1 3317.4 IF1611 06:01:04.52016-11-01 2 3317.4 IF1611 07:46:25.52016-11-01 3 3318.4 IF1611 09:30:04.02016-11-01 4 3321.8 IF1611 09:31:04.0data6.columns = list('abcd')

data6 a b c ddate 2016-11-01 0 3317.4 IF1611 18:10:44.82016-11-01 1 3317.4 IF1611 06:01:04.52016-11-01 2 3317.4 IF1611 07:46:25.52016-11-01 3 3318.4 IF1611 09:30:04.02016-11-01 4 3321.8 IF1611 09:31:04.012345678910111213141516171819202122

重新命名后就可以用dataframe.drop([columns])来删除了，当然不用我这样全部给列名替换掉了，可以只是改变未命名的那个列，然后删除。不过这个用起来总是觉得有点low，有没有更好的方法呢，有，可以不去删除，直接：
data7 = data6.ix[:,1:]1

这样既不改变原有数据，也达到了删除神烦列，当然我这里时第0列删除，可以根据实际选择所在的列删除之，至于这个原理，可以看下前面的对列的操作。