Question

python中怎么对dataframe列去重

Answer 1

今天笔者想对pandas中的行进行去重操作，找了好久，才找到相关的函数

先看一个小例子

[python] view plain copy

• from pandas import Series, DataFrame  

• data = DataFrame({'k': [1, 1, 2, 2]})  

• print data  

• IsDuplicated = data.duplicated()  

• print IsDuplicated  

• print type(IsDuplicated)  

• data = data.drop_duplicates()  

• print data  




执行结果是：

[python] view plain copy

• k  

• 0  1  

• 1  1  

• 2  2  

• 3  2  

[python] view plain copy

• 0    False  

• 1     True  

• 2    False  

• 3     True  

[python] view plain copy

• k  

• 0  1  

• 2  2  





DataFrame的duplicated方法返回一个布尔型Series,表示各行是否重复行。


而 drop_duplicates方法，它用于返回一个移除了重复行的DataFrame

这两个方法会判断全部列，你也可以指定部分列进行重复项判段。

例如，希望对名字为k2的列进行去重，

data.drop_duplicates(['k2'])