Question

python pandas groupby apply 正则表达式

1. 创建DataFrame（有a和b两个人,各录入了两次信息。其中，a第一次录入了的性别是男，第2次没有录入性别；b第1次是男，第二次是女。）
df = pd.DataFrame({'姓名': ['a','a','b','b'], '性别': ['男',np.nan,'男','女']})
2. 按姓名进行Groupbygroup = df.groupby('姓名')
3. 我的问题是：我想按如下规则确定a和b的性别。
4. 规则是：
4.1 假如两次录入都没录入性别(也就是np.nan)，那么他的性别就是np.nan
4.2 假如有一次录入了男或者女，另一次没录入性别，那么他的性别就对应是男或者是女
4.3 假如两次都录入信息，第一次录入的性别和第二次不一样，那么我就随便取男女
4.4 假如两次都录入信息，并且两次录入的性别都一样，那么就按他录入的。
5. 用GroupBy.apply（）方法应该怎么写呢？类似于apply(lambda x: ..........)这样。谢谢！

Answer 1

如果不用groupby

如果一定要用

追问

第一种方法不好哦，假如b第一次的性别是np.nan，第二次是男，那么用第一种方法就会得到np.nan，而显然得到‘男’更合理。
第二种方法，我大概看懂了，意思就是把不是np.nan的都存起来，然后取第一个，但是假如某个人好几次都不输入性别，也就是说他的性别都是np.nan，那么用[y for...][0]这句就会下标越界错误。

追答

df.groupby('姓名').apply(lambda x:[y if y in list('男女') else np.nan for y in x.性别][0])

追问

嗯这个最好，解决了我的问题。嘿嘿，谢谢！
但是有没有办法改进成更加通用一点的语句。因为这个地方性别只有男女和np.nan3中情况，所以用 if y in list['男女']就可以了。假如我还有个字段是这些人的注册地，那么他可以有'中国'、'日本'、'上海'、'南京'、np.nan等多种字符串和np.nan的组合情况，显然用list罗列有点力不从心啊，那该怎么优化一下呢？

追答

刚才那个有错误

追问

这个好像不对啊，map(str,x.性别)的作用是都变成str ？ 那么np.nan就变成了字符串'nan'了啊。我在你刚才那个基础上这样写的：
group.apply(lambda x: [y if isinstance(y,str) else np.nan for y in x.性别][0])

追答

追问

对哦，sort_values默认吧np.nan放最后。厉害。谢谢了。追加50分。

Answer 2

要group by哪个字段？进行什么聚合操作？

追问

group = groupby[by='姓名']
group['性别'].apply(.......)
就是按照我那个规则返回性别，类型str
规则简单点说就是某个人对应的多个性别里面，假如出现男或者女，就任意取，只要不是np.nan就好；假如性别字段一直是np.nan，就取np.nan