在熊猫中,如何基于许多列的组合创建唯一的ID?
问题内容:
我有一个非常大的数据集,看起来像
df = pd.DataFrame({'B': ['john smith', 'john doe', 'adam smith', 'john doe', np.nan], 'C': ['indiana jones', 'duck mc duck', 'batman','duck mc duck',np.nan]})
df
Out[173]:
B C
0 john smith indiana jones
1 john doe duck mc duck
2 adam smith batman
3 john doe duck mc duck
4 NaN NaN
我需要创建一个ID变量,该变量对于每个BC组合都是唯一的。也就是说,输出应为
B C ID
0 john smith indiana jones 1
1 john doe duck mc duck 2
2 adam smith batman 3
3 john doe duck mc duck 2
4 NaN NaN 0
我实际上并不在乎索引是否从零开始,以及缺失列的值是0还是任何其他数字。我只想要快速的东西,不需要很多内存,并且可以快速排序。我用:
df['combined_id']=(df.B+df.C).rank(method='dense')
但是输出是float64
并且占用大量内存。我们可以做得更好吗?谢谢!
问题答案:
我认为您可以使用factorize
:
df['combined_id'] = pd.factorize(df.B+df.C)[0]
print df
B C combined_id
0 john smith indiana jones 0
1 john doe duck mc duck 1
2 adam smith batman 2
3 john doe duck mc duck 1
4 NaN NaN -1