使用numpy进行数组重分类


问题内容

我有一个包含10位数字的大型(50000 x 50000)64位整数NumPy数组。数组中大约有250,000个唯一数字。

我有第二个重新分类表,该表将第一个数组中的每个唯一值映射到1到100之间的整数。我希望将第一个数组中的值重新分类为第二个数组中的对应值。

我尝试了两种方法来执行此操作,尽管它们起作用,但速度却很慢。在这两种方法中,我都会创建一个尺寸相同的空白(零)数组。

new_array = np.zeros(old_array.shape)

第一种方法:

for old_value, new_value in lookup_array:
    new_array[old_array == old_value] = new_value

第二种方法,其中lookup_array在熊猫数据框中,标题为“旧”和“新”:

for new_value, old_values in lookup_table.groupby("New"):
    new_array[np.in1d(old_array, old_values)] = new_value

有没有更快的方法来重新分类值


问题答案:

将查找表存储为250,000个元素数组,其中每个索引都有映射值。例如,如果您有以下内容:

lookups = [(old_value_1, new_value_1), (old_value_2, new_value_2), ...]

然后,您可以执行以下操作:

idx, val = np.asarray(lookups).T
lookup_array = np.zeros(idx.max() + 1)
lookup_array[idx] = val

当您得到它时,可以简单地得到转换后的数组:

new_array = lookup_array[old_array]