如何矢量化包含自定义分组的熊猫计算？

Question

我有一个的大数据帧控股用户映射（索引）项的计数（列）：

users_items = pd.DataFrame(np.array([[0, 1, 1, 0],  # user 0 
            [1, 0, 0, 0],  # user 1 
            [5, 0, 0, 9],  # user 2 
            [0, 3, 5, 0],  # user 3 
            [0, 2, 2, 0],  # user 4 
            [7, 0, 0, 1],  # user 5 
            [3, 5, 0, 4]]), # user 6 
          columns=list('ABCD')) 

对于每一个用户，我想找到所有具有非零计数至少相同的用户物品和总数。因此对于用户1，这将是用户1,2,5和6，并且计数的总和等于[16, 5, 0, 14]。这可以用于根据“类似”用户获得的项目向用户建议新项目。

这天真实现使用签名作为一个正则表达式来过滤出相关行和一个循环遍历所有签名：

def create_signature(request_counts): 
    return ''.join('x' if count else '.' for count in request_counts) 

users_items['signature'] = users_items.apply(create_signature, axis=1).astype('category') 

current_items = users_items.groupby('signature').sum() 

similar_items = pd.DataFrame(index=current_items.index, 
          columns=current_items.columns) 

for signature in current_items.index: 
    row = current_items.filter(regex=signature, axis='index').sum() 
    similar_items.loc[signature] = row 

结果是：

  A B C D 
signature    
.xx.  0 6 8 0 
x...  16 5 0 14 
x..x  15 5 0 14 
xx.x  3 5 0 4 

该作品很好，但对于由100k用户和大约600个项目组成的实际数据集来说太慢了。生成签名只需要10秒，但是在所有（40k）签名上循环需要几个小时。

向量化循环应该会带来巨大的性能提升，但是我对熊猫的使用经验有限，所以我不确定如何去做。甚至可以矢量化这种类型的计算？也许使用口罩？

Answer 1

取而代之的是string的签名，你可以使用一个frozenset

​​

另一种是

def create_signature(request_counts): 
    return frozenset(request_counts.replace({0: None}).dropna().index) 

我没有足够的大，看一个人是否是比速度更快的数据集其他。

如果有重复列，插入前.index

到reset_index()电话本可以让你vectorise你的过滤器到底

for signature in current_items.index: 
    row = current_items[signature <= current_items.index].sum() 
    similar_items.loc[signature] = row 

结果

signature     A B C D 
frozenset({'B', 'C'})  0 6 8 0 
frozenset({'A'})   16 5 0 14 
frozenset({'A', 'D'})  15 5 0 14 
frozenset({'B', 'A', 'D'}) 3 5 0 4