大熊猫多指标排序
问题描述:
在熊猫0.19我有以下形式的多指标一的大数据帧,根据“两节”,以大熊猫多指标排序
C0 C1 C2
A B
bar one 4 2 4
two 1 3 2
foo one 9 7 1
two 2 1 3
我要排序的酒吧和Foo(多以双线为他们)得到以下:
C0 C1 C2
A B
bar one 4 4 2
two 1 2 3
foo one 7 9 1
two 1 2 3
我对速度感兴趣(因为我有很多列和许多行对)。如果加快分类速度,我也很乐意重新安排数据。非常感谢
答
这里大多数人这应该会产生良好的性能。它首先只选择'两'行并对它们进行排序。然后它为原始数据帧的每一行设置此顺序。然后解开这个顺序(在添加一个常数来抵消每一行之后)和原始数据帧值。然后,在创建具有预定排序顺序的新数据帧之前,基于此解开的偏移量和参数数组重新排序所有原始值。
rows, cols = df.shape
df_a = np.argsort(df.xs('two', level=1))
order = df_a.reindex(df.index.droplevel(-1)).values
offset = np.arange(len(df)) * cols
order_final = order + offset[:, np.newaxis]
pd.DataFrame(df.values.ravel()[order_final.ravel()].reshape(rows, cols), index=df.index, columns=df.columns)
输出
C0 C1 C2
A B
bar one 4 4 2
two 1 2 3
foo one 7 9 1
two 1 2 3
一些速度测试
# create much larger frame
import string
idx = pd.MultiIndex.from_product((list(string.ascii_letters), list(string.ascii_letters) + ['two']))
df1 = pd.DataFrame(index=idx, data=np.random.rand(len(idx), 3), columns=['C0', 'C1', 'C2'])
#scott boston
%timeit df1.groupby(level=0).apply(sortit)
10 loops, best of 3: 199 ms per loop
#Ted
1000 loops, best of 3: 5 ms per loop
答
这里是一个解决方案,虽然klugdy:
输入数据帧:
C0 C1 C2
A B
bar one 4 2 4
two 1 3 2
foo one 9 7 1
two 2 1 3
自定义排序功能:
def sortit(x):
xcolumns = x.columns.values
x.index = x.index.droplevel()
x.sort_values(by='two',axis=1,inplace=True)
x.columns = xcolumns
return x
df.groupby(level=0).apply(sortit)
输出:
C0 C1 C2
A B
bar one 4 4 2
two 1 2 3
foo one 7 9 1
two 1 2 3