重新组织大熊猫
问题描述:
我有这样一个组织的数据帧无关的数据...重新组织大熊猫
**Name** | **Mealtime** | **Food**
John | 8:00 am | cereal
John | 1:00 pm | salad
John | 6:00 pm | pasta
Sara | 8:00 am | yogurt
Sara | 1:00 pm | panini
Sara | 6:00 pm | steak
Jake | 8:00 am | coffee
Jake | 1:00 pm | burrito
Jake | 6:00 pm | salad
而且我需要它这样
____| 8:00 am | 1:00 pm | 6:00 pm
John | cereal | salad | pasta
Sara | yogurt | panini | steak
Jake | coffee | burrito | salad
我怎么会去这样做组织?请注意,我并不是在寻找一种美学上的改变。最后,我想选择一行数据,以可以从特定食物条目中确定名称的方式将其馈入for循环。例如,抓住“1:00 pm”专栏,“沙拉”会指引我约翰。但如果我抓住了“下午6点”的专栏,“沙拉”会引导我到杰克。
答
您需要df.pivot
:
In [606]: df.pivot(index='Name', columns='Mealtime', values='Food')
Out[606]:
Mealtime 1:00 pm 6:00 pm 8:00 am
Name
Jake burrito salad coffee
John salad pasta cereal
Sara panini steak yogurt
答
选项0numpy
切片与pd.factorize
我将使用pd.factorize
生产整数值为每一个独特'Name'
和'Mealtime'
。除此之外,我也获得了独特的价值。每个整数值都对应于唯一值数组中该整数位置中的元素。
现在我知道唯一名称的数量和独特的进餐时间,所以我知道我最终的枢轴阵列的大小。所以我创建了一个空的,等待分配值。
由于我因式分解和因子是整数位置,我可以使用这些切片我的空阵列分配目的...所以我这样做。最后,我将这一切与一个新的闪亮的数据框放在一起。
fn, un = pd.factorize(df.Name.values)
fm, um = pd.factorize(df.Mealtime.values)
v = np.empty((un.size, um.size), dtype=object)
v[fn, fm] = df.Food.values
pd.DataFrame(v, un, um)
8:00 am 1:00 pm 6:00 pm
John cereal salad pasta
Sara yogurt panini steak
Jake coffee burrito salad
选项1
使用/unstack
df.set_index(['Name', 'Mealtime']).Food.unstack()
Mealtime 1:00 pm 6:00 pm 8:00 am
Name
Jake burrito salad coffee
John salad pasta cereal
Sara panini steak yogurt
选项2
使用defaultdict
from collections import defaultdict
d = defaultdict(dict)
[d[m].setdefault(n, f) for n, m, f in df.values];
pd.DataFrame(d)
1:00 pm 6:00 pm 8:00 am
Jake burrito salad coffee
John salad pasta cereal
Sara panini steak yogurt
选项3
蛮力
out = pd.DataFrame(index=df.Name.unique(), columns=df.Mealtime.unique())
[out.set_value(n, m, f) for n, m, f in df.values]
out
8:00 am 1:00 pm 6:00 pm
John cereal salad pasta
Sara yogurt panini steak
Jake coffee burrito salad
时序
结论:使用pivot
用于与纯大熊猫较大的数据。在这种情况下很难打败它的简单性和完成工作的能力。但是如果你想以鲁莽的速度转弯,试试选项0。
%%timeit
fn, un = pd.factorize(df.Name.values)
fm, um = pd.factorize(df.Mealtime.values)
v = np.empty((un.size, um.size), dtype=object)
v[fn, fm] = df.Food.values
pd.DataFrame(v, un, um)
%timeit df.set_index(['Name', 'Mealtime']).Food.unstack()
%timeit df.pivot('Name', 'Mealtime', 'Food')
%timeit d = defaultdict(dict); [d[m].setdefault(n, f) for n, m, f in df.values]; pd.DataFrame(d)
%timeit out = pd.DataFrame(index=df.Name.unique(), columns=df.Mealtime.unique()); [out.set_value(n, m, f) for n, m, f in df.values]; out
小数据
1000 loops, best of 3: 300 µs per loop
1000 loops, best of 3: 1.82 ms per loop
1000 loops, best of 3: 1.11 ms per loop
1000 loops, best of 3: 541 µs per loop
1000 loops, best of 3: 656 µs per loop
较大的数据
from string import ascii_letters
foods = np.array([
'cereal', 'salad', 'pasta', 'yogurt',
'panini', 'steak', 'coffee', 'burrito'
], dtype=object)
times = pd.date_range(
pd.datetime.now().date(), periods=24, freq='H'
).strftime('%-I:00 %p')
names = list(ascii_letters)
idx = pd.MultiIndex.from_product([names, times], names=['Name', 'Mealtime'])
df = pd.DataFrame(dict(
Food=np.random.choice(foods, idx.size),
), idx).reset_index()
1000 loops, best of 3: 383 µs per loop
1000 loops, best of 3: 1.99 ms per loop
1000 loops, best of 3: 1.34 ms per loop
100 loops, best of 3: 2.78 ms per loop
100 loops, best of 3: 6.6 ms per loop
尼斯......计划包括一个大型数据集的测试? –
你走了... – piRSquared
defaultdict方法比我想象的要好!让我印象深刻。 –