使用蒙版阵列来创建熊猫数据帧
问题描述:
思考我得到以下行为B/C我的输入数组被屏蔽,我很难理解。我一直在寻找this pandas doc on gotchas,但不确定什么是“哨兵”值。它是否就像在创建DataFrame期间使用的“-9999”,随后将其设置为NULL?使用蒙版阵列来创建熊猫数据帧
制作DataFrame时处理这些值的好方法是什么?如果掩码条目设置为NULL,我很高兴。
下面是一个例子:
[Dbg]>>> segDF = pd.DataFrame(segArrNew)
Traceback (most recent call last):
File "<interactive input>", line 1, in <module>
File "C:\Anaconda\envs\esri\Lib\site-packages\pandas\core\frame.py", line 393, in __init__
datacopy[mask] = NA
File "C:\Python27\ArcGIS10.2\lib\site-packages\numpy\ma\core.py", line 3027, in __setitem__
ndarray.__setitem__(_data, indx, dval)
IndexError: arrays used as indices must be of integer (or boolean) type
[Dbg]>>> segArrNew
masked_array(data = [(1, u'01', 1, --) (2, u'01', 2, --) (3, u'01', 3, --) ...,
(56853, u'21', 241, --) (56854, u'21', 242, --) (56855, u'21', 243, --)],
mask = [(False, False, False, True) (False, False, False, True)
(False, False, False, True) ..., (False, False, False, True)
(False, False, False, True) (False, False, False, True)],
fill_value = (999999, u'N/A', 999999, u'N/A'),
dtype = [('seg_id_nat', '<i4'), ('region', '<U255'), ('seg_id_reg', '<i4'), ('refGage', '<U30')])
你可以看到,该阵列被屏蔽,一些前几排的显示在那里的--
例子。所以我放弃了最后一个字段(refGage
),它起作用,所以我认为它是只在该字段中出现的掩码值。
[Dbg]>>> segArrNew2 = npFuncs.drop_fields(segArrNew, ['refGage'])
[Dbg]>>> segDF = pd.DataFrame(segArrNew2)
[Dbg]>>> segDF
<class 'pandas.core.frame.DataFrame'>
Int64Index: 57186 entries, 0 to 57185
Data columns:
seg_id_nat 57186 non-null values
region 57186 non-null values
seg_id_reg 57186 non-null values
dtypes: int64(2), object(1)
答
我不知道这是“最好的-EST”的方式来做到这一点,但我使用numpy.ma.filled()
功能(options listed in this doc)转换的屏蔽数组到正规numpy.ndarray
。
[Dbg]>>> np.ma.filled(segArrNew)
array([(1, u'01', 1, u'N/A'), (2, u'01', 2, u'N/A'), (3, u'01', 3, u'N/A'),
..., (56853, u'21', 241, u'N/A'), (56854, u'21', 242, u'N/A'),
(56855, u'21', 243, u'N/A')],
dtype=[('seg_id_nat', '<i4'), ('region', '<U255'), ('seg_id_reg', '<i4'), ('refGage', '<U30')])
[Dbg]>>> df = pandas.DataFrame(numpy.ma.filled(segArrNew))
[Dbg]>>> df.ix[df['refGage'] == u'N/A'], 'refGage'] = ''
在segArrNew
的fill_value
每个字段在使输出数据帧被施加。我使用df.ix()来替换被掩盖的内容的填充令牌。
http://pandas.pydata.org/pandas-docs/stable/dsintro.html#from-a-series – 2016-04-20 19:23:23