是multiprocessing.Manager().dict().setdefault()是否被破坏?
在其后期和-IM-可能笨部门介绍:是multiprocessing.Manager().dict().setdefault()是否被破坏?
>>> import multiprocessing
>>> mgr = multiprocessing.Manager()
>>> d = mgr.dict()
>>> d.setdefault('foo', []).append({'bar': 'baz'})
>>> print d.items()
[('foo', [])] <-- Where did the dict go?
鉴于:
>>> e = mgr.dict()
>>> e['foo'] = [{'bar': 'baz'}]
>>> print e.items()
[('foo', [{'bar': 'baz'}])]
版本:
>>> sys.version
'2.7.2+ (default, Jan 20 2012, 23:05:38) \n[GCC 4.6.2]'
错误或WUG?
编辑:更多相同的,Python的3.2:
>>> sys.version
'3.2.2rc1 (default, Aug 14 2011, 21:09:07) \n[GCC 4.6.1]'
>>> e['foo'] = [{'bar': 'baz'}]
>>> print(e.items())
[('foo', [{'bar': 'baz'}])]
>>> id(type(e['foo']))
137341152
>>> id(type([]))
137341152
>>> e['foo'].append({'asdf': 'fdsa'})
>>> print(e.items())
[('foo', [{'bar': 'baz'}])]
如何能在字典代理列表中未包含其他元素?
这是一些非常有趣的行为,我不完全确定它是如何工作的,但我会采取行动是为什么这样的方式裂缝。
首先,请注意multiprocessing.Manager().dict()
不是dict
,它是一个DictProxy
对象:
>>> d = multiprocessing.Manager().dict()
>>> d
<DictProxy object, typeid 'dict' at 0x7fa2bbe8ea50>
的DictProxy
类的目的是给你一个dict
是安全的跨进程共享,这意味着它必须在正常的dict
函数之上实现一些锁定。
显然这里的实现的一部分是不允许你直接访问嵌套在DictProxy
里面的可变对象,因为如果允许的话,你将能够绕过所有的锁定来修改你的共享对象使得DictProxy
安全使用。
下面是一些证据表明,你不能访问可变对象,这是类似的东西是怎么回事setdefault()
:
>>> d['foo'] = []
>>> foo = d['foo']
>>> id(d['foo'])
140336914055536
>>> id(foo)
140336914056184
与正常的字典,你会期望d['foo']
和foo
指向同列表对象,修改一个会修改另一个。正如您所看到的那样,DictProxy
类的情况并非如此,因为多处理模块要求额外的工艺安全要求。
编辑:从multiprocessing documentation以下注释澄清什么,我想说的上面:
注:的修改可变值或项字典和列表代理不会通过经理传播,因为代理无法知道其值或项目何时被修改。要修改这样一个项目,你可以修改的对象重新分配到容器代理:
# create a list proxy and append a mutable object (a dictionary)
lproxy = manager.list()
lproxy.append({})
# now mutate the dictionary
d = lproxy[0]
d['a'] = 1
d['b'] = 2
# at this point, the changes to d are not yet synced, but by
# reassigning the dictionary, the proxy is notified of the change
lproxy[0] = d
基于以上信息,这里是你如何可以重写你的原代码与合作DictProxy
:
# d.setdefault('foo', []).append({'bar': 'baz'})
d['foo'] = d.get('foo', []) + [{'bar': 'baz'}]
作为爱德华洛珀建议在评论,上述代码编辑使用get()
代替setdefault()
。
items()返回一个副本。附加到副本不会影响原件。 你的意思是? 。
>>> d['foo'] =({'bar': 'baz'})
>>> print d.items()
[('foo', {'bar': 'baz'})]
的管理器()字典()是一个DictProxy对象:
>>> mgr.dict()
<DictProxy object, typeid 'dict' at 0x1007bab50>
>>> type(mgr.dict())
<class 'multiprocessing.managers.DictProxy'>
DictProxy是BaseProxy类型,这并不完全像一个普通字典的一个子类:http://docs.python.org/library/multiprocessing.html?highlight=multiprocessing#multiprocessing.managers.BaseProxy
所以,看起来你必须以不同于基本字典的方式来解决mgr.dict()。
+1。但我认为将原始代码重写为使用'get'而不是'setdefault'会更清楚,因为'setdefault'的正常特殊行为在这里不适用。 I.e .:'d ['foo'] = d.get('foo',[])+ [{'bar':'baz'}]' –
谢谢你的广泛回答。我认为,由于字典代理包装它的名单,我认为它可以运行它。显然不是这样。 @爱德华:这是声音建议。 – Bittrance