numpy数组字典列表，不包含for循环
有没有办法矢量化一个操作，它需要几个numpy数组并将它们放到一个字典列表中？
这是一个简单的例子。 真正的场景可能涉及更多的数组和更多字典键。
import numpy as np
x = np.arange(10)
y = np.arange(10, 20)
z = np.arange(100, 110)
print [dict(x=x[ii], y=y[ii], z=z[ii]) for ii in xrange(10)]
我可能会在xrange调用中进行数千或数十万次迭代。 所有创建x ， y和z都是矢量化的（我的例子不像上面那么简单）。 所以，剩下的只剩下1个摆脱，我期望会导致巨大的加速。
我已经尝试使用map与函数创建字典和各种其他变通的。 看起来Python for循环是缓慢的部分（像往常一样）。 由于预先存在API要求，我坚持使用字典。 但是，没有字典和记录数组或其他东西的解决方案会很有趣，但最终我不认为这将适用于现有的API。
这是一个（Num）？Pythonic方式：
In [18]: names = np.array(['x', 'y', 'z'])
In [38]: map(dict, np.dstack((np.repeat(names[None, :], 10, axis=0), np.column_stack((x, y, z)))))
Out[38]:
[{'x': '0', 'y': '10', 'z': '100'},
{'x': '1', 'y': '11', 'z': '101'},
{'x': '2', 'y': '12', 'z': '102'},
{'x': '3', 'y': '13', 'z': '103'},
{'x': '4', 'y': '14', 'z': '104'},
{'x': '5', 'y': '15', 'z': '105'},
{'x': '6', 'y': '16', 'z': '106'},
{'x': '7', 'y': '17', 'z': '107'},
{'x': '8', 'y': '18', 'z': '108'},
{'x': '9', 'y': '19', 'z': '109'}]
另外，请注意，如果您不需要一次性使用所有字典，则可以简单地创建一个生成器并按需访问每个项目。
(dict(x=x[ii], y=y[ii], z=z[ii]) for ii in xrange(10))
如果你想要一个嵌套字典，我建议一个列表理解：
In [88]: inner = np.dstack((np.repeat(names[None, :], 10, axis=0), np.column_stack((x, y))))
In [89]: [{'connection': d} for d in map(dict, inner)]
Out[89]:
[{'connection': {'x': '0', 'y': '10'}},
{'connection': {'x': '1', 'y': '11'}},
{'connection': {'x': '2', 'y': '12'}},
{'connection': {'x': '3', 'y': '13'}},
{'connection': {'x': '4', 'y': '14'}},
{'connection': {'x': '5', 'y': '15'}},
{'connection': {'x': '6', 'y': '16'}},
{'connection': {'x': '7', 'y': '17'}},
{'connection': {'x': '8', 'y': '18'}},
{'connection': {'x': '9', 'y': '19'}}]
用你的小例子，我无法比列表和字典解释的组合快得多
In [105]: timeit [{'x':i, 'y':j, 'z':k} for i,j,k in zip(x,y,z)]
100000 loops, best of 3: 15.5 µs per loop
In [106]: timeit [{'key':{'x':i, 'y':j, 'z':k}} for i,j,k in zip(x,y,z)]
10000 loops, best of 3: 37.3 µs per loop
在分区之前使用数组连接来连接数组的选择较慢。
In [108]: timeit [{'x':x_, 'y':y_, 'z':z_} for x_, y_, z_ in np.column_stack((x,y,z))]
....
10000 loops, best of 3: 58.2 µs per loop
=======================
结构化数组对于recfunctions是最简单的：
In [109]: from numpy.lib import recfunctions
In [112]: M=recfunctions.merge_arrays((x,y,z))
In [113]: M.dtype.names=['x','y','z']
In [114]: M
Out[114]:
array([(0, 10, 100), (1, 11, 101), (2, 12, 102), (3, 13, 103),
(4, 14, 104), (5, 15, 105), (6, 16, 106), (7, 17, 107),
(8, 18, 108), (9, 19, 109)],
dtype=[('x', '<i4'), ('y', '<i4'), ('z', '<i4')])
In [115]: M['x']
Out[115]: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
时间要慢得多，但是如果你想要一次访问所有的x值，它比从所有字典中获取它们要好得多。
np.rec.fromarrays((x,y,z),names=['x','y','z'])
产生具有给定名称的重新阵列。 大约相同的速度。
我也可以构造一个正确的dtype和shape的空数组，并将数组复制到它。 这可能与merge一样快，但描述起来更复杂。
我建议优化数据结构的使用/访问，而不是施工速度。 一般来说，您只需构建一次，并多次使用它。
============
In [125]: dt=np.dtype([('x',x.dtype),('y',y.dtype),('z',z.dtype)])
In [126]: xyz=np.zeros(x.shape,dtype=dt)
In [127]: xyz['x']=x; xyz['y']=y; xyz['z']=z
# or for n,d in zip(xyz.dtype.names, (x,y,z)): xyz[n] = d
In [128]: xyz
Out[128]:
array([(0, 10, 100), (1, 11, 101), (2, 12, 102), (3, 13, 103),
(4, 14, 104), (5, 15, 105), (6, 16, 106), (7, 17, 107),
(8, 18, 108), (9, 19, 109)],
dtype=[('x', '<i4'), ('y', '<i4'), ('z', '<i4')])
这是一种使用NumPy和Pandas混合的方法 -
# Stack into columns & create a pandas dataframe with appropriate col names
a = np.column_stack((x.ravel(),y.ravel(),z.ravel()))
df = pd.DataFrame(a,columns=[['x','y','z']])
# Convert to list of dicts
out = df.T.to_dict().values()
样品运行 -
In [52]: x
Out[52]: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
In [53]: y
Out[53]: array([10, 11, 12, 13, 14, 15, 16, 17, 18, 19])
In [54]: z
Out[54]: array([100, 101, 102, 103, 104, 105, 106, 107, 108, 109])
In [55]: out
Out[55]:
[{'x': 0, 'y': 10, 'z': 100},
{'x': 1, 'y': 11, 'z': 101},
{'x': 2, 'y': 12, 'z': 102},
{'x': 3, 'y': 13, 'z': 103},
{'x': 4, 'y': 14, 'z': 104},
{'x': 5, 'y': 15, 'z': 105},
{'x': 6, 'y': 16, 'z': 106},
{'x': 7, 'y': 17, 'z': 107},
{'x': 8, 'y': 18, 'z': 108},
{'x': 9, 'y': 19, 'z': 109}]