在dtype“object”数组上的np.isnan
我正在处理不同数据类型的numpy数组。 我想知道，在任何特定的数组中，哪些元素是NaN。 通常，这是np.isnan的用途。
但是， np.isnan对数组类型object （或任何字符串数据类型）不友好：
>>> str_arr = np.array(["A", "B", "C"])
>>> np.isnan(str_arr)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: Not implemented for this type
>>> obj_arr = np.array([1, 2, "A"], dtype=object)
>>> np.isnan(obj_arr)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: ufunc 'isnan' not supported for the input types, and the inputs could not be safely coerced to any supported types according to the casting rule ''safe''
我想从这两个调用中解脱出来的只是np.array([False, False, False]) 。 我不能只try和except TypeError我对np.isnan调用，并假设任何生成TypeError数组都不包含NaN：毕竟，我想要np.isnan(np.array([1, np.NaN, "A"]))返回np.array([False, True, False]) 。
我目前的解决方案是创建一个np.float64类型的新数组，循环遍历原始数组的元素， try将该元素放入新数组（如果失败，则将其保留为零），然后调用np.isnan在新阵列上。 但是，这当然相当缓慢。 （至少，对于大型对象数组。）
def isnan(arr):
if isinstance(arr, np.ndarray) and (arr.dtype == object):
# Create a new array of dtype float64, fill it with the same values as the input array (where possible), and
# then call np.isnan on the new array. This way, np.isnan is only called once. (Much faster than calling it on
# every element in the input array.)
new_arr = np.zeros((len(arr),), dtype=np.float64)
for idx in xrange(len(arr)):
try:
new_arr[idx] = arr[idx]
except Exception:
pass
return np.isnan(new_arr)
else:
try:
return np.isnan(arr)
except TypeError:
return False
这个特殊的实现也只适用于一维数组，我想不出一个体面的方法来让for循环运行在任意数量的维上。
有没有更有效的方法来确定object类型数组中的哪些元素是NaN？
编辑：我正在运行Python 2.7.10。
请注意， [x is np.nan for x in np.array([np.nan])]返回False ： np.nan并非总是与内存中的np.nan不同。
我不希望字符串"nan"被认为等同于np.nan ：我想要isnan(np.array(["nan"], dtype=object))返回np.array([False]) 。
多维度不是一个大问题。 （这是什么，有点ravel -和- reshape ING不会解决：P）
任何依赖于is运算符来测试两个NaN的等价性的函数并不总是行得通。 （如果你认为他们应该，问问你自己究竟is什么人！）
在这种情况下，您可以使用list comp来获取任何nan的索引：
obj_arr = np.array([1, 2, np.nan, "A"], dtype=object)
inds = [i for i,n in enumerate(obj_arr) if str(n) == "nan"]
或者如果你想要一个布尔掩码：
mask = [True if str(n) == "nan" else False for n in obj_arr]
使用is np.nan也似乎工作，无需施放str：
In [29]: obj_arr = np.array([1, 2, np.nan, "A"], dtype=object)
In [30]: [x is np.nan for x in obj_arr]
Out[30]: [False, False, True, False]
对于平面和多维数组，您可以检查形状：
def masks(a):
if len(a.shape) > 1:
return [[x is np.nan for x in sub] for sub in a]
return [x is np.nan for x in a]
如果np.nan可能失败也许检查类型，那么我们np.isnan
def masks(a):
if len(a.shape) > 1:
return [[isinstance(x, float) and np.isnan(x) for x in sub] for sub in arr]
return [isinstance(x, float) and np.isnan(x) for x in arr]
有趣的x is np.nan ，当数据类型是对象时， x is np.nan似乎工作正常：
In [76]: arr = np.array([np.nan,np.nan,"3"],dtype=object)
In [77]: [x is np.nan for x in arr]
Out[77]: [True, True, False]
In [78]: arr = np.array([np.nan,np.nan,"3"])
In [79]: [x is np.nan for x in arr]
Out[79]: [False, False, False]
取决于dtype不同的事情发生：
In [90]: arr = np.array([np.nan,np.nan,"3"])
In [91]: arr.dtype
Out[91]: dtype('S32')
In [92]: arr
Out[92]:
array(['nan', 'nan', '3'],
dtype='|S32')
In [93]: [x == "nan" for x in arr]
Out[93]: [True, True, False]
In [94]: arr = np.array([np.nan,np.nan,"3"],dtype=object)
In [95]: arr.dtype
Out[95]: dtype('O')
In [96]: arr
Out[96]: array([nan, nan, '3'], dtype=object)
In [97]: [x == "nan" for x in arr]
Out[97]: [False, False, False]
很显然，当你在数组中有字符串时，nan会被强制转换为numpy.string_'s ，所以x == "nan"在这种情况下起作用，当你传递对象时，类型是float，所以如果你总是使用对象dtype，那么行为应该是一致的。
定义一些小而大的测试数组
In [21]: x=np.array([1,23.3, np.nan, 'str'],dtype=object)
In [22]: xb=np.tile(x,300)
你的功能：
In [23]: isnan(x)
Out[23]: array([False, False, True, False], dtype=bool)
简单的列表理解，返回一个数组
In [24]: np.array([i is np.nan for i in x])
Out[24]: array([False, False, True, False], dtype=bool)
np.frompyfunc与np.frompyfunc具有相似的矢量化能力，但由于某种原因，它的利用率np.vectorize （而且根据我的经验，速度更快）
In [25]: def myisnan(x):
return x is np.nan
In [26]: visnan=np.frompyfunc(myisnan,1,1)
In [27]: visnan(x)
Out[27]: array([False, False, True, False], dtype=object)
既然它返回dtype对象，我们可能想要转换它的值：
In [28]: visnan(x).astype(bool)
Out[28]: array([False, False, True, False], dtype=bool)
它可以很好地处理multidim数组：
In [29]: visnan(x.reshape(2,2)).astype(bool)
Out[29]:
array([[False, False],
[ True, False]], dtype=bool)
现在有些时候：
In [30]: timeit isnan(xb)
1000 loops, best of 3: 1.03 ms per loop
In [31]: timeit np.array([i is np.nan for i in xb])
1000 loops, best of 3: 393 us per loop
In [32]: timeit visnan(xb).astype(bool)
1000 loops, best of 3: 382 us per loop
对i is np.nan重要的一点i is np.nan测试 - 它只适用于标量。 如果数组是dtype对象，那么迭代产生标量。 但是对于numpy.float64 float数组，我们得到了numpy.float64值。 对于那些np.isnan(i)是正确的测试。
In [61]: [(i is np.nan) for i in np.array([np.nan,np.nan,1.3])]
Out[61]: [False, False, False]
In [62]: [np.isnan(i) for i in np.array([np.nan,np.nan,1.3])]
Out[62]: [True, True, False]
In [63]: [(i is np.nan) for i in np.array([np.nan,np.nan,1.3], dtype=object)]
Out[63]: [True, True, False]
In [64]: [np.isnan(i) for i in np.array([np.nan,np.nan,1.3], dtype=object)]
...
TypeError: Not implemented for this type
我会使用np.vectorize和一个测试nan元素的自定义函数。 所以，
def _isnan(x):
if isinstance(x, type(np.nan)):
return np.isnan(x)
else:
return False
my_isnan = np.vectorize(_isnan)
然后
X = np.array([[1, 2, np.nan, "A"], [np.nan, True, [], ""]], dtype=object)
my_isnan(X)
回报
array([[False, False, True, False],
[ True, False, False, False]], dtype=bool)