使用Python可视化卷积神经网络方法汇总
2. 基于激活的方法2.1 最大激活为了了解我们的神经网络在做什么,我们可以对输入图像应用滤波器,然后绘制输出,这使我们能够理解什么样的输入模式激活了一个特定的滤波器,例如,可能有一个人脸滤波器,当它在图像中出现一个人脸时会激活它。from vis.visualization import visualize_activationfrom vis.utils import utilsfrom keras import activations
from matplotlib import pyplot as plt%matplotlib inlineplt.rcParams['figure.figsize'] = (18, 6)
# 按名称搜索图层索引。# 或者,我们可以将其指定为-1,因为它对应于最后一层。layer_idx = utils.find_layer_idx(model, 'preds')
#用线性层替换softmaxmodel.layers[layer_idx].activation = activations.linearmodel = utils.apply_modifications(model)
# 这是我们要最大化的输出节点。filter_idx = 0img = visualize_activation(model, layer_idx, filter_indices=filter_idx)plt.imshow(img[..., 0])
我们可以把这个想法转移到所有的类中,并检查每个类。PS:运行下面的脚本来检查它。for output_idx in np.arange(10): # 让我们这次关闭详细输出以避免混乱 img = visualize_activation(model, layer_idx, filter_indices=output_idx, input_range=(0., 1.)) plt.figure() plt.title('Networks perception of {}'.format(output_idx)) plt.imshow(img[..., 0])2.2 图像遮挡在一个图像分类问题中,一个简单问题是模型是否真正识别了图像中对象的位置,或者仅仅使用了周围的上下文。我们在上面基于梯度的方法中对此做了简要的介绍。基于遮挡的方法试图通过系统地用一个灰色正方形遮挡输入图像的不同部分来回答这个问题,并监视分类器的输出。示例清楚地表明,模型正在场景中定位对象,因为当对象被遮挡时,正确类的概率显著降低。
为了理解这个概念,让我们从数据集中随机抽取一张图像,并尝试绘制图像的热图。这将给我们一个直觉,图片的哪些部分是重要的,可以明确区分类别。def iter_occlusion(image, size=8):
occlusion = np.full((size * 5, size * 5, 1), [0.5], np.float32) occlusion_center = np.full((size, size, 1), [0.5], np.float32) occlusion_padding = size * 2
# print('padding...') image_padded = np.pad(image, ( (occlusion_padding, occlusion_padding), (occlusion_padding, occlusion_padding), (0, 0) ), 'constant', constant_values = 0.0)
for y in range(occlusion_padding, image.shape[0] + occlusion_padding, size):
for x in range(occlusion_padding, image.shape[1] + occlusion_padding, size): tmp = image_padded.copy()
tmp[y - occlusion_padding:y + occlusion_center.shape[0] + occlusion_padding, x - occlusion_padding:x + occlusion_center.shape[1] + occlusion_padding] = occlusion
tmp[y:y + occlusion_center.shape[0], x:x + occlusion_center.shape[1]] = occlusion_center
yield x - occlusion_padding, y - occlusion_padding, tmp[occlusion_padding:tmp.shape[0] - occlusion_padding, occlusion_padding:tmp.shape[1] - occlusion_padding]
i = 23 # 例如data = val_x[i]correct_class = np.argmax(val_y[i])
# model.predict的输入向量inp = data.reshape(1, 28, 28, 1)
# matplotlib imshow函数的图片img = data.reshape(28, 28)
# 遮盖img_size = img.shape[0]occlusion_size = 4
print('occluding...')
heatmap = np.zeros((img_size, img_size), np.float32)class_pixels = np.zeros((img_size, img_size), np.int16)
from collections import defaultdictcounters = defaultdict(int)
for n, (x, y, img_float) in enumerate(iter_occlusion(data, size=occlusion_size)):
X = img_float.reshape(1, 28, 28, 1) out = model.predict(X) #print('#{}: {} @ {} (correct class: {})'.format(n, np.argmax(out), np.amax(out), out[0][correct_class])) #print('x {} - {} | y {} - {}'.format(x, x + occlusion_size, y, y + occlusion_size))
heatmap[y:y + occlusion_size, x:x + occlusion_size] = out[0][correct_class] class_pixels[y:y + occlusion_size, x:x + occlusion_size] = np.argmax(out) counters[np.argmax(out)] += 1
最新活动更多
-
11月28日立即报名>>> 2024工程师系列—工业电子技术在线会议
-
12月19日立即报名>> 【线下会议】OFweek 2024(第九届)物联网产业大会
-
即日-12.26火热报名中>> OFweek2024中国智造CIO在线峰会
-
即日-2025.8.1立即下载>> 《2024智能制造产业高端化、智能化、绿色化发展蓝皮书》
-
精彩回顾立即查看>> 2024 智能家居出海论坛
-
精彩回顾立即查看>> 【在线会议】多物理场仿真助跑新能源汽车
推荐专题
发表评论
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论