WIMI微美全息开发基于视觉显著性和通道注意力机制的数字图像处理软件,提高图像处理效率

WIMI微美全息(NASDAQ:WIMI)以全息技术为核心,致力于图像处理与成像技术的算法研究,已成功开发了基于视觉显著性和通道注意力机制的全息数字图像处理软件系统,提高其全息智能系统的图像处理性能,并在多个领域或行业中得到成功应用。如:人脸识别、AR/VR、三维重建等领域;如:智慧医疗和智慧城市、医疗器械、虚拟现实产品与服务、工业检测等行业;如:智慧农业、智能机器人、机器视觉和智能安防设备等新领域;如:自动驾驶汽车等高端视觉应用系统的开发。

注意力机制(Attention Mechanism)是机器学习中的一种数据处理方法,在自然语言处理、图像识别和语音识别等各种不同类型的机器学习任务中得到广泛的应用。通道注意力机制(Channel-Attention)和视觉显著性(Visual Saliency)能够有效提高图像处理效率,(1)通道注意力机制,利用已知特征,在图像处理时选择最合适的通道,提取感兴趣的信息;(2)视觉显著性,对已知特性进行分析,通过智能算法模拟人的视觉特点,提取图像中的显著区域(即人类感兴趣的关键区域)。注意力机制在许多视觉任务中都有好处,如:图像分类、目标检测、语义分割、视频理解、人脸识别、人物再识别、动作识别、少量显示学习、医学图像处理,图像生成、姿势估计、超分辨率、三维视觉、多模式任务和自监督学习等。注意力机制本质上与人对外界事物的观察机制相似。通常来说,人们在观察外界事物的时候,首先会比较关注比较倾向于观察事物某些重要的局部信息,然后再把不同区域的信息组合起来,从而形成一个对被观察事物的整体印象。注意力机制即将计算机注意力转移到最重要的部分。

通道注意力机制通常采用SE Block模型,本质上是一个基于通道的Attention模型,它通过建模各个特征通道的重要程度,然后针对不同的任务增强或者抑制不同的通道。计算机视觉中的通道注意力机制(Channel Attention)是对每个C(通道),在channel维度上,学习到不同的权重,平面维度上权重相同。所以基于通道域的注意力通常是对一个通道内的信息直接全局平均池化,而忽略每一个通道内的局部信息。

WIMI微美全息开发基于视觉显著性和通道注意力机制的数字图像处理软件,提高图像处理效率

在卷积操作后,通过squeeze模块进行有全局感受的池化操作(Global average pooling,GAP),将空间维度进行特征压缩,即每个二维的特征图变成一个实数,特征通道数不变;再通过Excitation模块,使用二层沙漏型结构(先降维再升维),通过全连接层+Sigmoid函数来实现为每个特征通道生成权重,通道权重是学习用来显示建模特征通道间的相关性,最后将得到的权重结果和原特征图相乘呈现出显示结果。将该模型的操作机制应用于若干基准模型,在增加少量计算量的情况下,获得了更明显的性能提升。作为一种通用的设计思想,它可以被用于任何现有网络,具有较强的实践意义。

通道注意力机制通过根据输入的重要性对特征进行适当的权重,并模拟人的视觉,对复杂的场景进行有效的分析和理解,并利用注意力机制来改进系统性能。注意力机制的操作方式是多种多样,WIMI微美全息(NASDAQ:WIMI)研发团队也在该领域进行着深入的研究,提高全息图像处理系统捕获全息图像全局信息的能力,完善图像处理精度,提高计算效率,减少性能消耗。

来源:美事往事

声明:本站部分文章及图片转载于互联网,内容版权归原作者所有,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2022年11月11日
下一篇 2022年11月11日

相关推荐