5个最热门的计算机视觉应用及相关数据集!
磐创AI总览
计算机视觉是一种允许数字世界与现实世界互动的技术。
探索5个最热门的计算机视觉应用程序
使用计算机视觉进行姿态估计使用Gans进行图像转换基于计算机视觉的社交距离工具将2D图像转换为3D模型医学图像分析介绍我10年前就开始了使用Facebook,如果你也使用了很长时间的Facebook,就会知道手动标记照片的方法,但是现在我们不用手动标记这些图片了。Facebook可以识别上传图片中的大多数人,并提供标记他们的建议;同样,你肯定已经在Snapchat上看到了这些有趣的过滤器,在其中,人们使用了狗过滤器来获得了狗的脸。你有没有想过这一切是怎么办到的?我们的手机如何能够检测到我们的面部并在上面添加滤镜?这其实是一些计算机视觉应用程序。计算机视觉是数据科学世界中最热门的研究领域之一,而且它已经成为我们个人生活的一部分。我们都在不知不觉的使用各种功能,这些功能在后端运行计算机视觉技术,例如,我们在智能手机中使用面部解锁。下图有效地说明了人脸检测的工作原理。
我选择人脸检测作为本文的开头,因为这是我们都已经知道的计算机视觉的一种应用。但是请相信我,计算机视觉不仅限于此,在本文中,我们将探索计算机视觉中更多有趣应用。目录什么是计算机视觉?使用计算机视觉进行姿态估计使用Gans进行图像转换基于计算机视觉的社交距离工具将2D图像转换为3D模型医学图像分析什么是计算机视觉?在进入计算机视觉应用程序世界之前,首先,让我们了解一下计算机视觉是什么?简而言之,计算机视觉是人工智能的一个多学科分支,旨在复制人类视觉的强大功能。正式定义如下,“计算机视觉是一种实用工具,可以根据感知到的图像对实际的物理对象和场景做出有用的决策”(Sockman&Shapiro,2001)计算机视觉通过诸如图像分类,对象检测,图像分割,对象跟踪,光学字符识别,图像字幕等视觉识别技术来工作。我知道这些是一系列的技术术语,但理解它们并不难,只需看下面的图片,你就会理解这些术语。
让我们从第一张图片开始。如果我问你图片中有什么?你的答案会是:一只猫,这其实是对图片进行了分类,这意味着基于图像的分类标记图像,这里的类别是“猫”。现在你知道图像的类别了,下一个问题是对象在图像中的位置。当我们确定对象在图像中的位置并在其周围创建一个边界框时,这称为定位。在第二张图像中,我们已经确定了对象的位置并将其标记为猫。下一项是对象检测,在前两种情况下,图像中只有一个对象,但是如果存在多个对象该怎么办,在这里,我们通过边界框确定存在的实例及其位置。在对象检测中,我们使用形状为正方形或矩形的边界框,但是它不能告诉任何有关对象形状的信息。实例分割会在每个对象周围创建一个像素级模板,因此实例分割使人们对图像有了更深入的了解。
近期发展深度学习方法最新发展和技术的进步极大地提高了视觉识别系统的功能,如今计算机视觉已被公司迅速采用,可以在整个工业领域看到成功的计算机视觉用例,从而扩大了应用范围,并增加了对计算机视觉工具的需求。现在,让我们一起来看看计算机视觉的5个最热门的应用程序。使用计算机视觉进行姿态估计姿态估计是计算机视觉的一个很有趣的应用。你一定已经听说过Posenet,它是用于人体姿态估计的开源模型。简而言之,姿态估计是一种计算机视觉技术,可以推断图像/视频中存在的人或物体的姿势。在讨论姿态估计的工作之前,让我们首先了解“人体姿势骨架”,它是定义了一个人姿势的一组坐标,此外,通过识别,定位和跟踪图像或视频中人类姿势骨架的关键点来执行姿态估计。
以下是人体姿态估计的一些应用-用于实时体育分析或监视系统的活动识别。增强现实体验训练机器人动画和游戏如果你想自己开发一个姿态估计模型,下面是一些可能用到的数据集:MPIIhttp://human-pose.mpi-inf.mpg.de/COCO keypoint challengehttps://cocodataset.org/#downloadHUMANEVAhttp://humaneva.is.tue.mpg.de/我发现Google的DeepPose(https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/42237.pdf) 是一篇非常好的研究论文,它使用了深度学习模型来进行姿态估计。若要进行更深入的研究,你可以访问有关姿态估计的多个研究论文(https://paperswithcode.com/task/pose-estimation)使用Gans进行图像转换Faceapp是一个非常有趣和流行的应用程序。它是一种图像处理工具,可使用滤镜对输入图像进行转换。过滤器包括老化或最近的性别交换过滤器。
看上面的图片,有趣吗?几个月前,这是互联网上的热门话题,人们分享了变换性别之后的图片。但是这类应用程序背后的技术是什么?是的,你猜对了,它是计算机视觉,更具体地说,它是一个深层次的卷积生成的对抗性网络。生成对抗网络,俗称GAN,是计算机视觉领域的一项令人振奋的创新。尽管GAN是一个古老的概念,但目前的形式是由Ian Goodfello在2014年提出的,从那以后,它有了很多发展。GAN的训练涉及两个相互竞争的神经网络,根据给定训练数据的分布生成新的数据。尽管它最初提出是作为一种无监督学习机制,但是GAN证明了自己是有监督学习和半监督学习的理想选择。要了解有关Gans工作的更多信息,请查看下面的文章。什么是生成模型和GAN?计算机视觉的魔力https://www.analyticsvidhya.com/blog/2020/01/generative-models-gans-computer-vision/以下是我个人推荐的一些有关GAN的必读研究论文A Style-Based Generator Architecture for Generative Adversarial Networkshttps://arxiv.org/abs/1812.04948Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networkshttps://arxiv.org/abs/1511.06434Conditional Generative Adversarial Netshttps://arxiv.org/abs/1411.1784Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networkshttps://arxiv.org/abs/1703.10593以下是一些数据集,可帮助你获得GANs的实践经验CelebAhttp://mmlab.ie.cuhk.edu.hk/projects/CelebA.htmlFlicker face datasethttps://github.com/NVlabs/ffhq-datasetCartoonsethttps://google.github.io/cartoonset/应用领域使用Gans生成的图像应用程序有很多,以下是它的一些应用程序风格转换和照片修复中的图对图翻译图像超分辨率文字到图像的生成图片编辑语义图像到照片的翻译基于计算机视觉的社交距离工具在过去的几个月中,世界正遭受大流行COVID-19的困扰。发现在没有该疾病的疫苗之前,我们所有人都必须采取预防措施,使用洗手液,口罩,最重要的是保持社交距离。在这种关键情况下,计算机视觉技术可以发挥至关重要的作用,它可用于跟踪房屋或特定区域中的人员,以了解他们是否遵守社会距离规范。社交距离工具是对象检测和实时跟踪的应用程序。为了检查社交距离违规行为,我们使用边界框检测视频中存在的每个人,然后我们跟踪每个框的运动并计算它们之间的距离,如果它检测到任何违反社会距离规范的行为,则将突出显示那些边界框。
此外,为使这些工具更先进,更准确,你可以使用迁移学习技术。各种预训练的对象检测模型(如YOLO或Mask R-CNN)都是来源可用的。
以下文章可帮助你自己创建社交隔离工具你的社交区别检测工具:https://www.analyticsvidhya.com/blog/2020/05/social-distancing-detection-tool-deep-learning/?utm_source=blog&utm_medium=top_5_applications_of_computer_vision将2D图像转换为3D模型这是计算机视觉的另一个非常有趣的应用,它将二维图像转换为3D模型。例如,假设你收藏了一张照片,计算机视觉能够将其转换为3D模型,给人3D的感观效果。
Deep Mind的研究人员提出了一个在实现相似功能的AI系统,它被称为Generative Query Network(生成查询网络),它可以像人类一样从不同角度感知图像。此外,Nvidia还开发了一种AI架构,可以根据图像预测3D属性,同样的,Facebook AI也提供了一种类似的工具,称为3D照片功能。以下是一些相关的数据集,可供你进行试验IKEA datasethttp://ikea.csail.mit.edu/Opensurface datasethttp://opensurfaces.cs.cornell.edu/NYU Depth datasethttps://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.htmlObjectNet3Dhttps://cvgl.stanford.edu/projects/objectnet3d/另外,请查看这些有趣的论文以了解有关该应用程序的更多信息。https://paperswithcode.com/task/3d-reconstruction应用领域以下是该技术的应用场景。动画与游戏机器人技术自动驾驶汽车医学诊断和外科手术医疗保健中的计算机视觉:医学图像分析很长一段时间以来,医学图像被用于诊断,如CT扫描、X射线等。计算机视觉技术的最新发展使医生能够通过将图像转换为三维交互式模型来更好地理解这些图像,并使其更易于解释。如果我们了解一下计算机视觉的最新使用案例,那么我们会发现它是在用胸部x光检查COVID-19病例的,此外根据武汉市放射科的一项研究,深度学习方法可以有效地区分Covid-19和社区获得性肺炎。了解一下由Kaggle提供的COVID-19胸部x光数据集,并在实施过程中自己动手。COVID-19胸部x光数据集:https://www.kaggle.com/bachrr/covid-chest-xray
如果你想使用另一个数据集,那么你也可以在Kaggle上获得CT医学图像(https://www.kaggle.com/kmader/siim-medical-images) 。此外,如果你希望了解更多有关医疗图像处理及其在医疗保健中的应用,请阅读这些研究论文及其实现。相关论文:https://www.engpaper.com/cse/medical-image-processing.html总而言之,计算机视觉是人工智能中一个引人入胜的领域。在本文中,讨论了一些我发现很有趣的东西,但这只是冰山一角。参考链接:https://www.analyticsvidhya.com/blog/2020/07/5-exciting-computer-vision-applications-with-relevant-datasets/