基础知识

从视觉AI应用案例，看AI落地的瓶颈在哪里？

视觉人工智能（AI）的应用场景十分丰富，商业化价值巨大，全球40%的AI企业都集中在视觉AI领域。国内现在有不少从事视觉AI的企业，比如商汤科技、旷视科技、虹软科技、云从科技、依图科技等，他们基本都是以提供AI算法为主。

目前，全球技术输出规模最大的几个应用场景分别为智能消费、智能制造和智能汽车，以及安防和金融。在这些应用场景中已经有很多的项目已经落地。那这些项目落地过程中遇到了什么问题，主要的瓶颈来自哪里？现在是否都已经解决了呢？

在不久前的一个“机器视觉产品与技术交流会”小型沙龙上，一些从事机器视觉的企业分享了他们具体项目的落地情况，以及遇到过的问题。

磁瓦片缺陷检测应用案例

钱翔是来自清华大学深圳研究生院先进制造学部的一名副教授，主要从事机器视觉的研究，目前他们正在将一些科研成果工程化。

图1：钱翔副教授在分享至汉装备的由来。

他们在去年年底开始行动，成立了一家至汉装备科技有限公司，专门结合工业应用市场需求将他们研究生院的科研成果工程化。为了避免玻璃盖板、手机外观检测等类红海竞争市场，他们在工业场景应用中，选择了一个比较细分的领域------磁瓦片缺陷检测设备。

谈到选择这个细分领域的原因，钱翔副教授归结为三大原因:

一是市场足够大，因为只要“会转”的机器就需要电机，不论是小孩玩的电动玩具，还是家电、空调、汽车，甚至是航天飞机都需要电机，而电机需要磁瓦片。一个电机中一般会有两片磁瓦，有的是4片，甚至更多。据统计，目前中国磁瓦片的出货量占全球的70%左右，可以说是一个万亿级的市场，而且还在不断上升中。

二是磁瓦片检测领域目前还是空白，将机器视觉应用到这个领域的企业还不多。“做的人少是有原因的，因为对大多数人来说，这个领域很难，有很多坑。”钱翔表示。比如说，有的磁瓦片是黑色的，有的是亮的，尺寸各式各样，表面形状也各不相同，有的有倒角，有的没有，瓦片弧度也各不相同，没有一定的标准。

三是磁瓦片检测的现状主要是靠人工检测，人工检测会有很多问题，比如由于磁瓦片在生产过程中会产生很多粉尘，检测人员在工作中必然会吸入过多的粉尘，从而容易造成尘肺病；还有经常盯着这些磁瓦片看，是很伤眼睛的，因此，每过一年到一年半左右，就需要换一批工人。还有检测效率也很低。

从需求区域来看，目前对磁瓦片检测需求较高的地区主要集中在长三角、珠三角、四川和江西这几个地方。

经过半年多时间的实践，目前钱翔副教授所在的企业已经在广东和长三角地区，有3、4台订单销量了。

针对磁瓦片检测领域，“我们根据自己已有的技术，包括光学、算法，在公司研发了一套这样的设备，可以根据不同的磁瓦片形状，定制一条检测生产线。”钱翔在分享中表示。

图2：钱翔副教授分享的磁瓦片缺陷检测设备。

他拿给江门的一家磁瓦片厂商定做检测设备举例说，这个客户需要检测12个面，“我们用了4个工位来对产品进行翻转拍照，在使用我们的深度学习算法来对产品进行尺寸测量。”钱翔表示。

说到做这个项目的心得时，他感慨，“说起AI可能很激动人心，但与自然场景识别和自然语言处理相比，工业界留给AI的全是硬骨头。我们总觉得有一个好的算法，加一堆GPU，CPU，或者NPU就能解决所有问题，但其实不是这样的，光有AI算法根本不够，最后可能AI不是最重要的事情，卡脖子的是照明、成像和机电。”

“对视觉AI来说，其实还包括视觉硬件。”钱翔总结说，最开始做磁瓦检测时，想得也很简单，就是检测下产品有没有裂纹、崩缺、欠磨，以及气孔气泡等问题而已，拍个照片对比下就好了，但最后发现拍照都拍不清楚，因为磁瓦片使用不同材料颜色是不一样的，有的是黑色的，会吸光，有的是亮的，会反射光……这些在研发设备的时候必须同时考虑进去，“可以说机器视觉除了算法，对硬件的要求也是很高的，最后我们在硬件选型上花了很长时间。”

还有机电部分也很重要，如果机械运作过程中抖动厉害的花，就很难获得清晰的图像，当然这个问题可以从算法方面去解决，也可以从机械方面解决。

对于成像问题，他表示，“开始我们都认为简单，拍下来就可以了。最后发现拍下来效果总是不尽人意，后来我们只好改进我们的成像系统。”

连接器缺陷检测方案

对于钱翔副教授提到的问题，来自阿丘科技的余任冲深有感触，因为他们是一家以深度学习、3D视觉和机器人技术为核心的企业，将人工智能用于工业机器人及自动化领域。目前已经推出人工智能工业视觉算法平台软件AIDI和机器人3D视觉分拣系统解决方案等产品，用于工业复杂视觉检测及无序分拣。目前公司分布在北京、苏州昆山和深圳。其中北京为研发中心，苏州昆山和深圳为产品及业务中心。

目前工业应用上面临的问题主要有：不同类别的缺陷样本数据量不均衡、同一类别正负样本数据量不均衡、缺陷尺寸变化大，以及无法通过简单的图像特征区分缺陷类别。

在余任冲看来，工业应用上面临的问题，除了这4个，还有数据库不容易获得， “只有客户相信你之后，你才能拿到数据。拿到数据后，还需要现场有经验工程师和QC的配合，我们才知道如何标注数据，如果标注错了，也会产生干扰。”

他还提到一个问题，如果检测设备精度很高，能检测出所有问题，客户会很开心，但是他们却不会采用这个设备，因为当把所有瑕疵产品都剔除的话，产品不良率必然会升高，这样就会让新产品很难出货。

也就是说，AI产品要工程化落地的话，必须得到客户的现场配合。因为需要微调的东西太多了，一个项目的调试、训练时间其实还蛮长的。他拿机器视觉在连接器USB Type-C端子检测的案例举例说，就这一个项目，大概有30几个指标需要检测，每个指标都需要时间训练。

图3：阿丘科技在连接器领域的应用案例（一）。

图4：阿丘科技在连接器领域的应用案例（二）。

如果得不到客户现场配合，AI产品很难落地，工程化很难落地，这里面微调的东西太多了，每天都在现场调试。我觉得我们这个行业是一个耗能行业，因为每天都在调，在训练，时间点蛮长的。

图5：传统视觉厂商检测方案与AI深度学习检测方案对比。

除了在连接器缺陷检测方面的应用，阿丘科技的AI算法和产品也有在笔记本电脑外壳外观缺陷检测、金属加工件外观缺陷检测、刀片刀具缺陷检测等工业领域，以及草莓干级别分类等农业领域中有应用。

部分智能物联网行业解决方案

北京旷视科技有限公司成立于 2011 年，是一家以人工智能技术为核心的行业物联解决方案提供商，为行业用户提供人工智能算法和解决方案，构建智能物联网系统。旷视科技产品主要包括人脸识别技术，图像识别技术，智能视频云产品，智能传感器产品等，产品主要应用于金融、手机、安防、物流、零售等领域。

其华南区高级技术专家吴秋雨分享了一些旷视科技的智能物联网行业解决方案包括社区地产通行管理方案、新零售、教育、以及物流等物联网解决方案。

图6：旷视科技的社区地产通行管理解决方案。

吴秋雨指出，在社区地产通行管理方面，最重要的是要把好三道门、管好四类人。

图7：吴秋雨在介绍旷视科技在新零售行业的解决方案。

他承认目前新零售进展不太顺利，但旷视科技还是做了不少工作，其新零售解决方案的主要目标是打通人、货、场数据通路，助力门店智能升级。其技术主要有人脸支付、客户画像和轨迹分析等。

人，指的就是智能理解会员，实现千人千面体验，以及打通收银支付，提升结账效率；货，指的是供应链智能选品，提升单店库存转化，以及仓储服务自动化，节省仓储人力时间；而场则是指，门店数据全面捕捉，提供实时数据反馈，以及店务运营一体化，即时反馈，实时管理。

他特别指出，教育是旷视科技今年的重点项目。而且从去年开始，他们就已经开始打磨教育领域的产品了。

吴秋雨拿教室内的考勤系统举例说，旷视科技的室内考勤系统是无感的，只需要在教室中间安装一个带云台和变焦的摄像头，就可以无死角地扫描课堂内的学生，而且还有活体识别和行为分析功能。

在学生上完课之后，所有考勤信息就会输出到主机。老实说，这个行为分析是有点“变态”的，可以分析人的七种行为和七种表情，比如站立，举手、玩手机、眼睛注视的地方等等都可以统计出来。所有这些行为分析，都可以通过一个摄像头来实现。

虽然笔者已经毕业了，但想想这样的考勤系统，都吓出了一声冷汗，技术虽然不错，但还是希望不要把这样的技术应用到教室中去。

图8：旷视科技的教育解决方案。

旷视科技不仅做高校解决方案，也做普校的教育解决方案，比如宿舍管理系统。传统的宿舍管理系统，可能也就是个闸机，现在，已经可以在闸机上加人脸识别系统了。据吴秋雨透露，这样的宿舍管理系统已经开始在与深圳大学和南方科技大学合作部署了。

还有物流制造解决方案，旷视科技开发了一个机器人网络操作系统------旷视河图。旷视科技与菜鸟在天津建造了一个有500台机器人的智能仓，据说在去年双十一期间，帮助菜鸟提升了50%的效率。

图9：旷视科技的物流制造解决方案。

不过到目前为止，河图还没有到完全商用的程度，只是在跟大型企业做战略性合作实践。完成的功能也还限于货物自动分类、货物转发和运输等。

3D视觉人工智能解决方案

AI 3D传感技术方案提供商奥比中光也分享了他们在视觉人工智能方面的一些应用案例，比较有意思的几个解决方案。

奥比中光副总经理彭勋禄认为奥比中光不算一家AI公司，而是一家为AI公司赋能的公司。其关键的技术是3D传感技术。

图10：奥比中光的关键技术。

他介绍了奥比中光在交通领域的解决方案，包括地铁刷脸闸机和车内监测等。据彭勋禄透露，目前地铁刷脸闸机已经在济南地铁有部署了，广州地铁也即将部署，明年深圳地铁也可能会部署。

车内监测主要有驾驶员状态检测、车内危险行为监测和公交车客流分析。目前奥比中光正在给宝安区的2000辆公交车装上3D摄像头，来统计公交车的客流量。

图11：奥比中光的智能交通解决方案。

图12：奥比中光的刷脸支付解决方案。

现在很多自助售货机、一些奶茶店、零售店等都可以刷脸支付了。其刷脸支付系统的前端摄像头大都是奥比中光的。彭勋禄透露说，去年蚂蚁金服投资了奥比中光2亿美元，这2亿美元其实不是财务投资，而是战略投资。蚂蚁金服与奥比中光联合成立了一家叫蚂里奥的公司，专门服务阿里生态，其核心业务就是支付宝刷脸支付设备。

在与阿里合作的同时，奥比中光也在与银联合作，开拓银联的刷脸支付业务。

图13：奥比中光智能机器人解决方案。

智能机器人，这是奥比中光最早期的一个业务。据彭勋禄介绍，智能机器人里80%~90%的企业都用过奥比中光的3D摄像头，主要做避障和室内导航。“大家用扫地机器人可能有这样一个感受，如果地上有鞋子，线缆，或者低于扫地机器人的障碍物时，扫地机器人实际上是识别不出来的，会直接撞上去。但我们现在的前置3D摄像头，可以识别到一些非常小的物品，比如线缆，动物粪便等。”

他表示，未来在扫地机器人方面，会有一套完整的解决方案，可以解决扫地机器人全屋清扫问题，而不需要人干预。