导读:阿里的“刷鞋购物”在国内外引发众多关注,其背后支撑的技术正是来自阿里iDST华先胜团队图像搜索技术的运用。
近日,计算机图像视觉顶级会议CVPR 在美国夏威夷举办, 阿里巴巴iDST副院长华先胜发表演讲,介绍了阿里图像搜索技术发展,以及在淘宝商品搜索和杭州“城市大脑”中的应用,并指出下一步通过视频和图片分析将可以实现整个城市的索引和搜索。
阿里巴巴iDST副院长华先胜现场发言
图像搜索主要分为索引和搜索两个步骤。图像搜索的第一步是训练计算机进行图像理解,通过计算机将图片中的要素,包括人像、颜色、纹理等具体特征以及深度学习产生的图像描述,转化为类似文字的“视觉词”,编成索引之后,才能再进行第二步——图像搜索。
在演讲中,华先胜提到实现精准高效的图像搜索有四个关键要求:
1)相关性:这是图像搜索系统的核心指标,可以分解为准确率和召回率。其中召回率在现实世界系统中有时候是非常难测量的,因为并不知道在真实世界中有多少真正的物品和搜索物可以完美匹配。
2)覆盖率:简单说就是搜索系统能支持多少种物品的搜索。比如产品搜索,系统需要最大可能地支持更多的产品,不仅是刚性的物品还包括非刚性(会产生形变)的产品。
3)伸缩性:是指系统处理大规模数据和大规模查询的能力。如系统可以多快地索引大量的机动车、人和产品,以及快速响应大量用户的搜索请求。
4)用户体验:每一种算法都不可能完美,所以需要设计特定的交互,通过用户与系统的交互来弥补算法的缺陷。
华先胜指出,阿里电商平台拥有的海量商品图片和用户反馈数据为计算机训练提供了支撑,同时电商也是“以图搜图”的刚需场景。早在就上线的以图搜图功能「拍立淘」,当年「双十一」期间,就有过千万消费者使用了「拍立淘」搜索购物,而目前「拍立淘」搜索范畴基本上已全面覆盖所日用商品。
引起热议的“刷鞋购物”其实是拍立淘具体场景的运用
电商的图像搜索技术,延伸到城市场景里面来,对城市的一些基本要素,包括车、步行人、骑行人、道路、建筑物等,进行识别、索引和搜索。这项技术整体上可以叫做城市图搜或者叫城市搜索,在杭州的「城市大脑」项目中已经开始充分运用。杭州「城市大脑」是全球唯一能够对全城视频进行实时分析的人工智能系统,依靠阿里云ET的视频识别算法,能够感知到复杂道路下车辆的运行情况,准确率达99%以上。当前,正在逐步上线一些最新的人、车、物的搜索技术,例如想找某特定类型特定颜色的车,那么改动搜索栏中颜色选项即可,还可以通过改变车牌号码的某一段来搜索,或者仅通过车辆或人的一幅照片进行搜索,专业一点的语言甚至可以叫索引整个城市。
面对前沿技术挑战,年初阿里巴巴对外公布了“NASA”计划,投入科研力量“为了解决、后的困难”。前不久, 阿里还面向全球发布AIR(Alibaba Innovative Research)计划,致力于推进计算机科学领域基础性、前瞻性、突破性的研究,以校企深度合作的方式引领重大科技创新的实践应用,以此搭建学术界、工业界的合作平台,联合双方优势共同促进前沿技术的发展。