本文通过现场实地体验以及官方公布的一些资料,对AmazonGo做了一下全面解析。
AmazonGo的自白
1.AmazonGo是什么?
AmazonGo是一种无需结账台的新型商店。通过亚马逊提供的JustWalkOut购物体验,只需使用AmazonGo应用程序进入商店,购买想要的商品即可,无需在结账柜台前排长队等待。
2.AmazonGo如何运作?
计算机视觉,传感器融合和深度学习等技术的运用,使AmazonGo的免结账购物体验成为可能。JustWalkOut技术能够自动检测商品何时从货架上取下或被重新放回,并在虚拟购物车中跟踪货物。当消费者完成购物,就可以离开商店。不久之后,亚马逊会向消费者发送收据,并通过亚马逊账户进行收费。
3.在AmazonGo能买到什么?
AmazonGo提供美味的即食早餐、午餐、晚餐和小吃。常见的品类包括面包和牛奶等主食,手工做的奶酪和巧克力。对于快速的家常晚餐,AmazonGo中还提供厨师设计的亚马逊膳食套餐,选择套餐的消费者在30分钟内就能做出两人份的晚餐。
4.如何在AmazonGo购物?
消费者需要注册一个亚马逊账户,在手机短下载安装。免费的AmazonGo应用程序。当消费者到达店铺的时候,可以使用AmazonGo应用程序进入商店,然后就可以不需要用手机了,就可以像在其他商店里一样浏览和购物。完成购物后,不需要排队结账。
周一到周五,早上7点到晚上9点。
6.AmazonGo有多大?
大约1800平方英尺。
7.AmazonGo里有人工作吗?
有。员工在商店里准备原料、制作速食食品、整理货架、并帮助客户。
实地探访AmazonGo
无人超市入口是一排电子“门卫”
店铺的入口感觉就像一个地铁站,那里也有一排电子闸机,只需在手机上安装了AmazonGo的应用程序,消费者就能过闸进入店内。
西雅图亚马逊总部办公楼下的全球首家无人商店,是一个1800平方英尺的小型超市。进入超市后,第一眼会看到货架上摆放的沙拉、三明治和饮料,以及即食的三餐食品。
AmazonGo还提供小瓶装的啤酒、葡萄酒以及肉类,所有餐具都是亚马逊自制的。继亚马逊收购WholeFoods之后,还有一部分售卖区域专门摆放薯片、饼干和坚果,这些都来自杂货商365EverydayValue。
超市内再无购物车,所有结账过程都是自动的,商品可直接装入购物袋内。亚马逊说,每当顾客从货架上取货时,商品就会自动放入他们在线账户的购物车中。如果顾客把商品放回货架上,亚马逊会将其从在线账户的购物车中移除。
AmazonGo使用相机和传感器来动态监控消费者,并通过智能手机应用程序自动为他们从商店中取出的商品进行结算。亚马逊并没有多说这个系统是如何工作的,只是说它涉及到复杂的计算机视觉和机器学习技术。
安装在天花板上的数十个方形黑色摄像机持续监控消费者行为,该系统对消费者来说体验不错,但如果进入店铺的人比较多,比如那些带着小孩的家庭,这也会对监控带来挑战,还有进一步优化的空间。AmazonGo的工程师一直在研究一起到店购物的家庭,并调整传感器,以识别孩子在商店里闲逛时是否有吃东西。
无人超市并不意味着完全没有工作人员,超市的入口有迎宾人员,一名身份证检查员在酒吧附近驻扎,至少有六名工作人员在厨房内。
最后的结账部分也是相当便捷,拿好商品走出店铺,没有排队,几乎瞬间完成收费。
亚马逊的核心技术,专家们怎么看?
专家1(资深技术人员,与AmazonGo项目内部人员很熟):里面有很多普通摄像头和3D摄像头,做了3D人体建模和行为分析。可以说,AmazonGo绝对不是PR,做这个小店有千万美元级别的投入。
专家2(机器人公司董事长):拍脑袋分析一下,进门扫完码后,后台系统通过3D摄像头把人体特征数据与账户ID进行绑定,然后对取货动作的视频进行分析(通过深度学习来正确辨识人类取放商品的动作细节)来实时更新虚拟购物车,出门后自动支付。如果店内人流密集的话,后台的实时运算量极其巨大。进门的闸机确保了客户ID能被有效辨识,但是如果是一个大人带着一个小孩,出店的时候小孩也拿着东西,而且与大人分开较远的话,系统可能就无法自动结账,不过可以发出报警。
专家3(工程师):如果问题缩小到只是进出闸机那会儿整个人的识别,只做一进一出的对应及出闸机时身上携带商品(用RFID之类补充确认)的感应识别,那似乎还在可脑补范围之内。
核心技术AmazonRekognition
根据官网介绍,AmazonGo主要的识别技术叫做AmazonRekognition,能够在消费者购物流程中进行一系列不同类型的识别,以判断多种不同的购物场景。
六张图看懂AmazonGo消费过程
USToday对AmazonGo的购物消费过程做了更简单易懂的可视化展示。
首先,消费者用手机像地铁刷卡那样进入店铺。当然,手机上得注册有亚马逊的账户。与此同时,位于入口处的摄像头会进行人脸识别,识别的技术主要是AmazonRekognition。
当消费者在货架前停下来时,摄像头会捕捉并记录消费者拿起或者放回去的商品。
放置在货架上的摄像头会通过手势识别,判断消费者是拿起了一件商品(购买),还是拿起一件商品看了看又放回货架(不购买)。
店内麦克风会根据周围环境声音判断消费者所处的位置。
货架上的红外传感器、压力感应装置(记录商品被取走),以及荷载传感器(记录商品被放回)会记录下消费者取走了哪些商品以及放回了多少商品。同时,这些数据会实时传输给AmazonGo商店的信息中枢,每位顾客都不会有延迟。
在离店时,传感器会扫描并记录下消费者购买的商品,同时自动在消费者的亚马逊账户上结算金额。
JustWalkOut技术背后的专利
国外网站上,有人翻出了亚马逊两年前申请专利时发布的文件。亚马逊提交的专利文件中描述,这一系统使用了包括RFID(无线射频识别)在内的技术,探测购物者是否从货架上拿下了商品,然后把数据传输到一台手持设备上。
这也意味着,在购物者继续购物的同时,系统已经对商品状态进行了同步。当消费者从商店的“过渡区”走出商店时,系统会感应到消费者已经离开,随后对他们带走的物品进行统计结算,并在顾客的亚马逊账户进行扣款。
专利示意图:
可以看出,店内有各种传感器,包括商场安装的摄像头、商品上的重量感应器
消费者购物过程中的具体识别过程
专利文件写道:
系统会探测到消费者走出店门,随着消费者通过出口(也就是过渡区域),系统会自动对消费者挑选的商品进行结账,期间消费者不用做任何的停留,也就避免了等待和排队。
专利文件表明,系统可以使用消费者过去的购买记录,来帮助确认消费者在购物时选择的某一商品。
例如,如果货存清单管理系统不能确定消费者所选择的到底是一瓶番茄酱还是芥末,它可能会参考这位顾客过去的消费记录,或者这位顾客是否已经选择过相同的商品。举个例子,如果顾客的消费历史记录显示他只购买番茄酱,那么这些信息可能会被用于确认消费者选择的就是一瓶番茄酱。
亚马逊在视频中提到,他们使用的技术包括多传感器融合,从不同传感器上获得的数据增加了判断的可信度和准确率。以下是专利文件对多传感器数据汇合的描述。
在一些配置条件下,来自其他输入设备的数据可能会被用于帮助确定某一商品是否已经被选中或者被放回到货架上。比如,如果系统判断一件商品已经被放回到货架上,除了图像分析外,基于形状和压力的传感器,以及称重设备上的数据,系统会对该商品生成一个权重。图像分析也许能有助于将货架上匹配的商品数量减小到一个更小的清单,提高匹配率。
这一专利文件是在两年前公布的,现在亚马逊很可能也做了很多的调整和优化。但是从视频上可以看到,基本思路还是沿袭了专利文件中的描述。