揭秘 Amazon Go 无人商店是如何炼成的！

人工智能（AI）已经发展了多年，机器学习（ML）和深度学习也早已不是陌生的概念。

长期以来，ML 技术仅限于少数大型科技公司和专业学习研究人员，但是，当云计算进入 AI 领域之后，ML 逐渐发展成为一种主流的技术。

算法、计算能力与数据的潜力被激发出来，以 ML 为代表的人工智能正在走向舞台的中央，并成为金融、零售、时尚、房地产、医疗保健、制造业等多个行业的核心竞争力。

亚马逊云科技早就注意到了这一临界点的到来，因为企业中的 AI/ML  的用例正在显著的增加。通过智能交互、个性化和推荐系统等功能，客户体验正在发生着显著的变化。

比如在零售领域，基于 AI 的需求预测将错误减少了 30-50%，同时将由于产品不可用导致的销售额损失减少了 65%。可以说 AI/ML 正在帮助公司做出更好、更快的决策。

Amazon 本身就是一个非常好的例子。经历了多年 ML 探索实践，Amazon 成为了你今天所看到的由 ML 驱动的企业。ML 是 Amazon 创新最重要的一个部分。随着时间的推移，Amazon 持续改进早期的简单的个性化模型，并将其应用到了如 Amazon Prime 这样的产品中。这样的转变即便对 Amazon 而言也是相当巨大的。

但是想做到这一点并不难，我们始终相信这是每个企业都可以做到的。

2015 年 12 月 5 日，亚马逊宣布推出革命性线下实体商店—— Amazon Go。在 2018 年 1 月 22 日，Amazon Go 向公众开放。

那么，Amazon Go 是如何实现从传统收银结算，到 “Just Walk Out” 的跨越的呢？看看本届 INNOVATE 上我们的技术大咖费老师如何解答！

在实现 “Just Walk Out” 的过程中，

我们要解决一个基础的问题即，到底是哪个人，拿了哪件东西

看起来这是一个简单的目标，其实摆在我们面前的是一个巨大的挑战。

试想一下，商场里布满拥挤的人群，人们在购物，孩子们四处奔跑，婴儿车上的婴儿还在熟睡，人们并不总是拿上商品然后离开 —— 他们往往挑选一个商品，看看它，然后把它放回货架上；或者有时他们把它放回另一个货架上。 

而这意味着庞大的数据处理与计算的需求。

为了解决这一问题，我们打造了这样的架构方案。它由流媒体服务、入口出口管理服务和 Just Walk Out Technology 共同组成。

这三个模块一起帮我们解决“在人海中，到底是谁拿了哪件商品”这一“终极问题”。

首先来说流媒体服务，图中顶部的部分代表了店铺中部署的设备 ：这些设备包括了专门制作的摄像头以及我们用于商品销售的传感器。

流媒体服务负责将视频从商店中运行的摄像头传输到需要在云中。为了使算法发挥作用，就需要在客户挑选或放回商品时可靠地捕捉视频图像以实现 “真实时刻”。而处理视频的算法则在亚马逊云科技的云中运行。

一旦将视频传入云端，我们需要提供一种使它们可用于算法进行处理的方法。因此，我们准备了一套服务负责存储和索引这些视频，它们提供了视频检索的接口，这些接口由视频处理应用所使用。

此外，在现实世界中，事情并不总是顺利运行，所以必须要处理各种各样的意外。因此，我们也设计了检测摄像头故障 、网络延迟、和服务器故障的系统 ，来有效地处理这些故障。

基于这些高可用性、高吞吐量的服务集群们提供的基础架构，我们得以构建  “just walk out”  技术。

接着我们来谈谈出口入口管理服务，与传统商店不同，在 Amazon Go 这里没有收银柜台。但是，仍然需要获得支付工具（信用卡），在客户离开商店后，我们可以使用该工具向客户收取费用。

为此我们建立了一种体验，让买家使用 Amazon Go 的应用进入商店，并将他们与他们的 Amazon 帐户和存储的付款方式相关联。我们统称这些我们的“入口和出口”服务，他们负责管理客户会话和相关付款方式。

在这个过程中，我们面临的挑战之一是需要打造感觉自然且无缝的“流畅感”。

因此我们设计了入口门的硬件和软件，使客户可以自然的朝下扫描二维码，而系统可快速地验证客户身份，并打开门，所有的这一切通常在不到一秒钟的时间内完成。在出口上我们也做了同样的设计，以全面的免去客户不必要的动作。

另一个挑战是如何能够适应现实世界的情况，因为现实中的场景比模型复杂的多。

例如，在理想的世界中，我们希望每一位客户在进入商店时只扫描一次。然而，有时人们扫描手机，但后来他们分心，并开始与朋友交谈，所以他们扫描两次之前进入商店。我们的系统必须足够聪明才能处理所有这些边缘案例。

最后，我们需要明智地管理家庭购物的场景，或者说，一组打算共同付款的客户。在这种情况下，某人是一组领导人，在组中的每个成员进入商店时扫描他的手机。但显然他们中的任何人都可以随时离开商店，所以会话管理逻辑必须在这些情况下正常工作。

因此，作为入口/出口服务的一部分，我们构建了用于验证客户帐户、组关联和会话管理的系统。总的来说，这些服务的输出是当前在商店中处于活动状态的一组客户的会话以及每个服务的相关支付方式。 

最后来说核心的 Just Walk Out 技术，“Just Walk Out”  技术是架构的核心部分。这是系统的大脑。它基于深度学习算法，解决的是 “谁拿了什么” 的问题。 

首先让我们看看如何解决 “谁” 这个问题。为了解决它，我们需要的是从店铺入口到出口的客户的全程的定位。因此这个方案中包含三个主要模块：定位器、链接器和复杂状态解析器。

在 Amazon Go 店铺里布置的每个摄像头都会产生一个 3D 点云。基于摄像头的校准参数们将这些参数聚合为一个全局表示，并提取移动对象。当然并非所有的移动物体对应的都是人，还可能是篮子、推车、婴儿车等。人员定位器查看分段的数据，并决定它是某人或者是另一个对象。

然后，我们将人员在一个帧中的位置链接到下一个帧，为每个人的数据分配一个标签，链接器将标签从一个帧保留到下一个帧。有时候，当人们彼此接近时，这使得识别变得困难，称之为纠结状态。因此，要对人员位置的不确定性进行建模，并通过运动和图像特征来解决人员位置的不确定性的问题。 

现在我们已经知道如何解决“谁”的部分，那么让我们再来看看“拿了什么”这部分。这一部分面临的主要挑战是——在 Amazon Go 我们有许多商品，包括即食食品、餐具包、饮料。而这些商品在视觉上看起来往往会非常相似。 

结合产品分类（通过索引方案）和基于残差网络的细粒度识别来解决这个问题。这种方法可识别成千上万的产品，并且能够适应店铺里照明变化、阴影和反射的影响。

这样通过流媒体服务、入口出口管理服务和 Just Walk Out Technology 的共同合作，我们就这样打造了一个具备流畅体验的无人店铺~

原文链接：揭秘 Amazon Go 无人商店是如何炼成的！