谷歌在I／O大会发布了其第三代TPU，并宣称其性能比去年的TUP2.0提升8倍之多，达到每秒1000万亿次浮点计算，同时谷歌展示了其一系列基于TPU的AI应用。
AI技术的革新，其从计算构架到应用，都和传统处理器与算法有巨大的差异，这给创业者和资本市场无限的遐想空间，这也是为什么资本和人才对其趋之若鹜的原因。
首先我们来分析下目前对AI芯片的需求主要集中在哪些方面。
先来讲讲AI目前芯片大致的分类：从应用场景角度看，AI芯片主要有两个方向，一个是在数据中心部署的云端，一个是在消费者终端部署的终端。从功能角度看，AI芯片主要做两个事情，一是Training（训练），二是Inference（推理）。
目前AI芯片的大规模应用分别在云端和终端。云端的AI芯片同时做两个事情：Training和Inference。Training即用大量标记过的数据来“训练”相应的系统，使之可以适应特定的功能，比如给系统海量的“猫”的图片，并告诉系统这个就是“猫”，之后系统就“知道”什么是猫了；Inference即用训练好的系统来完成任务，接上面的例子，就是你将一张图给之前训练过的系统，让他得出这张图是不是猫这样的结论。
Training和Inference在目前大多数的AI系统中，是相对独立的过程，其对计算能力的要求也不尽相同。Training需要极高的计算性能，需要较高的精度，需要能处理海量的数据，需要有一定的通用性，以便完成各种各样的学习任务。
对于芯片厂家来说，谁有数据，谁赢！
谷歌TensorFlow团队：深度学习的未来，在单片机的身上
PeteWarden，是谷歌TensorFlow团队成员，也是TensorFLowMobile的负责人。Pete坚定地相信，未来的深度学习能够在微型的、低功耗的芯片上自由地奔跑。
单片机(MCU)，有一天会成为深度学习最肥沃的土壤。为什么是单片机？单片机遍地都是，今年一年全球会有大约400亿枚单片机(MCU)售出。MCU里面有个小CPU，RAM只有几kb的那种，但医疗设备、汽车设备、工业设备，还有消费级电子产品里，都用得到。
这样的计算机，需要的电量很小，价格也很便宜，大概不到50美分。之所以得不到重视，是因为一般情况下，MCU都是用来取代(如洗衣机里、遥控器里的)那些老式的机电系统——控制机器用的逻辑没有发生什么变化。
CPU和传感器不太耗电，传输耗钱、耗电！CPU和传感器的功耗，基本可以降到微瓦级，比如高通的Glance视觉芯片。相比之下，显示器和无线电，就尤其耗电了。即便是WiFi和蓝牙也至少要几十毫瓦。
因为数据传输需要的能量，似乎与传输距离成正比。CPU和传感器只传几毫米，如果每个数据都需要端管云这样传输，每个算法都需要输送到云端进行处理，自然代价就要贵得多。
传感器的数据很多，传输起来很费劲！传感器能获取的数据，比人们能用到的数据，多得多。例如：卫星的图片数据很多，但是传到地球很困难。
卫星或者宇宙飞船上的宇航员可以用高清相机来拍高清视频。但问题是，卫星的数据存储量很小，传输带宽也很有限，从地球上每小时只能下载到一点点数据。地球上的很多传感器也一样，本地获得很容易，但是传输到远端的数据中心就需要很多的代价。
跟深度学习有什么关系
如果传感器的数据可以在本地运算，又不需要很多的代价和电力。我们需要的是，能够在单片机上运转的，不需要很多电量的，依赖计算不依赖无线电，并且可以把那些本来要浪费掉的传感器数据利用起来的。这也是机器学习，特别是深度学习，需要跨越的鸿沟。
1、深度学习很低碳
那么AI的计算，每次运算需要多少皮焦耳？比如，MobileNetV2的图像分类网络最简单的结构，大约要用2,200万次运算。如果每次运算要5皮焦，每秒钟一帧的话，这个网络的功率就是110微瓦，用纽扣电池也能坚持近一年。
2、对传感器也友好
最近几年，人们用神经网络来处理噪音信号，比如图像、音频、加速度计的数据等等。
除了一骑绝尘的英伟达，其他老牌的芯片巨头都没闲着，特别是Intel通过买、买、买奋力的将自己挤到了头部玩家的位置。微软在最新的Build大会上公布了基于英特尔FPGA的AI方案，而英特尔的FPGA业务正是通过收购Altera获得的。
除此之外，我们可以看到像Google这样的互联网厂商也乱入了前五。这当然要归功于上面提到的TPU，虽然谷歌不直接售卖芯片，但是谷歌通过云服务提供TPU的调用服务。谷歌很早就开源了Tensorflow软件平台，这使得Tensorflow成为最主流的机器学习软件平台，已经成了事实上行业的软件平台标准。而Tensorflow最佳的计算环境必定就是谷歌自己的云服务了，通过软件、硬件（或者说云）环境的打通，谷歌妥妥的成为AI芯片领域的一方霸主。
现在业界争论的焦点是AI芯片的处理器架构用哪种是最好的，有前面提及的有GPU、FPGA、DSP和ASIC，甚至还有更前沿的脑神经形态芯片。现在GPU可以认为是处于优势地位，但其他几种的处理器架构也各有优势。Intel则是多方下注，不错过任何一种处理器架构。谷歌在TPU（其实就是一种ASIC）方面的巨大投入带来了硬件效能的极大提高，目前看来对GPU的冲击将是最大的，原因不单单是因为专用架构带来的效率优势，还有商业模式方面带来的成本优势。在半导体行业内的普遍观点是，一旦AI的算法相对稳定，ASIC肯定是最主流的芯片形态。看看挖矿芯片的进化历程，这个观点非常有说服力。
在云端，互联网巨头已经成为了事实上的生态主导者，因为云计算本来就是巨头的战场，现在所有开源AI框架也都是这些巨头发布的。在这样一个生态已经固化的环境中，留给创业公司的空间实际已经消失。