把AI计算——或者有时可以窄化到神经网络的矩阵乘加运算，带到端侧设备上并不稀罕。智能手机就是个典型的端侧设备，现在的智能手机APSoC芯片上普遍都配有专门的AI计算单元，苹果称其为NE（NeuralEngine）、Arm和华为叫它NPU、联发科则将其叫做APU。
即便是IoT这种更小算力的端侧设备，其实也有AIoT这样的称谓。这里的A就是指AI——当然其含义可能比深度学习、神经网络更宽泛，但IoT端侧设备要带AI能力也是时代主旋律。
IoT设备通常总是通过传感器不停地收集数据，比如说影像画面、温度湿度、存在感知等等。将大量数据集合以后，进行机器学习的模型训练，就有机会生成更有价值的信息：AI在智慧交通、智能城市、智能家居之类的应用大多就是这么回事。不过AI计算是个需要算力和成本的工作。比如云上的大规模AI模型训练（training），必然是基于大算力的GPU或者专用的AI芯片。
模型训练完成后，复杂的AI推理（inference）工作也不适用于大多数小算力的IoT设备，而需要在云或边缘数据中心进行。一般IoT设备上的16位/32位MCU对于承接AI计算显得相当无能为力。TinyML的提出，就是为了找寻AI计算在IoT设备上的成本、功耗均衡，让数据分析工作也能在算力并没有那么高、存储资源还不多的硬件，配合专门设计的软件（小规模AI推理工作）上执行。
从TinyMLFoundation官网介绍来看，典型的TinyMLIoT设备应该将系统功耗控制在mW级别，模型尺寸小到100kB以下。也就是说TinyML设备，要在超低功耗、性能受限的环境下做本地的AI工作。不过这样的机器学习模型主要是扮演过滤的角色，比如说将那些不必要的参数、低于阈值的数据排除在外；唯有有价值的数据才会促使IoT设备做出相应的动作——不仅是本地响应（比如说家用警报器发现问题时发出警报），也可以是将数据进一步发往网关或云。
TinyML并不是要替代更复杂的AI推理，而是把一小部分特定能力迁到端侧设备上。那么就省去是总是需要联网、做数据通讯的麻烦，不仅能够显著降低功耗，而且也更为实时、有更高的隐私和安全性。ABIResearch去年发布过一份TinyML:TheNextBigOpportunityinTech白皮书。这家机构预测TinyML市场出货量会从2020年的1520万个设备，增长至2030年的25亿个IoT设备。
其潜在应用领域典型如家庭安防、智能家居自动化、宠物定位和追踪、健康类可穿戴设备；工业与生产中的资产追踪、制造缺陷发现、智能楼宇/建筑；交通领域的车流监控与交通高峰期的疏导、智能路灯；还有智能电网、智能仪表，以及物流和运输等。
上面这两张图是ABIResearch预测的2021-2030年，不同应用领域TinyML设备的出货量，以及TinyML芯片能够产生的营收（分成了ASIC、FPGA和MCU）。市场增长潜力看起来还是相当之大。
前两年的工业博览会上，我们看到瑞萨在展示一种e-AI（嵌入式AI）故障预判解决方案，这个demo演示的是工业现场的电机运行状态：有个加速度传感器采集电机的振动情况。本地有专门的AI计算加速单元，名为DRP(DynamicReconfigurableProcessor)。在电机的振动参数有某些异常变化的情况下，就能预判电机可能要发生故障。
当然在数据采集和训练上，整个过程还是涉及到了云上的机器学习。而且不管是英伟达JetsonNano，还是瑞萨DRP，跑起来的系统功耗应该都远超mW水平了。下面这张图是此前我们在采访瑞萨时，他们提供的一张AI性能和效率对比。瑞萨RZ/V2M的DRP加速器效率是相当不错的，只是这些系统严格意义上应该都不能算“TinyML”。
但追求边缘AI应用，的确是IoT的大趋势。前年我们参加了瑞萨杯全国大学生电子设计竞赛，这一届比赛就在于鼓励参赛学生充分应用硬件的AI算力。
从目前TinyML及其合作伙伴的宣导来看，现在的TinyML“芯片”更多的还是在于处理器内核加上一些强化的并行计算资源：比如说Cortex-M3，用15KB代码、22KB数据，在检测到特定语音单词时，就能唤醒系统，跑语音识别模型。2021年RapberryPiPico发布，基于RP2040MCU，Cortex-M0+双核，能跑TensorFlowLiteMicro。RP2040是被视为TinyML的标版的，开发者可以跑机器学习模型来进行一些传感器数据分析，包括视频和图片识别、手势识别等。
另外有关芯片，特别想提一嘴的是存内计算（in-memorycomputing）芯片，或者把范围进一步泛化到模拟计算方法。存内计算还是个全新的领域，颠覆了传统的冯诺依曼架构体系：直接就在存储器内进行计算，最小化数据搬运过程。主流的存内计算技术是基于模拟电路的计算——加上少了数据通讯开销，所以能效大幅提升，功耗相比于一般的AI芯片几倍下降。
最近我们采访了知存科技，这家公司给出的数据显示以其刚刚量产的存内计算芯片，做40-100个词的语音检测，系统整体功耗能够控制在0.8mW量级——这就比一般的芯片低太多了，应用于电池驱动的可穿戴设备都毫无压力。所以在我们看来，这种新型结构的芯片在TinyML时代应当是最有发展潜力的。当然新架构的生态搭建，前期会需要一个漫长的积累过程。在这个方向上发力的企业，未来应该也会越来越多。
似乎从“模拟计算”的角度来看，在计算机科学的架构范式都可能产生颠覆的未来，TinyML的需求持续进化，可能对整个行业带来前所未有的革命。时代现如今就有不少点状式的发展趋势，比如各种神经拟态传感器和计算方式的发展。它们都有着相较于如今的计算机架构，更为显著的效率优势。
ABIResearch在paper中明确提到了TinyML带来的一些关键价值。比如说更好的数据隐私性、更高的能效——这两点前文都已经提到；更小尺寸的芯片（尤其降低片内或板上的存储资源用量）；功能安全与网络安全方面的提升（硬件级AI实施方案相比于软件，具备更高的安全性）；对于网络不稳定环境有更好的免疫性——这原本就是边缘AI的一大优势；不同组件之间更好的互联互通。