随着AI及其应用越来越广泛，科技巨头之间开发更便宜、更快芯片的竞赛可能会加速。公司可以从亚马逊AWS的Sagemaker服务等云服务提供商那里租用这些硬件，也可以购买他们的硬件。如果能够保持较高的利用率，自有硬件可以降低成本。否则，公司最好依赖云供应商。
AI芯片也称为AI硬件或AI加速器，是专门为基于人工神经网络(ANN)的应用程序设计的加速器。大多数商业人工神经网络应用都是深度学习应用。
人工神经网络是AI的一个分支。ANN是一种受人脑启发的机器学习方法。它包括多层人工神经元，这些神经元是受人类神经元工作方式启发的数学函数。人工神经网络可以构建成多层的深层网络。使用这种网络的机器学习应用程序被称为深度学习。
深度学习有两个主要用例：
（1）训练（Training）：深度人工神经网络被输入成千上万的标记数据，因此它可以识别模式。训练对于计算资源来说是耗时且密集的。
（2）推断（Inference）：作为训练过程的结果，ANN能够根据新的输入做出预测。
虽然通用芯片也可以运行ANN应用程序，但它们不是这些软件的最有效解决方案。有多种类型的AI芯片，因为在不同类型的人工神经网络应用中定制是必要的。例如，在一些物联网设备需要依靠电池运行的物联网应用中，AI芯片需要体积小，并且能够在低功耗下高效运行。这导致芯片制造商在为不同的应用设计芯片时做出不同的架构选择。
虽然通用芯片也可以运行ANN应用程序，但它们不是这些软件的最有效解决方案。目前，一些主流AI芯片厂商有：AMD、Apple、Arm、Baidu、Google(Alphabet)、Graphcore、Huawei、IBM、Intel、Microsoft、Nvidia、Texasinstruments、Qualcomm等。
通用硬件使用算术块进行基本的内存计算。串行处理不能为深度学习技术提供足够的性能。这表现在：
（1）神经网络需要许多并行/简单的算术运算
（2）强大的通用芯片不能支持大量简单的同时操作
（3）AI优化的硬件包括许多功能较弱的芯片，支持并行处理
与使用通用硬件相比，AI加速器具有以下优势:.
（1）更快的计算。AI应用通常需要并行计算能力，以便运行复杂的训练模型和算法。AI硬件提供更多并行处理能力？据估计，在人工神经网络应用中，与类似价位的传统半导体器件相比，这种器件具有高达10倍的竞争力。
（2）高带宽内存。专门的AI硬件估计比传统芯片多分配4-5倍的带宽。这是必要的，因为由于需要并行处理，AI应用程序需要处理器之间明显更多的带宽来实现高效的性能。
深度神经网络驱动的解决方案构成了大多数商业AI应用。自2010年以来，这些应用程序的数量和重要性一直在强劲增长，预计将继续以类似的速度增长。例如，麦肯锡预测AI应用每年将产生4-6万亿美元的价值。
AI芯片使用新颖的架构来提高性能。我们对这些方法进行了排序，从最常见的到新兴的方法：
GPU：图形处理单元最初是为通过并行计算加速图形处理而设计的。同样的方法在训练深度学习应用程序方面也很有效，目前是深度学习软件开发人员最常用的硬件之一。
晶片芯片：例如，Cerebras正在通过生产一个46，225平方毫米(约72平方英寸)的硅片来制造晶片芯片，在一个芯片上包含1.2万亿个晶体管。由于其高容量，芯片上有400，000个处理核心。这种大型芯片展现了规模经济，但也带来了新的材料科学和物理挑战。
可重新配置的神经处理单元(NPU)：该架构提供并行计算和池化来提高整体性能。它专注于卷积神经网络(CNN)应用，这是图像识别中人工神经网络(ANNs)的流行架构。总部位于圣地亚哥和台北的低功耗边缘AI初创公司耐能获得了其芯片所基于的架构的许可；一种可重构的神经处理单元(NPU)。这种架构可以被重新配置以在模型之间实时切换的事实允许根据应用的需要创建优化的硬件。美国国家标准和技术研究所(NIST)将耐能的面部识别模型评为100MB以下性能最佳的模型。
神经形态芯片架构：这是一种利用材料科学和神经科学等相邻领域的新方法来模仿脑细胞的尝试。这些芯片在训练神经网络的速度和效率方面具有优势。自2017年以来，英特尔一直在以Loihi和Pohoiki的名义为研究界生产这种芯片。
基于模拟内存的技术：建立在0和1基础上的数字系统主宰了当今的计算世界。然而，模拟技术包含不断变化且没有特定范围的信号。IBM研究团队展示了大型模拟存储设备阵列在深度学习应用中实现了与GPU相似的精度水平。
团队的需求是最重要的标准。如果您的团队可以依赖云提供商，AWSSagemaker等解决方案可以让团队通过扩展他们的软件来在众多GPU上运行，从而快速试验模型训练。但是，与内部部署模式相比，这带来了更高的成本。因此，云可能是一个很好的初始测试平台，但可能不适合大型团队构建成熟的应用程序，为公司自己的AI硬件提供高利用率。
一旦你决定你的公司需要购买自己的AI芯片，这些是在评估中使用的芯片的重要特征：
处理速度：AI硬件使用神经网络实现更快的训练和推理。更快的训练使机器学习工程师能够尝试不同的深度学习方法，或者优化他们的神经网络结构(超参数优化)。
开发平台：在独立芯片上构建应用具有挑战性，因为芯片需要得到其他硬件和软件的支持，以便开发人员使用高级编程语言在其上构建应用。缺少开发板的AI加速器将使这种设备在开始时难以使用，并且难以进行基准测试。
电源要求：依靠电池工作的芯片需要能够在有限的功耗下工作，以最大限度地延长设备寿命。
尺寸：在物联网应用中，设备尺寸在手机或小型设备等应用中可能很重要。
成本：与往常一样，设备的总拥有成本对于任何采购决策都至关重要。
AI硬件在深度学习应用上的客观性能基准很难获得。建议云和内部AI硬件用户首先用自己的应用程序对这些系统进行基准测试，以了解它们的性能。
虽然对云服务进行基准测试相对容易，但对自己的硬件进行基准测试可能更耗时。如果这是一个常见的AI硬件，公司可以在云服务上找到它，并对其性能进行基准测试，因为一些云服务公开共享底层硬件规格。如果这样的测试不能在云上运行，那么就需要从供应商那里请求样本硬件来进行测试。
现有的基准倾向于在速度和功耗方面比较两种不同的AI硬件。基准测试使用简单的计算机和MacbookPro等进行比较，另外还要考虑价格因素。（DonnaZhang，张底剪报）