尽管目前IBM的硬件业务仅限于电力和大型机芯片和系统，但这家科技巨头正在悄悄地打造自己在人工智能硬件方面的专长和能力。任何人都不知道这将会以怎样的方式结束，但是这里有一些关于IBM正在做什么的想法和猜测。

 

IBM于2019年初成立了IBM人工智能硬件研究中心，与纽约州、纽约州立大学理工学院(SUNY Polytechnic Institute)以及梅拉诺克斯(Mellanox)、三星(Samsung)和Synopsys等科技公司合作，开展人工智能芯片研究。该中心对人工智能硬件采取整体的、端到端的方法，致力于实现其在未来10年将人工智能性能提高1000倍的积极目标。这从我们将在这里讨论的降低精度的技术开始。同时，该中心还在开发新的数字和模拟人工智能核心，以实现这些创新。路线图的最高潮是创造新的核心，由目前不用于半导体制造的外来材料制成。

 

从根本上说，过去4-5年，人工智能研究一直在利用由英伟达(NVIDIA)和谷歌领导的精度较低的数字和数学运算。如果“降低精度”听起来像一件坏事，那么请记住，更高的精度需要付出相当大的代价，即使用位数长度的平方。因此，从32位到16位将计算速度(或降低成本)提高了4倍。谷歌最近提出了一种新的16位格式，称为Bfloat，与IEEE 16位浮点标准相比，它对指数使用更多的位，对尾数使用更少的位。与传统的32位格式相比，这样做可以在节省功耗和芯片空间的同时保持准确性。英特尔就是其中之一。然而，研究人员在努力实现下一个8位浮点数时，却很难保持准确性。

 

本周，IBM提出了一种“混合的8位浮点数”格式，蓝冠注册在设备上，多个mmWave天线模块（例如QTM052和QTM525）位于不同的位置，如下图所示。蓝冠注册基带调制解调器根据最强信号的来源在天线模块之间切换。这种格式可以提高性能或降低4倍的成本。也就是说，如果有人(IBM?)生产了一种可以执行这些计算的训练芯片，它就会使用经过适当“量化”的8位格式的dnn。这些操作的“混合”性质源于正向传播计算和反向传播计算所需的不同精度要求。通过将用于指数和尾数的位的数目裁剪为向前和向后通过计算，IBM证明了人们确实可以训练一个用于视觉、语音和语言处理的神经网络，只需要8位就可以进行加权和激活。而且，它的精度可以与16位数学计算的结果相媲美。此外，这些更小的数字可以更有效地通过芯片进行通信，进一步减少了30-60%的培训时间。

 

如果所有这些数学计算听起来很复杂，蓝冠代理人工智能通常专注于使软件更智能，允许机器做出独立决策，并模仿人类学习和改善的方式。其好处却很简单。这种方法理论上可以使一个人建立一个芯片培训深层神经网络将使用¼芯片区域,或者同时提供4倍的性能成本。

 

在冠状病毒大流行期间帮助儿童适应在线学习

 

在人工智能的推理方面，芯片公司和模型开发人员正出于同样的原因转向8位整数数学。但还有可能更低吗?迄今为止，使用较低精度的努力未能达到8位模型提供的精度。然而，IBM最近发表了一篇论文，提出使用两种技术，一种称为参数化剪裁激活(PACT)，另一种称为统计感知权重宾化(SAWB)，当它们结合使用时，演示了2位推理处理，其准确性可与8位量化模型相媲美。

 

答案可能是“所有人”，如果有人在cpu或人工智能芯片上使用这些技术，那么这个答案就是“所有人”。IBM的路线图当然意味着公司将会这样做，但是现在，这些都是在IBM Research中完成的，而不是在产品部门。我在IBM工作了10年，经常有一些研究项目没有变成产品;这就是研究的本质。不过，让我们考虑一下IBM如何进行。