文章来自微信公众号“科文路”,欢迎关注、互动。转发须注明出处。
接前回AI:冯诺依曼瓶颈、AI:神经网络是如何工作的?、AI:GPU是如何工作的?,本文介绍 TPU 的工作原理。
本文将翻译What makes TPUs fine-tuned for deep learning? | Google Cloud Blog中的部分内容。
当谷歌设计 TPU 时,他们做了一个 DSA(特定领域的架构)。也就是说,我们把它设计成了一个专门用于神经网络工作的矩阵处理器,而没有设计一个通用的处理器。TPU 不能运行文字处理软件、不能控制火箭引擎、也不能执行银行交易,但它可以以惊人的速度处理神经网络的大量乘法和加法运算,而消耗的功率和占用的访存却小得多。