含光NPU人工智能芯片

含光NPU高性能AI推理芯片基于台积电12nm工艺,软硬件协同设计,用于数据中心、边缘服务器和大型端上。覆盖阿里巴巴丰富的应用场景,将部署于城市大脑、拍立淘、智能服装设计、搜索和广告推荐等多个业务。

架构特征

  • 加速卷积和矩阵乘,支持反卷积、孔洞卷积、3D卷积、 插值、ROI等

  • 针对ResNet-50、SSD/DSSD、Faster-RCNN、Mask-RCNN、DeepLab 等模型优化

  • 高密度的计算与存储,极大提升处理效率

  • 软硬协同支持权重的稀疏压缩,计算的量化压缩

  • 除INT8/INT16量化加速外,也覆盖FP16/BFP16的向量计算

  • 除直接加速各种ReLu、Sigmoid、Tanh等,也可支持未来新型激活函数

  • 每一块芯片内含四核,视部署场景之算力需求灵活配置,可以从单卡单核,到多卡全四核

特色技术

  • 深度优化CNN及视觉类算法

  • 通用可扩展到其他DNN模型

  • 高能效、低延时

  • 指令集支持可编程模型扩展

  • 完整软件栈,支持TensorFlow, MXNet, Caffe, ONNX等框架

  • INT8 单芯片推理算力全球最强

性能比较

Resnet50 v1 性能比较(帧/秒):

Resnet50 v1 能效比较(帧/秒/瓦): 

产品试用

阿里云NPU云服务器产品邀测开放中,点此申请