滴滴云IFX斩获斯坦福DAWNBench深度学习推理榜单双料冠军

近日，斯坦福大学发布了 DAWNBench 最新成绩，在基于 ImageNet 图像数据集上完成 top5 93% 以上计算精度的任务里，滴滴云研发的 AI 智能加速引擎 IFX获得了 Inference Latency 以及 Inference Cost 双料世界第一的成绩。

其中，IFX 所输出的神经网络推理性能以1.5439ms的成绩领先当前第2名 21%；10000张图片分类任务在滴滴云GPU实例（https://www.didiyun.com/production/gpu.html）上的平均成本仅为0.00美金，领先第2名0.01美金。这是当前所有竞榜的参与者中，在 P4 GPU 上面获取到的最佳成绩。DAWNBench ImageNet Inference Latency ,DAWNBench ImageNet Inference Cost .近年来，神经网络的需求越来越多，对性能，成本，服务能力的要求也越来越高，滴滴在此背景下，推出了 AI 智能加速引擎 IFX，专门为客户提供端到端的 AI 解决方案。 

IFX 可提供低延时，高吞吐的神经网络实现方案，支持 tensorflow，pytorch，caffe，darknet 等神经网络模型一键部署到 NVIDIA GPU，ARM 等异构设备。目前该引擎已经广泛应用于滴滴内部人脸检测、OCR、语音识别、ETA 等各项业务。 

IFX 在滴滴内部已经得到了很好的落地，作为基础推理引擎，为滴滴云简枢、EIS、DDIVA 等多个产品提供了坚实的性能保证。 简枢机器学习平台

(https://www.didiyun.com/solution/gpu-management.html)：以主流深度学习框架为基础，与 k8s 和Docker 容器技术相结合，提供实验环境、离线任务和在线服务三大功能，支持业务从模型研究、批量训练到在线预测的全流程打通，可以使用户更加专注深度学习应用本身。

[EIS](https://www.didiyun.com/production/eis.html): 可将用户自定义深度学习模型一键发布为推理服务，并为推理服务提供托管环境，简单易用，支持 TensorFlow，pytorch 等多种深度学习框架训练出的模型。

DDIVA: 面向海量智能视频分析场景推出的一套完善的，高性能的视频分析框架，集成基于NVIDIA GPU硬件和CPU软件的视频编解码方案，最大限度增加视频编解码的吞吐。 

IFX 适用的场景非常的丰富，我们不限制其只能运行在滴滴的平台，更希望将此能力能够赋能给外部客户，产生更大的用户价值：

公有云部署：适用于部署在滴滴云等公有云上的AI服务，为用户公有云服务提供AI智能加速解决方案。

私有云部署：适用于部署在企业私有云环境的AI应用，提高AI服务效率、降低AI服务成本。

IOT：IFX可应用于智能制造、智能家居、智能汽车、智能机器人、智能交通等各种IOT场景中，提高计算效率、降低应用时延。

边缘计算：业务对于边缘计算的实时性要求更高，即更强的处理能力和更快的响应速度。IFX能够帮助边缘设备更快处理业务请求。 

据悉，此次提交的成绩其实并非IFX在 P4 GPU 上表现的最佳成绩，但是我们预计，即使要超越这个成绩，各个竞榜对手很可能不得不采用 nvidia 下一代 GPU T4 或者其他更快硬件。

那么，为什么滴滴云IFX能够对AI推理性能做到如此极致的优化？滴滴云IFX 团队后续将一一揭秘，敬请关注滴滴云公众号。

输入AI大师码【1122】，滴滴云GPU全线产品享9折优惠。