一文看懂AOE到底是什么!
一、背景 1.1 AoE是什么 AoE (AI on Edge) 是一个滴滴开源的终端侧AI集成运行时环境(IRE)。以 “稳定性、易用性、安全性” 为设计原则,帮助开发者将不同框架的深度学习算法轻松部署到终端高效执行,Github 地址是 https://github.com/didi/aoe 。 为什么要做一个 AI 终端集成运行时框架,原因有两个: 一是随着人工智能技术快速发展,这两年涌现出了许多运行在终端的推理框架,在给开发者带来更多选择的同时,也增加了将AI布署到终端的成本; 二是通过推理框架直接接入AI的流程比较繁琐,涉及到动态库接入、资源加载、前处理、后处理、资源释放、模型升级,以及如何保障稳定性等问题。 目前AoE SDK已经在滴滴银行卡OCR上应用使用,想更加清晰地理解 AoE 和推理框架、宿主 App 的关系,可以通过下面的业务集成示意图来了解它。 1.2 终端推理框架一览 下面是终端运行的8种主流推理框架(排名不分先后)。 序号 名称 开发者 开源时间 描述 1 TensorFlow Lite Google 2017 TensorFlow Lite使用Android Neural Networks API,默认调用CPU,目前最新的版本已经支持GPU。 2 Core ML Apple 2017 Core