『人工智能』35万行代码，旷视重磅开源天元深度学习框架，四大特性实现开发( 二 ) |深度学习|Google|Python|

本文插图
与主流深度学习框架相比，旷视的 MegEngine 有哪些特点呢？
开源 35 万行代码，天元技术架构理念新颖唐文斌介绍，本次旷视天元共开源约 35 万行代码，包括 C++、CUDA 和 Python 的代码。

本文插图
旷视联合创始人兼 CTO 唐文斌
天元是一套伴随旷视自身 AI 产业实战经验的框架，是旷视 Brain++ 的核心组件之一。为了这次开源，旷视为天元做了一次全面的升级。
从 2014 年开始研发， 2015 年全员使用，到今年 3 月开源，旷视目前所有的算法都是基于天元 MegEngine 这个框架训练和推理的。它不仅能够在 AI竞赛擂台上为旷视打怪升级加 Buff ，更撑起了旷视工程化、产品化的半边天。
发布会上，天元项目的负责人，也是旷视研究院高级技术总监田忠博指出，天元是一套训练推理一体化、动静态合一的工业级深度学习框架。

本文插图
从上到下，天元可以分为五个层次，最上面是计算接口层，向外连接了 Python 和 C++ 接口，开发者可以通过 Python 和 C++ 两种语言对整个框架进行使用和编程，以及系统的设计和研发、训练和推理。
接着是图表示层，包含了动态图和静态图的表示功能。
再往下是一个完整的一体化核心计算引擎，具有自动求导机制，图优化和图编译功能，有了这个层次就可以支撑起动态、静态和接口完整的功能。
在这个层次之下的运行时管理层由两个主要部分组成，一部分是计算调度，可以将计算设备抽象为执行流，由调度器对这些执行流进行合理的调度；另一部分是一整套内存管理机制，包括静态内存和动态内存管理。此外，这个模块里还内置了许多关于内存的高级优化，其中值得一提的是，在其中实现了静态的亚线性内存的优化器，使得内存管理效率得到大幅提升。
最底层是支撑整个系统的核心计算内核层，其中包含一个高性能算子库，它支持常见的计算设备，包括 X86、CUDA、ARM 和专业计算芯片等。同时，这个层还包含一个高性能异构通信库，能够使得整个计算框架可以在分布式多结点上进行大规模使用，来支撑更大规模的训练。
四大特性剖析天元如何实现简单开发

本文插图
旷视研究院高级技术总监田忠博
在过去几年，旷视在研发过程中遇到了很多行业共通的痛点，而天元的核心特色就是紧紧围绕着这些痛点的。
具有来说，天元四大核心特性：训练推理一体化、动静合一、兼容并包和灵活高效。

训练推理一体化

比如其中的一个痛点，是深度学习从研究到生产的流程非常复杂，各个阶段模型精度往往很难对齐。
田忠博指出，在传统深度学习研发流程中，训练框架和推理框架往往会分别设计和实现，训练框架和推理框架是两个阶段，当进行算法设计时，这个算法要首先经过训练框架的支持，变成一个可训练的模型，还要再把它转换到一个推理框架上可以接受新的表示，再由推理框架在不同的计算设备上进行计算。
在这里会有一个训练和推理的转换过程，这一过程中会产生很多问题，比如因为训练框架和推理框架是分别设计的，所以其中有些算力可能不被支持，导致无法自动完成转换，需要手工进行优化，转换过程中也可能引入了大量冗余的算子，致使最后的模型性能和精度并不理想。当最后把推理框架投放在芯片上进行计算时问题暴露，但因为整个流程复杂，我们无法精准地找到问题所在。

『人工智能』35万行代码，旷视重磅开源天元深度学习框架 ，四大特性实现开发( 二 )

『人工智能』35万行代码，旷视重磅开源天元深度学习框架，四大特性实现开发( 二 )