『人工智能』35万行代码，旷视重磅开源天元深度学习框架，四大特性实现开发( 四 ) |深度学习|Google|Python|

灵活高效

痛点四，对于一家进 AI 生产公司来说，可能会面临很多设备和场景，需要在每一种设备上实现极致的性能。
在框架设计时，天元秉持要灵活高效的原则，在许多的设备、算法上，都能得到领先的性能。接下来，田忠博放出了训练性能对比图，与若干擅长推理的框架进行横向对比。

本文插图
结果显示，在 CPU 推理场景下，天元在训练性能上有显著的提升和优势，即可以同时在训练和推理过程中保持高性能。另外，如果要把算法更好地部署在各种设备中，或者在训练时能够利用现有的设备训练更大的模型，支持更多的算法种类，显存或设备的片上内存使用是一个非常关键的因素。所以，节省内存也是天元所关注的。
天元内置了一个高效的内存优化策略，它能够显著减少训练时的显存占用，实现在同样的设备上可以训练更大的模型，支持更多算法。
此外，天元还有很多内存和速度的优化机制，比如亚线性内存优化。可以发现，在使用天元动态图能力时，可以支持 32 Batch 左右的计算；如果转换到静态图下，就可以支持 64 Batch 的计算。那么，如果希望在这种情况下，训练更大的 Batch 和模型，则完全可以在这里采用亚线性自动内存优化技术，在几乎不降低计算速度前提下，达到 256 Batch 的训练能力，而且模型越大、越深，它的效果越好。
田忠博表示，在内部评测中，天元可以实现某些大模型训练时内存节省 20 倍以上，而速度几乎不变。
这些特性，使得天元能够实现产品从实验室原型到工业上能够部署的小时级转化能力，以及大规模的、弹性的训练，并支撑顶级研究团队进行最前沿的学术开发。
这样，天元可以做到“简单开发” ，让开发者真正体验到“训得好”、“训得动”、“训得快” 。
揭秘天元“前世今生” ，研发路线图首次曝光从 Theano 为源头，到不断迭代到今天发布的MegEngine Alpha 版本，天元的诞生来之不易，背后是旷视研究院团队从 0 到 1 的打磨过程。
旷视成立初衷是希望把计算机视觉应用于传统产业，用技术改变世界。当 2013 年中深度学习刚刚兴起之时，清华宿舍中一名实习生埋首两周，研发出一套人脸识别检测算法，算法性能技惊四座，于是旷视正式走上用神经网络解决一切问题的道路。
起初，旷视用 Theano 框架写模型代码，训练神经网络，但随着网络越训越大，越来越复杂，低效耗时的框架令人崩溃，公司中的一些大牛开始琢磨其他的办法。
2013 年底，旷视当时的研发负责人曹志敏提出打造一套能够打通数据、训练和业务的自动化算法研发系统 Cycle++ ，不需要投入过多人力和时间就可以实现算法从研发到应用的自循环体系（旷视 Brain++的早期设想）。于是， 2014 年初，旷视自研的初版深度学习框架诞生了。
经过磨合，旷视在 2015 年年中完成了自研框架与公司内部所有业务的接轨，公司业务线上的模型全部换成了自研框架训练出来的版本。
2015 年 11 月 9 日， Google 正式发布并开源 TensorFlow ，旷视发现原来他们是殊途同归，都是基于计算图的方式来做框架，但这也给旷视的自研框架造成很大冲击，公司内部在是否要继续坚持自研框架上发生分歧。经过激烈的讨论和详细的评测后，旷视发现当时的TensorFlow 的性能并不理想，竟比自研框架要慢若干倍。最终旷视选择了坚持自研的道路。
此后，经过不断迭代，同时在工业实践的锻炼中，除了最底层的框架，旷视也在同时进行数据和算力基础设施的变革。 2013 年，旷视研究院成立了自己的数据团队，随着业务数据的暴增，数据管理不断出现问题，旷视又开始建立自己的数据管理系统 MegData 。

『人工智能』35万行代码，旷视重磅开源天元深度学习框架 ，四大特性实现开发( 四 )

『人工智能』35万行代码，旷视重磅开源天元深度学习框架，四大特性实现开发( 四 )