分布式训练之PyTorch

由于近期来自客户需求，需要部门开发的AI平台支持上 PyTorch 框架的分布式训练，因此自己也是花了大概一周的时间，仔细研究了下 PyTorch 的分布式训练，中间也遇到了不少问题，好在通过查阅相关资料大都解决了，昨天也到客户那已经部署成功了。现将关于 PyTorch 分布式训练知识总结一下，方便大家或自己以后查阅，以下内容如有总结不到位的地方，请大家不吝赐教~

Overview