DeepSpeed

探索微软DeepSpeed，一款强大的深度学习优化库。大幅减少训练时间与成本，支持千亿参数大模型训练，集成ZeRO、梯度检查点等前沿技术，兼容PyTorch。