专利名称：一种加速分布式机器学习的方法及系统专利类型：发明专利发明人：李丹,王帅,耿金坤申请号：CN201911155664.4申请日：20191122公开号：CN111210020A公开日：20200529
摘要：本发明实施例提供一种加速分布式机器学习的方法及系统，该方法包括：将机器学习模型输入到分布式机器学习系统中，对于所述分布式机器学习系统中的任意两个节点，在所述任意两个节点之间建立多条连接，并赋予这些连接不同的优先级；将所述机器学习模型的参数分配到多条连接上进行传输，使得紧急参数能够通过高优先级连接尽快完成传输，以对分布式机器学习训练进行加速。本发明实施例考虑前向计算过程中通信和计算的重叠，通过优先传输紧急参数，减少现有机器学习框架下参数传输顺序的随机性，重叠前向计算过程中的通信和计算，隐藏通信开销，并通过网络级别的流调度协调不同节点的通信，实现分布式的通信调度，从而加速训练过程。
申请人：清华大学
地址：100084 北京市海淀区清华园北京100084-82信箱
国籍：CN
代理机构：北京路浩知识产权代理有限公司
代理人：张秀程
更多信息请下载全文后查看
因篇幅问题不能全部显示，请点此查看更多更全内容