- cd your_hexo_folder # 替换为你的Hexo项目路径
- hexo new “文章标题” # 文件在 source/_posts/ 下
- hexo clean && hexo generate # 清理并生成
- hexo server # 访问 http://localhost:4000
- hexo deploy # 部署到服务器
read Code Complete
- 一定要检查函数返回的错误码
- 使用宏定义断言,给出详细报错信息
1 | #define HBASSERT(condition, message){ \ |
- 断言分为前断言和后断言
- 在编写程序之前先构建测试用例,感觉更为保险、节约时间。
- 大对象用引用,小对象用值。P574
- 进行性能测试的时候,应该使用CPU时间,而不是代码运行时间。P604
- 循环嵌套时,循环次数多的放在内层。 P623
SGC summary
abstract
- 分布式框架中两大主要的瓶颈:计算或者通信。
- 梯度压缩可以缓解网络瓶颈,并且业内已经有了比较好的针对深度模型训练时的梯度压缩瓶颈(DGC)。
- 我们主要关注稀疏场景下的梯度压缩问题:高内存消耗、收敛速度变慢、严重的参数陈旧问题。
- 我们分别提出了三个方法来应对以上挑战:1.利用动量近似减少内存消耗;2.利用长期梯度补偿加快收敛;3.利用本地累积量更新缓和参数陈旧问题。
- 实验效果:达到了99.9%的压缩率,并且每轮的收敛速度没有变慢。