Question

深度学习框架Caffe到底是怎么支持ResNet的

Answer 1

从Geoffrey Hinton 2006年的论文算起，这一波深度学习（DL）浪潮才10年，而如果只算国内，深度学习的流行也不过5年，尽管如此，深度学习现在已经扎根中国互联网，成为BAT、京东、360、今日头条等公司的基础技术和战略技术，与之伴随的，则是深度学习技术人员的快速成长，例如，阿里云工程师卜居（赵永科）博客，2014年才开始接触深度学习实战，如今已在深度学习及计算优化方面方面有很独到的见解。卜居在最近写了一本浓缩其深度学习实战经验的书——《深度学习—21天实战Caffe》，该书获得了机器学习前辈的肯定。日前，卜居接受CSDN记者专访，介绍了他在深度学习领域的实践经验和成长心得，以及完成Caffe著作背后的原因和故事。

卜居认为，深度学习具备强大的表达能力和灵活多变的模型结构，并在各种硬件加速方案的支撑下不断成熟，而Caffe具有高效的C++/CUDA实现、Matlab/Python接口、独特的网络描述方式、清晰的代码框架等优势，徒手hack代码的乐趣更多，同时Caffe框代码于稳定，掌握了阅读技巧可以事半功倍，因而可以作为初学者学习的第一个深度学习框架，由此逐步深入了解使用C++/CUDA代码实现深度学习的计算过程。

谈到新书《深度学习—21天实战Caffe》，卜居表示，这是一本透过源码解读深度学习的书，也是一本注重“实战”的书。读者可以从本书中学习Caffe设计模式、编程技巧，以及深度学习最新的进展和生产环境批量部署等内容。而书中的一些思考题需要深入实践和思考之后才能得到答案，这可以让读者养成独立思考的习惯，从而更加从容地面对实际问题。

此外，对于不同的硬件加速方案，卜居认为，深度学习本身在不断演进，没有哪个计算架构能够一劳永逸，得到某方面优势会丧失另一部分特性，最终起决定作用的仍然是应用需求，例如批量离线处理更适合利CPU/GPU集群的规模优势，而在线应用、移动端应用更适合利用FPGA/ASIC的低功耗、低延迟特性。