梯度下降法是神经网络主要求解的方法,计算过程需要大量使用张量(Tensor)运算,另外,在反向传导的过程中,则要进行偏微分,计算梯度,求解多层结构的神经网络。因此,大多数的深度学习框架至少要具备下列功能:
(1)张量运算:包括各种向量、矩阵运算。
(2)自动微分(Auto Differentiation):通过偏微分计算梯度。
(3)各种神经层(Layers)及神经网络(Neural Network)模型构建。
所以学习的路径可以从简单的张量运算开始,再逐渐熟悉高阶的神经层函数,以奠定扎实的基础。
图3.1 PyTorch学习路径
掌握了PyTorch的核心之后,再外扩至支持工具(TensorBoard)、移动装置(Mobile)、部署工具(TorchServe)、TorchScript、效能提升工具(Profiler)、平行及分布式处理等。
图3.2 PyTorch其他工具与扩充模块