pytorch进行Optimizer 优化器对比

当我们开发一个项目时，不要一开始就想去优化所有的东西，这会干扰我们建立一个具备所需功能且可测试的项目；不必要的优化会浪费时间，甚至会导致一些错误。相反，应该在开发的过程中从一开始就将优化技巧融入到工作流程中。当完成一个可运行的项目时，应该使用Profiler窗口监控性能 并在目标设备上进行测试，只在需要的时候才进行优化。换句话说，优化应该是一个持续的过程，应该在确保项目功能正常的基础上进行，而不是一次性完成。