写点什么

恒源云 (Gpushare)_ 如何防止训练不中断?技巧大放送 1!

作者:恒源云
  • 2022 年 4 月 01 日
  • 本文字数:393 字

    阅读完需:约 1 分钟

恒源云(Gpushare)_如何防止训练不中断?技巧大放送1!

1、训练期间因网络抖动中断,怎样将训练任务放到后台运行?

推荐使用 Tmux 终端复用器,能够将进程放到后台运行,需要时重新接管。

为了防止 SSH 因网络断开造成的进程运行中断,建议把所有需要长期运行的训练等任务都使用 Tmux 终端。参考 Tmux 文档

2、关闭本地电脑,训练任务会中断吗?

如果是通过 Tmux 将任务放在后台运行,或使用 JupyterLab 浏览器运行的任务,关闭本地电脑不会中断训练。

如果是直接在终端中执行训练,或使用 VSCode 等 IDE 连接执行训练,则关闭电脑会中断训练。

3、关闭 JupyterLab 浏览器,训练任务会中断吗?

若是关闭了 JupyterLab 的浏览器页面,只要实例不关闭,JupyterLab 中 NoteBook 和终端中的训练任务会继续运行。

4、关闭 VSCode、PyCharm、iTerm2 等 IDE 或终端,训练任务会中断吗?

使用 IDE 连接到实例执行训练任务,如果关闭 IDE 或终端会中断训练任务。

如果需要后台运行推荐使用 Tmux 终端。参考 Tmux 文档

用户头像

恒源云

关注

专注人工智能云GPU服务器训练平台 2020.12.25 加入

还未添加个人简介

评论

发布
暂无评论
恒源云(Gpushare)_如何防止训练不中断?技巧大放送1!_算法_恒源云_InfoQ写作平台