恒源云 (Gpushare)_ 模块化 oss 数据上传小技巧

作者：恒源云

2022 年 4 月 28 日
本文字数：571 字
阅读完需：约 2 分钟

文章来源 | 恒源云社区

原文地址 | 【实用代码分享】

原文作者 | 阿洲

嘿嘿，我又来啦～

依旧给大家带来的是我们社区“阿洲”版主的帖子。和其他版主相比来说，阿洲小哥哥发帖有个很明显特点：精简！

所以，接下来的内容不是长篇大论，只是一个超实用的小分享。

跟着小编一起看下去吧😊

前言

极致薅羊毛的重点是什么？就是尽量保证实例开机后的每一分钟都用在了训练上，当然实际上不可能做到这么极致，一个大的方向就是把【训练】和【训练结果分析】拆解开，尽量做到训练在实例，分析在本地。这其中关键的一步就是在关机前将训练结果或者是训练好的模型上传到 oss。

实现效果

# 想要实现的是每次获得实验结果后，只需要用运行一下这个bash文件就好./oss.sh

复制代码

构建 oss.sh 文件

#!/bin/bash# 1：可以用 cd 到实验结果存放的文件夹，或者直接把这个oss文件放在文件夹中，这里的举例是后面的这种情况。# 2：登录 ossoss login# 3：压缩数据loc="oss://results/" # loc: oss中需要存放的位置f_n="XXX.zip" # f_n 压缩后的文件名
f1="XX/" # f1: 需要压缩的文件夹或单个文件f2="" # 备用，如需压缩多个文件夹或多个文件
zip -r ${f_n} ${f1}
# 4: 上传到 ossoss cp ${f_n} ${loc}
# 5: 删除压缩文件rm ${f_n}
# 6: 关机shutdown

复制代码

注意

这里需要注意的是自己尝试的时候，建议先把最后一句 shutdown 注释掉，以免前面某些步骤出错后反复关机。

发布于: 刚刚阅读数: 2

恒源云

关注

专注人工智能云GPU服务器训练平台 2020.12.25 加入

还未添加个人简介

发布

暂无评论

创作场景

恒源云 (Gpushare)_ 模块化 oss 数据上传小技巧

前言

实现效果

构建 oss.sh 文件

注意

恒源云

评论