写点什么

搞 AI 开发,你不得不会的 PyCharm 技术

  • 2022 年 10 月 10 日
    中国香港
  • 本文字数:1361 字

    阅读完需:约 4 分钟

搞AI开发,你不得不会的PyCharm技术

PyCharm 在 AI 项目开发提供了优秀的代码编辑、调试、远程连接和同步能力,在开发者中广受欢迎。


使用 PyCharm 插件配合 ModelArts:


  • 一键帮助用户配置远程 ModelArts Notebook,免去用户手工配置

  • 按需使用 Notebook 资源,启动停止,随心所欲

  • 本地代码提交至 ModelArts 训练任务,沉浸式 AI 开发体验



ModelArts 是华为云一站式 AI 开发平台,“一站式”是指 AI 开发的各个环节,包括数据处理、算法开发、模型训练、模型部署都可以在 ModelArts 上完成。从技术上看,ModelArts 底层支持各种异构计算资源,开发者可以根据需要灵活选择使用,而不需要关心底层的技术。同时,ModelArts 支持 Tensorflow、PyTorch、MindSpore 等主流开源的 AI 开发框架,也支持开发者使用自研的算法框架,匹配您的使用习惯。


AI 模型开发的过程,称之为 Modeling,一般包含两个阶段:


  • 开发阶段:准备并配置环境,调试代码,使代码能够开始进行深度学习训练,推荐在 ModelArts 开发环境中调试。

  • 实验阶段:调整数据集、调整超参等,通过多轮实验,训练出理想的模型,推荐在 ModelArts 训练中进行实验。


两个过程可以相互转换。如开发阶段代码稳定后,则会进入实验阶段,通过不断尝试调整超参来迭代模型;或在实验阶段,有一个可以优化训练的性能的想法,则会回到开发阶段,重新优化代码


实操体验 How to Use

插件安装和登录


2.1.1 插件安装


选择 File>Settings>Plugins,在 Marketplace 里搜索“ModelArts”,点击 Install 即可完成安装。



2.1.2 插件登录


安装完插件后,会在 IDE 菜单栏出现 ModelArts,点击后选择 Edit Credential,出现如下页面




点击插件的 How to get AK/SK,跳转到华为云文档去按照指导获取 AK/SK,把 AK/SK 填入登录框中,点击 OK,即可完成登录。

2.2 训练代码和数据准备


在本博客中,通过附件进行下载获取。


获取完代码和数据中,需要把训练数据上传至 OBS 中,为下一步提交训练作业做好准备。


进入到 OBS 控制台中,如果没有 OBS 桶,需要创建一个,如果已有桶,在该桶下新建一个 data 文件夹,把已下载好的训练数据上传至该 OBS 文件夹中。



和 data 文件夹同级,创建一个 job 文件夹,用来存放提交的训练作业。


首先获取 OBS 桶地址,在网页端进行点击获取,地址类似为 obs://3xdata



通过拼接获取到 data 和 job 文件夹 OBS 地址分别为:


data:obs://3xdata/data/

job:obs://3xdata/job/

2.3 提交训练作业


通过 PyCharm 把下载好的训练文件打开,点击插件的 Training Job 进行训练作业提交



在打开的页面中,选择和填入如下参数:



  • Engine 必须选择 tensorflow_2.1.0

  • 启动文件和目录必须位于当前打开项目

  • OBS Path 为上一步获得地址

  • Specifications 可以选择免费规格或者 CPU/GPU 规格


填写无误后,点击 Apply and Run, 等待训练作业运行完成即可看到如下图日志输出



点击日志中的网站链接地址,可以在网页端看当训练作业相关详情,完成网页端信息截图即可


恭喜大家,至此,我们的在 ModelArts 上进行模型开发的体验就顺利完成了。

3. 更多探索 Learn More


​ 如果拥有 PyCharm 专业版,还可以体验更多丰富功能,使用 Notebook 进行开发调试后,再进行训练作业提交,可以参考https://support.huaweicloud.com/devtool-modelarts/devtool-modelarts_0016.html

本人作者小马老师将在 10 月 11 日直播详细介绍【试驾 PyCharm“混动”AI 开发初体验】,欢迎各位参与:

https://bbs.huaweicloud.com/live/cloud_live/202210111900.html


点击关注,第一时间了解华为云新鲜技术~

发布于: 刚刚阅读数: 3
用户头像

提供全面深入的云计算技术干货 2020.07.14 加入

华为云开发者社区,提供全面深入的云计算前景分析、丰富的技术干货、程序样例,分享华为云前沿资讯动态,方便开发者快速成长与发展,欢迎提问、互动,多方位了解云计算! 传送门:https://bbs.huaweicloud.com/

评论

发布
暂无评论
搞AI开发,你不得不会的PyCharm技术_人工智能_华为云开发者联盟_InfoQ写作社区