写点什么

Linux 和 Windows 系统下安装深度学习框架所需支持:Anaconda、Paddlepaddle、Paddlenlp、pytorch,含 GPU、CPU 版本详细安装过程

  • 2023-07-13
    浙江
  • 本文字数:3535 字

    阅读完需:约 12 分钟

Linux和Windows系统下安装深度学习框架所需支持:Anaconda、Paddlepaddle、Paddlenlp、pytorch,含GPU、CPU版本详细安装过程

Linux 和 Windows 系统下安装深度学习框架所需支持:Anaconda、Paddlepaddle、Paddlenlp、pytorch,含 GPU、CPU 版本详细安装过程

1.下载 Anaconda 的安装包

Anaconda 安装:Anaconda 是一个开源的 Python 发行版本,其包含了 conda、Python 等 180 多个科学包及其依赖项。使用 Anaconda 可以通过创建多个独立的 Python 环境,避免用户的 Python 环境安装太多不同版本依赖导致冲突。

1.1 Linux 下载 Anaconda

首先需要在官网上选择需要安装的版本。


官网地址:https://repo.anaconda.com/archive/ 如选择当前最新版本进行安装:


https://repo.anaconda.com/archive/Anaconda3-2023.07-0-Linux-x86_64.sh



然后下载该安装包。


下载命令wget  https://repo.anaconda.com/archive/Anaconda3-2023.07-0-Linux-x86_64.sh
复制代码


  1. 进入安装包所在目录,先对安装包进行赋权,再执行安装程序


#查看路径pwd赋权命令:chmod +x Anaconda3-2023.07-0-Linux-x86_64.sh安装命令:sh Anaconda3-2023.07-0-Linux-x86_64.sh
复制代码


  1. 出现如下画面:



  1. 点击 Enter(回车键),出现 More,继续按 Enter,最后输入 yes 同意用户许可证就行。




  1. 直至出现以下画面,就安装成功了!


1.2 Windows 下载 Anaconda

参考文章:https://blog.csdn.net/sinat_39620217/article/details/115861876


  1. 第一步 下载


  • Anaconda官网 选择下载 Windows Python3.8 64-Bit 版本。

  • 确保已经安装 Visual C++ Build Tools(可以在开始菜单中找到),如未安装,请点击 下载安装


  1. 第二步 安装


运行下载的安装包(以.exe 为后辍),根据引导完成安装, 用户可自行修改安装目录(如下图)



  1. 第三步 使用


点击 Windows 系统左下角的 Windows 图标,打开:所有程序->Anaconda3/2(64-bit)->Anaconda Prompt 在命令行中执行指令即可


后续框架库包安装同 linux

2.环境变量配置

2.1 linux 环境变量配置

Linux 上成功安装 anaconda 后-bash: conda: command not found


如题,出现这个问题可能是环境变量配置有问题。


省流请看这里:执行cat ~/.bashrc命令查看.bashrc文件内容,若文件中没有export PATH="XXX/anaconda3/bin:$PATH"说明是环境变量未配置,可以继续往下看了;若文件中有此路径,请退出本文,自行校对一下路径。


  1. 打开.bashrc文件


vim ~/.bashrc
复制代码


  1. 在最后一行新增 anaconda 路径


export PATH="XXX/anaconda3/bin:$PATH"
复制代码


  1. 保存文件(按esc后输入:wq回车)并使环境变量生效[打开文件后按 i 进入编辑模式,按 Esc 退出编辑模式,shift+冒号然后输入 wq 保存文件并退出]


注意:这里是 anaconda 的安装路径,根据自己的安装路径即可


source ~/.bashrc
复制代码


执行以上三步后,便可在 linux 上使用 conda 命令了!

2.2 Windows 环境变量配置

其实,以上的环境变量配置,相当于在 window 环境下的环境变量加上环境变量。如在 window 环境下安装 anaconda,安装过程中会提示是否将环境变量加入到 path 中,如果选上该选项,便可省去很多麻烦,安装完后直接在终端使用 conda 命令;



如果没有选上,是无法直接使用 conda 命令的,需要在系统的环境变量中加上安装路径才可以使用 conda 命令。自动添加的安装路径的步骤:此电脑–>属性–>高级系统设置–>环境变量–>系统变量–>Path 添加 anaconda 的安装路径。

3.用 conda 创建虚拟环境

#1.创建指定python版本的环境conda create --name paddlenlp python=3.8#2. 激活环境conda activate paddlenlp#3.退出环境conda deactivate
复制代码

4.安装项目依赖包 &深度学习框架

4.1 安装项目依赖包

安装项目requirement.txt文件依赖:pip install -r requirement.txt生成requirement.txt文件:pip freeze > requirements.txt
复制代码

4.2 安装 Paddle&Paddlenlp

4.2.1 安装 paddle

官网:https://www.paddlepaddle.org.cn/install/quick?docurl=/documentation/docs/zh/install/pip/linux-pip.html



windows 安装使用 win 下指令即可


  • conda 安装


conda install paddlepaddle-gpu==2.4.2 cudatoolkit=11.2 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/ -c conda-forge 
复制代码


  • pip 安装


pip install paddlepaddle-gpu==2.4.2.post112 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html
复制代码


  • 验证安装


安装完成后您可以使用 python3 进入 python 解释器,输入 import paddle ,再输入 paddle.utils.run_check()


import paddlepaddle.utils.run_check()
复制代码


如果出现 PaddlePaddle is installed successfully!,说明您已成功安装。



  • 报错:ImportError: libcudart.so.11.0: cannot open shared object file: No such file or directory



解决办法


  • 简约版(省流)在激活后执行 export LD_LIBRARY_PATH="$CONDA_PREFIX/lib"将包括 libcudart.so.11.0 如果你想让它自动化,将此内容添加到 env-prefix/etc/conda/activate.d/env_vars.sh,这将在 conda activate 上运行脚本并设置 LD_LIBRARY_PATH


cd $CONDA_PREFIXmkdir -p ./etc/conda/activate.dtouch ./etc/conda/activate.d/env_vars.sh
#写入 并保存vim ./etc/conda/activate.d/env_vars.shexport LD_LIBRARY_PATH="$CONDA_PREFIX/lib"
复制代码


  • 详细版

  • activate 你的虚拟环境,查看虚拟环境路径


    echo $CONDA_PREFIX
复制代码


2. 去这个路径下建立这些文件夹和文件。在activate的时候,会自动运行activate.d/env_vars.sh,deactivate的时候,会自动运行deactivate.d/env_vars.sh。你可以设置任何你想设置的变量,这里我们更改LD_LIBRARY_PATH
复制代码


    cd $CONDA_PREFIX    mkdir -p ./etc/conda/activate.d    mkdir -p ./etc/conda/deactivate.d    touch ./etc/conda/activate.d/env_vars.sh    touch ./etc/conda/deactivate.d/env_vars.sh
复制代码


3. 编辑activate.d/env_vars.sh,注意换成你的名字,注意=前后不能有空格哦
复制代码


    export OLD_LD_LIBRARY_PATH=${LD_LIBRARY_PATH}    export LD_LIBRARY_PATH=anaconda3/envs/your_name/lib64
复制代码


编辑deactivate.d/env_vars.sh,这样deactivate的时候,会恢复设置
复制代码


    export LD_LIBRARY_PATH=${OLD_LD_LIBRARY_PATH}    unset OLD_LD_LIBRARY_PATH
复制代码


4. deactivate虚拟环境,再次activate你的虚拟环境,再查看
复制代码


    echo $CONDA_PREFIX
复制代码


可以看到已经变成了anaconda3/envs/your_name/lib64。如果这个路径下的gcc已经含有了GLIBCXX_3.4.20,那么就不再会报错了。
复制代码

4.2.2 安装 paddlenlp

  • 环境依赖

  • python >= 3.7

  • paddlepaddle >= 2.3

  • pip 安装


#创建名为my_paddlenlp的环境,指定Python版本为3.8conda create -n my_paddlenlp python=3.8#进入my_paddlenlp环境conda activate my_paddlenlp
#安装PaddleNLP
pip install --upgrade paddlenlp>=2.0.0rc -i https://pypi.org/simple
pip install --upgrade paddlenlp>=2.0.0rc -i https://pypi.tuna.tsinghua.edu.cn/simple
复制代码


github 代码会跟随开发进度不断更新:或者可通过以下命令安装最新 develop 分支代码:


pip install --pre --upgrade paddlenlp -f https://www.paddlepaddle.org.cn/whl/paddlenlp.html
复制代码


按如上方式配置后,即可在环境中使用 PaddleNLP 了,命令行输入 python 回车后,import paddlenlp 试试吧,之后再次使用都可以通过打开'所有程序->Anaconda3/2(64-bit)->Anaconda Prompt',再执行 conda activate my_paddlenlp 进入环境后,即可再次使用 PaddleNLP。


  • 相关 pip 问题默认镜像问题(trusted-host 问题),安装设定清华源即可


进入虚拟环境,查看 pip 安装路径


whereis pip

pip: /usr/bin/pip3.8 /etc/pip.conf /root/anaconda3/envs/paddlenlp/bin/pip
复制代码


#查看pip.conf,修改成清华源,:wq 保存即可vim /etc/pip.conf
复制代码


[global]index-url = https://pypi.tuna.tsinghua.edu.cn/simple/[install]trusted-host=pypi.tuna.tsinghua.edu.cn
复制代码


  • 代码安装


git clone https://github.com/PaddlePaddle/PaddleNLP.gitcd PaddleNLPgit checkout develop
复制代码


如果遇到:github 报错 Failed to connect to github.com port 443:connection timed out、一般原因:电脑里开启了代理,例如开启了翻墙软件等,就会造成这个原因


取消全局代理:git config --global --unset http.proxy git config --global --unset https.proxy
复制代码

4.3 安装 pytorch

4.3.1 GPU 版本安装

安装 pytorch 需要注意 torch 与 torchvision 的版本对应,参照以下网址对照:


https://github.com/pytorch/vision



windows 安装使用 win 下指令即可


从官网上找到适合自己版本的安装 pytorch 的指令 https://pytorch.org/get-started/locally/


  1. 创建虚拟环境,参考 3.用 conda 创建虚拟环境

  2. 安装 pytorch


conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia
复制代码

4.3.2 CPU 版本安装

参考:https://blog.csdn.net/sinat_39620217/article/details/115483807


pip install torch torchvision torchaudio
复制代码


更多优质内容请关注公号 &知乎:汀丶人工智能;会提供一些相关的资源和优质文章,免费获取阅读。




发布于: 46 分钟前阅读数: 2
用户头像

本博客将不定期更新关于NLP等领域相关知识 2022-01-06 加入

本博客将不定期更新关于机器学习、强化学习、数据挖掘以及NLP等领域相关知识,以及分享自己学习到的知识技能,感谢大家关注!

评论

发布
暂无评论
Linux和Windows系统下安装深度学习框架所需支持:Anaconda、Paddlepaddle、Paddlenlp、pytorch,含GPU、CPU版本详细安装过程_人工智能_汀丶人工智能_InfoQ写作社区