下载掌阅APP，畅读海量书库
立即打开
本节将详细介绍如何创建并管理Python虚拟环境，推荐适合RAG开发的IDE工具，并说明如何高效管理和更新项目的依赖库。
虚拟环境可以为每个项目提供独立的依赖库，使项目在不同的机器上运行时不受系统依赖的影响，避免因库版本冲突或系统环境差异导致的错误。
在Python中，虚拟环境的创建主要依赖于venv和conda两种工具，分别适用于不同的开发需求。在实际开发中，虚拟环境一般是借助Anaconda进行安装和管理的。如图1-1所示，Anaconda可以直接可视化地管理当前存在的所有Python环境。Anaconda可直接在官网进行下载和安装，按照步骤填写邮件地址后即可免费下载。
图1-1 Anaconda环境管理页面
此外，也可以使用命令行的形式创建虚拟环境，并且命令行的形式具有更好的开发一致性，所以本书尽可能少涉及可视化界面开发，多从命令行的角度来进行教学。
venv是Python内置的虚拟环境管理工具，不需要额外安装，适用于所有Python项目。
使用venv创建虚拟环境的方法如下：
（1）打开终端（macOS/Linux）或命令提示符（Windows），进入项目目录，运行以下命令：
>> python -m venv my_project_env
该命令将创建一个名为my_project_env的虚拟环境文件夹。
（2）接下来需要激活虚拟环境，激活虚拟环境可以让Python解释器仅加载虚拟环境中的依赖库，确保不同项目互不干扰。激活方式因操作系统不同而异：
在Windows中：
>> my_project_env\Scripts\activate
在macOS、Linux中：
>> source my_project_env/bin/activate
激活成功后，终端左侧会显示 (my_project_env)，表明虚拟环境已激活。
（3）接着我们需要安装项目的相关依赖库，在激活的虚拟环境中，任何pip install操作都将仅影响该环境，而不会修改系统的全局依赖。使用以下命令安装项目的依赖库：
>> pip install <package_name>
例如，安装NumPy库：
>> pip install numpy
（4）完成开发或测试后，可以通过以下命令退出虚拟环境：
>> deactivate
退出后，Python将恢复使用系统默认的解释器和依赖库。
conda是Anaconda提供的包和环境管理工具，适用于需要大量科学计算和机器学习库的项目开发，因其支持多版本Python和多平台的依赖兼容性，适合RAG系统开发。Anaconda支持大量的扩展应用，为应用开发提供了极大便利。使用conda创建虚拟环境的方法如下：
（1）使用conda创建虚拟环境：首先确保已安装Anaconda或Miniconda。通过以下命令创建名为my_rag_env的虚拟环境，并指定Python版本：
>> conda create -n my_rag_env python=3.8
（2）激活conda虚拟环境：使用以下命令激活虚拟环境：
>> conda activate my_rag_env
激活后，环境名称会出现在终端左侧，表示环境已切换到my_rag_env。
（3）安装依赖库：conda提供了自己的包管理器，可以通过conda install或pip install安装库。例如：
>> conda install numpy # 或者 >> pip install transformers
（4）完成后，可以使用以下命令退出虚拟环境：
>> conda deactivate
为了便于团队协作和项目部署，建议使用依赖文件记录安装的库。使用以下命令生成requirements.txt，记录当前环境的依赖：
>> pip freeze > requirements.txt
共享项目时，其他开发者可以通过以下命令安装所需的依赖：
>> pip install -r requirements.txt
对于conda环境，也可以使用export命令生成依赖文件：
>> conda env export > environment.yml
虚拟环境的主要优势在于隔离性，但需注意依赖库的版本控制。推荐在requirements.txt中指定库的版本，例如：
>> numpy==1.21.2 >> transformers==4.9.2
这能够确保在不同机器上运行时不会因版本差异而产生不兼容问题。
随着项目增多，虚拟环境文件夹可能会占用大量存储空间。可以定期清理不再使用的虚拟环境。在venv中，直接删除虚拟环境文件夹即可。在conda中，可以使用以下命令删除环境：
>> conda remove -n my_rag_env --all
下面把常用的命令及其对应的环境类型、说明总结在表1-1中，供读者查阅。
表1-1 常用命令汇总表
（续表）
venv适合标准Python开发环境，轻量、便于配置，但仅适用于Python库的隔离。
conda更适合包含多种科学计算库或有多平台兼容性要求的项目，尤其适用于机器学习和数据科学领域的依赖管理。
requirements.txt与environment.yml分别为pip和conda的依赖文件格式，适合跨团队共享和部署。
Python开发效率和项目的可维护性在很大程度上取决于所使用的集成开发环境及其配置。为RAG开发选择合适的IDE，可以帮助处理复杂的代码结构，方便进行模块化管理和调试。
Visual Studio Code（VS Code）是一款轻量、强大且开源的IDE，如图1-2所示，凭借其丰富的插件库和高度可定制性，适合RAG开发。
● 优点：支持多语言、多种插件（如Python、Jupyter等），可无缝切换不同项目，内置Git版本控制。
● 缺点：启动速度较慢，需手动配置环境。
图1-2 在VS Code中选择安装Python开发环境
PyCharm是由JetBrains开发的一款专业Python IDE，如图1-3所示，具有丰富的代码自动补全和项目管理功能，适合大型项目开发。
● 优点：提供强大的代码分析、调试和版本控制工具，支持Django等多种框架。
● 缺点：占用内存较多，对硬件要求较高。
图1-3 PyCharm社区版编辑器界面
Jupyter Notebook适用于交互式开发，特别适合数据科学、可视化和探索性数据分析，建议读者从Shell环境开始接触Jupyter Noterbook，如图1-4所示。
● 优点：支持分块运行代码，便于调试；同时提供直观的数据可视化功能，进一步提升开发效率。
● 缺点：不适合复杂项目的模块化管理，代码复用性较低。
图1-4 Jupyter Notebook在Anaconda环境下的Shell
综合考量RAG开发的需求，VS Code适合轻量快速的开发，而PyCharm适合复杂、长周期的项目管理。如果工作流需要大量的实验和数据可视化，则可以将Jupyter Notebook集成到VS Code或PyCharm中，以便两者结合使用。
（1）版本控制与代码管理：使用Git进行版本控制可以方便地管理代码更改。VS Code和PyCharm均支持Git集成。
● VS Code：内置Git支持，可以通过左侧的Source Control图标查看版本记录、分支管理、拉取与推送等操作。
● PyCharm：在项目中右击选择Git选项，支持与GitHub、GitLab等版本控制平台的集成，适合项目的多版本管理。
（2）代码Linting与自动格式化：代码Linting与自动格式化功能能够确保代码风格统一，减少潜在错误。
● VS Code：在设置中添加Linting工具（如Pylint、Flake8），并配置自动格式化（如Black）。
● PyCharm：自带代码检查工具，支持多种格式化选项，并可在Settings > Editor > Code Style中自定义代码风格。
（3）调试器配置：调试是开发过程中的关键环节，可以使用VS Code或PyCharm的调试工具。
● 断点调试：在代码行号处单击可设置断点，在调试过程中可查看变量状态。
● 条件断点：适用于更复杂的调试场景，可以设置条件断点，以便在特定情况下触发调试。
（4）集成Jupyter Notebook：在开发RAG项目时，经常需要进行数据分析和模型调试，Jupyter Notebook是一个非常有效的工具。可通过以下方式将Jupyter Notebook集成到IDE中。
● VS Code：安装Jupyter插件后，可以直接在VS Code中打开并运行.ipynb文件。
● PyCharm（专业版）：内置Jupyter Notebook支持，可以直接创建和运行Notebook文件，并支持代码调试。
其中，VS Code适合轻量化、多插件扩展的工作流，而PyCharm则以其强大的项目管理和调试功能成为大型项目的理想选择。
通过合理配置快捷键、插件和调试工具，Python IDE可以大幅提升代码编写效率。
本小节将从依赖库的安装方法开始，逐步讲解如何使用工具进行版本管理和导出，帮助读者构建一个稳定的项目环境。
在Python中，可以通过pip和conda来安装依赖库，具体选择视开发环境而定。
pip是Python的官方包管理工具，用于安装和管理Python的第三方库。使用pip install<库名>命令可以快速安装依赖库。例如：
>> pip install numpy
此命令将安装新版本的NumPy。在安装RAG所需的多项依赖时，可以一次性安装多个库，示例如下：
>> pip install numpy pandas transformers
conda适合使用Anaconda环境的开发者，尤其在处理大数据和机器学习项目时。使用conda install命令安装库，例如：
>> conda install numpy
此外，conda还支持通过搜索和安装指定版本的库，并自动处理库之间的依赖关系，有效避免冲突，确保环境的稳定性。
在项目开发过程中，不同库的版本更新可能会导致不兼容的问题，因此在RAG开发中确保依赖库的版本稳定尤为重要。
在安装应用时，可以通过添加版本号确保安装的版本符合项目需求。例如，若项目只适配NumPy的1.21版本，可以使用以下命令：
>> pip install numpy==1.21.2
指定版本安装不仅能避免兼容性问题，还便于项目在未来的不同环境中保持一致性。
随着项目的不断迭代，可能需要更新或卸载某些库。使用以下命令可实现库的更新和卸载：
>> pip install --upgrade <库名> >> pip uninstall <库名>
例如，更新NumPy至新版本：
>> pip install --upgrade numpy
在多人协作或多环境开发中，确保各环境依赖一致是项目稳定性的保障。我们可以使用requirements.txt文件或environment.yml文件记录项目的依赖库信息。
在pip环境下，可使用pip freeze命令生成当前虚拟环境中的所有依赖库及其版本，并输出到requirements.txt文件中：
>> pip freeze > requirements.txt
此文件将列出所有依赖库及其版本，格式如下：
>> numpy==1.21.2 >> pandas==1.3.3 >> transformers==4.9.2
共享项目时，其他开发者可通过以下命令根据requirements.txt安装依赖：
>> pip install -r requirements.txt
在conda环境下，可以通过以下命令导出当前环境的所有依赖及版本信息至environment.yml文件：
>> conda env export > environment.yml
此文件包含项目所需的库和版本信息，并包含Python版本信息，确保在不同设备上还原相同环境。要创建新环境并从environment.yml文件安装依赖，使用以下命令：
>> conda env create -f environment.yml
在长周期项目中，依赖库可能会因为版本更新而导致兼容性问题。建议定期检查关键依赖库的更新，并测试兼容性。可以使用以下命令查看库的新版本：
>> pip search <库名>
在开发和部署中，为了避免依赖冲突，建议在开发环境和测试环境中分别安装项目的依赖库，确保项目在各版本环境中的兼容性。可以使用Docker等容器化工具隔离开发环境，实现更高的可移植性。
在多个开发团队合作或多环境部署时，确保依赖的一致性尤为重要。可以通过Git版本控制将requirements.txt或environment.yml文件添加到项目仓库中，实现依赖的共享与统一。