购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

2.1 开发环境概述:兵马未动粮草先行

第1章介绍了什么是大模型以及这些模型是如何训练出来的。本章将把焦点转移到如何搭建和配置有效的开发环境上,包括选择合适的编程语言、配置集成开发环境(IDE)以及管理组件库。本章将简要介绍Streamlit和LangChain工具的使用,然后展示代码示例的目录结构,帮助读者更好地理解如何编写和执行代码项目。最后,通过几个实际调用大模型的示例,读者可以对这些工具进行实际操作,以加深理解和熟练掌握。

本书中的代码开发普遍采用Python作为主要的编程语言。Python在AI和数据科学领域的广泛应用,以及它强大的库生态系统,使其成为开发复杂模型的首选语言。Python的语法简洁明了,易于学习和使用,这使得开发者可以更专注于模型的设计和优化,而不是语言细节。从机器学习的早期技术到今天的深度学习和大模型开发,Python一直是这一领域的核心语言。许多厂商和个人开发者都通过Python构建了功能丰富的组件库,这些库极大地简化了从数据处理到模型训练的复杂过程。

正因为Python和其生态系统中已经有许多现成的解决方案和库,开发者可以避免重复编码,直接利用现有的工具和框架来构建新的应用。Python社区提供了大量的库和框架,如TensorFlow、PyTorch和Scikit-learn,这些工具极大地简化了数据处理、模型训练和验证的过程。特别在大模型开发领域,LangChain的开发架构也支持Python,并且LangChain也是本书使用的重要的开发框架。也就是说,选择Python是因为可以利用现成的工具和框架,节省开发时间,降低上手难度,提升开发效率。

IDE开发平台方面选择Visual Studio Code(VS Code),它本身支持Python及其他多种编程语言,提供语法高亮显示、代码自动完成、智能提示等功能。同时VS Code拥有强大的扩展库,用户可以根据需要安装不同的插件,如Python、Docker和Git等,这些插件可以扩展VS Code平台的功能。VS Code还具有快速启动和运行速度且占用系统资源少,即便是在配置较低的机器上也能流畅运行。

由于在开发大模型时会用到众多现成的组件库,如,Streamlit用于创建UI交互界面,LangChain作为大模型脚手架等,因此使用Anaconda来管理这些组件库是非常必要的。Anaconda可以帮助开发者在不同的项目之间管理和隔离环境,避免了库版本之间的冲突,简化了依赖管理和环境配置的复杂性。

本书的项目涉及的组件众多,它们之间可能存在依赖关系和版本兼容性问题,特别是当这些组件需要与不同版本的Python一起工作时。例如,一些库可能只支持特定版本的Python,或者某些组件之间的依赖关系可能导致冲突。这就需要工具来管理这些库和依赖,确保项目的顺利进行。

因此,选择Anaconda作为环境和包管理工具。Anaconda的主要优势包括如下几点。

(1)环境隔离性: Anaconda允许用户为每个项目创建独立的环境。在这些环境中,用户可以自由地安装、更新或删除库而不会影响其他环境。这种环境隔离性使得测试新库或不同的库版本变得简单安全。

(2)版本控制: Anaconda支持在不同的环境中安装不同版本的Python及其库,这使得同时处理多个需求不同的项目成为可能。

(3)环境共享与复现: Anaconda环境可以很容易地被导出和复制,通过分享环境配置文件,团队成员或者合作伙伴可以快速复现相同的工作环境,这对于科研和项目协作尤其有价值。

(4)管理与维护: 使用Anaconda可以方便地管理软件包和环境,如果某个项目结束,相关的环境可以轻松删除,而不会对系统的其他部分造成影响。 2AwwgjenaM3fGLze/1OY4anuiiOQRe3NTDbv1d9OvJFRT++DGQTRYLUelPKv3e1o

点击中间区域
呼出菜单
上一章
目录
下一章
×