作者简介

尤洋，清华大学硕士，加州伯克利大学博士，新加坡国立大学计算机系校长青年教授（Presidential Young Professor）。曾创造ImageNet、BERT、AlphaFold、ViT训练速度的世界纪录，相关技术被广泛应用于谷歌、微软、英特尔、英伟达等科技公司。近三年以第一作者身份在NIPS、ICLR、SC、IPDPS、ICS等国际重要会议或期刊上发表论文十余篇，曾以第一作者身份获国际并行与分布式处理大会（IPDPS）的Best Paper Award（0.8%获奖率）和国际并行处理大会（ICPP）的Best PaperAward（0.3%获奖率），也曾以通讯作者身份获得了国际人工智能大会（AAAI）的杰出论文奖（0.14%获奖率）和国际计算语言学大会（ACL）的杰出论文奖（0.86%获奖率），总计发表论文近百篇。曾获清华大学优秀毕业生及当时清华大学计算机系数额最高的西贝尔奖学金，美国计算机协会（ACM）官网上唯一颁给在读博士生的ACM-IEEECS GeorgeMichaelMemorialHPCFellowship，颁发给伯克利优秀毕业生的LotfiA.Zadeh Prize，曾被UC Berkeley提名为ACMDoctoral Dissertation Award候选人。曾任职于谷歌、微软、英伟达、英特尔、IBM，2021年入选福布斯30岁以下精英榜（亚洲）并获得IEEE-CS超算杰出新人奖。

本书是一本旨在填补人工智能（AI）领域（特别是AI大模型）理论与实践之间鸿沟的实用手册。书中介绍了AI大模型的基础知识和关键技术，如Transformer、BERT、ALBERT、T5、GPT系列、InstructGPT、Chat-GPT、GPT-4、PaLM和视觉模型等，并详细解释了这些模型的技术原理、实际应用以及高性能计算（HPC）技术的使用，如并行计算和内存优化。

同时，本书还提供了实践案例，详细介绍了如何使用Colossal-AI训练各种模型。无论是人工智能初学者还是经验丰富的实践者，都能从本书学到实用的知识和技能，从而在迅速发展的AI领域中找到适合自己的方向。