浙江大学大模型公开课是人工智能通识课程系列直播公开课的一部分,由中国人工智能学会(CAAI)主办,国家开放大学、CAAI 教育工作委员会、浙江大学人工智能教育教学研究中心联合承办。相关简介如下:
课程目的
围绕浙江大学发布的《大学生人工智能素养红皮书(2024 年版)》中所阐释的 “了解人工智能、使用人工智能、创新人工智能、恪守人与人造物关系” 等大学生人工智能素养相关内容,从体系化知识、构建式能力、创造性价值和人本型伦理方面介绍人工智能源起、算法、应用和学科交叉等内容,以加强人工智能通识教育
课程目录:
1-0 序言
1-1 基于统计的语言模型
1-2 基于学习的语言模型
1-3 RNN与Transformer
1-4 语言模型的采样和评测
2-0 模型架构概览
2-1 基于Encoder-only架构的大语言模型
2-2 基于Encoder-Decoder架构的大语言模型
2-3 基于Decoder-only架构的大语言模型
2-4 Mamba原理
3-0 Prompt工程简介
3-1 上下文学习(In-context Learning)
3-2 思维链(CoT ToT GPT-o1)
3-3 prompt技巧
3-4 Prompt工程应用
4-0 参数高效微调简介
4-1 参数附加方法 Prompt-tuning,Adapter-tuning,Proxy-tuning等
4-2 参数选择方法 BitFit,Child-tuning等
4-3 低秩适配方法 LoRA及其变体
4-4 参数高效微调的应用