葉梓
課程
大數據人工智能講師葉梓：chatGPT原理與實踐
2023-03-29 更新 668次瀏覽
Day1上午
| Transformer 1、你需要的僅僅是“注意力” 2、Transformer中的block 3、自注意力機制 4、多頭注意力 5、位置編碼（拋棄RNN） 6、Batch Norm與Layer Norm 7、解碼器的構造
初代GPT 1、 “獨角獸”的威力 2、GPT的內部架構 3、基于Transformer的改造 4、自注意力機制的改進
|
Day1下午
| GPT的演進 1、GPT2 2、GPT3 3、InstructGPT
chatGPT的原理實踐 1、指示學習（Instruct Learning） 2、相關數據集 3、有監督微調（SFT） 4、從人類反饋中RL的思路 5、獎勵建模（RM） 6、PPO 7、chatGPT的應用領域 8、chatGPT引發的討論
chatGPT的國內替代品 1、問東風AI 2、其他替代品
|
課程標簽：chatGPT
