chatgpt和instruct GPT是同源的，是一種指令式的命令，

簡單來說就是先通過人工的標(biāo)注方式來訓(xùn)練出一一種強(qiáng)化學(xué)習(xí)的冷啟動(dòng)模型和reward反饋模型。

然后再通過強(qiáng)化學(xué)習(xí)的模式來學(xué)習(xí)出對(duì)話友好的chatGPT。

從GPT-3的輸入語句數(shù)據(jù)集中采樣部分輸入，然后再用人工標(biāo)注來完成輸出結(jié)果和行為，之后再對(duì)GPT-3進(jìn)行有監(jiān)督的訓(xùn)練，這就是指令式GPT的冷啟動(dòng)模型。

在采樣的輸入語句里面，前向推理就可以獲得很多歌模型輸出結(jié)果，然后再通過人工標(biāo)注的行為來對(duì)這些輸出的結(jié)果進(jìn)行各種排序和打標(biāo)，這些數(shù)據(jù)就是用來訓(xùn)練成為reward反饋模型。

采樣一些新的輸入語句，在用policy策略網(wǎng)絡(luò)生成輸出結(jié)果，通過反饋模型來計(jì)算反饋，之后再用作policy策略網(wǎng)絡(luò)。