大家好，我是 Jim，這裡是 AI Notebook。史丹佛有一門公開課，叫 CS336，從第一行程式開始，帶你把一個語言模型從零蓋出來。整門課有二十講左右，我會分成上中下三集講完，今天是上集，內容是前六講。這六講講一件事，成本。訓練一個模型要跑幾天，一張顯示卡塞得下多大的模型，這些聽起來很內行的問題，答案其實都只是幾個乘法跟除法，可以在一張餐巾紙上算出來。你也會發現一件很反直覺的事，這整條路上的瓶頸，幾乎從來不在你以為的那個地方。

📎 資料來源
• Stanford CS336 Language Modeling…