使用ChatGPT提升研究效率

談到大家熟悉的GPT-3和GPT-3.5，它們擁有約1,750億個參數。為了讓大家更直觀地理解這個數字的龐大，可以做一個不完全恰當的類比：將一個參數比作大腦中的神經元。一般來說，人類大腦約有860億個神經元，而大象則擁有約2,510億個神經元。因此，這些大型語言模型的參數量級與哺乳類動物大腦的神經元數量相當。
簡單來說，語言模型（Language Model）是一種可以預測下一個單詞的統計方法。它通過分析大量的文字數據，學習單詞之間的概率分布，從而能夠在給定一個句子的情況下，預測下一個單詞出現的可能性，專有名詞稱為「next-word prediction」。舉例來說，如果給語言模型輸入「Hello」，它會根據對語料庫的分析，預測下一個單詞出現的概率。例如，「Hello world」的概率可能為0.2，「Hello Kitty」的概率可能為0.1，「Hello, how are you?」的概率可能為0.7。最終輸出的單詞將從這些可能的單詞中根據概率進行抽樣。