要点：イーロン・マスクを超える男、サム・アルトマン

言語モデルとは

具体的に言うと多層ニューラルネットに各種 SNS や Wikipedia など大量のテキストデータを読み込ませ、それらテキストの統計的パターンを学習させることで、ある単語の後に続く次の単語を効率的に予測させる技術。

こうした言語モデルの最大のポイントは、言語のベクトル化（embedding）と呼ばれる工夫。

これは言語の意味を座標空間上の数値の組み合わせ、つまりベクトルとして表現する技術。

いちごやオレンジ、バナナ、サクランボなどは「果物」、これに対してパソコンやスマートフォン、Android などのロゴは「IT技術」という共通概念で括れるので、それぞれ座標空間上で互いに近い場所に配置される。これが言語のベクトル化。

トランスフォーマーとは何か？

それまでの言語モデルには様々な限界や課題が指摘されていたが、中でも最大の問題は、文脈の違いを踏まえて正しく言葉の意味を伝え、捉えることができないということだった。例えば、同じ「アップル」という単語でも、「オレンジとアップルを買ってください」という文脈と、「アップルが新しい iPad を発表した」という文脈では、アップルの意味することが全く異なります。

この壁を突破したのが、トランスフォーマーのセルフアテンション・メカニズム（自己注意機構）と呼ばれる仕組みである。

これは、言語モデルが文脈を理解するための鍵となる単語に対して、自動的に注意（アテンション）を向けることを可能にする技術だ。

例えば、「オレンジとアップルを書いてください」という文章では、オレンジという単語に注目することによって、アップルが果物のリンゴを意味していることがわかる。

このようにトランスフォーマーでは、紛らわしい単語の意味を判定する際に、それとは別のどの単語に注意（アテンション）を払うべきかを自動的に管理することができる。

この仕組みを例によって座標空間を使って説明すると、Apple のように意味が近しい単語（オレンジ、アイコンなど）の、注意を向けるべき単語の方向に向かってずらしていくことによって、本来あるべき座標（言葉の意味を表す数値）へと修正することができる。

そこにはベクトルの内積や行列の掛け算など、いわゆる線形代数と呼ばれる数学領域の方でのテクニックが使われている。

この技術は、Google が発表した『Attention Is All You Need』という論文に書かれている。