Published on

【ざっくり要約】Situational Awareness - 1 From GPT-4 to AGI

Authors

はじめに

「2027年までにAGI（汎用人工知能）が実現する可能性は非常に高い」。挑戦的なステートメントで元OpenAIの技術者が発表した論文「Situational Awareness」を紹介します。

OOMでAIの進歩を定量的に図ることができる

OOMとは、オーダーオブマグニチュードのことであり、この数値を数えることで能力の改善をおおよそ定性的に知ることができるのです。 過去4年間の進歩を見ると、AIの改善に寄与した変数は、以下の3つのスケールアップのカテゴリに分けられます。

  1. 計算資源（Compute） より大規模なコンピュータを使用してモデルをトレーニングしています。

  2. アルゴリズム効率化（Algorithmic efficiencies） アルゴリズムの継続的な進歩があります。これらは「計算能力の乗数」として機能し、効果的な計算資源の増加を統一スケールで表すことができます。

  3. 「制約解除」による向上（Unhobbling gains） モデルはデフォルトで驚くべき潜在能力を学習しますが、あらゆる不合理な制約によって実用的な価値が制限されています。たとえば、次のようなアルゴリズム的改善で大きな潜在能力を解放できます：

  • 人間のフィードバックによる強化学習（RLHF）
  • Chain-of-Thought（CoT）推論
  • ツールの統合
  • サポート構造（Scaffolding）

OOMはこれらの軸に沿って、算出することができる。つまり、それぞれのスケールアップを実効計算能力の単位で追跡する。 3倍は0.5オーオーエム、10倍は1オーオーエム、30倍は1.5オーオーエム、100倍は2オーオーエム、といった具合である。 この式をもとに、私たちは2023年から2027年にかけて、GPT-4の上に何が来るのかがわかるのである。

3つの軸がぞれぞれ何か詳しくみていきましょう。

計算資源（Compute）

AIのモデルが成長し、より賢くなるには、大量の計算能力（コンピュート）が必要です。このコンピュートがどのように役立つかを考えてみましょう。例えば、ゲームの中でよりリアルなグラフィックスを描くには強力なゲーム機が必要ですよね。同じように、AIもより「賢く」なるためには、大きな計算能力が求められます。

GPT-2からGPT-4に進化した際には、計算能力が3,000倍から10,000倍にもなりました。この増加がなぜ重要なのかと言うと、コンピュータの力が増すことで、より複雑な問題を解くことができ、視覚的に複雑なものを理解する能力も上がります。それにより、AIは単なるアシスタントから、より強力で柔軟性のあるツールとなり、多くの分野で活用が期待されています。

アルゴリズム効率化（Algorithmic efficiencies）

次に、アルゴリズムについて見ていきましょう。アルゴリズムとは、コンピュータが何かをするための「レシピ」のようなものです。AIが進化するためには、より効率的に動く必要があります。これは、言うなれば、遊園地のジェットコースターが、より多くの人を迅速に運ぶために改良されるようなものです。

最近の研究では、アルゴリズムの効率性を年に0.5倍くらいずつ向上させることで、AIがより素早く賢くなるための下地を作っています。2027年までに、それが1から3倍以上効果的になりうると言われています。これはAIが利用できる情報をより迅速に分析し、その結果を私たちに提供するのを可能にします。

「制約解除」による向上（Unhobbling gains）

アンホブリングという言葉は少し難しいですが、簡単に言うと「AIに、隠れた能力を活用させる」ための技術です。その中でも、特に注目されるのが人間のフィードバックを活用する強化学習や、チェーンオブソート（CoT）といった技術です。

これらの技術は、AIが行動を通じて学ぶ能力を高め、より複雑なタスクをこなすために重要です。これによって、AIは単なる答えを出す装置を超えて、複雑な思考や問題解決を行えるパートナーとなる可能性を秘めています。

データの壁

AIが進化する上での大きな障害の一つが「データの壁」です。これは、新しい訓練データの不足を指し、AIがより良いパフォーマンスを発揮するための材料が足りなくなることを意味します。イメージとしては、どんなに優れた料理人でも食材がなければ料理が作れないのと同じです。

しかし、筆者はデータ不足は進歩の妨げにはならないと考えています。 科学者たちはこの問題を解決するため、人工データを生み出したり、自己対戦（AIがAIと対戦して学ぶ）を行い、より少ないサンプルで効果的に学習する方法を研究しています。

例えば、AlphaGoは自身と何百万回と対局することでプロを打ち負かすほどになりました。これは自分自身で思考することで独立して成長できることを示唆しています。

次の4年間の予測（2023年～2027年）

進化の規模

GPT-2からGPT-4までの進化は、効果的計算資源（計算能力とアルゴリズム効率）の約4.5～6 OOM（オーダーオブマグニチュード）のスケールアップと、「制約解除」による大幅な性能向上（基本モデルからチャットボットへの進化）によって実現しました。 次の4年間では、さらに約3～6 OOMのスケールアップが予想され、特に約5 OOMが最も現実的と見られています。また、「制約解除」によってチャットボットから「エージェント」や「リモート作業員」への進化が期待されています。

具体的な変化

2027年には、現在3か月かかるGPT-4レベルのモデル訓練がわずか1分で可能になると予想されています。 この進歩により、モデルはPhDや専門家を超える能力を持つようになる可能性があります。 AGIへの道筋

AIの進化速度は、現在、子供の成長速度の約3倍で進行しており、数年以内にAIは人間の知的労働を自動化する能力を持つとされています。 「制約解除」による進化により、AIは単なる高度なチャットボットではなく、エージェントとして独立して問題を解決し、長期間作業を進めることができるようになると予想されています。

課題とリスク

データの不足やアルゴリズムの限界、制約解除の進展の停滞が起こる可能性があります。ただし、深層学習のスケーリングがこれまで通り進む場合、AGI（汎用人工知能）の実現は2027年までに非常に現実的なものとなります。

社会的影響

AIがAI研究そのものを自動化できるようになると、急速なフィードバックループが発生し、さらなる進化が加速する可能性があります。 自動化が進むことで、多くの知的労働が置き換えられ、社会的な規制や展開の速度がその影響を左右するでしょう。

まとめ

2027年までにAGIの実現が視野に入りつつあり、その後の進化も加速していくと予想されています。AGIは単なる始まりであり、その先にはスーパーインテリジェンスの時代が待っています。この進展の速さは、多くの人々を驚かせるでしょう。