マインクラフトを大規模言語モデルのGPT-4で反復学習しながら自動でプレイするAIエージェント「Voyager」が登場
世界で最も売れたゲームであるマインクラフトは、探索を続けることで手に入れられる素材が増え、それによって自分の道具や武器をアップグレードし、さらに探索できる世界が広がっていきます。
NVIDIAやカリフォルニア工科大学、スタンフォード大学などの共同研究チームが開発した「Voyager」は、人間の介入なしにマインクラフトを学習しながら攻略していく生涯学習エージェントで、OpenAIの大規模言語モデル(LLM)であるGPT-4を搭載しています。
マインクラフトでは世界がシード値に基づいて作られるため、シード値をランダムにしている限り、毎回生成される世界が大きく変わります。
そのため、マインクラフトをプレイする上で重要なのは「与えられた状況に臨機応変に対応していく能力」です。
また、木・石・鉄・ダイヤモンドというように、道具や武器の性能を左右する素材の加工技術を進化させることも重要です。
Voyagerは「探索を最大化する自動カリキュラム」「複雑な動作を保存・取得するためのスキルライブラリ」「環境フィードバック・実行エラー・プログラム改善のための自己検証」という3つのコンポーネントで構成されており、反復方式で学習します。
Voyagerは目標を達成するためにGPT-4でプログラムを作成し、ゲーム環境からのフィードバックとエラーを基に、GPT-4でプログラムを改良します。
こうすることで、Vyagerは徐々にスキルライブラリを構築し、成功したプログラムを優先し、さらに複雑なスキルを構築していきます。
https://gigazine.net/news/20230529-minecraft-with-large-language-model-voyager/
