開発の概念も変えた、ゲームブレイカー「Gemma2」

「第四次人工知能ブームと言われる昨今、OpenAI社（ChatGPT）の登場は社会に大きなインパクトを与えましたが、ご存知の通り、その存在は目下ビジネスシーンにも浸透すると同時に、企業が使用する際のセキュリティの観点から外部のサーバに頼らずローカルで動かしたいという需要も拡大しています。

ChatGPTの登場とともに注目されるようになった性能の良いローカルLLMについて、我々は使えるようになるまで１〜２年掛かるだろうと予測していましたが、実際はわずか半年ほどでGoogleの『Gemma2』のようなエポックメイキングなものが登場したことに、まず驚いています。それ以前にMeta社の『LLaMA』やAlibabaグループの『Qwen2』など、いくつかの優秀なモデルが登場していますが、安心して業務に使えるレベルに到達しているという観点では『Gemma2』が頼れる存在であると考えています。

また、従来、ChatGPTクラスの100B（billion parameter）を超えるような大型モデルを学習させるには、何億円もの大きなコストがかかってしまうため、これまで日本のベンチャー企業ではもっと小さいモデルで勝負しようと独自のAIを手掛ける流れもありました。しかし、ChatGPT3.5程度の実力を持つ『Gemma2』の場合、27Bのような大きなモデルを学習したうえで、その大きなモデルの推論結果を使って小さなモデルを学習する、知識蒸留という考え方が取り入れられています。意外かもしれませんが、現在の開発の現場では、2Bの小さなモデルをつくるのにも、27Bのような大きなモデルをつくるのと同等のコストがかかるのです。また、そうした開発方法のほうが性能も上がるということが『Gemma2』で実証されたこともあり、大きいモデルの開発でGAFAには勝てなくても小さなモデルの開発なら勝機がある、というストーリーも崩れてしまったわけです。そうした事情から、今後は小さなLLMの開発を1から手掛ける会社も減ってしまうようにも思います。

開発の現場を中心に注目を集めていた『Gemma2』ですが、すでにMeta社による『LLaMA3.1』という新たなモデルが登場し、せめぎ合いを展開しています。『LLaMA3.1』は、『LLaMA3.0』にある英語に強くても日本語が苦手という欠点を解消し、高い性能を示し話題となっています。また、『LLaMA3.1』は小さなモデルを1から学習していましたが、『LLaMA3.2』では『Gemma2』と同様の知識蒸留が導入されました。また、中国のAlibaba社による『Qwen2.5』もコード生成性能の高さで注目されています。

LLMはベースモデルと呼ばれる文章の続きを書くだけのモデルを作ったうえで、『インストラクションチューニング（プロンプトと正しい回答／インストラクションデータを一問一答のようにセットで与えて学習させる手法）』を行なってチャットモデルを構築するのが現在の主流です。しかし、インストラクションチューニングの世界でいうと、すでに行き着くところまで行き着いているのでは、という印象も。この次の世代で主流となるのはインストラクションデータセットではないデータでのチューニングや、推論方法の変更ではないか、とも言われていて、いわゆる『エージェント』が主流になると予測されています。

現在のチャットモデルの欠点は、AIが聞き返してくれない点です。エージェントの場合、質問した内容について情報が足りないとAIが判断し『この情報が足りないので、これについても教えてください』と、まるで人と人とのコミュニケーションのようにAIが学習したり、コミュニケーションを取ることができるようになるとされています。エージェントが登場することでAIと人との関係も、大きく変わってくるはずです」

LLMの開発競争とともに、凄まじい速度で変容するAI開発の現場。株式会社アクセルでは、クロスプラットフォームの推論エンジン「ailia SDK」を駆使した、世界最高水準のAI開発環境をご提供しています。今回、ご紹介した、Gemma2をiOSやAndroidなどのエッジデバイスで動かせる「ailia LLM」の提供も開始しました。AIの開発や運用など、ぜひお気軽にお問い合わせください。