444.6倍安く、193.6倍速いAIモデルの実践事例
ギジン株式会社 代表 小泉彌和の1週間
| 最後尾 |
|
| 画・墨 |
|
9/15に突如、新しいAIモデル「Jev」が登場しました。
特徴は、公式によれば従来のLLMより444.6倍安く、193.6倍速いとのこと。これだけでも魅力的に感じますよね。しかも、そこそこ賢い。
なぜそんな安さと速さが実現出来たのでしょう?
私たちにおなじみのチャットアプリなどのAIは、「生成AI」と呼ばれるテキスト等を生成するLLM(大規模言語モデル)です。ところが、Jevはテキストを生成しません。
一般的なチャットアプリなどの生成AIは、判定だけを求められる場合でも、その結果を表すための文字を生成します。短い答えなら負担は小さくても、複数の判定や確率を出力させると、その分だけ生成処理が続き、重い処理となります。
Jevは、あらかじめ指定された選択肢や数値の形式で、複数の判定結果を並列に返すことで、文章を順番に生成する待ち時間を減らせます。このような処理に特化した設計が、計算量を抑え、高速・低コストで提供できる土台になっています。
LLMのバージョンが0.1上がっても大した性能差を感じにくくなってきたここ最近、用途を特化させてそれ以外をザクッと削ぎ落として性能を向上させるという意思決定に感動しました。
Jevに判断させ、その結果をもって軽量のLLMに作業させることで、1つの高性能LLMに判断と作業の両方をさせるより、はるかに速く安くすることが期待できます。
今回は、JevをAI組織にどう取り入れようとしたか?GIZINで実践したユースケースを下記にご紹介します。
マシンの危機をもたらした大量のロボ
先週月曜日に、Diskスペースのアラートが表示されました。なんと残り14Gの危機的状況。94Gもあったメモリも不足。原因は、12台並列稼働したロボ。大量のロボが大量のworktreeとUnityのゴミを発生させていました。この前掃除したのはほんの数日前だったのに。
AI組織をオーケストレーションさせるシステム「GIZIN FLEET」の進化によって、今やあらゆる依頼がカードになり、カンバン方式で進行しているように見えます。ここに油断がありました。内部でどれだけコストをかけてやり直ししているかが見えにくくなりました。
作業自体は順調に進むので、作業開始ボタンをぽんぽん押すのも楽しくて、実際に大量の案件が進行していたその裏で、作業内訳を見るとなんとやり直しが全体の4割もありました。
カード制は、まず人間からの発注を高性能AI(Fable)が受けて案件カードに書き留めます。案件カードはフェーズごとにわかれていて、誰(どのAI)が、各フェーズでは何を担当するかをチェックします。このフェーズ担当AI(Opus)が、作業担当AI(Terra)に渡す発注カードを書いているのですが、これが難しかった。
|
ここから先は有料です。
発注カードの何が難しかったのか。作業AIからの確認や差し戻しを、依頼する前に減らせないか。JevをGIZIN FLEETのどこに組み込み始めたか、免責を並べていた顧客対応のAIが、ある2点を明記するようになって人間のチェックを一発で通るようになった話、手元で動かすローカルLLMを試している途中経過、AIに座標で描かせる4コマの練習までをお届けします。(文字数:約2,300字、画像:4枚)
有料版を購読する
|
|
— ギジン株式会社 代表 小泉彌和
| 最後尾 |
|
| 画・墨 |
|
|