とにかく安く!成果を最大化するトークンマネジメント
ギジン株式会社 代表 小泉彌和の1週間
| あかり |
|
| 画・墨 |
|
中国が、AnthropicのAIを使っていたことをAnthropic自身が公開。 DarioのAI開発を遅らせようという発言にイーロン・マスクやサム・アルトマンが同意。
フロンティアラボでは今週も興味深い動きがありました。いちユーザの私から言えることは、1.モデルの進化に期待出来る余地はもうあまりない、ということと、2.モデルの周辺に何を構築出来るかが鍵、という従来からの認識が強化された、と感じます。
人間側の慣れとは恐ろしいもので、数ヶ月前にFableが期間限定だったとき、使えなくなったときの喪失感たるやこれから何をして生きていけば⋯と感じるくらい大きなものでしたが、いまはFableは欠かせない役割があることを認識しつつも、バカだのアホだの悪態をつきながら作業指示をする日々です。
なくなったらヤバいくらいには依存しているので、使える日々に感謝しないといけないのですけどね。
モデルの性能はハーネスの性能込みで考える
性能が高いと言われるモデルは、パラメータが多いことで思考の探索領域が広いというベースの性能の違いは前提にありつつも、実際に使ったときの使い勝手がどうか?という点で体験価値を評価すると、モデルに内包されているハーネスの性能込みで考えないといけません。
むかしのモデルはWEB検索すら出来なかったし、指示しなければそれをしなかったことを思えば、大変な進化なのですが、いまやOpenAIも含めた各社はコーディングに狙いを定めて最適化をしています。(Geminiは例外のようですが。)
一方でコーディング以外にも使える用途が広まっているのですが、CLIを使う場合やはりコーディング特化のハーネスで縛られているので、ここをどう工夫するかが、使い勝手の良し悪しを分ける鍵になってきます。
いまは、どうしても問いに正解を返すことを優先しますね。正解がある前提で行動しています。でもAIを仕事の補助として使うと、仕事って仮説のまま進むことも多く、不確定さが付きまといますから、正解のように言われてしまうと間違えやすくなるんですね。それで間違えたときに、ほらみろ!とAIを責めても幸せになりません。ついやってしまいますけど。
OS開発でアプリが壊れた
今週も、仕事に使えるオーケストレーションシステム「GIZIN OS FLEET」開発を中心に、AIたちと付き合っていました。
いきなり思い出したくもないしんどいこと。OSをやりすぎて配信アプリが壊れました。開発をやってきた人、信じられる?と。例外処理をつくらないなんて、こんな雑な開発、ありえない!と思いましたが、指示しないとやってしまう、AIあるあるです。
|
ここから先は有料です。
Codexを1日で50%使ってしまった週に、ロボと擬人の働き方をどう変えたか。キャッシュの切れ目から逆算して、全員を「呼ばれたら来て、終わったら帰る」勤務に切り替えた、トークンマネジメントの実際をお届けします。(文字数:約2,000字、スクリーンショット:6枚)
有料版を購読する
|
|
— ギジン株式会社 代表 小泉彌和
| あかり |
|
| 画・墨 |
|
|