> For the complete documentation index, see [llms.txt](https://weekly-essay.mikey.wang/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://weekly-essay.mikey.wang/ja/2024/essay-collection-ai.md).
# 随筆集・AI編
CESが閉幕した。今年は中国メーカーの参加が再開し、消費者向け電子機器の賑わいや話題が明らかに増えた。特に印象に残った流れは、AIと蓄電機器だ。
AIは遠くのクラウドサービスだけでなく、消費者向け機器へ深く組み込まれ始めた。AIPC、AI for ALLと、各社がAIへ戦略的に賭けている。2024年はAI\*端末の元年だという認識が、より広く共有されつつある。Rabbit R1は、広く話題になった新しいハードウェアの形だ。従来のスマートフォンやPCメーカーも必ず追随するだろうが、私はiFLYTEKやDJIのように、特定分野で先頭に立つ企業により期待している。
蓄電機器は成熟し、消費者市場へ入り始めた。エネルギーは供給側が主導するものに見え、消費者には選択権があまりなかった。エネルギー構成、送電網、電気料金の改革などがそうだ。蓄電機器は消費側を変え、グリーンエネルギーの利用率を上げ、家庭単位のエネルギー設計を可能にする。需要の少ない時間に蓄え、多い時間に使えば、ピークを削り谷を埋められる。再生可能エネルギーの供給の不安定さを補い、電力費も最適化できる。かなり長く初期採用の段階が続くだろう。NASが長年発展しても愛好家の市場にとどまっているのと似ている。それでも、消費者向けのエネルギー利用を考えるのは面白い。毎日どれだけグリーンエネルギーを使ったかがわかり、系統へ発電分を送れるなら、何人分を供給し、炭素排出をどれだけ減らしたかも見える。家庭単位のカーボンニュートラルが、新しい取引市場を作る可能性もある。
***
最近、『这就是ChatGPT』を読んだ。刘江さんの序文がすばらしい。
まず著者のStephen Wolframについて。知っておくべき現代の異才だ。幼い頃、学校が勧める「くだらない本」を読む気になれず、算数も苦手だったため、教師は最初、この子はできないと思っていた。ところが13歳で物理の本を数冊書き、15歳で高エネルギー物理の論文を発表し、5回引用された。20歳でカリフォルニア工科大学の博士号を取得し、その後、マッカーサー賞の最年少受賞者となった。プリンストン高等研究所でセル・オートマトンを研究し、複雑性科学の開拓者の一人でもある。
学習可能性と計算の還元不可能性は、彼の議論の中心にある一対の緊張関係だ。GPTが現れ、コンピューターが突然とても強くなったような錯覚が生まれた。しかし、計算が難しいことは今も難しく、学習可能性や計算の還元不可能性の本質は変わっていない。文章を書くようなことを、以前はコンピューターには難しいと考えていたが、実際には「計算の深さが浅い」問題であり、想像より単純だったのだ。
彼はChatGPTの成功を、重要な科学的事実と捉える。新しい重要な「言語の法則」、実際には「思考の法則」を、まだ発見できると期待させるからだ。何らかの方法で法則を明示できれば、ChatGPTと同じことを、より直接的で、効率的で、透明な形で行えるかもしれない。これがGPTの技術的優位であり、記号主義に基づくNLPが満足な水準に届かなかった理由でもある。少し前に見た李飛飛のインタビューでは、人類は再びpre-newton、つまり法則を理解する直前の地点にいる可能性が高いと述べていた。
Wolframは自然と社会の根底の論理を研究する人だ。早くからWolfram言語を設計した。普通のプログラミング言語は、コンピューターが何をすべきかを正確に伝える。Wolfram言語は、人の考えを計算として表現し、処理する。世界のあらゆるものを計算用語で広く語れる、包括的な計算言語である。人間にもコンピューターにも「計算的に考える」ことを可能にする言語を目指している。
研究成果をWebで使えるWolfram|Alphaにした。利用者が自然言語で指示すると、大きな知識ベース、アルゴリズム、規則から、正確で詳しい答えを返す。数学計算ならChatGPTよりはるかに信頼できる。初めて真に実用的になったAI技術だと評価する人も多い。で試せるが、現在は英語だけに対応する。この本の執筆時にはまだGPT4がなく、Wolframはすでに両者を組み合わせたいと考えていた。まずWolfram|Alphaで問いを処理し、正確な知識と事実に基づく解析結果を出す。それをGPTへ入力すれば、より正確で自然な答えになる。今はGPT4にWolframプラグインがあり、二つの強力なAIを便利に使える。
この本を読むと、著者もChatGPTと同じくらい面白いと感じる。Wolframのような異才の経歴は、どこか見覚えがありながら、遠い世界にも思える。感染症で数年足踏みした技術の発展は、再び急速に進み、今も驚く速さを保っている。旧正月が明けて1か月もしないうちに、SoraとClaude3が続けて現れた。ほぼ毎月、大きなニュースがある。私たちのこの神秘的な東方の地にも天才は絶えない。それでも、いつ異才が現れるのだろう。銭学森の問いとニーダムの問いを思い出した。
Wolframは今後の仕事と学習について、次の助言をしている。共に考えたい。
最も効率的なのは、新しい可能性を探し、自分に価値のあるものを定義することだ。
問いに答えることから、どう問いを立て、どの問いに価値があるかを見極めることへ移る。知識の実行から、知識の戦略への移行である。
知識の幅と、思考の明晰さが重要になる。
あらゆる細部を直接学ぶ必要はなくなった。具体的な細部の多くを抽象化し、より高い層で学び、働ける。専門化より「統合」だ。できるだけ広く、深く考え、多くの知識と枠組みを使う。
道具を使って仕事をすることを学ぶ。以前は論理や数学に頼ることが多かったが、今後は計算の枠組みと、それに直接関わる考え方を特に重視する必要がある。
***
騰訊科技が最近、「中国の大規模モデルを振り返る」という連続インタビューを始めた。今のところ、杨植麟、朱啸虎、王小川の三本がある。
この形式はよい。各自が別々の場で考えを述べ、感情的な対決はなく、反応も時間を置いた理性的な弁明になる。意見の衝突、世界観の違い、多様な視点が非常に面白い。
杨植麟の中心的な考えは、long contextとscaling lawで汎用化と個別化を実現することだ。long contextは大きくなるメモリのようなもので、個人のすべての履歴と、世界についての膨大なデジタル情報を保存する。あらゆる問題を、この枠組みでモデル化する。scaling lawは、十分な計算能力を投じれば改善するというものだ。
朱啸虎は市場を信じる側を代表する。急な技術曲線は必ず緩み、技術が広がればオープンモデルはクローズドモデルに追いつく。「十分なAI能力」を、早く収益化できる商業場面へ投入し、中国市場の巨大で独特なデータで参入障壁を作るべきだという。今、収益化に最も適しているのはB2Bで、B2Cで資金を燃やす余裕はない。
王小川は先の二人のインタビューを見て、部分を触って全体を推し量り、自分の立場で水深を測るようなもので、全体が見えていないと評した。技術は遠くを見やすく、商売は近くを見やすい。しかし今は距離よりも、全体を捉えられるかが問題だ。彼は生命を数学モデルにする方法を考え続けており、GPTは優れた武器で、それが昨年再起業を決めた原点だった。GPTで仮想世界、生命の世界、現実世界を作り、ゲーム、医療、生産性の分野で技術と製品の適合点TPFを探す。Soraには慎重で、過渡的な成果であり、GPTとは別系統で、言語を軸にしていないという。Soraはシミュレーターにすぎず、世界モデルにはならないと考えている。
意図したのかはわからないが、この順番も巧みだ。技術への信頼から、市場への信頼、そして世界への信頼へ。順番を変えれば別の物語になるのだろうか。
***
技術が産業の集約的な発展を促す例を二つ挙げたい。ある技術を広めることで、最も効率よく発展するという話だ。
先週、Stanford HAIが出したAI動向レポートの第4章、経済の部分に面白い数字があった。AI全体への民間投資と雇用は、この3年減っている。一方、生成AIへの投資と雇用は増えている。総量が減るのは直感に反し、これまでの技術の波とは違う。技術の普及が集約的になっている表れだろう。見える理由は二つある。第一に、産学の技術的な共通認識が明確になった。路線はGPTに代表されるLLMへ収束し、能力はTSAI、特定タスクのAIからAGIへの移行を速めている。第二に、今回の起業は費用と資源の要求が高い。少なくとも今は、Big Techを覆すより、彼らに有利に働いているように見える。
先週、農業銀行での会議に合わせ、社内のプライバシー保護計算チームと初めて対面で話した。銀行が集約的で効率的なマーケティングへ向かう流れを強く感じた。銀行はもう、無闇に資金をばらまく考え方を離れている。収益を見通し、採算を計算できるようにした者が、マーケティング予算を得られる。その背後には技術の発展があり、プライバシー保護計算は精密なマーケティングを実現する重要な手段だ。中国でこの分野を語るなら、Antの隠語（SecretFlow）は避けて通れない。ほぼ単独で産業を導いている。オープンソースを技術普及の重要な手段にすることは、最大の商業化なのかもしれない。
***
先週、LLMと業務を結びつけるよい場面を見つけた。B向けのスーパー明細にはモデルを活かす価値があり、技術プラットフォームにはAIアプリを組み立てる開発能力がある。両者を合わせれば、加盟店プラットフォームがLLMを探索し始める費用を下げられる。
技術プラットフォームのAIアプリ構築を試した。製品体験はcozeを目指している。ワークフロー機能でLLM、Http、知識ベース、コードブロック実行などを自由に組み合わせ、必要なアプリを素早く作れる。今はMVPの第3段階で、顧客向けの本番サービスには、さらなる調査と検証が必要だ。
先週のスーパー明細のブレインストーミングでは、改善の方向に具体的な合意ができた。一つは、データが正確で完全であること。二つ目は、記帳が簡単で、限界費用が下がること。三つ目は、明細のグルーピングが妥当で、分類が十分細かいこと。四つ目は、収支分析が経営に役立ち、資金サービスへの導線にもなることだ。現時点ではモデルを使える場面が二つある。第一は収入分析のまとめで、たった一文でも、今は複雑なルールをハードコードしている。第二は記帳の操作費用だ。chatbotは記帳と相性がよく、自然言語の文章、音声、画像などで入力すれば負担を下げられる。WeChat公式アカウントを作って手軽に記録できるようにすれば、入口を加盟店アプリの二階層目から、WeChatの一階層目へ引き上げられる。Androidの小乖記帳は、ほぼ同様のことを実現している。
***
先週、慧玲とAIアプリ構築基盤について話した。LRPにある、管理・業務支援製品の構成がどう変わるかという洞察で、目を開かされた。ページを中心とする操作から、モデルとの対話へ変わるという流れだ。「次のフロントエンドアプリは、なぜページでなければならないのか」とも言える。純粋なモデルアプリの最終形はまだ不明だが、操作は完全にNUIを基盤とするはずだ。たとえば以前は運用担当へ一式の画面を渡し、販促企画を公開するのにN段階の設定と、操作SOPが必要だった。モデルと対話する製品なら、運用担当が設定したい作業を明確に伝え、確認すれば終わるべきだ。
***
Huaweiへ乗り換えると、シリコンバレーの新しい技術を入れるのが難しくなった。仕方なく米国地域のIDを使うiPhoneを一台用意し、海外の製品探し専用にした。この2週間、二台を行き来して感じたことがある。A面とB面に分けるなら、純粋なオンラインのデジタル製品、つまりA面では、私たちにはまだ差がある。B面では圧倒的に優位だ。
二つ例を挙げる。先週初めて、Perplexityが市場のRAG製品の先駆けだったと知った。今も単純で直接的で、後発のC2C製品のように飾り立て、何かで注意をそらし、利用者の導線を乱したりしない。二つ目はArcだ。今年出たモバイル版も高く評価され、iOS18が一部の設計を模倣するという話もある。Browser for Me、ピンチとsummarize、callは、いずれもモバイルブラウザーの新しい操作だ。Arcを作るのはニューヨークの新興企業The Browser Company。2023年の春節に御姐からデスクトップ版を勧められたことを、ぼんやり覚えている。当時は招待制だった。この会社には敬意を抱く。利用者に導かれる革新とは何かを見せてくれた。本当にブラウザーを考え直し、定義し直していると思う。
***
AppleはApple Intelligenceという言葉遊びでAIを再定義した。その核は端末上のモデルであり、長く語られてきた「端末の知能」が本当に転換点を迎えた。
WWDCで示した用途自体は、それほど意外ではない。それでも、同じようにアプリを作る中で、Appleは明らかに巧みで、利用者が深く実感しやすい。iPadOSの新しい計算機では、手書き式の認識、計算、グラフ化が3分のデモで滑らかにつながり、私は口を開けたまま見ていた。
**ハードウェアとソフトウェアの統合が、再び強みを発揮した。** 統合は製品とOSだけでなく、下層のチップや開発ツールチェーンに及ぶ。端末モデルはOSレベルの権限とデータアクセスを持ち、個人データでfine-tuningする。計算能力、データ、モデル、安全性を釣り合わせる必要があり、うまく実現するにはハードとソフトの統合が唯一の道に見える。プライバシーと安全を優先することも、そこで初めて実装できる。
**AppStoreの後にModelStoreは来るだろうか。** 端末の計算能力が増えれば、モデルの提供者は一社とは限らない。プログラマーなら、人気のプログラマー向け事前学習モデルを選べるかもしれない。計算基盤とIntent APIを整え、モデル市場の新しいプラットフォームを作る。自社モデルで用途を開き、コミュニティの創造力を引き出す。
**成功するかは、最後にはコミュニティが栄えるかにかかる。** Appleのやり方では、自ら盛り上がるのは開発者に火をつけ、優秀な人を巻き込むためだ。世界の優れた開発者を引きつける力は、今もAppleが最も強い。Huaweiを思い出すが、最も追いつきにくい点かもしれない。ハードとソフトの統合では初期の成果を得た。それでも、WWDCのように開発者を尊重し、きちんと稼げるようにするには、まだ長い道がある。
***
端末側AIの発展は嬉しい。昨年11月のFEDAYでは、実装まで2、3年かかると思っていた。ところが半年余りで、AppleもGoogleも各自のエコシステムへ方法を示した。
Jason MayesはGoogle I/O 2024でWeb AIを紹介した。以前はTensorFlow\.jsを表で広める役だったが、今はWeb AIのleadだ。Web AIはWebAssemblyとWebGPUを基に作られている。WebNNへの言及はなく、期待ほど進んでいないのだろう。NPUを備えた機器はまだ少ない。Visual BlocksはMLのワークフロー構築基盤で、Web AIアプリを作れる。つまり翻訳、背景切り抜き、文章分類など、端末AIの処理をコードなしで組み立てられる。Chromeにも一部実装され、Chrome 127のcanary版ではGemini nanoを使える。
端末AIの強みは、やはりプライバシーと安全、オフラインでの低遅延、低コストだ。Jasonが出した費用削減の例はわかりやすかった。
> ビデオ会議を考える。利用者のプライバシーを守るため、多くのサービスが背景のぼかしや除去を提供している。
>
> カメラは通常、毎秒30フレームを生成する。平均会議時間を30分とすると、54,000フレームの背景をぼかす必要がある。
>
> 一日100万回の会議があるとすれば、毎日540億回の処理になる。
>
> 一回の処理費が極めて安く、わずか0.0001セントだとしても、一日540万ドル、年間約20億ドルのサーバー側GPU計算費がかかる。
>
> WebAIでクライアント側に背景ぼかしを任せれば、この費用はなくなる。
>
> 背景雑音の除去など、ほかのモデルもブラウザーへ移せば、極めて低い費用で会議体験を改善できる。
***
LLMがプログラマーへ与える影響について。
中国の自動運転業界は、節目となる変化を迎えている。ルールで制御する自動運転から、モデルに基づく、地図を使わないエンドツーエンドの知能運転へ移っている。以前のチームは、今見ると労働集約的な産業に似ている。認識、計画、制御のモジュールから成り、認識に一部CVを使う以外、計画と制御は個別事例からルールを作り、システムへハードコードしていたからだ。転換後は、ルールを実装する大量のプログラマーが不要になる。今年、自動運転がこれほど盛り上がっても、関連する人員削減は少なくない。マスクは以前、新版FSDの採用後、TeslaのC++コードが30万行から3,000行へ減り、99%が消えたと投稿した。エンドツーエンド方式には二つの課題がある。第一はデータ量。scaling lawによって人の運転を超えるには膨大なデータが必要で、今それを満たせる可能性があるのはTeslaだけだ。完全にエンドツーエンドの発想で設計しているのも同社だけである。第二は安全規制だ。個々のパラメーターが運転に与える影響を説明できず、制御や審査の面で、初期には法制度の高い許容度が必要になる。
Redditでlapuritaという人が「Claude Sonnet3.5で開発を10倍速にする」という投稿をした。誰なのかまだわからないが、影響力がありそうだ。Claude Sonnet3.5のコーディングがいかに優れ、ChatGPT4を明確に上回るかを語っている。私も最近、1か月以上の技術的な再設計を行いながら、「人とAIの協働」の方法を探っていた。どの仕事をモデルに任せ、どれを自分で行うか。全過程でClaudeと協働し、Googleは一度も使わなかった。この投稿には強く共感する。Claudeでコードを書くのは癖になる。細かく価値の低い構文規則から離れ、設計や改善を考える時間と選択肢が増え、戦略的なプログラミングができるようになった。近い将来、仕事の方法も納品の手順も、人同士が競う軸も、必ず変わると信じている。
***
以前、LLMが生産性へ与える可能性について話した。それから1、2か月で、モデルとプログラミングを体験として深く統合した、よい製品が現れた。
**TL;DR、もうCursorを試すべきだ。**
コーディング分野の進展では、Claude＋Cursor＋Vercelという三つの組み合わせに注目したい。今まさに、Early AdoptersからEarly Majorityへ、溝を越えつつあるかもしれない。影響するのは、個人でも組織でも、生産性と競争戦略だ。特に探索型の事業では、速さが勝利の鍵になる。試行錯誤して理解を得ること自体が戦略であり、先にPMFへ達した者が先行優位を得る。開発費がある臨界点を下回り、生産性が新しい水準へ届けば、速さという戦略が深まり、競争戦略全体を構造的に変える可能性もある。
1. Claude3.5 Sonnetは、コードの論理推論でNo.1の地位を固めた。優れたAIコード製品のほぼすべてが、Cursorを含め、基盤モデルをSonnetへ切り替えている。プログラマーは比較的高価な生産力であり、Claudeは変革の中で最も効果が大きいと考える領域を選んだ。LLMの初期採用者はプログラマーが多く、コード推論を重点にすれば開発者コミュニティの支持を得て、アプリ層の選定にも影響できる。決済分野のStripeも、似た競争戦略だったと記憶する。
2. Cursorは、今最も話題のAIを深く統合したIDEで、評価が高い。Sonnetへ切り替えてから、多くのCopilot利用者が移った。比較すると、Copilotはプラグインの発想で、当初は補完と提案を中心に設計され、開発全体へ深く関わるものではなかった。組み込むIDE側も特別な調整をせず、体験にばらつきがある。商業上の結びつきもあり、基盤モデルをClaudeへ変えられない。CursorはIDEの発想で、大きく改造したVS Codeだ。画面や操作を深く最適化し、開発者の直感に合う。モデルを有効に使うには、プロジェクトをより理解させる必要がある。その全体のコンテキストを扱う点に、Cursorは大きな強みを持つ。ほかにもClaudeが新しく提供したClaud Engineerというコマンドラインツールがある。ファイルシステム操作、スクリプト実行、Web検索を直接行え、場面によってはIDEより便利だ。
3. Vercel v0は最近人気のコード生成ツールで、UIとコードを作り、TS、React、Next.jsなどに対応する。生成コードが本番水準、あるいは人が続けて開発できる水準へ近づいたことが、人気の理由だ。ClaudeにもArtifactという対応機能があり、UIとコードを生成する。それと比べ、Vercel v0はこの分野の完成形により近い。Vercelのフロントエンドでの役割はますます重要になっている。Next.jsもTurbopackも同社のものだ。単体の道具やフレームワークだけでなく、開発、ビルド、デプロイ、運用まで、アプリのライフサイクル全体を覆う生態系を作る。実際の位置づけは、クラウドサービスで稼ぐフロントエンド基盤のクラウド企業だ。AIでも開発を簡素化し、速める取り組みが多い。v0のほか、AIベースのWebアプリを作るTypeScriptライブラリ、AI SDKもある。
***
今年、情報源全体の質を整理し、更新した。その中で情報配信について感じたことがある。
インターネットの情報配信は、ポータル、検索、購読、推薦の四段階を経て、効率を上げてきた。
購読から推薦への移行を示す出来事の一つが、10年前のGoogle Reader終了だ。RSSリーダーだったが、RSSの購読には高い情報整理能力が必要で、情報源を継続的に整理し、調整しなければならない。一部の人の需要しか満たせないことは避けられなかった。その後、中国でも海外でも、機械の推薦で内容を消費する時代に入った。
今の推薦方式では、情報源の質を飛躍させられない。よい情報源は、まだ従来型の方法で探す必要がある。10年前と比べ、情報の繭が生む非対称性が、人を開いた方向へ導いたのか、狭めたのかはわからない。情報の孤島は管理をさらに難しくした。多くの情報源が直接購読を提供せず、各プラットフォームの「フォロー」に散らばっているからだ。海外にはnewsletterやRSSがあり、Substackのように読者と著者が直接交流できる場もある。基盤は技術とサービスだけを提供する。しかし、こうした配信は主流ではない。
LLMは情報配信に大きな影響を及ぼし、次の段階を生みつつある。今後はまだわからない。OS層へ入ることで、既存プラットフォームの配信の論理を解体するかもしれない。データの資産化が進み、皆がAIへ原稿を供給するようになるかもしれない。
最近試しているGround Newsを紹介したい。LLMはまだ決定的な要素ではないが、その発想には未来の一部があると思う。情報の非対称性に対抗し、政治的立場の異なる視点を補い、極端さへ流れるのを防ぐ設計だ。各ニュースをBiasとFactualityの二つの軸で分ける。Biasは政治的傾向で、そのニュースを報じた媒体の傾向から、左と右の比率を集計する。右翼媒体が主に報じるニュースなら、左翼媒体をよく読む人は意識して見るべきだ。そうしないと取り逃す可能性が高い。Factualityは事実性で、個々のニュースの真偽を調べるのではなく、報じた媒体から割合を算出する。媒体の評価は主に、過去の記事に信頼できる出典があったか、誤りを速やかに訂正したかに基づく。
###