> For the complete documentation index, see [llms.txt](https://weekly-essay.mikey.wang/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://weekly-essay.mikey.wang/zh-hant/2024/essay-collection-ai.md).
# 隨筆集合——AI篇
CES閉幕，今年中國廠商恢復參會，明顯消費電子的人氣、熱點更多了。印象最深刻的兩條趨勢線，是AI和儲能設備。
AI不再只是遠端雲服務，消費電子設備深入融合。AIPC、AI for ALL，各個廠商都在AI方向戰略押注。2024年是AI\*終端的元年，正在取得更廣大的共識。Rabbit R1就是火出圈的新硬件形態。傳統手機、PC廠商一定會跟進，但更看好科大訊飛、大疆這樣的細分領域的頭部廠商。
儲能設備逐漸成熟，開始進入消費級市場。說起能源好像一直都是供給驅動的，消費者沒什麼選擇權，像是能源結構改革、電網改革、電價改革。儲能設備可以在消費端帶來變革，提升綠色能源的使用率，做以家庭為單位的能源方案。比如在低峰存儲綠色能源，在高峰使用，削峰平谷。既解決了新能源供電不穩定問題，也優化了用電成本。估計很長一段時間會是早期採納階段，就像NAS發展了這麼多年，也只侷限於玩家市場。想想能源的消費級應用還是很有意思的，比如你能看到自己每天使用了多少綠色能源，如果有併網發電能力，還可以看到自己供給了多少人的用電需求，減少了多少碳排放。以家庭為單位的碳中和也可以形成新的交易市場。
***
最近讀了《這就是ChatGPT》。劉江老師寫的序很棒。
先說說這本書的作者Stephen Wolfram，他是一個應該瞭解的當代奇人。從小不屑於看學校推薦的“蠢書”，而且算術不好，所以一開始老師們還以為“這孩子不行”。結果人家13歲就寫了幾本物理書，15歲發表了一篇高能物理論文，這篇論文還被引用了5次。20歲在加州理工獲得博士學位。之後榮獲麥克阿瑟獎，也是最年輕的獲得者。在普林斯頓高等研究所供職，研究元胞自動機，也是複雜科學的開創者之一。
可學習性和計算不可約性是他論述中的一對核心矛盾。GPT的出現讓大家產生了一種錯覺，感覺計算機突然變得很厲害了。事實上難以計算的事情仍然是困難的，可學習和計算不可約的本質沒有變。只是像寫文章這樣的事情，我們以前認為計算機很難做到，但實際上是一個“計算深度較淺”的問題，現在看要比我們想像的簡單。
他認為ChatGPT的成功是一個重要的科學事實。表明我們仍然可以期待能夠發現重大的新“語言法則”，實際上是“思維法則”。如果我們能夠通過某種方式使這些法則變得明確，那麼就有可能以更直接、更高效和更透明的方式做出ChatGPT所做的那些事情。這是GPT的技術優勢，也是為什麼基於符號主義的NLP一直不能達到滿意程度的原因。前段時間看到一段李飛飛的採訪，她提到人類現在很可能再一次處在pre-newton的節點，也就是搞懂這些法則的前夜。
Wolfram是研究自然和社會底層邏輯的。他很早就設計了一門語言，叫Wolfram語言。普通的編程語言是在確切地告訴計算機要做什麼，Wolfram語言是對人類的所思所想進行計算上的表示和處理，是一門全面的計算語言，可以用計算術語來廣泛地談論世界上任何事物。旨在成為一門既能讓人類也能讓計算機“用計算思維思考”的語言。
Wolfram把自己的研究成果轉化成了一個通過web就可用的Wolfram|Alpha系統，用戶輸入自然語言的指令，就可以通過巨大的知識庫、算法、規則得到精確詳實的回答，比如做數學運算，它的回答會比ChatGPT可靠的多。被很多人認為是第一項真正實用的人工智能技術，可以體驗使用，目前只支持英文。這本書寫的時候還沒有GPT4，當時Wolfram就想把他兩結合在一起用，一個問題可以先經過Wolfram|Alpha，輸出基於準確知識和事實的解析結果，再做為GPT的輸入，最終得到一個更為準確和自然的答案。現在可以在GPT4上找到Wolfram插件，更方便地利用這兩個強大的AI系統。
最後，讀這本書會讓我覺得作者和ChatGPT一樣有意思。像Wolfram這種奇人的經歷總是那麼熟悉而又陌生。科技發展隨著疫情暫緩了幾年後，又開始突飛猛進，至今還在以驚人的速度發展，過完年回來不到一個月，Sora、Claude3相繼出現，現在幾乎每個月都有breaking news。我們這片神秘的東方土地從來不缺天才，但何時才能出現奇人。我想到了錢學森之問與李約瑟難題。
Wolfram對今後的工作和學習給出了如下建議，共勉。
最高效的方式是發掘新的可能性，定義對自己有價值的東西。
從現在的回答問題轉向學會如何提出問題，以及如何確定哪些問題值得提出。也就是從知識執行轉向知識戰略。
知識廣度和思維清晰度將很重要。
直接學習所有詳細的知識已經變得不必要了：我們可以在更高的層次上學習和工作，抽象掉許多具體的細節。“整合”，而不是專業化。儘可能廣泛、深入地思考，儘可能多地調用知識和範式。
學會使用工具來做事。過去我們更倚重邏輯和數學，以後要特別注意利用計算範式，並運用與計算直接相關的思維方式
***
騰訊科技最近做了一個“復盤中國大模型”系列訪談，目前有楊植麟、朱嘯虎、王小川三篇。
訪談這個形式很好，大家都是獨自在一個場域表達，沒有上頭的激昂對峙，所有的回應都是一段時間後的理性辯護。這其中觀點上的衝撞、世界觀的迥異、多樣化的視角十分有意思。
楊植麟的核心觀點是，通過long context + scaling law來實現通用化和個性化。long context好比越來越大的內存，可以記錄你所有的歷史信息，也保存了大量對這個世界的數字化信息，把所有問題放到這個框架建模。scaling law是只要你投入足夠多算力，它就能變好。
朱嘯虎是市場信仰派的代表。大模型的陡峭的技術曲線一定會放緩，開源模型一定會隨著技術的擴散追上閉源。應該將“足夠的AI能力”投入到可以快速變現的商業場景中，用中國市場龐大而獨特的數據構築壁壘。toB現在是變現能力最好的場景，toC現在燒不起。
王小川在看過前兩位訪談後，認為他們是盲人摸象、小馬過河，看不到全局。技術容易看得遠，商業容易看得近。現在更多不是遠近問題，而是完整性問題。他一直在思考怎麼把生命變成數學模型，GPT是很好的武器，這是他去年決定再創業的初心。用GPT構建虛擬世界、生命世界、真實世界，在遊戲、醫療、生產效率上找到技術產品結合點TPF。他對Sora持保守觀點，認為這是一個階段性產物，和GPT不是一支的，不是以語言為中軸的。Sora只是一個模擬器，做不到世界模型。
不知道是不是有意為之，這個訪談順序也很妙。從信仰技術，到信仰市場，再到信仰世界。如果換一下順序不知道是不是另一個故事。
***
兩個技術推動產業集約發展的例子，也就是選擇某種技術擴散實現最有效益的發展。
上週斯坦福HAI發表的AI趨勢報告，第四章經濟部分有一組很有趣的數據。AI總的私人投資、就業崗位近3年是下降的，其中生成式AI的投資與崗位是增多的。總量的下降好像有些反直覺，不像過往的技術浪潮，這是一種技術擴散的集約化表現。能看到的原因有兩個。一是技術上的共識在產學研都很明確了。在技術路線上，向以GPT為代表的LLM路線收斂。在技術表現上，加快從TSAI（特定任務AI）到AGI的演化。二是這波創業對成本和資源的要求很高，似乎是有利於Big Tech的，而非革他們的命，至少目前看來是這樣的。
上週藉著去農行開會，和我們的隱私計算團隊第一次線下交流。能深刻體會到銀行對集約高效的營銷趨勢已經形成，銀行已經告別亂撒幣的工作理念了，誰能幫他們看得清收益算得清賬，誰更能贏得銀行的營銷費用。這背後當然離不開技術的發展與推動，隱私計算就是實現精準營銷的重要載體。國內隱私計算的發展一定繞不開螞蟻隱語，幾乎以一己之力引領產業發展。把開源做為技術擴散的重要手段，這可能是最大的商業化。
***
上週找到了一個很好的LLM業績融合的場景。業務在B端超級賬單場景有大模型的應用價值，技術平臺有智能應用搭建的工程能力，結合在一起可以降低商戶平臺在大模型探索的啟動成本。
體驗了一下技術平臺的智能應用搭建，產品體驗上對標coze。通過平臺的工作流能力，自由組合LLM、Http、知識庫、代碼塊執行等組件，快速搭建組裝需要的智能應用。目前處於MVP的第三個階段，針對面客的線上服務場景，還需要進一步調研論證。
上週的超級賬單腦暴，在迭代方向上有了具體的共識。一是數據準且全，二是記賬操作便捷且邊際成本遞減，三是賬單聚類合理且分類顆粒度夠細，四是收支分析可以指導經營且具備導流資金服務的能力。當前有兩個可以引入大模型的場景。一是收入分析的分析總結，雖然是簡簡單單一句話，但目前用了比較繁雜的規則去硬編碼實現。二是記賬操作成本上，chatbot的交互很適合記賬，可以用自然語言文本、語音、圖片等多模態錄入，降低用戶操作成本。如果我們能夠再開出來一個微信公眾號用來隨手記，那麼記賬入口可以從商家端中的二級升格為微信中的一級。安卓平臺有個App叫小乖記賬，大體上已經做了類似實現。
***
上週和慧玲聊智能應用搭建平臺，聊到LRP裡對中後臺產品產物結構變化趨勢的洞察，給我開了個“天眼”。這個趨勢是從大多數的頁面交互，演變為大模型交互。我覺得也可以這麼講“你的下一個前端應用，何必是一個頁面？”。一個純粹的大模型應用最終長什麼樣子還不確定，但交互形式應完全基於NUI。比如以前你給運營交付的是一套頁面，上線一個營銷活動需要N步配置，運營自己需要有一套操作SOP。大模型交互的產品，應該是運營表達清楚營銷活動的配置任務，然後check確認，完成。
***
換裝華為後，想安裝硅谷最新科技難度很高，無奈搞了一部美區id的iPhone專門做國外的product hunt。最近兩週沉浸在兩部手機的切換中，有一個感受，AB面裡，純粹的線上數字產品，也就是A面應用，我們還有不少差距。B面應用，我們有絕對的優勢。
舉兩個例子。我是上週才知道Perplexity原來是市面上RAG產品的鼻祖，現在依然簡單直接，不像後來C2C的產品花裡胡哨，總想搞個什麼東西分散你的注意力，讓用戶的動線亂七八糟。 第二個例子是Arc，Arc今年推出的mobile版本也備受好評，聽說iOS18要照抄一些設計。Browser for Me，捏和summarize，call，都是移動端瀏覽器的新交互。Arc是一家位於NYC的創業公司The Browser Company創設的，我還依稀記得是2023年的春節御姐給我推薦了Arc桌面端（那時候還是邀請制）。對這家公司我充滿敬意，讓我目睹了什麼是用戶驅動的創新，相信他們真的在重新思考並定義瀏覽器。
***
蘋果用了一個諧音梗Apple Intelligence重新定義了AI。Apple Intelligence的核心是基於端模型的，講了很久的“端智能”真的迎來拐點了。
雖然蘋果在WWDC上展示的這些應用場景看起來並沒有多出奇，但是不得不說，都是做應用的，蘋果顯然做的更討巧，更容易被用戶深度的感知到。比如iPadOS上全新的計算器，手寫公式識別、計算、圖形化，3分鐘的演示及其絲滑，我是張著嘴看完的。
**軟硬一體的優勢再一次釋放。**蘋果的軟硬一體不單單是產品和系統之間的，包括底層的芯片和開發工具鏈。端模型具有系統級別的權限和數據訪問能力，把用戶個人數據拿給端側模型進行fine-tuning。這要求在算力-數據-模型-安全之間做平衡，想要做好的話軟硬一體似乎是唯一的方案，隱私安全優先也才能得以落地。
**AppStore之後會不會有ModelStore。**隨著端算力的增長，為端提供的模型可能不止一個廠商，比如你是一個碼農，可以選擇一個流行的碼農預訓練模型。搭建好算力、Intent API基建，給模型市場打造一個新的平臺，用自研模型打開場景，激發社區的創造力。
**能不能成功最終還是要看社區能不能繁榮。**按照蘋果的套路，自high是為了點燃開發者，捲入更多優秀的開發者。 蘋果對全球優秀開發者的吸引力仍然是最強的，這讓我不由想到華為，這可能是華為最難追趕的一項。在軟硬一體方面華為已經取得了初步的勝利，但如何像WWDC一樣給開發者足夠的尊重並讓他們能夠體面地賺錢，還有很長的路要走。
***
端側AI的發展喜人，去年11月FEDAY的時候，還覺得工程上的落地需要兩三年。沒想到半年多的時間，Apple和Google就都向各自生態給出方案。
Jason Mayes在Google I/O 2024上分享了Web AI新主題，這個老哥之前是TensorFlow\.js的臺前推廣，現在是Web AI的lead。Web AI是基於WebAssembly和WebGPU構建的。沒有提到WebNN，看來是WebNN的發展不及預期，畢竟配置NPU的硬件佔有量依然很少。Visual Blocks是一個ML的工作流搭建平臺，可以在這個平臺搭建基於Web AI的應用。也就是說可以無代碼搭建一個基於端AI的工作流，比如翻譯、摳圖、文本分類等。Chrome已經對Web AI做了部分實現，Chrome 127的canary版本已經可以用上Gemini nano了。
端側AI的優勢依然是隱私安全、離線低延遲、低成本。Jason舉了一個關於降成本的例子，很生動。
> 以視頻會議為例，許多視頻會議提供背景模糊或背景移除功能來保護用戶隱私。
>
> 攝像頭通常以每秒 30 幀的速度生成視頻，假設平均會議時間為 30 分鐘，那就是需要對 54,000 幀進行背景模糊處理。
>
> 假設每天有 100 萬次會議，這意味著每天 540 億次處理。
>
> 假設每次處理的成本極低，僅為 0.0001 美分，這仍然意味著每天 540 萬美元的成本，每年約 20 億美元的服務器端 GPU 計算成本。
>
> 通過 WebAI 在客戶端進行背景模糊，這些成本將不復存在。
>
> 另外，你還可以將其他模型移植到瀏覽器中，例如背景噪音去除，用極低的成本提升用戶的會議體驗。
***
聊聊大模型對程序員的影響。
國內的智能駕駛行業正在經歷一個里程碑式的轉變。技術路線從基於規則控制的自動化駕駛，向基於大模型的端到端無圖智能駕駛切換。轉變之前的智駕團隊現在看來像是一個勞動力密集型產業，因為自動駕駛是基於感知、規劃、控制這幾個模塊實現的，除了感知涉及一些CV的應用，規劃和控制其實都是從一個個案例去設計規則並硬編碼到系統當中的。轉變之後就不需要大量實現規則的程序員了，所以今年智駕這麼火，但相關cy還不少。馬斯克曾經發過一個推文，說Tesla採用新版的FSD之後，C++代碼的行數從30萬行下降到3000行，99%的代碼消失了。端到端智駕的方案有兩個挑戰。一是數據量的挑戰，scaling law發揮到超過人類司機的水平需要巨量的數據，現在只有Tesla可能滿足這個數據量，也只有他一家是完全按照端到端模型的思路設計的。二是安全監管的挑戰，每個參數對智駕效果的影響是解釋不清的，在系統的可控和可審查方面，前期需要法律上給予較高的包容度。
一個叫lapurita的人在reddit發了“使用Claude Sonnet3.5實現10倍開發速度”的帖子。我還沒搞清楚lapurita這個人是誰，但似乎很有影響力。總之他是在講Claude Sonnet3.5用來codeing有多麼厲害，明顯優於ChatGPT4。我最近做了一個多月的技術重構，其實也是在探索“人機協作”的工作方法。哪些任務適合給大模型做，哪些適合自己做。全程用Claude協作，一次Google都沒用。這個帖子講的我感同身受，用Claude寫代碼很上癮。大模型給了我更多時間和選擇，從細碎、低價值的語法規則中跳出，讓我有更多時間思考設計、做出優化，有能力做戰略編程。我特別相信，不久的將來我們的工作方法、交付流程要變，人與人之間的競爭維度也要變，一定的。
***
之前聊過大模型對生產力的潛在影響。又過了一兩個月，大模型與編程在體驗上深度融合的好產品出現了。
**TL;DR，你必須試試cursor了。**
大模型在編碼領域的進展，關注這三個產品組合，Claude+Cursor+Vercel。現在很有可能正在跨越鴻溝，從 Early Adopters 到 Early Majority。潛在影響依然是生產力水平和競爭策略，在個人和組織上都是如此。尤其在探索類業務，“快”有時候就是致勝法寶，試錯、拿認知就是業務策略，誰最先觸達PMF，誰就能把握先發優勢。如果研發成本降低到某個臨界點，生產力水平達到新的高度，“快”這個策略就會加深，甚至在整體競爭策略上產生結構性的變化。
1. Claude3.5 Sonnet，已經完全坐實了代碼邏輯推理能力的No.1。幾乎所有優秀的AI代碼產品都在把底層大模型切到Sonnet，包括Cursor。程序員是相對昂貴的生產力，在生產力變革上，Claude選擇了他們認為槓桿率最高的領域。大模型的Early Adopters大多是程序員，主攻代碼邏輯推理能力，也能巧妙的討好開發者社區，進而影響應用層選型。印象中支付領域的Strip也是類似的競爭策略。
2. Cursor，當前最熱門的AI深度集成IDE，社區好評不斷。換裝Sonnet後，Copilot用戶很多都轉向了Cursor。下面與Copilot做個對比。Copilot是插件思路，最初設計是側重於代碼補全和建議，而不是深度參與整個編程流程。集成Copilot的IDE廠商也不會有特別的定製，所以體驗上參差不齊。再加上商業關係的捆綁，底層模型無法切換到Claude。Cursor是IDE思路，是一個魔改後的VS Code。在界面和交互體驗上做了很多深度優化，更符合開發者的直覺。想讓大模型發揮更大效用，就要讓它更懂你的項目，Cursor在處理項目整體上下文的能力上恰恰有很大優勢。Cursor之外，Claude新提供了一個命令行工具，Claud Engineer。提供更直接的文件系統操作和腳本執行能力，還能web搜索，在某些場景比IDE更方便。
3. Vercel v0，最近熱度很高的代碼生成工具，可以生成用戶界面和代碼，支持TS、React、Next.js等技術棧。熱的原因是，生成的代碼越來越接近生產標準了，或者說是程序員可接續編程的代碼。Claude其實也有對應功能，叫Artifact，也能生成用戶界面與代碼。相比之下，Vercel v0更加接近這個領域的完全體。Vercel這個公司在前端領域扮演的角色越來越重要了。Next.js、Turbopack都是Vercel的，Vercel也不單關注提供單一的工具或框架，而是構建了一個生態系統，涵蓋了從開發構建到部署運維的前端應用生命週期的各個方面。事實上，Vercel定位就是一個前端基礎設施雲廠商，靠雲服務賺錢。在AI應用方面也有很多進展，利用AI技術來簡化和加速開發流程。除了v0，還有一個AI SDK，用於構建基於AI Web應用的TypeScript庫。
***
今年整理迭代了一下信源的整體質量，對信息分發有所感觸。
互聯網的信息分發經歷過門戶、搜索、訂閱、推薦四個階段，分發效率遞增。
從訂閱到推薦的一個標誌性的事件是十年前Google把Google Reader關停。Google Reader是一個RSS閱讀器，RSS訂閱需要用戶有較強的信息組織能力，需要不斷的整理和控制RSS源，註定只能滿足一小部分人的資訊訴求。隨後國內外都進入到機器推薦的內容消費時代。
現有的推薦機制不能實現信源質量的躍遷，好的信源還是要靠比較傳統的方式搜尋。與十年前相比，信息繭房所帶來的不對稱問題，不知道讓人變得更加開放還是更加狹隘。信息孤島帶來了更加嚴峻的信源管理上的挑戰，因為很多信源不直接提供訂閱，而是分散在各個平臺的"關注"。國外還能看到一些newsletter、RSS訂閱，像substack這樣的平臺也允許讀者與作者直接交互，它只提供技術和服務。但類似這樣的信息分發並不是主流。
LLM正在對信息分發產生規模化影響，催生下一個階段的到來。不知道接下來會發生什麼。可能隨著LLM下沉到操作系統層，會解構現有平臺的分發邏輯。可能隨著數據資產化的發展，大家以後都在給AI供稿。
分享一個最近體驗中的App叫Ground News。理念上我覺得一定程度可以代表未來，LLM在其中還不是決定性因素。Ground News的設計就是為了對抗信息的不對稱性，補充不同政治傾向的視角，避免滑向偏激。它對每一條新聞都有兩個維度的細拆，分別是Bias和Factuality。Bias是政治傾向，根據報道該條新聞的媒體傾向，統計出左和右的比例。如果有一條多數右翼媒體報道的新聞，經常看左翼媒體的人就需要關注，不然大概率會錯過。Factuality是真實性，Ground News不檢查每一條新聞的真實性，是根據所報道的媒體統計出一個真實性百分值，對各媒體的評價主要是基於過往報道是否有可靠的出處，對錯誤信息是否及時更正。
###