1. 2023年AI十大展望：GPT-4領銜大模型變革，谷歌拉響警報，訓練數據告急

新年伊始，大模型的話題熱度不減。ChatGPT展現的驚人能力將大模型研究和應用熱度推向高潮，人們激烈討論著這個高級“物種”的推出意味著什么。

本文作者Rob Toews發布了2023年AI發展的十大預測，整體來看，大部分預測都離不開“大模型”這個關鍵詞，具體分析也有其道理。當然，其中的文生圖、人形機器人等領域的發展也舉足輕重。2023，讓我們拭目以待。

(相關資料圖)

鏈接：

https://mp.weixin.qq.com/s/E_v7k_VlbHA8of8smlqikQ

2. 機器之心的進化 / 理解AI驅動的軟件2.0智能革命

本文將帶你領略一次人工智能領域波瀾壯闊的發展史，從關鍵人物推動的學術進展、算法和理念的涌現、公司和產品的進步、還有腦科學對神經網絡的迭代影響，這四個維度來深刻理解“機器之心的進化”。先忘掉那些花里胡哨的圖片生產應用，我們一起來學點接近AI本質的東西。

鏈接：

https://mp.weixin.qq.com/s/5s1hLaXnWVPSuElkGMhXxw

3. AGI的孤勇者，傳奇工程師John Carmack：驚訝看不到如我這樣的人

AGI是人工智能的圣杯，這位達拉斯最著名的科技奇才對AGI的追求就好比是百年難遇的登月行動。在這場針對AGI的角逐當中，參與方還有來自科學家、學者和大型科技公司的“群體思維（groupthink）”的獨立競爭，他們也在積極尋求解決方案。

去年8月，Carmack宣布，他的AGI初創公司Keen Technologies在新一輪融資中從多個知名投資者手中籌集了2000萬美元。2022年12月，卡馬克辭去了Meta虛擬現實部門的領導職務，全身心投入AGI研發。

鏈接：

https://mp.weixin.qq.com/s/MMfWc6ss8w8QgnC_-cUnwg

4. OpenAI掌門人Sam Altman的成功學

如今，已成為OpenAI CEO的Sam Altman是全球范圍內當之無愧的科技領軍人物。在離任YC總裁的那一年，曾與無數創業者和技術人才交流過的Sam Altman發表了一篇博客，總結了他眼中獲得成功所要具備的13個特質，如果你渴求成功，或者至少希望自己變得優秀，這篇博客對你的個人成長將有所啟發。如果你恰好在職業生涯早期就看過，無疑是幸運的。

鏈接：

https://mp.weixin.qq.com/s/AHEbDPSCUEvRrdq9zn5YmQ

5. ChatGPT，和聰明地設計Infra

作者主要有四個觀點：ChatGPT并不是黑科技，是持續開放科研的產物；ChatGPT是工程、產品的勝利；ChatGPT不會讓人失業，反而會帶來更多的機會；Infrastructure 會是這一場仗當中的贏家，但是要聰明地設計Infra。

鏈接：

https://mp.weixin.qq.com/s/oM0V0MymMbanJddzABYDDQ

6. Open Assistant：LAION發起開源ChatGPT項目

ChatGPT的效果驚人，但不開源。顯然開源社區有人憋不住了。LAION（代表作是赫赫有名的數據集LAION-5B）的組織者Christoph Schuhmann與Yannic Kilcher（AI圈知名的YouTube大V）一通視頻電話，就啟動了項目，很快項目的Discord討論組就進了很多人，無比活躍起來。最開始項目名稱是open-chat-gpt，大約一周后改為Open Assistant。

鏈接：

https://hub.baai.ac.cn/view/22872

7. 國內開發者發起ChatRWKV項目，做開源ChatGPT

ChatRWKV 類似于 ChatGPT，但由RWKV（100% RNN）語言模型提供支持，這是目前唯一可以在質量和縮放方面與 Transformer 相媲美的 RNN，同時速度更快并節省 VRAM。

鏈接：

https://zhuanlan.zhihu.com/p/603840957

8. 通向AGI之路：大型語言模型（LLM）技術精要

ChatGPT出現后驚喜或驚醒了很多人。驚喜是因為沒想到大型語言模型（Large Language Model）效果能好成這樣；驚醒是頓悟到我們對LLM的認知及發展理念，距離世界最先進的想法，差得有點遠。作者稱，作為既驚喜又驚醒的那一批，也是典型的中國人，中國人善于自我反思，于是開始反思，而這篇文章正是反思的結果。

鏈接：

https://mp.weixin.qq.com/s/eMrv15yOO0oYQ-o-wiuSyw

9. Jeff Dean發推：谷歌年終總結「第三彈」，大力發展Jax

隨著算法和硬件越來越復雜，以及運行規模越來越大，執行日常任務所需的軟件的復雜性也在不斷增加。

在這篇文章中，研究人員概述了過去一年整個谷歌在ML系統方面取得的眾多進展，這些進展使谷歌能夠支持復雜模型的服務和訓練，同時減輕了終端用戶的實施復雜性。同時，這篇文章還提到了谷歌如何利用ML本身來改進和設計下一代系統堆棧的研究。

鏈接：

https://mp.weixin.qq.com/s/TVMYYPK_Ct_dEROzrBnZvg

10. 和TensorFlow一樣，英偉達CUDA的壟斷格局將被打破？

谷歌早期在機器學習模型架構、訓練、模型優化方面都具有很大優勢，但現在卻難以充分發揮這些優勢。而在硬件方面，其他 AI 硬件公司很難削弱英偉達的統治地位。直到 PyTorch 2.0 和 OpenAI Triton 出現，機器學習模型的默認軟件堆棧將不再是英偉達的閉源 CUDA。

鏈接：

https://mp.weixin.qq.com/s/dGpf6DOyaozMwpOtp8vS-g

11. OneFlow v0.9.0正式發布

本次更新包含 640 個 commit，完整更新列表請查看鏈接：https://github.com/Oneflow-Inc/oneflow/releases/tag/v0.9.0，歡迎下載體驗新版本，期待你的反饋。OneFlow v0.9.0?主要包括9大新增亮點功能和優化。

鏈接：

https://mp.weixin.qq.com/s/8Vb9fIQs0vSiM5_0M3SaGg

12. GLM國產大模型訓練加速：性能最高提升3倍，顯存節省1/3，低成本上手

OneFlow近期將原始的 GLM 項目移植到了使用 OneFlow 后端進行訓練的 One-GLM 項目。得益于 OneFlow 和 PyTorch 無縫兼容性，我們快速且平滑地移植了 GLM，并成功跑通了預訓練任務（訓練 GLM-large）。

此外，由于 OneFlow 原生支持 DeepSpeed 和 Apex 的很多功能和優化技術，用戶不再需要這些插件就可訓練 GLM 等大模型。更重要的是，針對當前 OneFlow 移植的 GLM 模型，在簡單調優后就能在性能以及顯存占用上有大幅提升。

鏈接：

https://mp.weixin.qq.com/s/dkTGXuJV38KuLb4_LmM20Q

13. A16Z：生成式AI平臺，誰主沉浮？

不像許多熱門的技術趨勢在市場跟上其步伐前就被過度炒作了，生成式AI的熱潮卻伴隨著極高的市場歡迎度以及真實的市場收益。如Stable Diffusion和ChatGPT的模型們正在創造用戶增長的歷史記錄，一些應用在發布不到一年的時間里就實現了1億美元的年營收。

對照表明，AI模型在某些任務上的表現優于人類好幾個數量級。已有足夠的早期數據表明范式轉移正在發生。

鏈接：

https://mp.weixin.qq.com/s/bh5uw06IzTCO9jQBa-rlfQ

14. 35張圖，直觀理解Stable Diffusion

Stable Diffusion用途多樣，是一款多功能模型。首先它可以根據文本生成圖像(text2img)。上圖是從文本輸入到圖像生成的示例。除此之外，我們還可以使用Stable Diffusion來替換、更改圖像（這時我們需要同時輸入文本和圖像）。

本文介紹了Stable Diffusion的內部結構，了解內部結構可以讓我們更好地理解Stable Diffusion的組成、各組成部分的交互方式、以及各種圖像生成選項/參數的含義。

鏈接：

https://mp.weixin.qq.com/s/8C2RqYrHZTpFFzaHIbPhRw

15. “零”代碼改動，靜態編譯讓太乙Stable Diffusion推理速度翻倍

近期，OneFlow 團隊為太乙 Stable Diffusion 適配了 OneFlow 后端，大大提升了推理性能，也可以做到一秒出圖。不少開發者好奇OneFlow使用了哪些優化“秘笈”，后文將進行簡要解讀。

鏈接：

https://mp.weixin.qq.com/s/XaR1W8yKPYxN5PR1RPMepA

16. “一鍵”模型遷移，性能翻倍，多語言AltDiffusion推理速度超快

由于目前大部分團隊主要是基于翻譯 API + 英文 Stable Diffusion 模型進行開發，所以在使用中文獨特的敘事和表達時，英文版模型就很難給出正確匹配的圖片內容，這對部分國內用戶來說不太方便。

為此，智源研究院出品了首個支持 9 種語言的 AltDiffusion。近期，OneFlow 團隊為其適配了 OneFlow 后端，大大提升了推理性能，也可以做到一秒出圖。

鏈接：

https://mp.weixin.qq.com/s/whJlFifyzcCAX5DqA7hA_A

17. Runway發布視頻生成器GEN-1，結果比Stable Diffusion 1.5提升73.83%，比Text2Live提升88.24%

Runway成立于2018年，是一家AI視頻編輯軟件提供商，主要為設計師、藝術家和開發人員提供一系列的工具和平臺，產品是幫助專業人士生成各種內容。其發布的GEN-1可通過將圖像或文本提示符的組成和樣式應用到源視頻的結構上，實際地并始終如一地合成新視頻，演示效果驚人。GEN-1目前仍處于內測階段。

鏈接：

https://hub.baai.ac.cn/view/23978

其他人都在看

ChatGPT背后的經濟賬

OneFlow v0.9.0正式發布

Sam Altman的成功學｜升維指南

比快更快，開源Stable Diffusion刷新作圖速度

OneEmbedding:單卡訓練TB級推薦模型不是夢

GLM訓練加速：性能最高提升3倍，顯存節省1/3

“一鍵”模型遷移，性能翻倍，多語言AltDiffusion推理速度超快

歡迎Star、試用OneFlow最新版本：https://github.com/Oneflow-Inc/oneflow/https://github.com/Oneflow-Inc/oneflow/

關鍵詞： 智能革命