1.?OpenAI掌門人Sam Altman：AI的下一個發展階段
各種AI工具已顯現出巨大的日常應用潛力，可以實現人類的各種想法，改善人類的工作方式，比如由Stability.ai發布的開源Stable Diffusion模型，Microsoft和OpenAI聯合打造的AI編程工具Copilot，OpenAI開發的語言生成模型GPT-3和圖像生成平臺DALL-E以及爆火的聊天機器人模型ChatGPT。
肩負著宏偉使命且極富遠見的Altman就曾預言：AI即將迎來下一個發展階段。如今，大型語言模型越來越先進，也出現了可以實現文本-圖像相互轉換的多模態模型，一些AI應用還可令科學家如虎添翼。在他眼中，AI是一個可以孵化出無數工具，推動各行各業前進的基礎平臺。
(資料圖片)
鏈接：
https://mp.weixin.qq.com/s/Ek5Xyj2gg-sA8ZIepx0PKA
3. 人工智能300年：LSTM之父詳解現代AI和深度學習發展史
最近，LSTM之父Jürgen Schmidhuber梳理了17世紀以來人工智能的歷史。在這篇萬字長文中，Schmidhuber為讀者提供了一個大事年表，其中包括神經網絡、深度學習、人工智能等領域的重要事件，以及那些為AI奠定基礎的科學家們。
鏈接：
https://mp.weixin.qq.com/s/TfwA4x8dU_rMhC0fuE-xYw
4.?編程的終結
作者Matt Welsh相信“編寫程序”的傳統想法正在走向終結，事實上，除了非常專業的應用程序之外，我們所知道的大多數軟件將被經過訓練而不是編程的人工智能系統所取代。在需要“簡單”程序的情況下（畢竟，并非所有內容都需要在GPU集群上運行數千億個參數的模型），這些程序本身將由AI生成，而不是手動編碼。
鏈接：
https://mp.weixin.qq.com/s/EYWR1o-CoDTBvqgIGOl5Ww
5. ChatGPT的一小步，NLP范式轉變的一大步
在此前《ChatGPT進化的秘密》一文中，本文作者剖析了ChatGPT的技術路線圖。而在ChatGPT發布前，作者詳細介紹了大模型的突現能力、以及它在NLP/ML任務中的潛在優勢，以此來探討大模型所帶來的“潛在的”范式轉變。顯然，后來ChatGPT所展現出的強大能力，將這種轉變的步伐扎實地推進了一大步。
鏈接：
https://mp.weixin.qq.com/s/g_zKgURavorkvS7FoOVg3g
6. 熱議：2023年AI系統方向會有哪些新的進展？
2023年，討論新的一年AI系統方向會有哪些新的進展，包括硬件、軟件，模型優化、系統優化，單設備優化、scale-out優化。
@齊俊：AI System很大程度上是由AI workload來推動向前發展的，講一個發展方向：提高被集成的能力。
@楊軍：關注了最近非常hot的ChatGPT，除了了解從模型角度這個技術所能帶來的增益，以及其背后的技術淵源，也在結合自己的從業角度思考支撐這類模型技術演化以及更進一步支撐未來AI領域模型演化，會對AI系統提出哪些要求。
鏈接：
https://www.zhihu.com/question/576114739/answer/2826097569
7.?對比PyTorch、TensorFlow、JAX、Theano，我發現都在關注兩大問題
最近，作者在處理 PyTorch 分布式和 TorchRec 相關的工作，為此，他開始學習 PyTorch 2.0。在業余時間，我也在跟著Alpa作者學習JAX和XLA。
如今回顧這些技術，他發現它們的關注點似乎都是如下兩個問題：1. 包含自動求導和并行在內的函數轉換，例如 vmap, pmap 和 pjit 等；2.異構計算，CPU 負責控制流，GPU/TPU 負責張量計算和集合通信。
鏈接：
https://mp.weixin.qq.com/s/BfgirrHFDNpTxbhCz1qqlg
8.?如何看待PyTorch 2.0（TorchDynamo）？
Graph capture把用戶Python寫的模型代碼變成graph，是一切編譯的根基。而PyTorch在試了這么多方案之后似乎已經鎖定TorchDynamo作為graph capture的未來方向了，所以寫一點關于 TorchDynamo 的內容，主要是解釋到底為什么要做這個東西。
鏈接：
https://mp.weixin.qq.com/s/VM3tPbmxHVOBWDvoo2U4hQ
9.?TorchDynamo初探：Python ByteCode的動態修改
本文對 Python 的執行和 TorchDynamo 的主要原理做了初探，主要是自定義 Eval Frame 的實現技巧。其它相關的 Python ByteCode 標準，ByteCode 到 FX Graph 的轉換，ByteCode 的改寫等內容還沒涉及。
鏈接：
https://mp.weixin.qq.com/s/6eK9wtUU_jpuJTWfXdW6xg
10.?聊聊 PyTorch 2.0（Inductor）
年末在疫情的籠罩下，人工智能領域發布了不少新進展。最火的當然是 AIGC(ChatGPT, Diffusion Models)，不過PyTorch 2.0也賺足了眼球。
借此機會來聊聊PyTorch 2.0里面大家比較關注但是還沒有足夠重視的部分TorchInductor：Inductor 的進展速度不容小覷，它僅在計劃發布后短短的幾個月便在 huggingface, timm_models, torchbench 等諸多模型上面取得1.6~2.2倍的加速(Nv A100 GPU)。那么Inductor取得高效迭代和性能收益依靠的是什么？
鏈接：
https://zhuanlan.zhihu.com/p/595996564
11.?如何寫一個深度學習編譯器？
編譯器本質上是一種提高開發效率的工具，將高級語言轉換為低級語言（通常是二進制機器碼），使得程序員不需要徒手寫二進制。轉換過程中，首要任務是保證正確性，同時需要進行優化以提升程序的運行效率。
傳統意義上的編譯器的輸入通常是某種高級語言，輸出是可執行程序。在實際工作中接觸到了深度學習編譯器開發，其設計思想與傳統編譯器非常類似，所以本文以深度學習編譯器的開發、結合我們實際開發的深度學習編譯器MegCC為例，來說明如何寫一個編譯器。
鏈接：
https://zhuanlan.zhihu.com/p/594619136
12.?GPGPU架構，編譯器和運行時
鏈接：
https://zhuanlan.zhihu.com/p/592975749
13.?CUDA筆記（二）：解析OneFlow BatchNorm相關算子實現
在CUDA優化中常見的一個技巧是，將一些ElementWise的算子融合到之前的計算密集型算子如卷積、矩陣乘等。在OneFlow中，針對上述兩種情況并且cudnn無法fuse時分別進行了fuse和優化，本篇文章就來解析一下這里的代碼實現，體會其中的CUDA優化技巧。
鏈接：
https://mp.weixin.qq.com/s/NbSs8Rxu3-CebJpoHN_D_w
14.?YOLOv5全面解析教程②：如何制作訓練效果更好的數據集
本文主要介紹 One-YOLOv5 使用的數據集格式以及如何制作一個可以獲得更好訓練效果的數據集。
鏈接：
https://mp.weixin.qq.com/s/t4Ppf2qokpClRwCN52zF-g
15.?1月12日直播｜機器之心“科技年會”之AIGC技術應用論壇
作為內容生產效率工具，AIGC 將在各領域各場景催生怎樣的范式變化？進入商業化階段，圖文多模態大模型的技術能力邊界及未來發展可能？作為 AI 基礎設施的預訓練模型，及其安全可控、開源普惠……1 月 12 日，「AIGC 技術應用論壇」將深入分享 AIGC 相關技術最新進展，以及領域企業前沿實踐。「AIGC 技術應用論壇」全日程已正式公布。鏈接：
https://mp.weixin.qq.com/s/8d_ANUSe5CvLUb7r67lIow
其他人都在看
OneFlow源碼解析：靜態圖與運行時
ChatGPT的一小步，NLP范式轉變的一大步
2023年AI十大展望：GPT-4領銜大模型變革
李白：你的模型權重很不錯，可惜被我沒收了
OpenAI掌門Sam Altman：AI下一個發展階段
比快更快，開源Stable Diffusion刷新作圖速度
OneEmbedding:單卡訓練TB級推薦模型不是夢
關鍵詞：
營業執照公示信息