两个值得长期追的 AI 科研博客
科研博客和 X 上的快讯流不是一类东西。快讯适合知道"最近又出了什么",博客适合看"一个人怎么把问题想明白、怎么把材料组织起来"。如果你想追研究脉络、阅读路径和论证过程,博客更适合长期放进书签栏。
这里选的两个站点,风格差异很明显。hellojialee.github.io 更偏"研究训练营":课程、工具、PyTorch 经验、组内学习建议混在一起,适合刚进入实验室或刚准备转向 AI 研究的人。jiaxuanzou0714.github.io 更偏"理论研究笔记":主题集中在 mechanistic interpretability、optimization、scaling law 和 μP 相关问题,适合已经能读一些论文、想看作者如何推导和串联问题的人。
科研博客的价值
社交媒体的信息更新快,但结构通常很薄。你看到的是标题、截图、几句观点,真正关键的推理过程往往没有展开。科研博客的价值恰好在这里:
- 站点本身就是作者的长期目录,能看出研究兴趣怎么变化;
- 单篇文章更容易保留前提、定义、引用和推导顺序;
- 同一作者的多篇文章放在一起读,能看到问题是如何一步步收束的;
- 你可以据此建立自己的阅读顺序,不至于一直跟着信息流跑。
所以这篇不做"大神推荐榜",只做逐站介绍:这个站从哪篇开始读,能读到什么,分别对应什么阅读阶段。
一、Jia's Blog:从入门、工程到科研习惯放在同一处
博客:https://hellojialee.github.io/
About:https://hellojialee.github.io/about/
Archives:https://hellojialee.github.io/archives/
GitHub:https://github.com/hellojialee
Scholar:https://scholar.google.com/citations?user=LVAnDxwAAAAJ
作者主页:http://faculty.hfut.edu.cn/lijia/zh_CN/index.htm
站点背景
这个站点的作者是 Dr. Jia Li(李佳)。公开 About 页写得很完整:她目前是合肥工业大学副教授,研究兴趣包括 multimodal affective computing、computer vision 和 embodied intelligence。站点本身不大,但结构很清楚,有 About、Tags、Categories、Archives 几个入口。按归档页和分类页来看,文章总量不算多,却覆盖了学习、科研、软件工具等几个很实用的维度。
这个博客最有价值的地方,在于作者把带学生、做实验、配环境、整理工具的经验都放进了同一个地方。很多学术主页只看得到论文列表,这里能看到更贴近真实训练过程的内容。
阅读建议
如果你是下面这几类人,这个站会很顺手:
- 刚准备进组,想知道深度学习和视觉方向该怎么起步;
- 已经开始跑 PyTorch,但经常卡在环境、训练细节、分布式配置;
- 想看一个老师会怎么把课程、工具链和科研习惯连在一起讲。
站内分类里有 学习、科研、软件工具,说明作者写博客时把"研究"和"做事方法"放在了一起。它适合阶段性补课,不是每天刷新一次的站点。
代表文章
1. 深度学习、计算机视觉入门和技能经验
博客:https://hellojialee.github.io/2023/10/12/Tutorial4DL%26CV/
这是最适合作为入口的一篇。它像一封写给组内新同学的长邮件,把课程、工具、服务器连接、文献管理、代码助手、科研习惯都串起来了。对已经在实验室里的人来说,这篇文章的价值不只是"推荐了哪些资源",更在于它给出了一条导师视角下的起步顺序:补公开课、搭环境、学会读文献和跑实验,然后再谈 idea。
如果你最近正处在"东西看了不少,但顺序很乱"的阶段,这篇比单独一份资源表更有用。
2. Pytorch实用指南
博客:https://hellojialee.github.io/2020/05/28/Pytorch实用指南/
这一篇明显偏工程。它把训练和建模里常遇到的细节问题集中整理出来,不走从零入门那条线。这类文章可以当随查手册,不必从头背到尾;写模型、改 loss、看梯度、排查奇怪行为时回来翻,会很顺手。
很多研究博客只讲思路,不讲代码层的手感;这篇刚好补了那一块。
3. 一个 Pytorch 训练实践 (分布式训练+半精度or混合精度训练)
博客:https://hellojialee.github.io/2020/01/27/一个 Pytorch 训练实践 (分布式训练 %2B 半精度_混合精度训练)/
这篇能看出作者是按真实实验流程在写:单卡、多卡、分布式训练、Apex、混合精度,一路往前推。它很适合给"已经能跑单机脚本,准备把实验正式搬到服务器"的读者看。
如果你只收藏一篇实践向文章,我会优先留这篇,因为它离"研究中的工程现实"更近。
4. 多模态数据预处理速通
博客:https://hellojialee.github.io/2023/10/11/Tutorial4A%26T/
这篇根据归档页标题和站点整体主题保留。它和作者在 About 页写明的 multimodal affective computing 方向直接相关。对做多模态任务的人来说,数据预处理往往比模型结构更早决定项目能不能推进;所以即便你暂时还没切到这个方向,也值得记住这篇入口。
读完之后你会得到什么
这个站可以当成"研究训练营资料夹"。你不一定会连续追更,但很适合在几个节点反复回来:刚入门时看起步顺序,开始跑实验时看 PyTorch 和训练实践,转向多模态时再看相关内容。它给人的帮助很具体,主要集中在"研究是怎么做起来的"。
二、Jiaxuan's Blog:把理论问题拆开,再一篇篇接回去
博客:https://jiaxuanzou0714.github.io/
Blog:https://jiaxuanzou0714.github.io/blog/
Publications:https://jiaxuanzou0714.github.io/publications/
官网:https://jiaxuanzou0714.github.io/autobiography/
站点背景
这个站点作者是 Jiaxuan Zou(邹嘉轩)。公开主页写得很直接:他是西安交通大学数学与统计专业本科生,同时在中国人民大学高瓴人工智能学院做研究实习。研究重点放在 mechanistic interpretability、deep learning theory、optimization 和 scaling laws。
和前一个博客相比,这个站点的主题收得更窄。首页和博客页都在强调 long-form notes,标签也集中在 optimizer、muP、tensor-programs、feature-learning、deep-learning 这些关键词上。核心内容始终围绕几个问题持续展开。
阅读建议
如果你已经能接受下面这些阅读场景,这个站点会更对路:
- 想知道一篇理论笔记是怎么从问题、定义、推导一路写到参考文献的;
- 对 μP、Tensor Programs、优化器、scaling law 这类问题有明确兴趣;
- 不满足于只看论文摘要,想看作者怎么把几篇论文重新组织成自己的理解。
它不适合作为"每天刷一篇"的轻量博客,可以把它当成一套逐步扩写的研究笔记库。读的时候最好顺着站内已有导航走,不要随机点开。
代表文章
1. μP Map
博客:https://jiaxuanzou0714.github.io/blog/2026/mup-map/
如果你第一次进这个站,可以从这篇开始。它本身就是一篇导航文,把 μP 相关博客整理成几条阅读路线:背景问题、Tensor Programs 路线、球面动力学路线、Hyperball 扩展和范数估计补充。好的地方在于,它不只列链接,还解释每篇在整条链里解决什么问题。
这类文章最能看出作者是不是在长期经营同一个问题。从这篇可以明显看出,作者在维护一个逐步成形的专题目录,不是零散地记几篇笔记。
2. 在 LLM 语境下,梯度里的噪声会如何影响 training dynamics?
博客:https://jiaxuanzou0714.github.io/blog/2026/llm-gradient-noise-training-dynamics/
这一篇很能代表他的写法:立问题、给数学建模、往下推导,再补数值验证和参考文献。你即便暂时不关心归一化优化器,也能看出作者是在用博客承接研究表达,不是随手摘几段观点。
对想练习"怎么把一篇论文问题重新讲一遍"的读者,这篇很值得细看。
3. 并行性与表达能力的权衡:从 / 到 Linear Attention 的理论边界
博客:https://jiaxuanzou0714.github.io/blog/2026/parallel-expressiveness-tradeoff-linear-attention/
这篇很适合看作者怎么处理跨主题问题:Transformer、CoT、linear attention、电路复杂度,原本是几条不短的线,他把它们收进同一个论证框架里,最后落到"并行性与表达能力的 trade-off"上。
如果你对理论文章常见的写法还不熟,这篇可以当范例:它把问题拆开,再把结论一层层接回去,没有故作玄虚。
4. Tensor Programs (二):从Tensor Programs到 μP
博客:https://jiaxuanzou0714.github.io/blog/2026/tensor-programs-mup-intuition/
这一篇适合已经读过一些 μP 相关文章的人。它把 Tensor Programs、LLN、CLT 和学习率缩放的关系拆得很细,也顺手告诉读者哪篇该先读。这个博客有个很实用的特点:作者很愿意写"阅读顺序",不会默认读者已经知道上下文。
对长期追博客的人来说,这种自带索引感的写法很省时间。
读这个站时该有的预期
这个站点不适合当新闻源。更新一篇的成本明显更高,所以你更应该把它当作"专题进展记录"。一旦它更新了,往往值得完整读完;但它不会替你覆盖整个 AI 研究面。它适合的是少量、深读、做笔记。
怎么把这类博客真正用起来
只收藏链接还不够,最好配一套稳定的阅读方式:
- 用 RSS 或浏览器书签文件夹订阅:这样你不会被社交平台算法决定看到什么。
- 按主题记笔记,不按日期记笔记:比如单独建
优化、μP、多模态预处理这些页,把不同博客的文章放进同一个主题下。 - 把代表文章和论文管理工具连起来:如果文章里引用了 arXiv、会议论文或作者自己的论文,顺手存进 Zotero、Paperpile 或你在用的文献管理器。
- 保留一层自己的阅读备注:哪怕只写三句话,记下"这篇解决什么问题、我没看懂哪一段、下次该接着看什么",以后回访会轻松很多。
放进收藏夹之后
这类博客适合长期跟,不适合当每日新闻源。你从它们得到的,更多是"某个人在一段时间里持续追一个问题时,会留下什么样的思考轨迹",而不是当天的信息流。
如果你正想从信息流里退一步,换一种更稳的输入方式,这两个站可以先放进收藏夹。一个帮你把研究训练的地基铺平,一个帮你看清理论问题是怎么被拆开再重组的。