跳到正文
01学习入口
MIT MAS.S60 · Spring 2025

How to AI (Almost) Anything

把 AI 接入真实世界的多模态、多感官与交互系统

从数据模态到基础模型,从跨模态对齐到生成式 AI
系统梳理 MIT 课程的全部核心内容,适合中文学习者

27个学习节点
5大模块
32精选导读
85+官方文献
📊 学习进度总览
0/23
可追踪节点
0/32
精选阅读
课程完成度 0%
学习进度 0%

02选择你的学习模式

找到最适合你的入口,跟随推荐路径高效学习

🧭

快速通识模式

适合:想快速理解多模态 AI 与真实世界 AI 系统的人

只看每节课一句话 / 核心概念 / 概念图 / 术语表

预计产出 一张 How2AI 全局知识地图
选择此模式
📖

论文精读模式

适合:想训练论文阅读、选题、综述能力的人

每周选择 1–2 篇精选论文,用七角色论文读法拆解

预计产出 若干篇七角色论文阅读笔记
选择此模式
🚀

项目实战模式

适合:想做 demo、proposal 或 paper prototype 的人

跟随 Proposal / Midterm / Ablation / Final Report 节奏推进

预计产出 一个可展示的多模态 AI 原型或研究项目草案
选择此模式

03这门课不是什么?

这门课不是:

  • ✗ 不是从零教机器学习数学推导
  • ✗ 不是 Transformer 编程课
  • ✗ 不是只讲 ChatGPT 或 LLM
  • ✗ 不是单纯的论文阅读课
  • ✗ 不是模型 API 使用教程

这门课真正训练的是:

  • ✓ 面对一种新模态,如何定义数据
  • ✓ 如何选择或改造架构
  • ✓ 如何设计训练目标
  • ✓ 如何评估跨模态能力
  • ✓ 如何把模型部署到真实交互场景
  • ✓ 如何把 lecture、reading、discussion 和 project 连接成研究能力

04课程节点

共 15 周,覆盖 lecture / discussion / project / special 等 27 个学习节点

05五步学习法

从零开始建立多模态 AI 思维——五步把任意模态接入 AI 系统

Step 1
🔬
理解模态
明确目标模态的数据结构、采集方式、语义粒度,以及它要解决的核心问题。
对应:Lec 2 Data / Lec 3 Models
→
Step 2
📊
建立数据视角
从数据出发理解 AI:数据获取、标注策略、存储格式、预处理流程。
对应:Lec 2 Data
→
Step 3
🏗️
选择架构
编码器-解码器架构、多模态 Transformer、扩散模型、视觉语言模型…如何选?
对应:Lec 3 Models / Lec 7–9
→
Step 4
⚡
训练与评估
对比学习、CLIP 训练、扩散训练、RLHF/DPO,以及多模态 benchmark 设计。
对应:Lec 4–6 / Lec 10
→
Step 5
🚀
部署到真实交互
交互策略设计、实时推理优化、安全性校准、人机协作边界。
对应:Lec 10–11 / Project

06课程详情

🎯 导论 🏗️ 基础 🔗 多模态 🧠 大模型 🤝 交互 💬 讨论 🚀 项目

07多模态 AI 概念地图

理解多模态 AI 的核心维度:异质性、连接、交互、融合、对齐、迁移、生成、推理、部署

多模态 AI Multimodal AI 视觉 Vision 语言 Language 音频 Audio 触觉 Touch 嗅觉 Olfaction 传感器 Sensors 医疗 Medical 音乐 Music 核心挑战 ◉ 表示 Representation ◉ 翻译 Translation ◉ 对齐 Alignment ◉ 融合 Fusion ◉ 共同学习 Co-learning 关键方法 • Transformer • Contrastive Learning • Diffusion • Flow Matching • RLHF / DPO • LoRA 基础概念 • 异质性 Heterogeneity • 等变性 Equivariance

08新模态 AI 化流程图

从数据到部署:将任何新模态引入 AI 的系统性框架(5 个维度)

数据 Data ① 模态特性分析 ② 数据收集策略 ③ 标注 vs 自监督 ④ 噪声处理 ⑤ 隐私/伦理 → 传感器/公开数据集 → 表征 Representation ① 特征提取设计 ② 模态编码器选择 ③ 对齐策略 ④ 跨模态迁移 → 表示空间统一 → 架构 Architecture ① 融合层级选择 ② Early/Late Fusion ③ Transformer适配 ④ 等变性设计 → 任务适配 → 训练 Training ① 预训练目标 ② 训练策略 ③ LoRA/全量微调 ④ 计算效率 → 模型能力 → 评估 Evaluation ① 基准测试设计 ② 人类评估 ③ 对齐质量 ④ 消融实验 → 部署上线

09论文导航

课程涉及 32 篇核心论文的精选中文导读(可按方向筛选),以及官方 Schedule 中全部 85+ 篇论文的完整阅读清单(可按模块/角色/类型筛选)

10七角色论文阅读法

同一篇论文,七种读法。点击角色卡片切换阅读视角,找到最适合你的方法。

论文 Paper Peer Reviewer 评审视角 能否中顶会? Archaeologist 考古视角 历史脉络? Academic 学术视角 新研究问题? Industry 工业视角 能落地吗? Hacker 快速原型 最小 demo? Investigator 作者路径 作者为什么选这个题?

👤 Peer Reviewer · 评审视角

核心问题:这篇论文能否通过顶会评审?

  • 创新点是否足够(Novelty)?
  • 实验是否充分、baseline 是否够强?
  • 写作是否清晰、逻辑是否严密?
  • 局限性是否诚实披露?
  • 与现有 SOTA 的差距是否明确?

适用:准备投稿、论文自检、会议投稿

🏺 Archaeologist · 考古视角

核心问题:这篇论文的历史脉络和学术谱系是什么?

  • 论文引用了哪些关键前身工作?
  • 它在批判或继承哪些方法?
  • 10 年后这项工作还有价值吗?
  • 它处于领域发展的哪个节点?

适用:Literature Review、学术史研究

🔬 Academic Researcher · 后续研究视角

核心问题:这篇论文打开了什么新的研究问题?

  • 提出一个只有在这篇论文成功后才变得可能的 follow-up project
  • 说明新的 research question
  • 说明可能的数据、方法、评估
  • 说明它和原论文的继承关系

适用:proposal、literature review、论文选题

🏭 Industry Practitioner · 工业视角

核心问题:这个技术能否用到我的产品/系统中?

  • 推理延迟和吞吐量是否满足需求?
  • 部署环境(边缘/云端)的兼容性?
  • 需要多少计算资源?
  • 开源代码质量如何?
  • 商业许可是否允许商用?

适用:产品落地、技术选型、成本评估

⚡ Hacker · 快速原型视角

核心问题:我能否在一周内做出这篇论文的最小可运行 demo?

  • 在小数据集或 toy problem 上实现论文的一小部分
  • 展示核心算法代码
  • 可以使用开源 backbone,但必须说明来源
  • 目标不是复现 SOTA,而是验证"这篇论文的关键机制是否能跑起来"

适用:快速复现、demo、课程展示、原型验证

🔍 Private Investigator · 作者路径视角

核心问题:作者为什么会想到这个题目?

  • 调查一位作者的教育、工作经历和研究脉络
  • 找出他们之前哪些项目可能导向这篇论文
  • 分析作者选择这个问题的动机
  • 如需联系作者,必须礼貌、克制、围绕学术问题

适用:研究谱系、选题动机、学术人物研究

🌍 Social Impact Assessor · 社会影响视角

核心问题:这项技术对社会有什么正面/负面影响?

  • 是否存在偏见和歧视风险?
  • 对就业市场的潜在冲击?
  • 隐私保护措施是否充分?
  • 是否可能被滥用?
  • 对弱势群体的影响?

适用:AI 伦理研究、社会影响评估、政策制定

📋 七角色论文阅读工作台

选择一篇论文,用七个角色视角深度阅读,支持笔记保存和 Markdown 导出

11Almost Anything 系列谱系

How2AI 是 MIT Media Lab「Almost Anything」家族的新成员,与 HTMAA、HTGAA 一脉相承

HTMAA How to Make (Almost) Anything 数字制造 · 物理原型 Neil Gershenfeld · MIT since 1998 +AI HTGAA How to Grow (Almost) Anything 生物技术 · 生命科学 MIT Media Lab since 2018 +AI How2AI How to AI (Almost) Anything 多模态 AI · 基础模型 Paul Liang · MIT-MI Spring 2025 共同精神 · Shared Spirit 🔬 Democratizing Science — 让每个人都能参与尖端研究 🌍 Open Knowledge — 打破学术壁垒 🚀 From Idea to Prototype — 从想法到原型

12课程研究项目时间线

15 周课程中的 4 个关键项目节点

🚀
Week 3 · 第 3 周
项目提案 Proposal
提交研究想法、motivation、方法概述,接受导师和同学反馈
📊
Week 9 · 第 9 周
中期汇报 Midterm
展示初步实验结果,获得进一步反馈,调整研究方向
🧪
Week 13–14 · 第 13–14 周
消融实验 Ablation
验证各模块的贡献,进行系统性消融实验,准备最终汇报材料
🎓
课程末期 · Final
Final Presentation
15 分钟演讲 + 5 分钟 Q&A,展示项目成果与核心发现
📝
课程末期 · Final
Final Report
提交完整研究报告或类似 research paper 的最终报告草稿

📊 研究项目进度追踪

跟随 MIT MAS.S60 项目节奏推进,可勾选并导出项目笔记

13术语表

多模态 AI 核心术语速查,支持搜索

14来源链接

所有原始课程资料和论文来源,集中索引

🎥 YouTube 播放列表

📚 Almost Anything 系列

15本中文导览如何对应原课程

✅ 保留原课程的内容

  • 每节课的原始日期、英文主题
  • 原始 slides 和 video 链接
  • 官方阅读材料清单(含所有 external resources)
  • 论文作者、年份、发表平台
  • 课程项目(Proposal / Midterm / Final)时间节点

📝 本页面的中文内容

  • 每节课的中文主题、核心问题描述
  • 3–5 个关键概念的中文解释
  • 精选论文的中文导读和学习建议
  • 适合中文母语学习者的背景补充
  • Mini exercise 和 project connection 提示

🚫 本页面不包含

  • Slides 的任何原始图片或文字页面
  • 论文 PDF 的直接下载链接
  • 逐页逐字翻译的 slides 内容
  • MIT 官方的评分标准或作业答案

📁 数据文件说明

  • course.json — 中文课程结构(27 节,含中文摘要)
  • readings.json — 32 篇精选中文导读
  • official_reading_map.json — 85 篇官方完整阅读映射
  • glossary.json — 47 个中英双语术语
  • sources.json — 36 个来源引用