Initial blog skeleton
This commit is contained in:
28
docs/about.md
Normal file
28
docs/about.md
Normal file
@@ -0,0 +1,28 @@
|
||||
# 关于
|
||||
|
||||
这个站用于沉淀科研过程中的高价值内容,主要包括:
|
||||
|
||||
- 论文总结
|
||||
- 知识点卡片
|
||||
- 专题梳理
|
||||
- 可公开分享的阶段性思考
|
||||
|
||||
## 内容组织方式
|
||||
|
||||
- **论文总结**:适合快速看懂一篇 paper
|
||||
- **知识点卡片**:适合沉淀概念、公式、模块与方法
|
||||
- **专题梳理**:适合做系统性回顾
|
||||
|
||||
## 发布原则
|
||||
|
||||
优先发布:
|
||||
|
||||
- 已公开论文的解读
|
||||
- 通用科研知识点
|
||||
- 不涉及未发表工作的整理内容
|
||||
|
||||
谨慎发布:
|
||||
|
||||
- 未发表想法
|
||||
- 组内内部实验细节
|
||||
- 含敏感信息的草稿
|
||||
41
docs/index.md
Normal file
41
docs/index.md
Normal file
@@ -0,0 +1,41 @@
|
||||
<div class="hero">
|
||||
<h1>Flower Research Notes</h1>
|
||||
<p>一个面向科研工作的轻量知识站:记录论文总结、知识点卡片与专题梳理。</p>
|
||||
</div>
|
||||
|
||||
<div class="card-grid">
|
||||
<div class="card">
|
||||
<h3><a href="papers/">论文总结</a></h3>
|
||||
<p>适合快速回顾 paper 的核心问题、方法、创新点、实验结果与个人评价。</p>
|
||||
</div>
|
||||
<div class="card">
|
||||
<h3><a href="notes/">知识点卡片</a></h3>
|
||||
<p>把论文里的概念、公式、模块和技术细节拆成可复用的小卡片。</p>
|
||||
</div>
|
||||
<div class="card">
|
||||
<h3><a href="topics/">专题梳理</a></h3>
|
||||
<p>把分散笔记串成一条知识路径,用于复习、写综述、开题和做分享。</p>
|
||||
</div>
|
||||
</div>
|
||||
|
||||
## 推荐工作流
|
||||
|
||||
1. 你发我一篇论文(PDF、arXiv 链接、标题都可以)
|
||||
2. 我产出一篇结构化总结
|
||||
3. 你确认后,我发布到 blog
|
||||
4. 如有必要,再额外提取 2~3 个知识点卡片
|
||||
|
||||
## 文章模板风格
|
||||
|
||||
这个站默认采用偏 GitHub 风格的极简排版:
|
||||
|
||||
- 白底 / 深色双主题
|
||||
- 强调可读性与检索效率
|
||||
- 适合公式、代码、论文链接和结构化总结
|
||||
|
||||
## 后续可以继续加的能力
|
||||
|
||||
- 标签与专题自动聚合
|
||||
- 论文引用信息自动解析
|
||||
- 私有草稿 / 公开文章分离
|
||||
- RSS 与站内全文搜索优化
|
||||
10
docs/notes/index.md
Normal file
10
docs/notes/index.md
Normal file
@@ -0,0 +1,10 @@
|
||||
# 知识点卡片
|
||||
|
||||
这里记录可复用、可检索的科研知识点。
|
||||
|
||||
适合写成一篇只讲一个概念的小卡片,例如:
|
||||
|
||||
- Transformer 中的多头注意力
|
||||
- 交叉熵与 KL 散度的关系
|
||||
- LoRA 的直觉解释
|
||||
- 检索增强生成(RAG)的基本结构
|
||||
40
docs/notes/transformer-attention.md
Normal file
40
docs/notes/transformer-attention.md
Normal file
@@ -0,0 +1,40 @@
|
||||
---
|
||||
title: Transformer 注意力机制
|
||||
tags:
|
||||
- transformer
|
||||
- attention
|
||||
status: published
|
||||
---
|
||||
|
||||
# Transformer 注意力机制
|
||||
|
||||
## 直觉理解
|
||||
|
||||
注意力机制的本质是:
|
||||
|
||||
> 对当前 token 来说,去所有 token 里找“与我最相关的那些信息”,再把这些信息加权汇总回来。
|
||||
|
||||
## 为什么有用
|
||||
|
||||
相比 RNN 按时间步逐步传递信息,注意力可以直接建立任意两个位置之间的联系,因此更适合建模长距离依赖。
|
||||
|
||||
## 核心公式
|
||||
|
||||
$$
|
||||
\mathrm{Attention}(Q, K, V) = \mathrm{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V
|
||||
$$
|
||||
|
||||
其中:
|
||||
|
||||
- $Q$:当前查询
|
||||
- $K$:被检索对象的键
|
||||
- $V$:被汇总对象的值
|
||||
|
||||
## 多头注意力的意义
|
||||
|
||||
多头注意力可以让模型在不同表示子空间里并行建模不同类型的关系,例如:
|
||||
|
||||
- 语法关系
|
||||
- 语义对齐
|
||||
- 长程依赖
|
||||
- 局部模式
|
||||
63
docs/papers/attention-is-all-you-need.md
Normal file
63
docs/papers/attention-is-all-you-need.md
Normal file
@@ -0,0 +1,63 @@
|
||||
---
|
||||
title: Attention Is All You Need
|
||||
authors: Ashish Vaswani et al.
|
||||
year: 2017
|
||||
venue: NeurIPS
|
||||
tags:
|
||||
- transformer
|
||||
- attention
|
||||
- sequence-modeling
|
||||
status: published
|
||||
---
|
||||
|
||||
# Attention Is All You Need
|
||||
|
||||
> [论文链接](https://arxiv.org/abs/1706.03762)
|
||||
|
||||
## 一句话总结
|
||||
|
||||
这篇论文提出了 Transformer,用纯注意力机制替代 RNN/CNN,显著提升了序列建模的并行性与性能。
|
||||
|
||||
## 研究问题
|
||||
|
||||
传统序列模型(RNN、LSTM)难以并行,而且建模长距离依赖时效率较低。作者希望找到一种更高效的序列到序列建模方式。
|
||||
|
||||
## 核心方法
|
||||
|
||||
Transformer 的核心由以下模块组成:
|
||||
|
||||
1. **Multi-Head Self-Attention**
|
||||
2. **Position-wise Feed-Forward Network**
|
||||
3. **Residual Connection + LayerNorm**
|
||||
4. **Positional Encoding**
|
||||
|
||||
注意力计算的核心公式:
|
||||
|
||||
$$
|
||||
\mathrm{Attention}(Q, K, V) = \mathrm{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V
|
||||
$$
|
||||
|
||||
## 关键创新点
|
||||
|
||||
- 用 self-attention 替代循环结构
|
||||
- 多头注意力让模型从不同子空间捕获关系
|
||||
- 编码器/解码器结构具有极强的并行性
|
||||
|
||||
## 实验结果
|
||||
|
||||
在机器翻译任务上,Transformer 达到了当时非常强的结果,同时训练速度明显快于循环模型。
|
||||
|
||||
## 优点
|
||||
|
||||
- 并行友好
|
||||
- 长程依赖建模更直接
|
||||
- 架构清晰,易扩展
|
||||
|
||||
## 局限
|
||||
|
||||
- 位置编码不是天然内生的
|
||||
- 注意力复杂度随序列长度平方增长
|
||||
|
||||
## 我的理解 / 启发
|
||||
|
||||
这篇论文最重要的意义不只是“效果更好”,而是把序列建模的主干从“递归”切换成了“基于关系的全局交互”,从而开启了后续大语言模型的主流范式。
|
||||
16
docs/papers/index.md
Normal file
16
docs/papers/index.md
Normal file
@@ -0,0 +1,16 @@
|
||||
# 论文总结
|
||||
|
||||
这里汇总结构化的论文阅读笔记。
|
||||
|
||||
## 建议模板
|
||||
|
||||
每篇论文尽量包含以下部分:
|
||||
|
||||
- 论文信息
|
||||
- 一句话总结
|
||||
- 研究问题
|
||||
- 核心方法
|
||||
- 关键创新点
|
||||
- 实验结果
|
||||
- 优点与局限
|
||||
- 我的理解/启发
|
||||
88
docs/stylesheets/extra.css
Normal file
88
docs/stylesheets/extra.css
Normal file
@@ -0,0 +1,88 @@
|
||||
:root {
|
||||
--md-primary-fg-color: #ffffff;
|
||||
--md-primary-fg-color--light: #ffffff;
|
||||
--md-primary-fg-color--dark: #f3f4f6;
|
||||
}
|
||||
|
||||
[data-md-color-scheme="default"] {
|
||||
--md-default-bg-color: #ffffff;
|
||||
--md-default-fg-color: #24292f;
|
||||
--md-typeset-a-color: #0969da;
|
||||
--md-accent-fg-color: #0969da;
|
||||
--md-code-bg-color: #f6f8fa;
|
||||
--md-default-fg-color--light: #57606a;
|
||||
--md-default-fg-color--lighter: #6e7781;
|
||||
}
|
||||
|
||||
[data-md-color-scheme="slate"] {
|
||||
--md-default-bg-color: #0d1117;
|
||||
--md-default-fg-color: #e6edf3;
|
||||
--md-typeset-a-color: #58a6ff;
|
||||
--md-accent-fg-color: #58a6ff;
|
||||
--md-code-bg-color: #161b22;
|
||||
}
|
||||
|
||||
.md-header {
|
||||
box-shadow: none;
|
||||
border-bottom: 1px solid rgba(0,0,0,.08);
|
||||
}
|
||||
|
||||
[data-md-color-scheme="slate"] .md-header {
|
||||
border-bottom: 1px solid rgba(255,255,255,.08);
|
||||
}
|
||||
|
||||
.md-typeset h1, .md-typeset h2, .md-typeset h3 {
|
||||
font-weight: 700;
|
||||
letter-spacing: -0.02em;
|
||||
}
|
||||
|
||||
.md-typeset .admonition,
|
||||
.md-typeset details {
|
||||
border-radius: 10px;
|
||||
}
|
||||
|
||||
.md-typeset code {
|
||||
border-radius: 6px;
|
||||
}
|
||||
|
||||
.hero {
|
||||
padding: 1.5rem 0 1rem;
|
||||
}
|
||||
|
||||
.hero h1 {
|
||||
margin-bottom: 0.4rem;
|
||||
}
|
||||
|
||||
.hero p {
|
||||
color: var(--md-default-fg-color--light);
|
||||
font-size: 1.05rem;
|
||||
}
|
||||
|
||||
.card-grid {
|
||||
display: grid;
|
||||
grid-template-columns: repeat(auto-fit, minmax(220px, 1fr));
|
||||
gap: 1rem;
|
||||
margin: 1.2rem 0 1.8rem;
|
||||
}
|
||||
|
||||
.card {
|
||||
padding: 1rem 1rem 0.8rem;
|
||||
border: 1px solid rgba(0,0,0,.08);
|
||||
border-radius: 12px;
|
||||
background: rgba(255,255,255,.55);
|
||||
}
|
||||
|
||||
[data-md-color-scheme="slate"] .card {
|
||||
border: 1px solid rgba(255,255,255,.08);
|
||||
background: rgba(255,255,255,.02);
|
||||
}
|
||||
|
||||
.card h3 {
|
||||
margin-top: 0;
|
||||
margin-bottom: 0.35rem;
|
||||
}
|
||||
|
||||
.card p {
|
||||
margin-top: 0;
|
||||
color: var(--md-default-fg-color--light);
|
||||
}
|
||||
11
docs/topics/index.md
Normal file
11
docs/topics/index.md
Normal file
@@ -0,0 +1,11 @@
|
||||
# 专题
|
||||
|
||||
专题页用于把分散的论文笔记与知识点卡片组织成知识地图。
|
||||
|
||||
例如:
|
||||
|
||||
- 大语言模型
|
||||
- 强化学习
|
||||
- 多模态
|
||||
- 图机器学习
|
||||
- AI for Science
|
||||
18
docs/topics/llm.md
Normal file
18
docs/topics/llm.md
Normal file
@@ -0,0 +1,18 @@
|
||||
# 大语言模型
|
||||
|
||||
这个专题页用于组织与 LLM 相关的论文、知识点和方法梳理。
|
||||
|
||||
## 可纳入的内容
|
||||
|
||||
- Transformer 基础
|
||||
- 预训练目标
|
||||
- 指令微调
|
||||
- 对齐训练
|
||||
- RAG
|
||||
- 推理优化
|
||||
- Agent 系统
|
||||
|
||||
## 当前关联内容
|
||||
|
||||
- [Attention Is All You Need](../papers/attention-is-all-you-need.md)
|
||||
- [Transformer 注意力机制](../notes/transformer-attention.md)
|
||||
Reference in New Issue
Block a user