diff --git a/.gitignore b/.gitignore
index 1a3bd5c..4e1f311 100644
--- a/.gitignore
+++ b/.gitignore
@@ -1,3 +1,4 @@
*.bkp
+*.venv
.DS_Store
diff --git a/docs/_sidebar.md b/docs/_sidebar.md
index 3220274..2cb851b 100644
--- a/docs/_sidebar.md
+++ b/docs/_sidebar.md
@@ -7,4 +7,4 @@
- 第6章 [一致性](chapter6.md)
- 第7章 [收敛率](chapter7.md)
- 第8章 [遗憾界](chapter8.md)
-- [参考文献](references.md)
+- [参考文献](reference.md)
diff --git a/docs/references.md b/docs/reference.md
similarity index 100%
rename from docs/references.md
rename to docs/reference.md
diff --git a/releases/preview.html b/releases/preview.html
new file mode 100644
index 0000000..10baf55
--- /dev/null
+++ b/releases/preview.html
@@ -0,0 +1,4959 @@
+
+
+
+ 序言
+
+ 序言
+编辑：詹好，赵志民，王茂霖
+关于《机器学习理论导引》
+近年来，机器学习领域发展迅猛，相关的课程与教材层出不穷。国内的经典教材如周志华的 《机器学习》 《统计学习方法》 Machine Learning 、Duda 等人的 Pattern Classification 、Alpaydin 的 Introduction to Machine Learning 等书籍则提供了更为系统的学习路径。对于希望深入学习的读者，Bishop 的 Pattern Recognition and Machine Learning 、Murphy 的 Machine Learning - A Probabilistic Perspective 、Hastie 等人的 The Elements of Statistical Learning 等著作也能提供详尽的理论指导。这些书籍无论在国内外，都成为了学习机器学习的重要资源。
+然而，从机器学习理论 的角度来看，现有的学习材料仍存在不足之处。相比于聚焦机器学习算法的著作，专注于机器学习理论的书籍未得到足够的重视。尽管上述一些经典著作中涉及到理论探讨，但篇幅有限，往往仅以独立章节或片段呈现，难以满足深入研究的需求。
+以往的机器学习理论经典教材大多为英文撰写。上世纪末围绕统计学习理论展开的讨论，催生了诸如 Vapnik 的 The Nature of Statistical Learning Theory 和 Statistical Learning Theory ，以及 Devroye 等人的 A Probabilistic Theory of Pattern Recognition 等经典文献。近年来，Shalev-Shwartz 和 Ben-David 的 Understanding Machine Learning ，以及 Mohri 等人的 Foundations of Machine Learning 进一步推进了这一领域的发展。虽然部分经典著作已有高质量的中文译本，但由中文作者撰写的机器学习理论入门书籍仍显不足。
+如今，周志华、王魏、高尉、张利军等老师合著的 《机器学习理论导引》 可学性、假设空间复杂度、泛化界、稳定性、一致性、收敛率、遗憾界 七个重要的概念和理论工具。
+尽管学习机器学习理论可能不像学习算法那样能够立即应用，但只要持之以恒，深入探究，必将能够领悟到机器学习中的重要思想，并体会其中的深邃奥妙。
+-- 詹好
+关于《机器学习理论导引》讲解笔记
+《导引》的讲解笔记在团队内部被亲切地称为《钥匙书》。“钥匙”寓意着帮助读者开启知识之门，解答学习中的疑惑。
+《导引》作为一本理论性较强的著作，涵盖了大量数学定理和证明。尽管作者团队已尽力降低学习难度，但由于机器学习理论本身的复杂性，读者仍需具备较高的数学基础。这可能导致部分读者在学习过程中感到困惑，影响学习效果。此外，由于篇幅限制，书中对某些概念和理论的实例说明不足，也增加了理解的难度。
+基于以上原因，我们决定编辑这本《钥匙书》作为参考笔记，对《导引》进行深入的注解和补充。其目的是帮助读者更快理解并掌握书中内容，同时记录我们在学习过程中的思考和心得。
+《钥匙书》主要包含以下四个部分：
+
+概念解释 ：介绍书中涉及但未详细阐释的相关概念。证明补充 ：详细解释部分证明的思路，并补充书中省略的证明过程。案例分享 ：增加相关实例，帮助读者加深对抽象概念的理解。
+鉴于《导引》第一章的内容简明易懂，《钥匙书》从第二章开始详细展开。
+对我个人而言，《机器学习理论导引》与Understanding Machine Learning 和Foundations of Machine Learning 一样，都是既“无用”又“有用”的书籍。“无用”在于目前的经典机器学习理论尚难全面解释深度学习，尤其是现代生成式大模型的惊人表现。然而，我坚信未来的理论突破将基于现有研究成果，开创新的篇章。因此，分析结论可能并非最重要，真正宝贵的是其中蕴含的思想和分析思路。数学作为一种强有力的工具，能够帮助我们更深入地理解和探索。我期望未来的深度学习能够拥有更多坚实的理论支撑，从而更好地指导实践。正如费曼所言：“What I cannot create, I do not understand.”——“凡我不能创造，我就不能理解。”希望大家能从这些理论中获得启发，创造出更有意义的成果。
+另一方面，这本书也让我认识到自身的不足。不同于传统的机器学习算法教材，本书要求读者具备良好的数学功底，通过数学工具从更抽象的角度分析机器学习算法的性质，而非算法本身。学习之路或许漫长，但正如《牧羊少年的奇幻漂流》中所言：“每个人的寻梦过程都是以‘新手的运气’为开端，又总是以‘对远征者的考验’收尾。”希望大家能坚持经历考验，最终实现自己的梦想。
+自《钥匙书》v1.0 版本发布以来，受到了众多学习者的关注。我们也收到了许多关于教材内容的疑问。为进一步深入理解相关知识，并记录团队对机器学习理论相关书籍的学习过程，我们将持续对《钥匙书》进行不定期更新，期待大家的关注。
+-- 王茂霖
+关于机器学习理论与实践
+随着机器学习的蓬勃发展，**SOTA（State-of-the-art，最先进技术）**几乎成了评判算法优劣的唯一标准。这种对表面表现的单一追求，常常忽视了支撑其背后的基础理论。正如硅谷投资人吴军曾指出的，最顶尖的科学家通过理论设定学科的边界，赋予未来研究者方向和框架。1936年，图灵在其著名的论文中为可计算性理论奠定了基础，定义了哪些问题可以通过算法解决。同样，机器学习领域的研究者只有具备深厚的理论根基，才能在实践中面对瓶颈时不至于迷失，而是继续探索，甚至开拓新的领域。
+**没有免费午餐定理（No Free Lunch Theorem）**便是一个鲜明的例子。该定理告诉我们，不存在一种能够应对所有问题的通用算法。尽管许多算法在特定领域或时间点看似“无敌”，如神经网络的兴起，但每个算法的优势往往局限于特定的任务和环境。因此，过度依赖某一种算法的短期成功，可能导致长期陷入困境。通过理论学习，研究者能够意识到这种局限，并避免在实践中过分追逐SOTA，而忽视更为长远的技术路线。
+当然，理论和实践之间的差距依然存在。许多理论假设在现实应用中并不完全成立，尤其是在面对大数据和复杂模型时，理论的指导可能显得力不从心。但这并不意味着理论无用，恰恰相反，这正是学科发展的驱动力。正如机器学习的发展史所示，当实践进展遇到瓶颈时，往往是理论创新引领了新的突破。例如，在早期，受限于数据和算力，机器学习中的理论研究主导了整个领域的发展；而到了互联网时代，随着数据量的指数级增长和计算资源的提升，实践逐渐超越了理论。如今，面对数据、能源和算力等问题的挑战，理论又重新成为了优化模型效率和算法性能的焦点。
+一个鲜明的例子是，近期在 ICLR 2024 大会上，斯隆奖得主马腾宇及其团队通过数学方法证明了Transformer 模型具备模拟任意多项式规模数字电路的能力。这一成果表明，随着**思维链（Chain of Thought, CoT）的不断延展，Transformer能够有效地处理更为复杂的问题。 这项研究不仅展示了理论在推动前沿技术进步中的重要性，还让我们认识到，尽管外界对数据质量不足、模型的算力需求以及能源消耗提出了诸多质疑，但这些问题并非不可逾越。通过深入学习机器学习理论，我们可以更好地理解这些挑战，意识到它们实际上是迈向 通用人工智能（AGI）**过程中必须面对和解决的关键节点。
+不仅如此，理论学习还有助于我们建立对算法泛化能力的深刻理解。通过对机器学习理论的深入研究，我们能够推导出在不同假设条件下，算法的性能极限。比如，我们可以评估某一算法的收敛速度，预测其在不同数据量和模型复杂度下的表现。这些理论工具不仅提高了研究的严谨性，还为实际应用提供了有力的指导。例如，正是通过理论推导，我们能够理解大规模语言模型的训练为何需要如此庞大的数据集，同时又能预见在某些任务上微调模型的效果。
+最后，掌握机器学习理论不仅能够为初学者奠定坚实的基础，增强他们的信心，还能帮助他们在面对外界质疑时保持理性和清醒的判断。无论是在研究中追求算法的提升，还是在实践中应对现实的挑战，理论的力量都不可或缺。在本书的编撰中，我们特别对部分证明进行了必要的诠释和展开，主要集中在原书中存在流畅性不足的内容，或那些虽提供了参考文献但证明篇幅不超过5页的论述。对于超出5页的文献，我们建议读者直接参阅原文，以便进行更深入的探究；此类情况在本书中出现频率较低，约不超过五处。
+-- 赵志民
+项目成员贡献与特别鸣谢
+詹好 负责了项目的初期规划与统筹，并参与了第一版的编辑和审核；赵志民 主导了项目二期的更新与维护，并负责全书最终编辑和校验；李一飞 参与了第1-5章内容的编辑；王茂霖 参与了第2-6章内容的编辑。
+另外，特别鸣谢了谢文睿 和杨昱文 ，他们共同提供了本书的在线阅读功能；张雨 对第2章的早期内容进行了修订，各成员的协作确保了本书高质量的编写和顺利完成。
+主要符号表
+x x x x x x A A A I I I X \mathcal{X} X H \mathcal{H} H D \mathcal{D} D D D D R \mathbb{R} R R + \mathbb{R}^+ R + L \mathfrak{L} L ( ⋅ , ⋅ , ⋅ ) (·,·,·) ( ⋅,⋅,⋅ ) ( ; , ; , ) (;,;,) ( ;,;, ) ( ⋅ ) T (·)^T ( ⋅ ) T ⋯ {\cdots} ⋯ [ m ] [m] [ m ] { 1 , … , m } \{1,\dots,m\} { 1 , … , m } ∣ ⋯ ∣ |{\cdots}| ∣ ⋯ ∣ ⋯ {\cdots} ⋯ ∥ ⋅ ∥ p \|·\|_p ∥ ⋅ ∥ p p p p L 2 L_2 L 2 P ( ) P() P ( ) P ( ⋅ ∣ ⋅ ) P(·|·) P ( ⋅ ∣ ⋅ ) p ( ⋅ ) p(·) p ( ⋅ ) p ( ⋅ ∣ ⋅ ) p(·|·) p ( ⋅ ∣ ⋅ ) E . D [ f ( ⋅ ) ] E_{.~\mathcal{D}}[f(·)] E . D [ f ( ⋅ )] f ( ⋅ ) f(·) f ( ⋅ ) ⋅ · ⋅ D D D D D D ⋅ · ⋅ sup ( ⋅ ) \sup(·) sup ( ⋅ ) inf ( ⋅ ) \inf(·) inf ( ⋅ ) I ( ⋅ ) \mathbb{I}(·) I ( ⋅ ) ⋅ · ⋅ 1 , 0 1, 0 1 , 0 sign ( ⋅ ) \text{sign}(·) sign ( ⋅ ) ⋅ < 0 , = 0 , > 0 ·<0,=0,>0 ⋅ < 0 , = 0 , > 0 − 1 , 0 , 1 -1, 0, 1 − 1 , 0 , 1
+第1章：预备定理
+编辑：赵志民, 李一飞
+本章将对书中出现或用到的重要定理进行回顾，并简要解释其证明和应用场景。对于可能不熟悉相关基础知识的读者，建议参考附录中的基础知识部分。通过这些定理的阐述，希望帮助读者更好地理解数学推导的核心原理，并为后续章节的学习打下坚实基础。大数定律（Law of Large Numbers）和集中不等式（Concentration Inequality）密切相关，二者共同揭示了随机变量偏离其期望值的行为。大数定律说明，当样本量足够大时，样本均值会以概率收敛于总体的期望值，反映了长期平均结果的稳定性。而集中不等式（定理 1.8 至 1.18）则更进一步，为随机变量在有限样本量下偏离其期望值的可能性提供了精确的上界。这些不等式描述了随机变量偏离期望值的程度有多大，通过对概率的约束，确保这种偏离发生的概率较小，从而为各种随机现象提供了更细致的控制。集中不等式在大数定律的基础上提供了有力的工具，用于分析有限样本中的波动。
+1.1 Jensen 不等式
+对于任意凸函数 f f f
+f ( E [ X ] ) ≤ E [ f ( X ) ] \begin{equation}
+f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)]
+\end{equation}
+ f ( E [ X ]) ≤ E [ f ( X )]
+成立。
+证明
+设 p ( x ) p(x) p ( x ) X X X f f f ∃ ξ \exists \xi ∃ ξ
+f ( x ) = f ( E [ X ] ) + f ′ ( E [ X ] ) ( x − E [ X ] ) + f ′ ′ ( ξ ) 2 ( x − E [ X ] ) 2 ≥ f ( E [ X ] ) + f ′ ( E [ X ] ) ( x − E [ X ] ) \begin{equation}
+\begin{align*}
+f(x) &= f(\mathbb{E}[X]) + f^{\prime}(\mathbb{E}[X])(x-\mathbb{E}[X]) + \frac{f^{\prime \prime}(\xi)}{2}(x-\mathbb{E}[X])^{2} \\
+& \geq f(\mathbb{E}[X]) + f^{\prime}(\mathbb{E}[X])(x-\mathbb{E}[X])
+\end{align*}
+\end{equation}
+ f ( x ) = f ( E [ X ]) + f ′ ( E [ X ]) ( x − E [ X ]) + 2 f ′′ ( ξ ) ( x − E [ X ] ) 2 ≥ f ( E [ X ]) + f ′ ( E [ X ]) ( x − E [ X ])
+对上式取期望，得到：
+E [ f ( X ) ] = ∫ p ( x ) f ( x ) d x ≥ f ( E [ X ] ) ∫ p ( x ) d x + f ′ ( E [ X ] ) ∫ p ( x ) ( x − E [ X ] ) d x = f ( E [ X ] ) \begin{equation}
+\begin{align*}
+\mathbb{E}[f(X)] &= \int p(x) f(x) \,dx \\
+&\geq f(\mathbb{E}[X]) \int p(x) \,dx + f^{\prime}(\mathbb{E}[X]) \int p(x)(x-\mathbb{E}[X]) \,dx \\
+&= f(\mathbb{E}[X])
+\end{align*}
+\end{equation}
+ E [ f ( X )] = ∫ p ( x ) f ( x ) d x ≥ f ( E [ X ]) ∫ p ( x ) d x + f ′ ( E [ X ]) ∫ p ( x ) ( x − E [ X ]) d x = f ( E [ X ])
+因此，原不等式得证。
+如果 f f f
+f ( E [ X ] ) ≥ E [ f ( X ) ] \begin{equation}
+f(\mathbb{E}[X]) \geq \mathbb{E}[f(X)]
+\end{equation}
+ f ( E [ X ]) ≥ E [ f ( X )]
+这一结论可以通过将上述证明中的 f f f − f -f − f □ \square □
+1.2 Hölder 不等式
+对于任意 p , q ∈ R + p, q \in \mathbb{R}^{+} p , q ∈ R + 1 p + 1 q = 1 \frac{1}{p} + \frac{1}{q} = 1 p 1 + q 1 = 1
+E [ ∣ X Y ∣ ] ≤ ( E [ ∣ X ∣ p ] ) 1 p ( E [ ∣ Y ∣ q ] ) 1 q \begin{equation}
+\mathbb{E}[|XY|] \leq (\mathbb{E}[|X|^p])^{\frac{1}{p}} (\mathbb{E}[|Y|^q])^{\frac{1}{q}}
+\end{equation}
+ E [ ∣ X Y ∣ ] ≤ ( E [ ∣ X ∣ p ] ) p 1 ( E [ ∣ Y ∣ q ] ) q 1
+成立。
+证明
+设 f ( x ) f(x) f ( x ) g ( y ) g(y) g ( y ) X X X Y Y Y
+M = ∣ x ∣ ( ∫ X ∣ x ∣ p f ( x ) d x ) 1 p , N = ∣ y ∣ ( ∫ Y ∣ y ∣ q g ( y ) d y ) 1 q \begin{equation}
+M = \frac{|x|}{(\int_X |x|^p f(x) \,dx)^{\frac{1}{p}}}, \quad N = \frac{|y|}{(\int_Y |y|^q g(y) \,dy)^{\frac{1}{q}}}
+\end{equation}
+ M = ( ∫ X ∣ x ∣ p f ( x ) d x ) p 1 ∣ x ∣ , N = ( ∫ Y ∣ y ∣ q g ( y ) d y ) q 1 ∣ y ∣
+代入 Young 不等式：
+M N ≤ 1 p M p + 1 q N q \begin{equation}
+MN \leq \frac{1}{p}M^p + \frac{1}{q}N^q
+\end{equation}
+ MN ≤ p 1 M p + q 1 N q
+对该不等式两边同时取期望：
+E [ ∣ X Y ∣ ] ( E [ ∣ X ∣ p ] ) 1 p ( E [ ∣ Y ∣ q ] ) 1 q = ∫ X Y ∣ x y ∣ f ( x ) g ( y ) d x d y ( ∫ X ∣ x ∣ p f ( x ) d x ) 1 p ( ∫ Y ∣ y ∣ q g ( y ) d y ) 1 q ≤ ∫ X ∣ x ∣ p f ( x ) d x p ∫ X ∣ x ∣ p f ( x ) d x + ∫ Y ∣ y ∣ q g ( y ) d y q ∫ Y ∣ y ∣ q g ( y ) d y = 1 p + 1 q = 1 \begin{equation}
+\begin{align*}
+\frac{\mathbb{E}[|XY|]}{(\mathbb{E}[|X|^p])^{\frac{1}{p}} (\mathbb{E}[|Y|^q])^{\frac{1}{q}}} &= \frac{\int_{XY} |xy| f(x)g(y) \,dx\,dy}{(\int_X |x|^p f(x) \,dx)^{\frac{1}{p}} (\int_Y |y|^q g(y) \,dy)^{\frac{1}{q}}} \\
+&\leq \frac{\int_X |x|^p f(x) \,dx}{p \int_X |x|^p f(x) \,dx} + \frac{\int_Y |y|^q g(y) \,dy}{q \int_Y |y|^q g(y) \,dy} \\
+&= \frac{1}{p} + \frac{1}{q} \\
+&= 1
+\end{align*}
+\end{equation}
+ ( E [ ∣ X ∣ p ] ) p 1 ( E [ ∣ Y ∣ q ] ) q 1 E [ ∣ X Y ∣ ] = ( ∫ X ∣ x ∣ p f ( x ) d x ) p 1 ( ∫ Y ∣ y ∣ q g ( y ) d y ) q 1 ∫ X Y ∣ x y ∣ f ( x ) g ( y ) d x d y ≤ p ∫ X ∣ x ∣ p f ( x ) d x ∫ X ∣ x ∣ p f ( x ) d x + q ∫ Y ∣ y ∣ q g ( y ) d y ∫ Y ∣ y ∣ q g ( y ) d y = p 1 + q 1 = 1
+因此，Hölder 不等式得证。□ \square □
+1.3 Cauchy-Schwarz 不等式
+当 p = q = 2 p = q = 2 p = q = 2
+E [ ∣ X Y ∣ ] ≤ E [ X 2 ] ⋅ E [ Y 2 ] \begin{equation}
+\mathbb{E}[|XY|] \leq \sqrt{\mathbb{E}[X^{2}] \cdot \mathbb{E}[Y^{2}]}
+\end{equation}
+ E [ ∣ X Y ∣ ] ≤ E [ X 2 ] ⋅ E [ Y 2 ]
+1.4 Lyapunov 不等式
+对于任意 0 < r ≤ s 0 \lt r \leq s 0 < r ≤ s
+E [ ∣ X ∣ r ] r ≤ E [ ∣ X ∣ s ] s \begin{equation}
+\sqrt[r]{\mathbb{E}[|X|^{r}]} \leq \sqrt[s]{\mathbb{E}[|X|^{s}]}
+\end{equation}
+ r E [ ∣ X ∣ r ] ≤ s E [ ∣ X ∣ s ]
+证明
+由 Hölder 不等式：
+对任意 p ≥ 1 p \geq 1 p ≥ 1
+E [ ∣ X ∣ r ] = E [ ∣ X ⋅ 1 ∣ r ] ≤ ( E [ ∣ X ∣ r p ] ) 1 p ⋅ ( E [ 1 q ] ) 1 q = ( E [ ∣ X ∣ r p ] ) 1 p \begin{equation}
+\begin{align*}
+\mathbb{E}[|X|^{r}] &= \mathbb{E}[|X \cdot 1|^{r}] \\
+&\leq (\mathbb{E}[|X|^{rp}])^{\frac{1}{p}} \cdot (\mathbb{E}[1^q])^{\frac{1}{q}} \\
+&= (\mathbb{E}[|X|^{rp}])^{\frac{1}{p}}
+\end{align*}
+\end{equation}
+ E [ ∣ X ∣ r ] = E [ ∣ X ⋅ 1 ∣ r ] ≤ ( E [ ∣ X ∣ r p ] ) p 1 ⋅ ( E [ 1 q ] ) q 1 = ( E [ ∣ X ∣ r p ] ) p 1
+记 s = r p ≥ r s = rp \geq r s = r p ≥ r
+E [ ∣ X ∣ r ] ≤ ( E [ ∣ X ∣ s ] ) r s \begin{equation}
+\mathbb{E}[|X|^{r}] \leq (\mathbb{E}[|X|^{s}])^{\frac{r}{s}}
+\end{equation}
+ E [ ∣ X ∣ r ] ≤ ( E [ ∣ X ∣ s ] ) s r
+因此，原不等式得证。□ \square □
+1.5 Minkowski 不等式
+对于任意 p ≥ 1 p \geq 1 p ≥ 1
+E [ ∣ X + Y ∣ p ] p ≤ E [ ∣ X ∣ p ] p + E [ ∣ Y ∣ p ] p \begin{equation}
+\sqrt[p]{\mathbb{E}[|X+Y|^p]} \leq \sqrt[p]{\mathbb{E}[|X|^p]} + \sqrt[p]{\mathbb{E}[|Y|^p]}
+\end{equation}
+ p E [ ∣ X + Y ∣ p ] ≤ p E [ ∣ X ∣ p ] + p E [ ∣ Y ∣ p ]
+证明
+由三角不等式和 Hölder 不等式，可得：
+E [ ∣ X + Y ∣ p ] ≤ E [ ( ∣ X ∣ + ∣ Y ∣ ) ∣ X + Y ∣ p − 1 ] = E [ ∣ X ∥ X + Y ∣ p − 1 ] + E [ ∣ Y ∥ X + Y ∣ p − 1 ] ≤ ( E [ ∣ X ∣ p ] ) 1 p ( E [ ∣ X + Y ∣ ( p − 1 ) q ] ) 1 q + ( E [ ∣ Y ∣ p ] ) 1 p ( E [ ∣ X + Y ∣ ( p − 1 ) q ] ) 1 q = [ ( E [ ∣ X ∣ p ] ) 1 p + ( E [ ∣ Y ∣ p ] ) 1 p ] ⋅ E [ ∣ X + Y ∣ p ] ( E [ ∣ X + Y ∣ p ] ) 1 p \begin{equation}
+\begin{align*}
+\mathbb{E}[|X+Y|^p] &\leq \mathbb{E}[(|X|+|Y|)|X+Y|^{p-1}] \\
+&= \mathbb{E}[|X\|X+Y|^{p-1}] + \mathbb{E}[|Y\|X+Y|^{p-1}] \\
+&\leq (\mathbb{E}[|X|^p])^{\frac{1}{p}} (\mathbb{E}[|X+Y|^{(p-1)q}])^{\frac{1}{q}} + (\mathbb{E}[|Y|^p])^{\frac{1}{p}} (\mathbb{E}[|X+Y|^{(p-1)q}])^{\frac{1}{q}} \\
+&= [(\mathbb{E}[|X|^p])^{\frac{1}{p}} + (\mathbb{E}[|Y|^p])^{\frac{1}{p}}] \cdot \frac{\mathbb{E}[|X+Y|^p]}{(\mathbb{E}[|X+Y|^p])^{\frac{1}{p}}}
+\end{align*}
+\end{equation}
+ E [ ∣ X + Y ∣ p ] ≤ E [( ∣ X ∣ + ∣ Y ∣ ) ∣ X + Y ∣ p − 1 ] = E [ ∣ X ∥ X + Y ∣ p − 1 ] + E [ ∣ Y ∥ X + Y ∣ p − 1 ] ≤ ( E [ ∣ X ∣ p ] ) p 1 ( E [ ∣ X + Y ∣ ( p − 1 ) q ] ) q 1 + ( E [ ∣ Y ∣ p ] ) p 1 ( E [ ∣ X + Y ∣ ( p − 1 ) q ] ) q 1 = [( E [ ∣ X ∣ p ] ) p 1 + ( E [ ∣ Y ∣ p ] ) p 1 ] ⋅ ( E [ ∣ X + Y ∣ p ] ) p 1 E [ ∣ X + Y ∣ p ]
+化简后即得证。□ \square □
+1.6 Bhatia-Davis 不等式
+对 X ∈ [ a , b ] X \in [a,b] X ∈ [ a , b ]
+V [ X ] ≤ ( b − E [ X ] ) ( E [ X ] − a ) ≤ ( b − a ) 2 4 \begin{equation}
+\mathbb{V}[X] \leq (b - \mathbb{E}[X])(\mathbb{E}[X] - a) \leq \frac{(b-a)^2}{4}
+\end{equation}
+ V [ X ] ≤ ( b − E [ X ]) ( E [ X ] − a ) ≤ 4 ( b − a ) 2
+证明
+因为 a ≤ X ≤ b a \leq X \leq b a ≤ X ≤ b
+0 ≤ E [ ( b − X ) ( X − a ) ] = − E [ X 2 ] − a b + ( a + b ) E [ X ] \begin{equation}
+\begin{align*}
+0 &\leq \mathbb{E}[(b-X)(X-a)] \\
+&= -\mathbb{E}[X^2] - ab + (a+b)\mathbb{E}[X]
+\end{align*}
+\end{equation}
+ 0 ≤ E [( b − X ) ( X − a )] = − E [ X 2 ] − ab + ( a + b ) E [ X ]
+因此，
+V [ X ] = E [ X 2 ] − E [ X ] 2 ≤ − a b + ( a + b ) E [ X ] − E [ X 2 ] = ( b − E [ X ] ) ( E [ X ] − a ) \begin{equation}
+\begin{align*}
+\mathbb{V}[X] &= \mathbb{E}[X^2] - \mathbb{E}[X]^2 \\
+&\leq -ab + (a+b)\mathbb{E}[X] - \mathbb{E}[X^2] \\
+&= (b - \mathbb{E}[X])(\mathbb{E}[X] - a)
+\end{align*}
+\end{equation}
+ V [ X ] = E [ X 2 ] − E [ X ] 2 ≤ − ab + ( a + b ) E [ X ] − E [ X 2 ] = ( b − E [ X ]) ( E [ X ] − a )
+考虑 AM-GM 不等式：
+x y ≤ ( x + y 2 ) 2 \begin{equation}
+xy \leq (\frac{x+y}{2})^2
+\end{equation}
+ x y ≤ ( 2 x + y ) 2
+将 x = b − E [ X ] x = b - \mathbb{E}[X] x = b − E [ X ] y = E [ X ] − a y = \mathbb{E}[X] - a y = E [ X ] − a □ \square □
+1.7 Union Bound（Boole's）不等式
+对于任意事件 X X X Y Y Y
+P ( X ∪ Y ) ≤ P ( X ) + P ( Y ) \begin{equation}
+P(X \cup Y) \leq P(X) + P(Y)
+\end{equation}
+ P ( X ∪ Y ) ≤ P ( X ) + P ( Y )
+证明
+根据概率的加法公式：
+P ( X ∪ Y ) = P ( X ) + P ( Y ) − P ( X ∩ Y ) ≤ P ( X ) + P ( Y ) \begin{equation}
+P(X \cup Y) = P(X) + P(Y) - P(X \cap Y) \leq P(X) + P(Y)
+\end{equation}
+ P ( X ∪ Y ) = P ( X ) + P ( Y ) − P ( X ∩ Y ) ≤ P ( X ) + P ( Y )
+由于 P ( X ∩ Y ) ≥ 0 P(X \cap Y) \geq 0 P ( X ∩ Y ) ≥ 0 □ \square □
+1.8 Markov 不等式
+若 X ≥ 0 X \geq 0 X ≥ 0 ε > 0 \varepsilon \gt 0 ε > 0
+P ( X ≥ ε ) ≤ E [ X ] ε \begin{equation}
+P(X \geq \varepsilon) \leq \frac{\mathbb{E}[X]}{\varepsilon}
+\end{equation}
+ P ( X ≥ ε ) ≤ ε E [ X ]
+证明
+由定义可得：
+E [ X ] = ∫ 0 ∞ x p ( x ) d x ≥ ∫ ε ∞ x p ( x ) d x ≥ ε ∫ ε ∞ p ( x ) d x = ε P ( X ≥ ε ) \begin{equation}
+\mathbb{E}[X] = \int_{0}^{\infty} x p(x) \,dx \geq \int_{\varepsilon}^{\infty} x p(x) \,dx \geq \varepsilon \int_{\varepsilon}^{\infty} p(x) \,dx = \varepsilon P(X \geq \varepsilon)
+\end{equation}
+ E [ X ] = ∫ 0 ∞ x p ( x ) d x ≥ ∫ ε ∞ x p ( x ) d x ≥ ε ∫ ε ∞ p ( x ) d x = εP ( X ≥ ε )
+因此，原不等式得证。□ \square □
+1.9 Chebyshev 不等式
+对于任意 ε > 0 \varepsilon \gt 0 ε > 0
+P ( ∣ X − E [ X ] ∣ ≥ ε ) ≤ V [ X ] ε 2 \begin{equation}
+P(|X-\mathbb{E}[X]| \geq \varepsilon) \leq \frac{\mathbb{V}[X]}{\varepsilon^{2}}
+\end{equation}
+ P ( ∣ X − E [ X ] ∣ ≥ ε ) ≤ ε 2 V [ X ]
+证明
+利用 Markov 不等式，得到：
+P ( ∣ X − E [ X ] ∣ ≥ ε ) = P ( ( X − E [ X ] ) 2 ≥ ε 2 ) ≤ E [ ( X − E [ X ] ) 2 ] ε 2 = V [ X ] ε 2 \begin{equation}
+P(|X-\mathbb{E}[X]| \geq \varepsilon) = P((X-\mathbb{E}[X])^2 \geq \varepsilon^{2}) \leq \frac{\mathbb{E}[(X-\mathbb{E}[X])^2]}{\varepsilon^{2}} = \frac{\mathbb{V}[X]}{\varepsilon^{2}}
+\end{equation}
+ P ( ∣ X − E [ X ] ∣ ≥ ε ) = P (( X − E [ X ] ) 2 ≥ ε 2 ) ≤ ε 2 E [( X − E [ X ] ) 2 ] = ε 2 V [ X ]
+因此，Chebyshev 不等式得证。□ \square □
+1.10 Cantelli 不等式
+对于任意 ε > 0 \varepsilon \gt 0 ε > 0
+P ( X − E [ X ] ≥ ε ) ≤ V [ X ] V [ X ] + ε 2 \begin{equation}
+P(X-\mathbb{E}[X] \geq \varepsilon) \leq \frac{\mathbb{V}[X]}{\mathbb{V}[X]+\varepsilon^{2}}
+\end{equation}
+ P ( X − E [ X ] ≥ ε ) ≤ V [ X ] + ε 2 V [ X ]
+证明
+设 Y = X − E [ X ] Y = X - \mathbb{E}[X] Y = X − E [ X ] λ ≥ 0 \lambda \geq 0 λ ≥ 0
+P ( X − E [ X ] ≥ ε ) = P ( Y ≥ ε ) = P ( Y + λ ≥ ε + λ ) = P ( ( Y + λ ) 2 ≥ ( ε + λ ) 2 ) ≤ E [ ( Y + λ ) 2 ] ( ε + λ ) 2 = V [ X ] + λ 2 ( ε + λ ) 2 \begin{equation}
+\begin{align*}
+P(X-\mathbb{E}[X] \geq \varepsilon) &= P(Y \geq \varepsilon) \\
+&= P(Y+\lambda \geq \varepsilon+\lambda) \\
+&= P((Y+\lambda)^{2} \geq (\varepsilon+\lambda)^{2}) \\
+&\leq \frac{\mathbb{E}[(Y+\lambda)^{2}]}{(\varepsilon+\lambda)^{2}} = \frac{\mathbb{V}[X]+\lambda^{2}}{(\varepsilon+\lambda)^{2}}
+\end{align*}
+\end{equation}
+ P ( X − E [ X ] ≥ ε ) = P ( Y ≥ ε ) = P ( Y + λ ≥ ε + λ ) = P (( Y + λ ) 2 ≥ ( ε + λ ) 2 ) ≤ ( ε + λ ) 2 E [( Y + λ ) 2 ] = ( ε + λ ) 2 V [ X ] + λ 2
+通过对 λ \lambda λ λ = V [ X ] ε \lambda = \frac{\mathbb{V}[X]}{\varepsilon} λ = ε V [ X ] V [ X ] V [ X ] + ε 2 \frac{\mathbb{V}[X]}{\mathbb{V}[X]+\varepsilon^{2}} V [ X ] + ε 2 V [ X ]
+P ( X − E [ X ] ≥ ε ) ≤ V [ X ] V [ X ] + ε 2 \begin{equation}
+P(X-\mathbb{E}[X] \geq \varepsilon) \leq \frac{\mathbb{V}[X]}{\mathbb{V}[X]+\varepsilon^{2}}
+\end{equation}
+ P ( X − E [ X ] ≥ ε ) ≤ V [ X ] + ε 2 V [ X ]
+原不等式得证。□ \square □
+值得注意的是，Cantelli 不等式是 Chebyshev 不等式的加强版，也称为单边 Chebyshev 不等式。通过类似的构造方法，可以推导出比 Cantelli 不等式更严格的上界。
+1.11 Chernoff 界（Chernoff-Cramér 界）
+对于任意 λ > 0 , ε > 0 \lambda \gt 0, \varepsilon \gt 0 λ > 0 , ε > 0
+P ( X ≥ ε ) ≤ min λ > 0 E [ e λ X ] e λ ε \begin{equation}
+P(X \geq \varepsilon) \leq \min_{\lambda \gt 0} \frac{\mathbb{E}[e^{\lambda X}]}{e^{\lambda \varepsilon}}
+\end{equation}
+ P ( X ≥ ε ) ≤ λ > 0 min e λ ε E [ e λ X ]
+对于任意 λ < 0 , ε > 0 \lambda \lt 0, \varepsilon \gt 0 λ < 0 , ε > 0
+P ( X ≤ ε ) ≤ min λ < 0 E [ e λ X ] e λ ε \begin{equation}
+P(X \leq \varepsilon) \leq \min_{\lambda \lt 0} \frac{\mathbb{E}[e^{\lambda X}]}{e^{\lambda \varepsilon}}
+\end{equation}
+ P ( X ≤ ε ) ≤ λ < 0 min e λ ε E [ e λ X ]
+证明
+应用 Markov 不等式，有：
+P ( X ≥ ε ) = P ( e λ X ≥ e λ ε ) ≤ E [ e λ X ] e λ ε , λ > 0 , ε > 0 \begin{equation}
+P(X \geq \varepsilon) = P(e^{\lambda X} \geq e^{\lambda \varepsilon}) \leq \frac{\mathbb{E}[e^{\lambda X}]}{e^{\lambda \varepsilon}}, \quad \lambda \gt 0, \varepsilon \gt 0
+\end{equation}
+ P ( X ≥ ε ) = P ( e λ X ≥ e λ ε ) ≤ e λ ε E [ e λ X ] , λ > 0 , ε > 0
+同理，
+P ( X ≤ ε ) = P ( e λ X ≤ e λ ε ) ≤ E [ e λ X ] e λ ε , λ < 0 , ε > 0 \begin{equation}
+P(X \leq \varepsilon) = P(e^{\lambda X} \leq e^{\lambda \varepsilon}) \leq \frac{\mathbb{E}[e^{\lambda X}]}{e^{\lambda \varepsilon}}, \quad \lambda \lt 0, \varepsilon \gt 0
+\end{equation}
+ P ( X ≤ ε ) = P ( e λ X ≤ e λ ε ) ≤ e λ ε E [ e λ X ] , λ < 0 , ε > 0
+因此，Chernoff 界得证。□ \square □
+基于上述 Chernoff 界的技术，我们可以进一步定义次高斯性：
+定义 1 (随机变量的次高斯性)：若一个期望为零的随机变量 X X X ∀ λ ∈ R + \forall \lambda \in \mathbb{R}^+ ∀ λ ∈ R +
+E [ e λ X ] ≤ exp ( σ 2 λ 2 2 ) \begin{equation}
+\mathbb{E}[e^{\lambda X}] \leq \exp(\frac{\sigma^2\lambda^2}{2})
+\end{equation}
+ E [ e λ X ] ≤ exp ( 2 σ 2 λ 2 )
+则称 X X X σ \sigma σ
+实际上，Hoeffding 引理中的随机变量 X X X ( b − a ) 2 \frac{(b-a)}{2} 2 ( b − a )
+次高斯分布有一个直接的性质：假设两个独立的随机变量 X 1 , X 2 X_1, X_2 X 1 , X 2 σ 1 , σ 2 \sigma_1, \sigma_2 σ 1 , σ 2 X 1 + X 2 X_1 + X_2 X 1 + X 2 σ 1 2 + σ 2 2 \sqrt{\sigma_1^2 + \sigma_2^2} σ 1 2 + σ 2 2
+显然，并非所有常见的随机变量都是次高斯的，例如指数分布。为此可以扩大定义：
+定义 2 (随机变量的次指数性)：若非负的随机变量 X X X ∀ λ ∈ ( 0 , a ) \forall \lambda \in (0,a) ∀ λ ∈ ( 0 , a )
+E [ e λ X ] ≤ a a − λ \begin{equation}
+\mathbb{E}[e^{\lambda X}] \leq \frac{a}{a - \lambda}
+\end{equation}
+ E [ e λ X ] ≤ a − λ a
+则称 X X X ( V [ X ] , 1 / a ) (\mathbb{V}[X], 1/a) ( V [ X ] , 1/ a )
+同样地，次指数性也有一系列等价定义。一种不直观但更常用的定义如下：存在 ( σ 2 , b ) (\sigma^2, b) ( σ 2 , b ) ∀ ∣ s ∣ < 1 / b \forall |s| \lt 1/b ∀∣ s ∣ < 1/ b
+E [ e s ( X − E [ X ] ) ] ≤ exp ( s 2 σ 2 2 ) \begin{equation}
+\mathbb{E}[e^{s(X−\mathbb{E}[X])}] \leq \exp ( \frac{s^2\sigma^2}{2} )
+\end{equation}
+ E [ e s ( X − E [ X ]) ] ≤ exp ( 2 s 2 σ 2 )
+常见的次指数分布包括：指数分布，Gamma 分布，以及任何有界随机变量 。
+类似地，次指数分布对于加法也是封闭的：如果 X 1 , X 2 X_1, X_2 X 1 , X 2 ( σ 1 2 , b 1 ) (\sigma_1^2, b_1) ( σ 1 2 , b 1 ) ( σ 2 2 , b 2 ) (\sigma_2^2, b_2) ( σ 2 2 , b 2 ) X 1 + X 2 X_1 + X_2 X 1 + X 2 ( σ 1 2 + σ 2 2 , max ( b 1 , b 2 ) ) (\sigma_1^2 + \sigma_2^2, \max(b_1, b_2)) ( σ 1 2 + σ 2 2 , max ( b 1 , b 2 ))
+1.12 Chernoff 不等式（乘积形式）
+对于 m m m x i ∈ [ 0 , 1 ] , i ∈ [ m ] x_i \in [0, 1], i \in [m] x i ∈ [ 0 , 1 ] , i ∈ [ m ] X = ∑ i = 1 m X i X = \sum_{i=1}^m X_i X = ∑ i = 1 m X i μ > 0 \mu \gt 0 μ > 0 r ≤ 1 r \leq 1 r ≤ 1 i ≤ m i \leq m i ≤ m E [ x i ] ≤ μ \mathbb{E}[x_i] \leq \mu E [ x i ] ≤ μ
+P ( X ≥ ( 1 + r ) μ m ) ≤ e − r 2 μ m 3 , r ≥ 0 P ( X ≤ ( 1 − r ) μ m ) ≤ e − r 2 μ m 2 , r ≥ 0 \begin{equation}
+\begin{align*}
+P(X \geq (1+r)\mu m) \leq e^{-\frac{r^2 \mu m}{3}}, \quad r \geq 0 \\
+P(X \leq (1-r)\mu m) \leq e^{-\frac{r^2 \mu m}{2}}, \quad r \geq 0
+\end{align*}
+\end{equation}
+ P ( X ≥ ( 1 + r ) μ m ) ≤ e − 3 r 2 μ m , r ≥ 0 P ( X ≤ ( 1 − r ) μ m ) ≤ e − 2 r 2 μ m , r ≥ 0
+证明
+应用 Markov 不等式，有：
+P ( X ≥ ( 1 + r ) μ m ) = P ( ( 1 + r ) X ≥ ( 1 + r ) ( 1 + r ) μ m ) ≤ E [ ( 1 + r ) X ] ( 1 + r ) ( 1 + r ) μ m \begin{equation}
+P(X \geq (1+r)\mu m) = P((1+r)^X \geq (1+r)^{(1+r)\mu m}) \leq \frac{\mathbb{E}[(1+r)^X]}{(1+r)^{(1+r)\mu m}}
+\end{equation}
+ P ( X ≥ ( 1 + r ) μ m ) = P (( 1 + r ) X ≥ ( 1 + r ) ( 1 + r ) μ m ) ≤ ( 1 + r ) ( 1 + r ) μ m E [( 1 + r ) X ]
+由于 x i x_i x i
+E [ ( 1 + r ) X ] = ∏ i = 1 m E [ ( 1 + r ) x i ] ≤ ∏ i = 1 m E [ 1 + r x i ] ≤ ∏ i = 1 m ( 1 + r μ ) ≤ e r μ m \begin{equation}
+\mathbb{E}[(1+r)^X] = \prod_{i=1}^m \mathbb{E}[(1+r)^{x_i}] \leq \prod_{i=1}^m \mathbb{E}[1+rx_i] \leq \prod_{i=1}^m (1+r\mu) \leq e^{r\mu m}
+\end{equation}
+ E [( 1 + r ) X ] = i = 1 ∏ m E [( 1 + r ) x i ] ≤ i = 1 ∏ m E [ 1 + r x i ] ≤ i = 1 ∏ m ( 1 + r μ ) ≤ e r μ m
+其中，第二步使用了 ∀ x ∈ [ 0 , 1 ] \forall x \in [0,1] ∀ x ∈ [ 0 , 1 ] ( 1 + r ) x ≤ 1 + r x (1+r)^x \leq 1+rx ( 1 + r ) x ≤ 1 + r x E [ x i ] ≤ μ \mathbb{E}[x_i] \leq \mu E [ x i ] ≤ μ ∀ x ∈ [ 0 , 1 ] \forall x \in [0,1] ∀ x ∈ [ 0 , 1 ] 1 + x ≤ e x 1+x \leq e^x 1 + x ≤ e x
+又由于 ∀ r ∈ [ 0 , 1 ] \forall r \in [0,1] ∀ r ∈ [ 0 , 1 ] e r ( 1 + r ) 1 + r ≤ e − r 2 3 \frac{e^r}{(1+r)^{1+r}} \leq e^{-\frac{r^2}{3}} ( 1 + r ) 1 + r e r ≤ e − 3 r 2
+P ( X ≥ ( 1 + r ) μ m ) ≤ ( e r ( 1 + r ) ( 1 + r ) ) μ m ≤ e − r 2 μ m 3 \begin{equation}
+P(X \geq (1+r)\mu m) \leq (\frac{e^r}{(1+r)^{(1+r)}})^{\mu m} \leq e^{-\frac{r^2 \mu m}{3}}
+\end{equation}
+ P ( X ≥ ( 1 + r ) μ m ) ≤ ( ( 1 + r ) ( 1 + r ) e r ) μ m ≤ e − 3 r 2 μ m
+当我们将 r r r − r -r − r ∀ r ∈ [ 0 , 1 ] \forall r \in [0,1] ∀ r ∈ [ 0 , 1 ] e r ( 1 − r ) 1 − r ≤ e − r 2 2 \frac{e^r}{(1-r)^{1-r}} \leq e^{-\frac{r^2}{2}} ( 1 − r ) 1 − r e r ≤ e − 2 r 2 □ \square □
+1.13 最优 Chernoff 界
+如果 X X X E [ e λ ( X − E X ) ] ≤ e ϕ ( λ ) \mathbb{E}[e^{\lambda(X-\mathbb{E}X)}] \leq e^{\phi(\lambda)} E [ e λ ( X − E X ) ] ≤ e ϕ ( λ ) λ ≥ 0 \lambda \geq 0 λ ≥ 0
+P ( X − E X ≥ ε ) ≤ e − ϕ ∗ ( ε ) , ε ≥ 0 \begin{equation}
+P(X - \mathbb{E}X \geq \varepsilon) \leq e^{-\phi^*(\varepsilon)}, \quad \varepsilon \geq 0
+\end{equation}
+ P ( X − E X ≥ ε ) ≤ e − ϕ ∗ ( ε ) , ε ≥ 0
+或
+P ( X − E X ≤ ( ϕ ∗ ) − 1 ( ln ( 1 / δ ) ) ) ≥ 1 − δ , δ ∈ [ 0 , 1 ] \begin{equation}
+P(X - \mathbb{E}X \leq (\phi^*)^{-1}(\ln(1/\delta))) \geq 1 - \delta, \quad \delta \in [0,1]
+\end{equation}
+ P ( X − E X ≤ ( ϕ ∗ ) − 1 ( ln ( 1/ δ ))) ≥ 1 − δ , δ ∈ [ 0 , 1 ]
+其中，ϕ ∗ \phi^* ϕ ∗ ϕ \phi ϕ ϕ ∗ ( x ) = sup λ ≥ 0 ( λ x − ϕ ( λ ) ) \phi^*(x) = \sup_{\lambda \geq 0}(\lambda x - \phi(\lambda)) ϕ ∗ ( x ) = sup λ ≥ 0 ( λ x − ϕ ( λ ))
+证明
+根据 Chernoff 不等式，有：
+P ( X − E X ≥ ε ) ≤ inf λ ≥ 0 e − λ ε E [ e λ ( X − E X ) ] ≤ inf λ ≥ 0 e ϕ ( λ ) − λ ε = e − sup λ ≥ 0 ( λ ε − ϕ ( λ ) ) = e − ϕ ∗ ( ε ) \begin{equation}
+\begin{align*}
+P(X - \mathbb{E}X \geq \varepsilon) &\leq \inf_{\lambda \geq 0} e^{-\lambda \varepsilon} \mathbb{E}[e^{\lambda(X-\mathbb{E}X)}] \\
+&\leq \inf_{\lambda \geq 0} e^{\phi(\lambda) - \lambda \varepsilon} \\
+&= e^{-\sup_{\lambda \geq 0}(\lambda \varepsilon - \phi(\lambda))} \\
+&= e^{-\phi^*(\varepsilon)}
+\end{align*}
+\end{equation}
+ P ( X − E X ≥ ε ) ≤ λ ≥ 0 inf e − λ ε E [ e λ ( X − E X ) ] ≤ λ ≥ 0 inf e ϕ ( λ ) − λ ε = e − s u p λ ≥ 0 ( λ ε − ϕ ( λ )) = e − ϕ ∗ ( ε )
+因此，最优 Chernoff 界得证。□ \square □
+1.14 Hoeffding 不等式
+设有 m m m X i ∈ [ a i , b i ] X_{i} \in [a_{i}, b_{i}] X i ∈ [ a i , b i ] X ˉ \bar{X} X ˉ X i X_{i} X i
+P ( X ˉ − E [ X ˉ ] ≥ ε ) ≤ exp ( − 2 m 2 ε 2 ∑ i = 1 m ( b i − a i ) 2 ) \begin{equation}
+P(\bar{X} - \mathbb{E}[\bar{X}] \geq \varepsilon) \leq \exp (-\frac{2 m^{2} \varepsilon^{2}}{\sum_{i=1}^{m}(b_{i} - a_{i})^{2}})
+\end{equation}
+ P ( X ˉ − E [ X ˉ ] ≥ ε ) ≤ exp ( − ∑ i = 1 m ( b i − a i ) 2 2 m 2 ε 2 )
+证明
+首先，我们引入一个引理 (Hoeffding 定理)：
+对于 E [ X ] = 0 \mathbb{E}[X] = 0 E [ X ] = 0 X ∈ [ a , b ] X \in [a, b] X ∈ [ a , b ] λ ∈ R \lambda \in \mathbb{R} λ ∈ R
+E [ e λ X ] ≤ exp ( λ 2 ( b − a ) 2 8 ) \begin{equation}
+\mathbb{E}[e^{\lambda X}] \leq \exp( \frac{\lambda^2(b-a)^2}{8} )
+\end{equation}
+ E [ e λ X ] ≤ exp ( 8 λ 2 ( b − a ) 2 )
+由于 e x e^x e x x ∈ [ a , b ] x \in [a, b] x ∈ [ a , b ]
+e λ x ≤ b − x b − a e λ a + x − a b − a e λ b \begin{equation}
+e^{\lambda x} \leq \frac{b-x}{b-a}e^{\lambda a} + \frac{x-a}{b-a}e^{\lambda b}
+\end{equation}
+ e λ x ≤ b − a b − x e λa + b − a x − a e λb
+对上式取期望，得到：
+E [ e λ X ] ≤ b − E [ X ] b − a e λ a + E [ X ] − a b − a e λ b = b e λ a − a e λ b b − a \begin{equation}
+\mathbb{E}[e^{\lambda X}] \leq \frac{b-\mathbb{E}[X]}{b-a}e^{\lambda a} + \frac{\mathbb{E}[X]-a}{b-a}e^{\lambda b} = \frac{be^{\lambda a} - ae^{\lambda b}}{b - a}
+\end{equation}
+ E [ e λ X ] ≤ b − a b − E [ X ] e λa + b − a E [ X ] − a e λb = b − a b e λa − a e λb
+记 θ = − a b − a \theta = -\frac{a}{b-a} θ = − b − a a h = λ ( b − a ) h = \lambda(b-a) h = λ ( b − a )
+b e λ a − a e λ b b − a = [ 1 − θ + θ e h ] e − θ h = e ln ( 1 − θ + θ e h ) e − θ h = e ln ( 1 − θ + θ e h ) − θ h \begin{equation}
+\frac{be^{\lambda a} - ae^{\lambda b}}{b - a} = [1-\theta + \theta e^{h}]e^{-\theta h} = e^{\ln(1-\theta + \theta e^{h})}e^{-\theta h} = e^{\ln(1-\theta + \theta e^{h}) -\theta h}
+\end{equation}
+ b − a b e λa − a e λb = [ 1 − θ + θ e h ] e − θ h = e l n ( 1 − θ + θ e h ) e − θ h = e l n ( 1 − θ + θ e h ) − θ h
+定义函数 φ ( θ , h ) = ln ( 1 − θ + θ e h ) − θ h \varphi(\theta, h) = \ln(1-\theta + \theta e^{h}) -\theta h φ ( θ , h ) = ln ( 1 − θ + θ e h ) − θ h θ \theta θ h h h h h h
+∂ φ ∂ h = θ e h 1 − θ + θ e h − θ \begin{equation}
+\frac{\partial \varphi}{\partial h} = \frac{\theta e^h}{1 - \theta + \theta e^h} - \theta
+\end{equation}
+ ∂ h ∂ φ = 1 − θ + θ e h θ e h − θ
+显然有 ∂ φ ∂ h ∣ h = 0 + = 0 \frac{\partial \varphi}{\partial h}\big|_{h=0^+} = 0 ∂ h ∂ φ h = 0 + = 0
+∂ 2 φ ∂ h 2 = θ e h ( 1 − θ + θ e h ) − θ 2 e 2 h ( 1 − θ + θ e h ) 2 = θ e h 1 − θ + θ e h ( 1 − θ e h 1 − θ + θ e h ) ≤ 1 4 \begin{equation}
+\frac{\partial^2 \varphi}{\partial h^2} = \frac{\theta e^h(1 - \theta + \theta e^h) - \theta^2e^{2h}}{(1 - \theta + \theta e^h)^2} = \frac{\theta e^h}{1 - \theta + \theta e^h}(1- \frac{\theta e^h}{1 - \theta + \theta e^h}) \leq \frac{1}{4}
+\end{equation}
+ ∂ h 2 ∂ 2 φ = ( 1 − θ + θ e h ) 2 θ e h ( 1 − θ + θ e h ) − θ 2 e 2 h = 1 − θ + θ e h θ e h ( 1 − 1 − θ + θ e h θ e h ) ≤ 4 1
+根据泰勒展开式，可以得到：
+φ ( θ , h ) ≤ h 2 8 = λ 2 ( b − a ) 2 8 \begin{equation}
+\varphi(\theta, h) \leq \frac{h^2}{8} = \frac{\lambda^2(b-a)^2}{8}
+\end{equation}
+ φ ( θ , h ) ≤ 8 h 2 = 8 λ 2 ( b − a ) 2
+由 Markov 不等式可知，对于任意 λ > 0 \lambda \gt 0 λ > 0
+P ( X ˉ − E [ X ˉ ] ≥ ε ) = P ( e λ ( X ˉ − E [ X ˉ ] ) ≥ e λ ε ) ≤ E [ e λ ( X ˉ − E [ X ˉ ] ) ] e λ ε \begin{equation}
+P(\bar{X} - \mathbb{E}[\bar{X}] \geq \varepsilon) = P(e^{\lambda(\bar{X} - \mathbb{E}[\bar{X}])} \geq e^{\lambda \varepsilon}) \leq \frac{\mathbb{E}[e^{\lambda(\bar{X} - \mathbb{E}[\bar{X}])}]}{e^{\lambda \varepsilon}}
+\end{equation}
+ P ( X ˉ − E [ X ˉ ] ≥ ε ) = P ( e λ ( X ˉ − E [ X ˉ ]) ≥ e λ ε ) ≤ e λ ε E [ e λ ( X ˉ − E [ X ˉ ]) ]
+利用随机变量的独立性及 Hoeffding 引理，有：
+E [ e λ ( X ˉ − E [ X ˉ ] ) ] e λ ε = e − λ ε ∏ i = 1 m E [ e λ ( X i − E [ X i ] ) / m ] ≤ e − λ ε ∏ i = 1 m exp ( λ 2 ( b i − a i ) 2 8 m 2 ) \begin{equation}
+\frac{\mathbb{E}[e^{\lambda(\bar{X} - \mathbb{E}[\bar{X}]})]}{e^{\lambda \varepsilon}} = e^{-\lambda \varepsilon} \prod_{i=1}^{m} \mathbb{E}[e^{\lambda(X_{i} - \mathbb{E}[X_{i}]) / m}] \leq e^{-\lambda \varepsilon} \prod_{i=1}^{m} \exp (\frac{\lambda^{2}(b_{i} - a_{i})^{2}}{8 m^{2}})
+\end{equation}
+ e λ ε E [ e λ ( X ˉ − E [ X ˉ ] )] = e − λ ε i = 1 ∏ m E [ e λ ( X i − E [ X i ]) / m ] ≤ e − λ ε i = 1 ∏ m exp ( 8 m 2 λ 2 ( b i − a i ) 2 )
+考虑二次函数 g ( λ ) = − λ ε + λ 2 8 m 2 ∑ i = 1 m ( b i − a i ) 2 g(\lambda) = -\lambda \varepsilon + \frac{\lambda^{2}}{8 m^{2}} \sum_{i=1}^{m}(b_{i} - a_{i})^{2} g ( λ ) = − λ ε + 8 m 2 λ 2 ∑ i = 1 m ( b i − a i ) 2 − 2 m 2 ε 2 ∑ i = 1 m ( b i − a i ) 2 -\frac{2 m^{2} \varepsilon^{2}}{\sum_{i=1}^{m}(b_{i} - a_{i})^{2}} − ∑ i = 1 m ( b i − a i ) 2 2 m 2 ε 2
+因此可以得到：
+P ( X ˉ − E [ X ˉ ] ≥ ε ) ≤ exp ( − 2 m 2 ε 2 ∑ i = 1 m ( b i − a i ) 2 ) \begin{equation}
+P(\bar{X} - \mathbb{E}[\bar{X}] \geq \varepsilon) \leq \exp (-\frac{2 m^{2} \varepsilon^{2}}{\sum_{i=1}^{m}(b_{i} - a_{i})^{2}})
+\end{equation}
+ P ( X ˉ − E [ X ˉ ] ≥ ε ) ≤ exp ( − ∑ i = 1 m ( b i − a i ) 2 2 m 2 ε 2 )
+□ \square □
+注意，这里并未要求随机变量同分布，因此Hoeffding 不等式常用来解释集成学习的基本原理。
+1.15 McDiarmid 不等式
+对于 m m m X i ∈ X X_{i} \in \mathcal{X} X i ∈ X f f f ε > 0 \varepsilon \gt 0 ε > 0
+P ( f ( X 1 , ⋯ , X m ) − E [ f ( X 1 , ⋯ , X m ) ] ≥ ε ) ≤ exp ( − ε 2 2 ∑ i = 1 m c i 2 ) \begin{equation}
+P(f(X_{1}, \cdots, X_{m})-\mathbb{E}[f(X_{1}, \cdots, X_{m})] \geq \varepsilon) \leq \exp (-\frac{\varepsilon^{2}}{2 \sum_{i=1}^{m} c_{i}^{2}})
+\end{equation}
+ P ( f ( X 1 , ⋯ , X m ) − E [ f ( X 1 , ⋯ , X m )] ≥ ε ) ≤ exp ( − 2 ∑ i = 1 m c i 2 ε 2 )
+证明
+构造一个鞅差序列：
+D j = E [ f ( X ) ∣ X 1 , ⋯ , X j ] − E [ f ( X ) ∣ X 1 , ⋯ , X j − 1 ] \begin{equation}
+D_j = \mathbb{E}[f(X) \mid X_1, \cdots, X_j] - \mathbb{E}[f(X) \mid X_1, \cdots, X_{j-1}]
+\end{equation}
+ D j = E [ f ( X ) ∣ X 1 , ⋯ , X j ] − E [ f ( X ) ∣ X 1 , ⋯ , X j − 1 ]
+容易验证：
+f ( X ) − E [ f ( X ) ] = ∑ i = 1 m D i \begin{equation}
+f(X) - \mathbb{E}[f(X)] = \sum_{i=1}^m D_i
+\end{equation}
+ f ( X ) − E [ f ( X )] = i = 1 ∑ m D i
+由于 f f f
+P ( f ( X 1 , ⋯ , X m ) − E [ f ( X 1 , ⋯ , X m ) ] ≥ ε ) ≤ exp ( − ε 2 2 ∑ i = 1 m c i 2 ) \begin{equation}
+P(f(X_1, \cdots, X_m) - \mathbb{E}[f(X_1, \cdots, X_m)] \geq \varepsilon) \leq \exp( -\frac{\varepsilon^2}{2\sum_{i=1}^m c_i^2} )
+\end{equation}
+ P ( f ( X 1 , ⋯ , X m ) − E [ f ( X 1 , ⋯ , X m )] ≥ ε ) ≤ exp ( − 2 ∑ i = 1 m c i 2 ε 2 )
+原不等式得证。□ \square □
+1.16 Bennett 不等式
+对于 m m m X i X_{i} X i X ˉ \bar{X} X ˉ X i X_{i} X i b > 0 b \gt 0 b > 0 ∣ X i − E [ X i ] ∣ < b |X_i-\mathbb{E}[X_i]| \lt b ∣ X i − E [ X i ] ∣ < b
+P ( X ˉ − E [ X ˉ ] ≥ ε ) ≤ exp ( − m ε 2 2 ( ∑ i = 1 m V [ X i ] / m + b ε / 3 ) ) \begin{equation}
+P(\bar{X}-\mathbb{E}[\bar{X}] \geq \varepsilon) \leq \exp (-\frac{m \varepsilon^{2}}{2(\sum_{i=1}^{m} \mathbb{V}[X_{i}] / m + b \varepsilon / 3)})
+\end{equation}
+ P ( X ˉ − E [ X ˉ ] ≥ ε ) ≤ exp ( − 2 ( ∑ i = 1 m V [ X i ] / m + b ε /3 ) m ε 2 )
+证明
+首先，Bennett 不等式是 Hoeffding 不等式的一个加强版，对于独立随机变量的条件可以放宽为弱独立条件，结论仍然成立。
+这些 Bernstein 类的集中不等式更多地反映了在非渐近观点下的大数定律表现，即它们刻画了样本均值如何集中在总体均值附近。
+如果将样本均值看作是样本（数据点的函数），即令 f ( X 1 , ⋯ , X m ) = ∑ i = 1 m X i / m f(X_{1}, \cdots, X_{m}) = \sum_{i=1}^{m} X_{i} / m f ( X 1 , ⋯ , X m ) = ∑ i = 1 m X i / m
+P ( f ( X 1 , ⋯ , X m ) − E [ f ( X 1 , ⋯ , X m ) ] ≥ ε ) \begin{equation}
+P(f(X_{1}, \cdots, X_{m}) - \mathbb{E}[f(X_{1}, \cdots, X_{m})] \geq \varepsilon)
+\end{equation}
+ P ( f ( X 1 , ⋯ , X m ) − E [ f ( X 1 , ⋯ , X m )] ≥ ε )
+为了在某些泛函上也具有类似 Bernstein 类的集中不等式形式，显然 f f f
+定义 3: 差有界性
+函数 f : X m → R f: \mathcal{X}^{m} \rightarrow \mathbb{R} f : X m → R i i i c i < ∞ c_{i} \lt \infty c i < ∞
+∣ f ( x 1 , ⋯ , x i , ⋯ , x m ) − f ( x 1 , ⋯ , x i ′ , ⋯ , x m ) ∣ ≤ c i \begin{equation}
+|f(x_{1}, \cdots, x_{i}, \cdots, x_{m})-f(x_{1}, \cdots, x_{i}^{\prime}, \cdots, x_{m})| \leq c_{i}
+\end{equation}
+ ∣ f ( x 1 , ⋯ , x i , ⋯ , x m ) − f ( x 1 , ⋯ , x i ′ , ⋯ , x m ) ∣ ≤ c i
+则称 f f f
+为了证明这些结果，需要引入一些新的数学工具。
+定义 4: 离散鞅
+若离散随机变量序列（随机过程）Z m Z_m Z m
+
+E [ ∣ Z i ∣ ] < ∞ \mathbb{E}[|Z_{i}|] \lt \infty E [ ∣ Z i ∣ ] < ∞ E [ Z m + 1 ∣ Z 1 , ⋯ , Z m ] = E [ Z m + 1 ∣ F m ] = Z m \mathbb{E}[Z_{m+1} \mid Z_{1}, \cdots, Z_{m}] = \mathbb{E}[Z_{m+1} \mid \mathcal{F}_{m}] = Z_{m} E [ Z m + 1 ∣ Z 1 , ⋯ , Z m ] = E [ Z m + 1 ∣ F m ] = Z m
+则称序列 Z i Z_i Z i
+引理 2: Azuma-Hoeffding 定理
+对于鞅 Z i Z_{i} Z i E [ Z i ] = μ , Z 1 = μ ∘ \mathbb{E}[Z_{i}] = \mu, Z_{1} = \mu_{\circ} E [ Z i ] = μ , Z 1 = μ ∘ X i = Z i − Z i − 1 X_{i} = Z_{i} - Z_{i-1} X i = Z i − Z i − 1 ∣ X i ∣ ≤ c i |X_{i}| \leq c_{i} ∣ X i ∣ ≤ c i ε > 0 \varepsilon \gt 0 ε > 0
+P ( Z m − μ ≥ ε ) = P ( ∑ i = 1 m X i ≥ ε ) ≤ exp ( − ε 2 2 ∑ i = 1 m c i 2 ) \begin{equation}
+P(Z_{m}-\mu \geq \varepsilon) = P(\sum_{i=1}^{m} X_{i} \geq \varepsilon) \leq \exp (-\frac{\varepsilon^{2}}{2 \sum_{i=1}^{m} c_{i}^{2}})
+\end{equation}
+ P ( Z m − μ ≥ ε ) = P ( i = 1 ∑ m X i ≥ ε ) ≤ exp ( − 2 ∑ i = 1 m c i 2 ε 2 )
+证明
+首先，若 E [ X ∣ Y ] = 0 \mathbb{E}[X \mid Y] = 0 E [ X ∣ Y ] = 0 ∀ λ > 0 \forall \lambda \gt 0 ∀ λ > 0
+E [ e λ X ∣ Y ] ≤ E [ e λ X ] \begin{equation}
+\mathbb{E}[e^{\lambda X} \mid Y] \leq \mathbb{E}[e^{\lambda X}]
+\end{equation}
+ E [ e λ X ∣ Y ] ≤ E [ e λ X ]
+因此，由恒等式 E [ E [ X ∣ Y ] ] = E [ X ] \mathbb{E}[\mathbb{E}[X \mid Y]] = \mathbb{E}[X] E [ E [ X ∣ Y ]] = E [ X ] λ > 0 \lambda \gt 0 λ > 0
+P ( Z m − μ ≥ ε ) ≥ e − λ ε E [ e λ ( Z m − μ ) ] = e − λ ε E [ E [ e λ ( Z m − μ ) ∣ F m − 1 ] ] = e − λ ε E [ e λ ( Z m − 1 − μ ) E [ e λ ( Z m − Z m − 1 ) ∣ F m − 1 ] ] \begin{equation}
+\begin{align*}
+P(Z_{m}-\mu \geq \varepsilon) &\geq e^{-\lambda \varepsilon} \mathbb{E}[e^{\lambda(Z_{m}-\mu)}] \\
+& = e^{-\lambda \varepsilon} \mathbb{E}[\mathbb{E}[e^{\lambda(Z_{m}-\mu)} \mid \mathcal{F}_{m-1}]] \\
+& = e^{-\lambda \varepsilon} \mathbb{E}[e^{\lambda(Z_{m-1}-\mu)}\mathbb{E}[e^{\lambda (Z_{m}-Z_{m-1})} \mid \mathcal{F}_{m-1}]]
+\end{align*}
+\end{equation}
+ P ( Z m − μ ≥ ε ) ≥ e − λ ε E [ e λ ( Z m − μ ) ] = e − λ ε E [ E [ e λ ( Z m − μ ) ∣ F m − 1 ]] = e − λ ε E [ e λ ( Z m − 1 − μ ) E [ e λ ( Z m − Z m − 1 ) ∣ F m − 1 ]]
+由于 { X i } \{X_{i}\} { X i } E [ X m ∣ F m − 1 ] = 0 , E [ X i ] = 0 \mathbb{E}[X_{m} \mid \mathcal{F}_{m-1}] = 0, \mathbb{E}[X_{i}] = 0 E [ X m ∣ F m − 1 ] = 0 , E [ X i ] = 0 E [ e λ X ∣ Y ] ≤ E [ e λ X ] \mathbb{E}[e^{\lambda X} \mid Y] \leq \mathbb{E}[e^{\lambda X}] E [ e λ X ∣ Y ] ≤ E [ e λ X ]
+P ( Z m − μ ≥ ε ) ≤ e − λ ε E [ e λ ( Z m − 1 − μ ) ] E [ e λ X n ] ≤ e − λ ε E [ e λ ( Z m − 1 − μ ) ] exp ( λ 2 c m 2 2 ) \begin{equation}
+\begin{align*}
+P(Z_{m}-\mu \geq \varepsilon) & \leq e^{-\lambda \varepsilon} \mathbb{E}[e^{\lambda(Z_{m-1}-\mu)}] \mathbb{E}[e^{\lambda X_{n}}] \\
+& \leq e^{-\lambda \varepsilon} \mathbb{E}[e^{\lambda(Z_{m-1}-\mu)}] \exp (\frac{\lambda^{2} c_{m}^{2}}{2})
+\end{align*}
+\end{equation}
+ P ( Z m − μ ≥ ε ) ≤ e − λ ε E [ e λ ( Z m − 1 − μ ) ] E [ e λ X n ] ≤ e − λ ε E [ e λ ( Z m − 1 − μ ) ] exp ( 2 λ 2 c m 2 )
+迭代上不等式可得：
+P ( Z m − μ ≥ ε ) ≤ e − λ ε ∏ i = 1 m exp ( λ 2 c i 2 2 ) \begin{equation}
+P(Z_{m}-\mu \geq \varepsilon) \leq e^{-\lambda \varepsilon} \prod_{i=1}^{m} \exp (\frac{\lambda^{2} c_{i}^{2}}{2})
+\end{equation}
+ P ( Z m − μ ≥ ε ) ≤ e − λ ε i = 1 ∏ m exp ( 2 λ 2 c i 2 )
+当 λ = ε ∑ i = 1 m c i 2 \lambda = \frac{\varepsilon}{\sum_{i=1}^{m} c_{i}^{2}} λ = ∑ i = 1 m c i 2 ε
+P ( Z m − μ ≥ ε ) ≤ exp ( − ε 2 2 ∑ i = 1 m c i 2 ) \begin{equation}
+P(Z_{m}-\mu \geq \varepsilon) \leq \exp (-\frac{\varepsilon^{2}}{2 \sum_{i=1}^{m} c_{i}^{2}})
+\end{equation}
+ P ( Z m − μ ≥ ε ) ≤ exp ( − 2 ∑ i = 1 m c i 2 ε 2 )
+原不等式得证。□ \square □
+1.17 Bernstein 不等式
+考虑 m m m X i , i ∈ [ m ] X_i, i \in [m] X i , i ∈ [ m ] X ˉ = ∑ i = 1 m X i m \bar{X} = \frac{\sum_{i=1}^{m} X_i}{m} X ˉ = m ∑ i = 1 m X i b > 0 b > 0 b > 0 k ≥ 2 k \geq 2 k ≥ 2 k k k E [ ∣ X i ∣ k ] ≤ k ! b k − 2 2 V [ X 1 ] \mathbb{E}[|X_i|^k] \leq \frac{k! b^{k-2}}{2} \mathbb{V}[X_1] E [ ∣ X i ∣ k ] ≤ 2 k ! b k − 2 V [ X 1 ]
+P ( X ˉ ≥ E [ X ˉ ] + ϵ ) ≤ exp ( − m ϵ 2 2 V [ X 1 ] + 2 b ϵ ) \begin{equation}
+\mathbb{P}(\bar{X} \geq \mathbb{E}[\bar{X}] + \epsilon) \leq \exp\left(\frac{-m\epsilon^2}{2 \mathbb{V}[X_1] + 2b\epsilon}\right)
+\end{equation}
+ P ( X ˉ ≥ E [ X ˉ ] + ϵ ) ≤ exp ( 2 V [ X 1 ] + 2 b ϵ − m ϵ 2 )
+证明
+首先，我们需要将矩条件 （moment condition）转换为亚指数条件 （sub-exponential condition），以便进一步推导，即：
+
+
+矩条件：
+对于随机变量 X X X k k k
+E [ ∣ X − E [ X ] ∣ k ] ≤ k ! b k − 2 2 V [ X ] , ∀ k ≥ 2 \begin{equation}
+\mathbb{E}\left[|X - \mathbb{E}[X]|^k\right] \leq \frac{k! \, b^{k-2}}{2} \, \mathbb{V}[X], \quad \forall k \geq 2
+\end{equation}
+ E [ ∣ X − E [ X ] ∣ k ] ≤ 2 k ! b k − 2 V [ X ] , ∀ k ≥ 2
+其中：
+
+中心矩 ：随机变量 X X X k k k E [ ∣ X − E [ X ] ∣ k ] \mathbb{E}\left[|X - \mathbb{E}[X]|^k\right] E [ ∣ X − E [ X ] ∣ k ] X X X k k k k = 2 k = 2 k = 2 k ! 2 \frac{k!}{2} 2 k ! k k k b k − 2 b^{k-2} b k − 2 b b b V [ X ] \mathbb{V}[X] V [ X ] X X X
+
+
+亚指数条件 ：
+给定随机变量 X X X E [ X ] \mathbb{E}[X] E [ X ] V [ X ] \mathbb{V}[X] V [ X ] X − E [ X ] X - \mathbb{E}[X] X − E [ X ]
+E [ e λ ( X − E [ X ] ) ] ≤ exp ( V [ X ] λ 2 2 ( 1 − b λ ) ) , ∀ λ ∈ [ 0 , 1 b ) \begin{equation}
+\mathbb{E}\left[e^{\lambda (X - \mathbb{E}[X])}\right] \leq \exp\left(\frac{\mathbb{V}[X] \lambda^2}{2(1 - b\lambda)}\right), \quad \forall \lambda \in \left[0, \frac{1}{b}\right)
+\end{equation}
+ E [ e λ ( X − E [ X ]) ] ≤ exp ( 2 ( 1 − bλ ) V [ X ] λ 2 ) , ∀ λ ∈ [ 0 , b 1 )
+其中：
+
+矩母函数 ：这是一个重要的工具，用于控制随机变量的尾部概率。矩母函数的形式是 E [ e λ X ] \mathbb{E}[e^{\lambda X}] E [ e λ X ] λ \lambda λ 方差主导项 ：不等式右边的表达式包含一个方差主导的项 V [ X ] λ 2 2 \frac{\mathbb{V}[X] \lambda^2}{2} 2 V [ X ] λ 2 λ \lambda λ X X X 修正项 ( 1 − b λ ) (1 - b\lambda) ( 1 − bλ ) ：该项显示，当 λ \lambda λ 1 b \frac{1}{b} b 1
+
+
+设：
+Y = X − E [ X ] \begin{equation}
+Y = X - \mathbb{E}[X]
+\end{equation}
+ Y = X − E [ X ]
+我们的目标是对 Y Y Y
+E [ e λ Y ] \begin{equation}
+\mathbb{E}\left[e^{\lambda Y}\right]
+\end{equation}
+ E [ e λY ]
+将 MGF 展开为幂级数（Taylor展开）：
+E [ e λ Y ] = E [ ∑ k = 0 ∞ ( λ Y ) k k ! ] = ∑ k = 0 ∞ λ k k ! E [ Y k ] \begin{equation}
+\mathbb{E}\left[e^{\lambda Y}\right] = \mathbb{E}\left[\sum_{k=0}^\infty \frac{(\lambda Y)^k}{k!}\right] = \sum_{k=0}^\infty \frac{\lambda^k}{k!} \mathbb{E}[Y^k]
+\end{equation}
+ E [ e λY ] = E [ k = 0 ∑ ∞ k ! ( λY ) k ] = k = 0 ∑ ∞ k ! λ k E [ Y k ]
+由于 E [ Y ] = 0 \mathbb{E}[Y] = 0 E [ Y ] = 0 k = 1 k = 1 k = 1
+E [ e λ Y ] = 1 + ∑ k = 2 ∞ λ k k ! E [ Y k ] \begin{equation}
+\mathbb{E}\left[e^{\lambda Y}\right] = 1 + \sum_{k=2}^\infty \frac{\lambda^k}{k!} \mathbb{E}[Y^k]
+\end{equation}
+ E [ e λY ] = 1 + k = 2 ∑ ∞ k ! λ k E [ Y k ]
+根据矩条件：
+E [ ∣ Y ∣ k ] ≤ k ! b k − 2 2 V [ X ] \begin{equation}
+\mathbb{E}\left[|Y|^k\right] \leq \frac{k! \, b^{k-2}}{2} \, \mathbb{V}[X]
+\end{equation}
+ E [ ∣ Y ∣ k ] ≤ 2 k ! b k − 2 V [ X ]
+因此：
+∣ E [ Y k ] ∣ ≤ E [ ∣ Y ∣ k ] ≤ k ! b k − 2 2 V [ X ] \begin{equation}
+|\mathbb{E}[Y^k]| \leq \mathbb{E}\left[|Y|^k\right] \leq \frac{k! \, b^{k-2}}{2} \, \mathbb{V}[X]
+\end{equation}
+ ∣ E [ Y k ] ∣ ≤ E [ ∣ Y ∣ k ] ≤ 2 k ! b k − 2 V [ X ]
+将上界代入 MGF 展开式：
+E [ e λ Y ] ≤ 1 + ∑ k = 2 ∞ λ k k ! ⋅ k ! b k − 2 2 V [ X ] = 1 + V [ X ] 2 ∑ k = 2 ∞ ( b λ ) k − 2 λ 2 \begin{equation}
+\mathbb{E}\left[e^{\lambda Y}\right] \leq 1 + \sum_{k=2}^\infty \frac{\lambda^k}{k!} \cdot \frac{k! \, b^{k-2}}{2} \, \mathbb{V}[X] = 1 + \frac{\mathbb{V}[X]}{2} \sum_{k=2}^\infty (b\lambda)^{k-2} \lambda^2
+\end{equation}
+ E [ e λY ] ≤ 1 + k = 2 ∑ ∞ k ! λ k ⋅ 2 k ! b k − 2 V [ X ] = 1 + 2 V [ X ] k = 2 ∑ ∞ ( bλ ) k − 2 λ 2
+通过令 j = k − 2 j = k - 2 j = k − 2
+E [ e λ Y ] ≤ 1 + V [ X ] λ 2 2 ∑ j = 0 ∞ ( b λ ) j \begin{equation}
+\mathbb{E}\left[e^{\lambda Y}\right] \leq 1 + \frac{\mathbb{V}[X] \lambda^2}{2} \sum_{j=0}^\infty (b\lambda)^j
+\end{equation}
+ E [ e λY ] ≤ 1 + 2 V [ X ] λ 2 j = 0 ∑ ∞ ( bλ ) j
+当 b λ < 1 b\lambda < 1 bλ < 1
+∑ j = 0 ∞ ( b λ ) j = 1 1 − b λ \begin{equation}
+\sum_{j=0}^\infty (b\lambda)^j = \frac{1}{1 - b\lambda}
+\end{equation}
+ j = 0 ∑ ∞ ( bλ ) j = 1 − bλ 1
+因此：
+E [ e λ Y ] ≤ 1 + V [ X ] λ 2 2 ( 1 − b λ ) \begin{equation}
+\mathbb{E}\left[e^{\lambda Y}\right] \leq 1 + \frac{\mathbb{V}[X] \lambda^2}{2(1 - b\lambda)}
+\end{equation}
+ E [ e λY ] ≤ 1 + 2 ( 1 − bλ ) V [ X ] λ 2
+使用不等式 1 + x ≤ e x 1 + x \leq e^{x} 1 + x ≤ e x x x x
+E [ e λ Y ] ≤ exp ( V [ X ] λ 2 2 ( 1 − b λ ) ) \begin{equation}
+\mathbb{E}\left[e^{\lambda Y}\right] \leq \exp\left(\frac{\mathbb{V}[X] \lambda^2}{2(1 - b\lambda)}\right)
+\end{equation}
+ E [ e λY ] ≤ exp ( 2 ( 1 − bλ ) V [ X ] λ 2 )
+这与亚指数条件 相符：
+E [ e λ Y ] ≤ exp ( V [ X ] λ 2 2 ( 1 − b λ ) ) , ∀ λ ∈ [ 0 , 1 b ) \begin{equation}
+\mathbb{E}\left[e^{\lambda Y}\right] \leq \exp\left(\frac{\mathbb{V}[X] \lambda^2}{2(1 - b\lambda)}\right), \quad \forall \lambda \in \left[0, \frac{1}{b}\right)
+\end{equation}
+ E [ e λY ] ≤ exp ( 2 ( 1 − bλ ) V [ X ] λ 2 ) , ∀ λ ∈ [ 0 , b 1 )
+接下来我们完成在给定矩条件下的Bernstein 不等式 的证明，即：
+陈述：
+给定 m m m X i , i ∈ [ m ] X_i, i \in [m] X i , i ∈ [ m ] X ˉ = 1 m ∑ i = 1 m X i \bar{X} = \frac{1}{m}\sum_{i=1}^{m} X_i X ˉ = m 1 ∑ i = 1 m X i b > 0 b > 0 b > 0 k ≥ 2 k \geq 2 k ≥ 2
+E [ ∣ X i − E [ X i ] ∣ k ] ≤ k ! b k − 2 2 V [ X 1 ] , \begin{equation}
+\mathbb{E}\left[|X_i - \mathbb{E}[X_i]|^k\right] \leq \frac{k! \, b^{k-2}}{2} \, \mathbb{V}[X_1],
+\end{equation}
+ E [ ∣ X i − E [ X i ] ∣ k ] ≤ 2 k ! b k − 2 V [ X 1 ] ,
+则对于任意 ϵ > 0 \epsilon > 0 ϵ > 0
+P ( X ˉ ≥ E [ X ˉ ] + ϵ ) ≤ exp ( − m ϵ 2 2 V [ X 1 ] + 2 b ϵ ) \begin{equation}
+\mathbb{P}\left(\bar{X} \geq \mathbb{E}[\bar{X}] + \epsilon\right) \leq \exp\left(\frac{-m\epsilon^2}{2 \mathbb{V}[X_1] + 2b\epsilon}\right)
+\end{equation}
+ P ( X ˉ ≥ E [ X ˉ ] + ϵ ) ≤ exp ( 2 V [ X 1 ] + 2 b ϵ − m ϵ 2 )
+
+步骤 1：定义单侧 Bernstein 条件
+首先，回顾对于参数 b > 0 b > 0 b > 0 单侧 Bernstein 条件 ：
+E [ e λ ( Y ) ] ≤ exp ( V [ Y ] λ 2 / 2 1 − b λ ) , ∀ λ ∈ [ 0 , 1 b ) \begin{equation}
+\mathbb{E}\left[e^{\lambda(Y)}\right] \leq \exp\left(\frac{\mathbb{V}[Y] \lambda^2 / 2}{1 - b\lambda}\right), \quad \forall \lambda \in \left[0, \frac{1}{b}\right)
+\end{equation}
+ E [ e λ ( Y ) ] ≤ exp ( 1 − bλ V [ Y ] λ 2 /2 ) , ∀ λ ∈ [ 0 , b 1 )
+其中 Y = X − E [ X ] Y = X - \mathbb{E}[X] Y = X − E [ X ]
+根据矩条件 ，我们已经证明 Y Y Y 亚指数条件 ：
+E [ e λ Y ] ≤ exp ( V [ Y ] λ 2 2 ( 1 − b λ ) ) , ∀ λ ∈ [ 0 , 1 b ) \begin{equation}
+\mathbb{E}\left[e^{\lambda Y}\right] \leq \exp\left(\frac{\mathbb{V}[Y] \lambda^2}{2(1 - b\lambda)}\right), \quad \forall \lambda \in \left[0, \frac{1}{b}\right)
+\end{equation}
+ E [ e λY ] ≤ exp ( 2 ( 1 − bλ ) V [ Y ] λ 2 ) , ∀ λ ∈ [ 0 , b 1 )
+因此，Y Y Y 单侧 Bernstein 条件 ，且 V [ Y ] = V [ X ] \mathbb{V}[Y] = \mathbb{V}[X] V [ Y ] = V [ X ]
+
+考虑 m m m Y i = X i − E [ X i ] Y_i = X_i - \mathbb{E}[X_i] Y i = X i − E [ X i ]
+S m = ∑ i = 1 m Y i = m ( X ˉ − E [ X ˉ ] ) \begin{equation}
+S_m = \sum_{i=1}^{m} Y_i = m(\bar{X} - \mathbb{E}[\bar{X}])
+\end{equation}
+ S m = i = 1 ∑ m Y i = m ( X ˉ − E [ X ˉ ])
+我们的目标是对概率 P ( S m ≥ m ϵ ) \mathbb{P}(S_m \geq m\epsilon) P ( S m ≥ m ϵ ) P ( X ˉ ≥ E [ X ˉ ] + ϵ ) \mathbb{P}(\bar{X} \geq \mathbb{E}[\bar{X}] + \epsilon) P ( X ˉ ≥ E [ X ˉ ] + ϵ )
+使用Chernoff 界 ：
+P ( S m ≥ m ϵ ) ≤ inf λ > 0 exp ( − λ m ϵ ) E [ e λ S m ] \begin{equation}
+\mathbb{P}(S_m \geq m\epsilon) \leq \inf_{\lambda > 0} \exp(-\lambda m \epsilon) \mathbb{E}\left[e^{\lambda S_m}\right]
+\end{equation}
+ P ( S m ≥ m ϵ ) ≤ λ > 0 inf exp ( − λm ϵ ) E [ e λ S m ]
+
+由于 Y i Y_i Y i
+E [ e λ S m ] = ∏ i = 1 m E [ e λ Y i ] ≤ [ exp ( V [ Y i ] λ 2 2 ( 1 − b λ ) ) ] m = exp ( m V [ Y ] λ 2 2 ( 1 − b λ ) ) \begin{equation}
+\mathbb{E}\left[e^{\lambda S_m}\right] = \prod_{i=1}^{m} \mathbb{E}\left[e^{\lambda Y_i}\right] \leq \left[\exp\left(\frac{\mathbb{V}[Y_i] \lambda^2}{2(1 - b\lambda)}\right)\right]^m = \exp\left(\frac{m \mathbb{V}[Y] \lambda^2}{2(1 - b\lambda)}\right)
+\end{equation}
+ E [ e λ S m ] = i = 1 ∏ m E [ e λ Y i ] ≤ [ exp ( 2 ( 1 − bλ ) V [ Y i ] λ 2 ) ] m = exp ( 2 ( 1 − bλ ) m V [ Y ] λ 2 )
+因此：
+P ( S m ≥ m ϵ ) ≤ inf λ > 0 exp ( − λ m ϵ + m V [ Y ] λ 2 2 ( 1 − b λ ) ) \begin{equation}
+\mathbb{P}(S_m \geq m\epsilon) \leq \inf_{\lambda > 0} \exp\left(-\lambda m \epsilon + \frac{m \mathbb{V}[Y] \lambda^2}{2(1 - b\lambda)}\right)
+\end{equation}
+ P ( S m ≥ m ϵ ) ≤ λ > 0 inf exp ( − λm ϵ + 2 ( 1 − bλ ) m V [ Y ] λ 2 )
+
+为了找到最紧的界，我们需要对 λ \lambda λ λ \lambda λ
+− λ m ϵ + m V [ Y ] λ 2 2 ( 1 − b λ ) \begin{equation}
+-\lambda m \epsilon + \frac{m \mathbb{V}[Y] \lambda^2}{2(1 - b\lambda)}
+\end{equation}
+ − λm ϵ + 2 ( 1 − bλ ) m V [ Y ] λ 2
+对 λ \lambda λ
+− ϵ + V [ Y ] λ 1 − b λ + V [ Y ] λ 2 b 2 ( 1 − b λ ) 2 = 0 \begin{equation}
+-\epsilon + \frac{\mathbb{V}[Y] \lambda}{1 - b\lambda} + \frac{\mathbb{V}[Y] \lambda^2 b}{2(1 - b\lambda)^2} = 0
+\end{equation}
+ − ϵ + 1 − bλ V [ Y ] λ + 2 ( 1 − bλ ) 2 V [ Y ] λ 2 b = 0
+然而，直接求解该方程较为复杂。我们可以选择：
+λ = ϵ V [ Y ] + b ϵ \begin{equation}
+\lambda = \frac{\epsilon}{\mathbb{V}[Y] + b\epsilon}
+\end{equation}
+ λ = V [ Y ] + b ϵ ϵ
+此时 λ \lambda λ [ 0 , 1 b ) \left[0, \frac{1}{b}\right) [ 0 , b 1 )
+λ b = b ϵ V [ Y ] + b ϵ < 1 \begin{equation}
+\lambda b = \frac{b\epsilon}{\mathbb{V}[Y] + b\epsilon} < 1
+\end{equation}
+ λb = V [ Y ] + b ϵ b ϵ < 1
+
+步骤 5：将最优的 λ \lambda λ
+将 λ = ϵ V [ Y ] + b ϵ \lambda = \frac{\epsilon}{\mathbb{V}[Y] + b\epsilon} λ = V [ Y ] + b ϵ ϵ
+− λ m ϵ + m V [ Y ] λ 2 2 ( 1 − b λ ) = − m ϵ 2 V [ Y ] + b ϵ + m V [ Y ] ( ϵ V [ Y ] + b ϵ ) 2 2 ( 1 − b ϵ V [ Y ] + b ϵ ) \begin{equation}
+-\lambda m \epsilon + \frac{m \mathbb{V}[Y] \lambda^2}{2(1 - b\lambda)} = -\frac{m \epsilon^2}{\mathbb{V}[Y] + b\epsilon} + \frac{m \mathbb{V}[Y] \left(\frac{\epsilon}{\mathbb{V}[Y] + b\epsilon}\right)^2}{2\left(1 - \frac{b\epsilon}{\mathbb{V}[Y] + b\epsilon}\right)}
+\end{equation}
+ − λm ϵ + 2 ( 1 − bλ ) m V [ Y ] λ 2 = − V [ Y ] + b ϵ m ϵ 2 + 2 ( 1 − V [ Y ] + b ϵ b ϵ ) m V [ Y ] ( V [ Y ] + b ϵ ϵ ) 2
+在第二项中简化分母：
+1 − b λ = 1 − b ϵ V [ Y ] + b ϵ = V [ Y ] V [ Y ] + b ϵ \begin{equation}
+1 - b\lambda = 1 - \frac{b\epsilon}{\mathbb{V}[Y] + b\epsilon} = \frac{\mathbb{V}[Y]}{\mathbb{V}[Y] + b\epsilon}
+\end{equation}
+ 1 − bλ = 1 − V [ Y ] + b ϵ b ϵ = V [ Y ] + b ϵ V [ Y ]
+现在，代入回去：
+− m ϵ 2 V [ Y ] + b ϵ + m ϵ 2 2 ( V [ Y ] + b ϵ ) = − m ϵ 2 2 ( V [ Y ] + b ϵ ) \begin{equation}
+-\frac{m \epsilon^2}{\mathbb{V}[Y] + b\epsilon} + \frac{m \epsilon^2}{2(\mathbb{V}[Y] + b\epsilon)} = -\frac{m \epsilon^2}{2(\mathbb{V}[Y] + b\epsilon)}
+\end{equation}
+ − V [ Y ] + b ϵ m ϵ 2 + 2 ( V [ Y ] + b ϵ ) m ϵ 2 = − 2 ( V [ Y ] + b ϵ ) m ϵ 2
+因此：
+P ( S m ≥ m ϵ ) ≤ exp ( − m ϵ 2 2 ( V [ Y ] + b ϵ ) ) \begin{equation}
+\mathbb{P}(S_m \geq m\epsilon) \leq \exp\left(-\frac{m \epsilon^2}{2(\mathbb{V}[Y] + b\epsilon)}\right)
+\end{equation}
+ P ( S m ≥ m ϵ ) ≤ exp ( − 2 ( V [ Y ] + b ϵ ) m ϵ 2 )
+
+回忆：
+S m = m ( X ˉ − E [ X ˉ ] ) \begin{equation}
+S_m = m(\bar{X} - \mathbb{E}[\bar{X}])
+\end{equation}
+ S m = m ( X ˉ − E [ X ˉ ])
+因此：
+P ( X ˉ − E [ X ˉ ] ≥ ϵ ) = P ( S m ≥ m ϵ ) ≤ exp ( − m ϵ 2 2 ( V [ Y ] + b ϵ ) ) \begin{equation}
+\mathbb{P}\left(\bar{X} - \mathbb{E}[\bar{X}] \geq \epsilon\right) = \mathbb{P}(S_m \geq m\epsilon) \leq \exp\left(-\frac{m \epsilon^2}{2(\mathbb{V}[Y] + b\epsilon)}\right)
+\end{equation}
+ P ( X ˉ − E [ X ˉ ] ≥ ϵ ) = P ( S m ≥ m ϵ ) ≤ exp ( − 2 ( V [ Y ] + b ϵ ) m ϵ 2 )
+由于 V [ Y ] = V [ X ] \mathbb{V}[Y] = \mathbb{V}[X] V [ Y ] = V [ X ]
+P ( X ˉ ≥ E [ X ˉ ] + ϵ ) ≤ exp ( − m ϵ 2 2 ( V [ X ] + b ϵ ) ) \begin{equation}
+\mathbb{P}\left(\bar{X} \geq \mathbb{E}[\bar{X}] + \epsilon\right) \leq \exp\left(-\frac{m \epsilon^2}{2(\mathbb{V}[X] + b\epsilon)}\right)
+\end{equation}
+ P ( X ˉ ≥ E [ X ˉ ] + ϵ ) ≤ exp ( − 2 ( V [ X ] + b ϵ ) m ϵ 2 )
+□ \square □
+1.18 Azuma–Hoeffding（Azuma）不等式
+对于均值为 Z 0 = μ Z_0 = \mu Z 0 = μ { Z m , m ≥ 1 } \{Z_m, m \geq 1\} { Z m , m ≥ 1 } ∣ Z i − Z i − 1 ∣ ≤ c i |Z_i - Z_{i-1}| \leq c_i ∣ Z i − Z i − 1 ∣ ≤ c i c i > 0 c_i \gt 0 c i > 0 ε > 0 \varepsilon \gt 0 ε > 0
+P ( Z m − μ ≥ ε ) ≤ exp ( − ε 2 2 ∑ i = 1 m c i 2 ) P ( Z m − μ ≤ − ε ) ≤ exp ( − ε 2 2 ∑ i = 1 m c i 2 ) \begin{equation}
+\begin{align*}
+P(Z_{m} - \mu \geq \varepsilon) &\leq \exp(-\frac{\varepsilon^{2}}{2\sum_{i=1}^{m} c_{i}^{2}}) \\
+P(Z_{m} - \mu \leq -\varepsilon) &\leq \exp(-\frac{\varepsilon^{2}}{2\sum_{i=1}^{m} c_{i}^{2}})
+\end{align*}
+\end{equation}
+ P ( Z m − μ ≥ ε ) P ( Z m − μ ≤ − ε ) ≤ exp ( − 2 ∑ i = 1 m c i 2 ε 2 ) ≤ exp ( − 2 ∑ i = 1 m c i 2 ε 2 )
+证明
+
+
+构造指数鞅
+考虑参数 s > 0 s \gt 0 s > 0
+M m = exp ( s ( Z m − μ ) − s 2 2 ∑ i = 1 m c i 2 ) \begin{equation}
+M_m = \exp(s(Z_m - \mu) - \frac{s^2}{2}\sum_{i=1}^{m} c_i^2)
+\end{equation}
+ M m = exp ( s ( Z m − μ ) − 2 s 2 i = 1 ∑ m c i 2 )
+我们需要证明 { M m } m ≥ 0 \{M_m\}_{m \geq 0} { M m } m ≥ 0
+
+
+验证鞅性质
+对于任意 m ≥ 1 m \geq 1 m ≥ 1
+E [ M m ∣ F m − 1 ] = E [ exp ( s ( Z m − Z m − 1 ) ) ∣ F m − 1 ] ⋅ exp ( s ( Z m − 1 − μ ) − s 2 2 ∑ i = 1 m c i 2 ) \begin{equation}
+\mathbb{E}[M_m \mid \mathcal{F}_{m-1}] = \mathbb{E}[\exp(s(Z_m - Z_{m-1})) \mid \mathcal{F}_{m-1}] \cdot \exp(s(Z_{m-1} - \mu) - \frac{s^2}{2}\sum_{i=1}^{m} c_i^2)
+\end{equation}
+ E [ M m ∣ F m − 1 ] = E [ exp ( s ( Z m − Z m − 1 )) ∣ F m − 1 ] ⋅ exp ( s ( Z m − 1 − μ ) − 2 s 2 i = 1 ∑ m c i 2 )
+由于 ∣ Z m − Z m − 1 ∣ ≤ c m |Z_m - Z_{m-1}| \leq c_m ∣ Z m − Z m − 1 ∣ ≤ c m E [ Z m − Z m − 1 ∣ F m − 1 ] = 0 \mathbb{E}[Z_m - Z_{m-1} \mid \mathcal{F}_{m-1}] = 0 E [ Z m − Z m − 1 ∣ F m − 1 ] = 0
+E [ exp ( s ( Z m − Z m − 1 ) ) ∣ F m − 1 ] ≤ exp ( s E [ Z m − Z m − 1 ∣ F m − 1 ] + s 2 ( c m − ( − c m ) ) 2 8 ) = exp ( s 2 c m 2 2 ) \begin{equation}
+\mathbb{E}[\exp(s(Z_m - Z_{m-1})) \mid \mathcal{F}_{m-1}] \leq \exp(s\mathbb{E}[Z_m - Z_{m-1} \mid \mathcal{F}_{m-1}] + \frac{s^2(c_m-(-c_m))^2}{8}) = \exp(\frac{s^2 c_m^2}{2})
+\end{equation}
+ E [ exp ( s ( Z m − Z m − 1 )) ∣ F m − 1 ] ≤ exp ( s E [ Z m − Z m − 1 ∣ F m − 1 ] + 8 s 2 ( c m − ( − c m ) ) 2 ) = exp ( 2 s 2 c m 2 )
+因此，
+E [ M m ∣ F m − 1 ] ≤ exp ( s 2 c m 2 2 ) ⋅ exp ( s ( Z m − 1 − μ ) − s 2 2 ∑ i = 1 m c i 2 ) = M m − 1 \begin{equation}
+\mathbb{E}[M_m \mid \mathcal{F}_{m-1}] \leq \exp(\frac{s^2 c_m^2}{2}) \cdot \exp(s(Z_{m-1} - \mu) - \frac{s^2}{2}\sum_{i=1}^{m} c_i^2) = M_{m-1}
+\end{equation}
+ E [ M m ∣ F m − 1 ] ≤ exp ( 2 s 2 c m 2 ) ⋅ exp ( s ( Z m − 1 − μ ) − 2 s 2 i = 1 ∑ m c i 2 ) = M m − 1
+这表明 { M m } \{M_m\} { M m }
+
+
+应用鞅不等式
+由于 { M m } \{M_m\} { M m } M 0 = exp ( 0 ) = 1 M_0 = \exp(0) = 1 M 0 = exp ( 0 ) = 1
+E [ M m ] ≤ M 0 = 1 \begin{equation}
+\mathbb{E}[M_m] \le M_0 = 1
+\end{equation}
+ E [ M m ] ≤ M 0 = 1
+对于事件 { Z m − μ ≥ ε } \{Z_m - \mu \geq \varepsilon\} { Z m − μ ≥ ε }
+M m = exp ( s ( Z m − μ ) − s 2 2 ∑ i = 1 m c i 2 ) ≥ exp ( s ε − s 2 2 ∑ i = 1 m c i 2 ) \begin{equation}
+M_m = \exp(s(Z_m - \mu) - \frac{s^2}{2}\sum_{i=1}^{m} c_i^2) \geq \exp(s \varepsilon - \frac{s^2}{2}\sum_{i=1}^{m} c_i^2)
+\end{equation}
+ M m = exp ( s ( Z m − μ ) − 2 s 2 i = 1 ∑ m c i 2 ) ≥ exp ( s ε − 2 s 2 i = 1 ∑ m c i 2 )
+我们令 a = exp ( s ε − s 2 2 ∑ i = 1 m c i 2 ) a = \exp\left(s \varepsilon - \frac{s^2}{2}\sum_{i=1}^{m} c_i^2\right) a = exp ( s ε − 2 s 2 ∑ i = 1 m c i 2 ) { Z m − μ ≥ ε } \{Z_m - \mu \geq \varepsilon\} { Z m − μ ≥ ε } { M m ≥ a } \{M_m \geq a\} { M m ≥ a }
+P ( Z m − μ ≥ ε ) ≤ P ( M m ≥ a ) \begin{equation}
+P\left(Z_m - \mu \geq \varepsilon\right) \leq P\left(M_m \geq a\right)
+\end{equation}
+ P ( Z m − μ ≥ ε ) ≤ P ( M m ≥ a )
+结合已知的 E [ M m ] ≤ 1 \mathbb{E}[M_m] \leq 1 E [ M m ] ≤ 1
+P ( M m ≥ a ) ≤ 1 a = exp ( − s ε + s 2 2 ∑ i = 1 m c i 2 ) \begin{equation}
+P\left(M_m \geq a\right) \leq \frac{1}{a} = \exp\left(-s \varepsilon + \frac{s^2}{2}\sum_{i=1}^{m} c_i^2\right)
+\end{equation}
+ P ( M m ≥ a ) ≤ a 1 = exp ( − s ε + 2 s 2 i = 1 ∑ m c i 2 )
+因此，我们得到：
+P ( Z m − μ ≥ ε ) ≤ exp ( − s ε + s 2 2 ∑ i = 1 m c i 2 ) \begin{equation}
+P\left(Z_m - \mu \geq \varepsilon\right) \leq \exp\left(-s \varepsilon + \frac{s^2}{2}\sum_{i=1}^{m} c_i^2\right)
+\end{equation}
+ P ( Z m − μ ≥ ε ) ≤ exp ( − s ε + 2 s 2 i = 1 ∑ m c i 2 )
+
+
+优化参数 s s s
+为了得到最优的上界，选择 s s s − s ε + s 2 2 ∑ c i 2 -s \varepsilon + \frac{s^2}{2}\sum c_i^2 − s ε + 2 s 2 ∑ c i 2 s s s
+− ε + s ∑ i = 1 m c i 2 = 0 ⇒ s = ε ∑ i = 1 m c i 2 \begin{equation}
+-\varepsilon + s \sum_{i=1}^{m} c_i^2 = 0 \quad \Rightarrow \quad s = \frac{\varepsilon}{\sum_{i=1}^{m} c_i^2}
+\end{equation}
+ − ε + s i = 1 ∑ m c i 2 = 0 ⇒ s = ∑ i = 1 m c i 2 ε
+代入得：
+P ( Z m − μ ≥ ε ) ≤ exp ( − ε 2 2 ∑ i = 1 m c i 2 ) \begin{equation}
+P(Z_m - \mu \geq \varepsilon) \leq \exp(-\frac{\varepsilon^2}{2\sum_{i=1}^{m} c_i^2})
+\end{equation}
+ P ( Z m − μ ≥ ε ) ≤ exp ( − 2 ∑ i = 1 m c i 2 ε 2 )
+这即是 Azuma 不等式的上侧不等式。
+
+
+下侧不等式的证明
+对于下侧不等式，可以类似地考虑 − Z m -Z_m − Z m
+P ( Z m − μ ≤ − ε ) ≤ exp ( − ε 2 2 ∑ i = 1 m c i 2 ) \begin{equation}
+P(Z_m - \mu \leq -\varepsilon) \leq \exp(-\frac{\varepsilon^2}{2\sum_{i=1}^{m} c_i^2})
+\end{equation}
+ P ( Z m − μ ≤ − ε ) ≤ exp ( − 2 ∑ i = 1 m c i 2 ε 2 )
+因此，Azuma 不等式得证。□ \square □
+
+
+1.19 Slud 不等式
+若 X ∼ B ( m , p ) X \sim B(m,p) X ∼ B ( m , p )
+P ( X m ≥ 1 2 ) ≥ 1 2 [ 1 − 1 − exp ( − m ε 2 1 − ε 2 ) ] \begin{equation}
+P(\frac{X}{m} \geq \frac{1}{2}) \geq \frac{1}{2}[1 - \sqrt{1-\exp(-\frac{m\varepsilon^{2}}{1-\varepsilon^{2}})}]
+\end{equation}
+ P ( m X ≥ 2 1 ) ≥ 2 1 [ 1 − 1 − exp ( − 1 − ε 2 m ε 2 ) ]
+其中 p = 1 − ε 2 p = \frac{1-\varepsilon}{2} p = 2 1 − ε
+证明
+二项随机变量 X X X m m m p p p m m m B ( m , p ) B(m,p) B ( m , p ) μ = m p \mu=mp μ = m p σ 2 = m p ( 1 − p ) \sigma^2=mp(1-p) σ 2 = m p ( 1 − p )
+μ = m ( 1 − ε ) 2 σ 2 = m ( 1 − ε 2 ) 4 \begin{equation}
+\begin{align*}
+\mu &= \frac{m(1-\varepsilon)}{2} \\
+\sigma^2 &= \frac{m(1-\varepsilon^2)}{4}
+\end{align*}
+\end{equation}
+ μ σ 2 = 2 m ( 1 − ε ) = 4 m ( 1 − ε 2 )
+令 Z = X − μ σ Z=\frac{X-\mu}{\sigma} Z = σ X − μ μ \mu μ σ \sigma σ
+P [ X m ≥ 1 2 ] = P [ Z ≥ m 2 − μ σ ] = P [ Z ≥ ε m 1 − ε 2 ] \begin{equation}
+P[\frac{X}{m} \geq \frac{1}{2}] = P[Z \geq \frac{\frac{m}{2}-\mu}{\sigma}] = P[Z \geq \frac{\varepsilon\sqrt{m}}{\sqrt{1-\varepsilon^2}}]
+\end{equation}
+ P [ m X ≥ 2 1 ] = P [ Z ≥ σ 2 m − μ ] = P [ Z ≥ 1 − ε 2 ε m ]
+根据正态分布不等式（定理 21），有：
+P [ Z ≥ x ] ≥ 1 2 [ 1 − 1 − exp ( − 2 x 2 π ) ] ≥ 1 2 [ 1 − 1 − exp ( − x 2 ) ] \begin{equation}
+P[Z \geq x] \geq \frac{1}{2}[1 - \sqrt{1-\exp(-\frac{2x^2}{\pi})}] \geq \frac{1}{2}[1 - \sqrt{1-\exp(-x^2)}]
+\end{equation}
+ P [ Z ≥ x ] ≥ 2 1 [ 1 − 1 − exp ( − π 2 x 2 ) ] ≥ 2 1 [ 1 − 1 − exp ( − x 2 ) ]
+代入可得：
+P [ Z ≥ ε m 1 − ε 2 ] ≥ 1 2 [ 1 − 1 − exp ( − m ε 2 1 − ε 2 ) ] \begin{equation}
+P[Z \geq \frac{\varepsilon\sqrt{m}}{\sqrt{1-\varepsilon^2}}] \geq \frac{1}{2}[1 - \sqrt{1-\exp(-\frac{m\varepsilon^2}{1-\varepsilon^2})}]
+\end{equation}
+ P [ Z ≥ 1 − ε 2 ε m ] ≥ 2 1 [ 1 − 1 − exp ( − 1 − ε 2 m ε 2 ) ]
+□ \square □
+1.20 上界不等式之加性公式
+若 sup ( f ) \sup(f) sup ( f ) sup ( g ) \sup(g) sup ( g ) f f f g g g
+sup ( f + g ) ≤ sup ( f ) + sup ( g ) \begin{equation}
+\sup(f+g) \leq \sup(f) + \sup(g)
+\end{equation}
+ sup ( f + g ) ≤ sup ( f ) + sup ( g )
+证明
+假设 f , g f,g f , g D f , D g D_f,D_g D f , D g x ∈ D f ∩ D g x \in D_f \cap D_g x ∈ D f ∩ D g
+g ( x ) ≤ sup y ∈ D g g ( y ) , \begin{equation}
+g(x) \leq \sup_{y \in D_g} g(y),
+\end{equation}
+ g ( x ) ≤ y ∈ D g sup g ( y ) ,
+从而
+f ( x ) + g ( x ) ≤ f ( x ) + sup y ∈ D g g ( y ) . \begin{equation}
+f(x) + g(x) \leq f(x) + \sup_{y \in D_g} g(y).
+\end{equation}
+ f ( x ) + g ( x ) ≤ f ( x ) + y ∈ D g sup g ( y ) .
+因为这对于每一个 x ∈ D f ∩ D g x \in D_f \cap D_g x ∈ D f ∩ D g
+sup x ∈ D f ∩ D g ( f ( x ) + g ( x ) ) ≤ sup x ∈ D f ∩ D g f ( x ) + sup y ∈ D g g ( y ) ≤ sup z ∈ D f f ( z ) + sup y ∈ D g g ( y ) . \begin{equation}
+\sup_{x \in D_f \cap D_g}(f(x) + g(x)) \leq \sup_{x \in D_f \cap D_g} f(x) + \sup_{y \in D_g} g(y) \leq \sup_{z \in D_f} f(z) + \sup_{y \in D_g} g(y).
+\end{equation}
+ x ∈ D f ∩ D g sup ( f ( x ) + g ( x )) ≤ x ∈ D f ∩ D g sup f ( x ) + y ∈ D g sup g ( y ) ≤ z ∈ D f sup f ( z ) + y ∈ D g sup g ( y ) .
+这里我们使用了 sup x ∈ D f ∩ D g f ( x ) ≤ sup z ∈ D f f ( z ) \sup_{x \in D_f \cap D_g} f(x) \leq \sup_{z \in D_f} f(z) sup x ∈ D f ∩ D g f ( x ) ≤ sup z ∈ D f f ( z ) D f ∩ D g ⊂ D f D_f \cap D_g \subset D_f D f ∩ D g ⊂ D f □ \square □
+值得注意的是，该不等式在（4.33）中利用过两次，且原推导并没有用到 Jensen 不等式的任何性质。
+另外，加性公式有几个常见的变形，例如：
+sup ( f − g ) − sup ( f − k ) ≤ sup ( k − g ) \begin{equation}
+\sup(f-g) - \sup(f-k) \leq \sup(k-g)
+\end{equation}
+ sup ( f − g ) − sup ( f − k ) ≤ sup ( k − g )
+该不等式在（4.29）中出现过。
+1.21 正态分布不等式
+若 X X X u ≥ 0 u \geq 0 u ≥ 0
+P [ X ≤ u ] ≤ 1 2 1 − e − 2 π u 2 \begin{equation}
+\mathbb{P}[X \leq u] \leq \frac{1}{2}\sqrt{1-e^{-\frac{2}{\pi}u^2}}
+\end{equation}
+ P [ X ≤ u ] ≤ 2 1 1 − e − π 2 u 2
+证明
+令 G ( u ) = P [ X ≤ u ] G(u)=\mathbb{P}[X \leq u] G ( u ) = P [ X ≤ u ]
+2 G ( u ) = ∫ − u u ( 2 π ) − 1 / 2 e − x 2 / 2 d x = ∫ − u u ( 2 π ) − 1 / 2 e − y 2 / 2 d y \begin{equation}
+2G(u) = \int_{-u}^u(2\pi)^{-1/2}e^{-x^2/2}\,dx = \int_{-u}^u(2\pi)^{-1/2}e^{-y^2/2}\,dy
+\end{equation}
+ 2 G ( u ) = ∫ − u u ( 2 π ) − 1/2 e − x 2 /2 d x = ∫ − u u ( 2 π ) − 1/2 e − y 2 /2 d y
+因此：
+2 π [ 2 G ( u ) ] 2 = ∫ − u u ∫ − u u e − ( x 2 + y 2 ) / 2 d x d y \begin{equation}
+2\pi[2G(u)]^2 = \int_{-u}^u \int_{-u}^u e^{-(x^2+y^2)/2}\,dx\,dy
+\end{equation}
+ 2 π [ 2 G ( u ) ] 2 = ∫ − u u ∫ − u u e − ( x 2 + y 2 ) /2 d x d y
+让我们考虑更一般的积分形式：
+2 π [ 2 G ( u ) ] 2 = ∬ R e − ( x 2 + y 2 ) / 2 d x d y \begin{equation}
+2\pi[2G(u)]^2 = \iint_R e^{-(x^2+y^2)/2}\,dx\,dy
+\end{equation}
+ 2 π [ 2 G ( u ) ] 2 = ∬ R e − ( x 2 + y 2 ) /2 d x d y
+此时 R R R 4 u 2 4u^2 4 u 2 R R R R 0 R_0 R 0
+R 0 = { ( x , y ) : π ( x 2 + y 2 ) ≤ 4 u 2 } \begin{equation}
+R_0 = \{(x,y):\pi(x^2+y^2)\leq 4u^2\}
+\end{equation}
+ R 0 = {( x , y ) : π ( x 2 + y 2 ) ≤ 4 u 2 }
+此时，有：
+2 π [ 2 G ( u ) ] 2 ≤ ∬ R 0 e − ( x 2 + y 2 ) / 2 d x d y = ∫ 0 2 π ∫ 0 2 u π − 1 / 2 e − r 2 / 2 r d r d φ = 2 π ( 1 − e − 2 u 2 / π ) \begin{equation}
+\begin{align*}
+2\pi[2G(u)]^2 &\leq \iint_{R_0} e^{-(x^2+y^2)/2}\,dx\,dy \\
+&=\int_0^{2\pi}\int_0^{2u\pi^{-1/2}} e^{-r^2/2}r\,dr\,d\varphi \\
+&= 2\pi(1-e^{-2u^2/\pi})
+\end{align*}
+\end{equation}
+ 2 π [ 2 G ( u ) ] 2 ≤ ∬ R 0 e − ( x 2 + y 2 ) /2 d x d y = ∫ 0 2 π ∫ 0 2 u π − 1/2 e − r 2 /2 r d r d φ = 2 π ( 1 − e − 2 u 2 / π )
+因此，有：
+G ( u ) = P [ X ≤ u ] ≤ 1 2 1 − e − 2 π u 2 \begin{equation}
+G(u) = \mathbb{P}[X \leq u] \leq \frac{1}{2}\sqrt{1-e^{-\frac{2}{\pi}u^2}}
+\end{equation}
+ G ( u ) = P [ X ≤ u ] ≤ 2 1 1 − e − π 2 u 2
+进一步，我们可以得到：
+P [ X ≥ u ] ≥ 1 2 ( 1 − 1 − e − 2 π u 2 ) \begin{equation}
+\mathbb{P}[X \geq u] \geq \frac{1}{2}(1-\sqrt{1-e^{-\frac{2}{\pi}u^2}})
+\end{equation}
+ P [ X ≥ u ] ≥ 2 1 ( 1 − 1 − e − π 2 u 2 )
+□ \square □
+1.22 AM-GM 不等式
+算术平均数和几何平均数的不等式，简称 AM-GM 不等式。该不等式指出非负实数序列的算术平均数大于等于该序列的几何平均数，当且仅当序列中的每个数相同时，等号成立。形式上，对于非负实数序列 { x n } \{x_n\} { x n }
+A n = 1 n ∑ i = 1 n x i \begin{equation}
+A_n=\frac{1}{n}\sum_{i=1}^n x_i
+\end{equation}
+ A n = n 1 i = 1 ∑ n x i
+其几何平均值定义为：
+G n = ∏ i = 1 n x i n \begin{equation}
+G_n=\sqrt[n]{\prod_{i=1}^n x_i}
+\end{equation}
+ G n = n i = 1 ∏ n x i
+则 AM-GM 不等式成立：
+A n ≥ G n \begin{equation}
+A_n \geq G_n
+\end{equation}
+ A n ≥ G n
+证明
+我们可以通过 Jensen 不等式来证明 AM-GM 不等式。首先，我们考虑函数 f ( x ) = − ln x f(x)=-\ln x f ( x ) = − ln x
+1 n ∑ i = 1 n − ln x i ≥ − ln ( 1 n ∑ i = 1 n x i ) \begin{equation}
+\frac{1}{n}\sum_{i=1}^n -\ln x_i \geq -\ln(\frac{1}{n}\sum_{i=1}^n x_i)
+\end{equation}
+ n 1 i = 1 ∑ n − ln x i ≥ − ln ( n 1 i = 1 ∑ n x i )
+即：
+ln ( 1 n ∑ i = 1 n x i ) ≥ 1 n ∑ i = 1 n ln x i = ln ( ∏ i = 1 n x i n ) ⇒ 1 n ∑ i = 1 n x i ≥ ∏ i = 1 n x i n \begin{equation}
+\begin{align*}
+\ln(\frac{1}{n}\sum_{i=1}^n x_i) &\geq \frac{1}{n}\sum_{i=1}^n \ln x_i = \ln(\sqrt[n]{\prod_{i=1}^n x_i}) \\
+\Rightarrow \frac{1}{n}\sum_{i=1}^n x_i &\geq \sqrt[n]{\prod_{i=1}^n x_i}
+\end{align*}
+\end{equation}
+ ln ( n 1 i = 1 ∑ n x i ) ⇒ n 1 i = 1 ∑ n x i ≥ n 1 i = 1 ∑ n ln x i = ln ( n i = 1 ∏ n x i ) ≥ n i = 1 ∏ n x i
+当取 x 1 = x 2 = ⋯ = x n x_1 = x_2 = \cdots = x_n x 1 = x 2 = ⋯ = x n n = 2 n=2 n = 2
+x 1 + x 2 2 ≥ x 1 x 2 \begin{equation}
+\frac{x_1 + x_2}{2} \geq \sqrt{x_1 x_2}
+\end{equation}
+ 2 x 1 + x 2 ≥ x 1 x 2
+□ \square □
+1.23 Young 不等式
+对于任意 a , b ≥ 0 a, b \geq 0 a , b ≥ 0 p , q > 1 p, q \gt 1 p , q > 1 1 p + 1 q = 1 \frac{1}{p} + \frac{1}{q} = 1 p 1 + q 1 = 1
+a b ≤ a p p + b q q \begin{equation}
+ab \leq \frac{a^p}{p} + \frac{b^q}{q}
+\end{equation}
+ ab ≤ p a p + q b q
+当且仅当 a p = b q a^p = b^q a p = b q
+证明
+我们可以通过 Jensen 不等式来证明 Young 不等式。首先，当 a b = 0 ab = 0 ab = 0 a , b > 0 a, b \gt 0 a , b > 0 t = 1 / p , 1 − t = 1 / q t = 1/p, 1-t = 1/q t = 1/ p , 1 − t = 1/ q ln ( x ) \ln(x) ln ( x )
+ln ( t a p + ( 1 − t ) b q ) ≥ t ln ( a p ) + ( 1 − t ) ln ( b q ) = ln ( a ) + ln ( b ) = ln ( a b ) \begin{equation}
+\begin{align*}
+\ln(t a^p + (1-t) b^q) &\geq t\ln(a^p) + (1-t)\ln(b^q) \\
+&= \ln(a) + \ln(b) \\
+&= \ln(ab)
+\end{align*}
+\end{equation}
+ ln ( t a p + ( 1 − t ) b q ) ≥ t ln ( a p ) + ( 1 − t ) ln ( b q ) = ln ( a ) + ln ( b ) = ln ( ab )
+当且仅当 a p = b q a^p = b^q a p = b q □ \square □
+1.24 Bayes 定理
+贝叶斯定理是概率论中的一个重要定理，它描述了在已知某些条件下更新事件概率的数学方法。贝叶斯定理的公式为：
+P ( A ∣ B ) = P ( B ∣ A ) ⋅ P ( A ) P ( B ) \begin{equation}
+P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)}
+\end{equation}
+ P ( A ∣ B ) = P ( B ) P ( B ∣ A ) ⋅ P ( A )
+其中：
+
+P ( A ∣ B ) P(A|B) P ( A ∣ B ) P ( B ∣ A ) P(B|A) P ( B ∣ A ) P ( A ) P(A) P ( A ) P ( B ) P(B) P ( B )
+证明
+根据条件概率的定义，事件 A 在事件 B 发生下的条件概率 P ( A ∣ B ) P(A|B) P ( A ∣ B )
+P ( A ∣ B ) = P ( A ∩ B ) P ( B ) \begin{equation}
+P(A|B) = \frac{P(A \cap B)}{P(B)}
+\end{equation}
+ P ( A ∣ B ) = P ( B ) P ( A ∩ B )
+同样地，事件 B 在事件 A 发生下的条件概率 P ( B ∣ A ) P(B|A) P ( B ∣ A )
+P ( B ∣ A ) = P ( A ∩ B ) P ( A ) \begin{equation}
+P(B|A) = \frac{P(A \cap B)}{P(A)}
+\end{equation}
+ P ( B ∣ A ) = P ( A ) P ( A ∩ B )
+通过这两个公式可以得到联合概率 P ( A ∩ B ) P(A \cap B) P ( A ∩ B )
+P ( A ∩ B ) = P ( A ∣ B ) ⋅ P ( B ) \begin{equation}
+P(A \cap B) = P(A|B) \cdot P(B)
+\end{equation}
+ P ( A ∩ B ) = P ( A ∣ B ) ⋅ P ( B )
+以及：
+P ( A ∩ B ) = P ( B ∣ A ) ⋅ P ( A ) \begin{equation}
+P(A \cap B) = P(B|A) \cdot P(A)
+\end{equation}
+ P ( A ∩ B ) = P ( B ∣ A ) ⋅ P ( A )
+由于联合概率的性质，我们可以将上述两个等式等同：
+P ( A ∣ B ) ⋅ P ( B ) = P ( B ∣ A ) ⋅ P ( A ) \begin{equation}
+P(A|B) \cdot P(B) = P(B|A) \cdot P(A)
+\end{equation}
+ P ( A ∣ B ) ⋅ P ( B ) = P ( B ∣ A ) ⋅ P ( A )
+将上述等式两边同时除以 P ( B ) P(B) P ( B )
+P ( A ∣ B ) = P ( B ∣ A ) ⋅ P ( A ) P ( B ) \begin{equation}
+P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)}
+\end{equation}
+ P ( A ∣ B ) = P ( B ) P ( B ∣ A ) ⋅ P ( A )
+□ \square □
+通过先验和后验的更新过程，贝叶斯统计提供了一种动态的、不断修正认知的不确定性量化方法。
+1.25 广义二项式定理
+广义二项式定理（Generalized Binomial Theorem）是二项式定理的扩展：
+( x + y ) r = ∑ k = 0 ∞ ( r k ) x r − k y k , ∣ x ∣ < ∣ y ∣ , k ∈ N , r ∈ R \begin{equation}
+(x + y)^r = \sum_{k=0}^{\infty} \binom{r}{k} x^{r-k} y^k, \quad |x| \lt |y|, \quad k \in \mathbb{N}, \quad r \in \mathbb{R}
+\end{equation}
+ ( x + y ) r = k = 0 ∑ ∞ ( k r ) x r − k y k , ∣ x ∣ < ∣ y ∣ , k ∈ N , r ∈ R
+其中我们令 ( r k ) : = ( r ) k k ! \binom{r}{k} := \frac{(r)_k}{k!} ( k r ) := k ! ( r ) k ( r ) k = r ( r − 1 ) ⋯ ( r − k + 1 ) (r)_k = r(r-1) \cdots (r-k+1) ( r ) k = r ( r − 1 ) ⋯ ( r − k + 1 )
+证明
+首先代入定义，易证：
+( r − k ) ( r k ) + ( r − ( k − 1 ) ) ( r k − 1 ) = r ( r k ) \begin{equation}
+(r-k) \binom{r}{k} + (r-(k-1)) \binom{r}{k-1} = r \binom{r}{k}
+\end{equation}
+ ( r − k ) ( k r ) + ( r − ( k − 1 )) ( k − 1 r ) = r ( k r )
+我们从特殊情况 y = 1 y = 1 y = 1 ∣ x ∣ < 1 |x| \lt 1 ∣ x ∣ < 1
+通过使用幂级数收敛半径的商式来证明这一点，由于绝对值的连续性使我们可以先在绝对值内部计算极限，可得：
+lim k → ∞ ∣ a k ∣ ∣ a k + 1 ∣ = lim k → ∞ ∣ k + 1 r − k ∣ = ∣ − 1 ∣ = 1 \begin{equation}
+\lim_{k \to \infty} \frac{|a_k|}{|a_{k+1}|} = \lim_{k \to \infty} | \frac{k+1}{r-k} | = |-1| = 1
+\end{equation}
+ k → ∞ lim ∣ a k + 1 ∣ ∣ a k ∣ = k → ∞ lim ∣ r − k k + 1 ∣ = ∣ − 1∣ = 1
+因此我们有一个为 1 的收敛半径。这种收敛使我们能够在 ∣ x ∣ < 1 |x| \lt 1 ∣ x ∣ < 1
+d d x ∑ k = 0 ∞ ( r k ) x k = ∑ k = 1 ∞ ( r − ( k − 1 ) ) ( r k − 1 ) x k − 1 \begin{equation}
+\frac{d}{dx} \sum_{k=0}^\infty \binom{r}{k} x^k = \sum_{k=1}^\infty (r-(k-1)) \binom{r}{k-1} x^{k-1}
+\end{equation}
+ d x d k = 0 ∑ ∞ ( k r ) x k = k = 1 ∑ ∞ ( r − ( k − 1 )) ( k − 1 r ) x k − 1
+如果我们将我们正在考虑的级数定义的函数记为 g ( x ) g(x) g ( x )
+( 1 + x ) d d x g ( x ) = ∑ k = 1 ∞ ( r − ( k − 1 ) ) ( r k − 1 ) x k − 1 + ∑ k = 1 ∞ ( r − ( k − 1 ) ) ( r k − 1 ) x k = r + ∑ k = 1 ∞ ( ( r − k ) ( r k ) + ( r − ( k − 1 ) ) ( r k − 1 ) ) x k = r + r ∑ k = 1 ∞ ( r k ) x k = r g ( x ) , \begin{equation}
+\begin{align*}
+(1 + x) \frac{d}{dx} g(x) &= \sum_{k=1}^\infty (r-(k-1)) \binom{r}{k-1} x^{k-1} + \sum_{k=1}^\infty (r-(k-1)) \binom{r}{k-1} x^k \\
+&= r + \sum_{k=1}^\infty ( (r-k) \binom{r}{k} + (r-(k-1)) \binom{r}{k-1} ) x^k \\
+&= r + r \sum_{k=1}^\infty \binom{r}{k} x^k \\
+&= r g(x),
+\end{align*}
+\end{equation}
+ ( 1 + x ) d x d g ( x ) = k = 1 ∑ ∞ ( r − ( k − 1 )) ( k − 1 r ) x k − 1 + k = 1 ∑ ∞ ( r − ( k − 1 )) ( k − 1 r ) x k = r + k = 1 ∑ ∞ (( r − k ) ( k r ) + ( r − ( k − 1 )) ( k − 1 r ) ) x k = r + r k = 1 ∑ ∞ ( k r ) x k = r g ( x ) ,
+上式的推导使用了前述引理。
+现在定义 f ( x ) = ( 1 + x ) r f(x) = (1 + x)^r f ( x ) = ( 1 + x ) r
+d d x ( g ( x ) f ( x ) ) = g ′ ( x ) f ( x ) − f ′ ( x ) g ( x ) f ( x ) 2 = r g ( x ) x + 1 ( 1 + x ) r − r g ( x ) ( 1 + x ) r − 1 f ( x ) 2 = 0 \begin{equation}
+\frac{d}{dx} ( \frac{g(x)}{f(x)} ) = \frac{g'(x) f(x) - f'(x) g(x)}{f(x)^2} = \frac{r\frac{g(x)}{x+1}(1+x)^r - rg(x)(1 + x)^{r-1}}{f(x)^2} = 0
+\end{equation}
+ d x d ( f ( x ) g ( x ) ) = f ( x ) 2 g ′ ( x ) f ( x ) − f ′ ( x ) g ( x ) = f ( x ) 2 r x + 1 g ( x ) ( 1 + x ) r − r g ( x ) ( 1 + x ) r − 1 = 0
+∣ x ∣ < 1 |x| \lt 1 ∣ x ∣ < 1 f ( x ) ≠ 0 f(x) \neq 0 f ( x ) = 0 g / f g/f g / f f ( 0 ) = g ( 0 ) = 1 f(0) = g(0) = 1 f ( 0 ) = g ( 0 ) = 1 f ( x ) = g ( x ) f(x) = g(x) f ( x ) = g ( x )
+对于一般的 x , y ∈ R x, y \in \mathbb{R} x , y ∈ R ∣ x ∣ < ∣ y ∣ |x| \lt |y| ∣ x ∣ < ∣ y ∣
+( x + y ) r y r = ( x y + 1 ) r = ∑ k = 0 ∞ ( r k ) ( x y ) k ; \begin{equation}
+\frac{(x + y)^r}{y^r} = (\frac{x}{y} + 1)^r = \sum_{k=0}^\infty \binom{r}{k} (\frac{x}{y})^k;
+\end{equation}
+ y r ( x + y ) r = ( y x + 1 ) r = k = 0 ∑ ∞ ( k r ) ( y x ) k ;
+收敛性由假设 ∣ x / y ∣ < 1 |x/y| \lt 1 ∣ x / y ∣ < 1 y r y^r y r □ \square □
+1.26 Stirling 公式
+Stirling 公式是用于近似计算阶乘的一种公式，即使在 n n n
+n ! = 2 π n n + 1 / 2 e − n e r n \begin{equation}
+n! = \sqrt{2\pi} n^{n+1/2} e^{-n} e^{r_n}
+\end{equation}
+ n ! = 2 π n n + 1/2 e − n e r n
+其中，1 12 n + 1 < r n < 1 12 n \frac{1}{12n + 1} \lt r_n \lt \frac{1}{12n} 12 n + 1 1 < r n < 12 n 1
+证明
+我们令：
+S n = ln ( n ! ) = ∑ p = 1 n − 1 ln ( p + 1 ) \begin{equation}
+S_n = \ln(n!) = \sum_{p=1}^{n-1} \ln(p+1)
+\end{equation}
+ S n = ln ( n !) = p = 1 ∑ n − 1 ln ( p + 1 )
+且
+ln ( p + 1 ) = A p + b p − ε p \begin{equation}
+\ln(p+1) = A_p + b_p - \varepsilon_p
+\end{equation}
+ ln ( p + 1 ) = A p + b p − ε p
+其中：
+A p = ∫ p p + 1 ln x d x b p = 1 2 [ ln ( p + 1 ) − ln ( p ) ] ε p = ∫ p p + 1 ln x d x − 1 2 [ ln ( p + 1 ) + ln ( p ) ] \begin{equation}
+\begin{align*}
+A_p &= \int_{p}^{p+1} \ln x \, dx \\
+b_p &= \frac{1}{2} [\ln(p+1) - \ln(p)] \\
+\varepsilon_p &= \int_{p}^{p+1} \ln x \, dx - \frac{1}{2} [\ln(p+1) + \ln(p)]
+\end{align*}
+\end{equation}
+ A p b p ε p = ∫ p p + 1 ln x d x = 2 1 [ ln ( p + 1 ) − ln ( p )] = ∫ p p + 1 ln x d x − 2 1 [ ln ( p + 1 ) + ln ( p )]
+此时：
+S n = ∑ p = 1 n − 1 ( A p + b p − ε p ) = ∫ 1 n ln x d x + 1 2 ln n − ∑ p = 1 n − 1 ε p \begin{equation}
+S_n = \sum_{p=1}^{n-1} (A_p + b_p - \varepsilon_p)
+= \int_{1}^{n} \ln x \, dx + \frac{1}{2} \ln n - \sum_{p=1}^{n-1} \varepsilon_p
+\end{equation}
+ S n = p = 1 ∑ n − 1 ( A p + b p − ε p ) = ∫ 1 n ln x d x + 2 1 ln n − p = 1 ∑ n − 1 ε p
+易证 ∫ ln x d x = x ln x − x + C , C ∈ R \int \ln x \, dx = x \ln x - x + C, \, C \in \mathbb{R} ∫ ln x d x = x ln x − x + C , C ∈ R
+S n = ( n + 1 / 2 ) ln n − n + 1 − ∑ p = 1 n − 1 ε p \begin{equation}
+S_n = (n+1/2)\ln n - n + 1 - \sum_{p=1}^{n-1} \varepsilon_p
+\end{equation}
+ S n = ( n + 1/2 ) ln n − n + 1 − p = 1 ∑ n − 1 ε p
+此时：
+ε p = 2 p + 1 2 ln ( p + 1 p ) − 1 \begin{equation}
+\varepsilon_p = \frac{2p+1}{2} \ln(\frac{p+1}{p}) - 1
+\end{equation}
+ ε p = 2 2 p + 1 ln ( p p + 1 ) − 1
+接下来我们对 ln ( p + 1 p ) \ln(\frac{p+1}{p}) ln ( p p + 1 )
+令 a = − 1 , t = 1 p , t ∈ ( − 1 , 1 ) a = -1, \, t = \frac{1}{p}, \, t \in (-1, 1) a = − 1 , t = p 1 , t ∈ ( − 1 , 1 )
+1 1 + t = 1 − t + t 2 − t 3 + t 4 − ⋯ \begin{equation}
+\frac{1}{1 + t} = 1 - t + t^2 - t^3 + t^4 - \cdots
+\end{equation}
+ 1 + t 1 = 1 − t + t 2 − t 3 + t 4 − ⋯
+对上式两边同时进行积分，我们有：
+ln ( 1 + t ) = t − 1 2 t 2 + 1 3 t 3 − 1 4 t 4 + ⋯ \begin{equation}
+\ln(1 + t) = t - \frac{1}{2} t^2 + \frac{1}{3} t^3 - \frac{1}{4} t^4 + \cdots
+\end{equation}
+ ln ( 1 + t ) = t − 2 1 t 2 + 3 1 t 3 − 4 1 t 4 + ⋯
+如果我们令 − t -t − t t t t
+ln 1 1 − t = t + 1 2 t 2 + 1 3 t 3 + 1 4 t 4 + ⋯ \begin{equation}
+\ln \frac{1}{1 - t} = t + \frac{1}{2} t^2 + \frac{1}{3} t^3 + \frac{1}{4} t^4 + \cdots
+\end{equation}
+ ln 1 − t 1 = t + 2 1 t 2 + 3 1 t 3 + 4 1 t 4 + ⋯
+将两式相加，我们有：
+1 2 ln 1 + t 1 − t = t + 1 3 t 3 + 1 5 t 5 + ⋯ \begin{equation}
+\frac{1}{2} \ln \frac{1 + t}{1 - t} = t + \frac{1}{3} t^3 + \frac{1}{5} t^5 + \cdots
+\end{equation}
+ 2 1 ln 1 − t 1 + t = t + 3 1 t 3 + 5 1 t 5 + ⋯
+回到我们的问题，我们令 t = ( 2 p + 1 ) − 1 ∈ ( 0 , 1 ) t = (2p + 1)^{-1} \in (0, 1) t = ( 2 p + 1 ) − 1 ∈ ( 0 , 1 ) 1 + t 1 − t = p + 1 p \frac{1+t}{1-t} = \frac{p+1}{p} 1 − t 1 + t = p p + 1
+ε p = 1 3 ( 2 p + 1 ) 2 + 1 5 ( 2 p + 1 ) 4 + 1 7 ( 2 p + 1 ) 6 + ⋯ \begin{equation}
+\varepsilon_p = \frac{1}{3(2p+1)^2} + \frac{1}{5(2p+1)^4} + \frac{1}{7(2p+1)^6} + \cdots
+\end{equation}
+ ε p = 3 ( 2 p + 1 ) 2 1 + 5 ( 2 p + 1 ) 4 1 + 7 ( 2 p + 1 ) 6 1 + ⋯
+因此：
+ε p < 1 3 ( 2 p + 1 ) 2 ∑ i = 0 ∞ 1 ( 2 p + 1 ) 2 i = 1 3 ( 2 p + 1 ) 2 1 1 − 1 ( 2 p + 1 ) 2 = 1 3 [ ( 2 p + 1 ) 2 − 1 ] = 1 12 ( 1 p − 1 p + 1 ) \begin{equation}
+\varepsilon_p \lt \frac{1}{3(2p+1)^2} \sum_{i=0}^{\infty} \frac{1}{(2p+1)^{2i}}
+= \frac{1}{3(2p+1)^2} \frac{1}{1 - \frac{1}{(2p+1)^2}}
+= \frac{1}{3[(2p+1)^2 - 1]}
+= \frac{1}{12} (\frac{1}{p} - \frac{1}{p+1})
+\end{equation}
+ ε p < 3 ( 2 p + 1 ) 2 1 i = 0 ∑ ∞ ( 2 p + 1 ) 2 i 1 = 3 ( 2 p + 1 ) 2 1 1 − ( 2 p + 1 ) 2 1 1 = 3 [( 2 p + 1 ) 2 − 1 ] 1 = 12 1 ( p 1 − p + 1 1 )
+且
+ε p > 1 3 ( 2 p + 1 ) 2 ∑ i = 0 ∞ 1 [ 3 ( 2 p + 1 ) 2 ] i = 1 3 ( 2 p + 1 ) 2 1 1 − 1 3 ( 2 p + 1 ) 2 = 1 3 ( 2 p + 1 ) 2 − 1 \begin{equation}
+\varepsilon_p \gt \frac{1}{3(2p+1)^2} \sum_{i=0}^{\infty} \frac{1}{[3(2p+1)^2]^{i}}
+= \frac{1}{3(2p+1)^2} \frac{1}{1 - \frac{1}{3(2p+1)^2}}
+= \frac{1}{3(2p+1)^2 - 1}
+\end{equation}
+ ε p > 3 ( 2 p + 1 ) 2 1 i = 0 ∑ ∞ [ 3 ( 2 p + 1 ) 2 ] i 1 = 3 ( 2 p + 1 ) 2 1 1 − 3 ( 2 p + 1 ) 2 1 1 = 3 ( 2 p + 1 ) 2 − 1 1
+易证
+( p + 1 12 ) ( p + 1 + 1 12 ) = p 2 + 7 6 p + 13 144 > p 2 + p + 1 6 = 1 12 [ 3 ( 2 p + 1 ) 2 − 1 ] , p ∈ N + \begin{equation}
+(p+\frac{1}{12})(p+1+\frac{1}{12})
+= p^2 + \frac{7}{6}p + \frac{13}{144}
+\gt p^2 + p + \frac{1}{6}
+= \frac{1}{12} [3(2p+1)^2 - 1], \quad p \in \mathbb{N}^+
+\end{equation}
+ ( p + 12 1 ) ( p + 1 + 12 1 ) = p 2 + 6 7 p + 144 13 > p 2 + p + 6 1 = 12 1 [ 3 ( 2 p + 1 ) 2 − 1 ] , p ∈ N +
+因此：
+ε p > 1 12 ( 1 p + 1 12 − 1 p + 1 + 1 12 ) \begin{equation}
+\varepsilon_p \gt \frac{1}{12} (\frac{1}{p+\frac{1}{12}} - \frac{1}{p+1+\frac{1}{12}})
+\end{equation}
+ ε p > 12 1 ( p + 12 1 1 − p + 1 + 12 1 1 )
+我们令：
+B = ∑ p = 1 ∞ ε p , r n = ∑ p = n ∞ ε p \begin{equation}
+B = \sum_{p=1}^{\infty} \varepsilon_p, \quad r_n = \sum_{p=n}^{\infty} \varepsilon_p
+\end{equation}
+ B = p = 1 ∑ ∞ ε p , r n = p = n ∑ ∞ ε p
+那么易得：
+1 13 < B < 1 12 , 1 12 ( n + 1 ) < r n < 1 12 n \begin{equation}
+\frac{1}{13} \lt B \lt \frac{1}{12}, \quad \frac{1}{12(n+1)} \lt r_n \lt \frac{1}{12n}
+\end{equation}
+ 13 1 < B < 12 1 , 12 ( n + 1 ) 1 < r n < 12 n 1
+带入 S n S_n S n
+S n = ( n + 1 2 ) ln n − n + 1 − B + r n \begin{equation}
+S_n = (n+\frac{1}{2})\ln n - n + 1 - B + r_n
+\end{equation}
+ S n = ( n + 2 1 ) ln n − n + 1 − B + r n
+可得：
+n ! = e 1 − B n n + 1 / 2 e − n e r n \begin{equation}
+n! = e^{1-B} n^{n+1/2} e^{-n} e^{r_n}
+\end{equation}
+ n ! = e 1 − B n n + 1/2 e − n e r n
+令 C = e 1 − B C = e^{1-B} C = e 1 − B C C C ( e 11 / 12 , e 12 / 13 ) (e^{11/12}, e^{12/13}) ( e 11/12 , e 12/13 ) C = 2 π C = \sqrt{2\pi} C = 2 π □ \square □
+1.27 散度定理
+散度定理（Divergence Theorem），也称为高斯定理（Gauss's Theorem），是向量分析中的重要定理，它将体积积分和曲面积分联系起来。
+具体而言，如果考虑一个 n n n n n n B n B^n B n V V V S n − 1 S^{n-1} S n − 1 n n n F \mathbf{F} F
+∫ B n ( ∇ ⋅ F ) d V = ∮ S n − 1 F ⋅ n d S \int_{B^n} (\nabla \cdot \mathbf{F}) \, dV = \oint_{S^{n-1}} \mathbf{F} \cdot \mathbf{n} \, dS
+ ∫ B n ( ∇ ⋅ F ) d V = ∮ S n − 1 F ⋅ n d S
+其中：
+
+∇ ⋅ F \nabla \cdot \mathbf{F} ∇ ⋅ F F \mathbf{F} F d V dV d V d S dS d S n \mathbf{n} n
+体积积分计算的是在 n n n n − 1 n-1 n − 1
+1.28 分离超平面定理
+如果有两个不相交的非空凸集，则存在一个超平面能够将它们完全分隔开，这个超平面叫做分离超平面（Separating Hyperplane）。形式上，设 A A A B B B R n \mathbb{R}^n R n v v v c c c
+⟨ x , v ⟩ ≥ c 且 ⟨ y , v ⟩ ≤ c \begin{equation}\langle x, v \rangle \geq c \, \text{且} \, \langle y, v \rangle \leq c\end{equation}
+ ⟨ x , v ⟩ ≥ c 且 ⟨ y , v ⟩ ≤ c
+对所有 x ∈ A x \in A x ∈ A y ∈ B y \in B y ∈ B ⟨ ⋅ , v ⟩ = c \langle \cdot, v \rangle = c ⟨ ⋅ , v ⟩ = c v v v A A A B B B
+进一步，如果这两个集合都是闭集，并且至少其中一个是紧致的，那么这种分离可以是严格的，即存在 c 1 > c 2 c_1 \gt c_2 c 1 > c 2
+⟨ x , v ⟩ > c 1 且 ⟨ y , v ⟩ < c 2 \begin{equation}\langle x, v \rangle \gt c_1 \, \text{且} \, \langle y, v \rangle \lt c_2\end{equation}
+ ⟨ x , v ⟩ > c 1 且 ⟨ y , v ⟩ < c 2
+在不同情况下，我们可以通过调整 v v v c c c
+
+
+
+A
+B
+⟨ x , v ⟩ \langle x, v \rangle ⟨ x , v ⟩ ⟨ y , v ⟩ \langle y, v \rangle ⟨ y , v ⟩
+
+
+
+闭紧集
+闭集
+> c 1 \gt c_1 > c 1 < c 2 \lt c_2 < c 2 c 2 < c 1 c_2 \lt c_1 c 2 < c 1
+
+闭集
+闭紧集
+> c 1 \gt c_1 > c 1 < c 2 \lt c_2 < c 2 c 2 < c 1 c_2 \lt c_1 c 2 < c 1
+
+开集
+闭集
+> c \gt c > c ≤ c \leq c ≤ c
+
+开集
+开集
+> c \gt c > c < c \lt c < c
+
+
+在支持向量机的背景下，最佳分离超平面（或最大边缘超平面）是分离两个点凸包并且与两者等距的超平面。
+证明
+证明基于以下引理：
+设 A A A B B B R n \mathbb{R}^n R n A A A a 0 ∈ A a_0 \in A a 0 ∈ A b 0 ∈ B b_0 \in B b 0 ∈ B ∥ a − b ∥ \|a - b\| ∥ a − b ∥ a ∈ A a \in A a ∈ A b ∈ B b \in B b ∈ B
+我们给出引理的证明：
+令 a ∈ A a \in A a ∈ A b ∈ B b \in B b ∈ B r 1 = ∥ b − a ∥ r_1 = \|b - a\| r 1 = ∥ b − a ∥ A A A a a a r 2 r_2 r 2 S = B ∩ B r 1 + r 2 ( a ) ‾ S = B \cap \overline{B_{r_1 + r_2}(a)} S = B ∩ B r 1 + r 2 ( a ) B B B a a a r 1 + r 2 r_1 + r_2 r 1 + r 2 S S S b b b a 0 a_0 a 0 b 0 b_0 b 0 ∥ a 0 − b 0 ∥ \|a_0 - b_0\| ∥ a 0 − b 0 ∥ A × S A \times S A × S a 0 a_0 a 0 b 0 b_0 b 0 A × B A \times B A × B a ′ a' a ′ b ′ b' b ′ ∥ a ′ − b ′ ∥ < ∥ a 0 − b 0 ∥ \|a' - b'\| \lt \|a_0 - b_0\| ∥ a ′ − b ′ ∥ < ∥ a 0 − b 0 ∥ ∥ a ′ − b ′ ∥ < r 1 \|a' - b'\| \lt r_1 ∥ a ′ − b ′ ∥ < r 1 ∥ a − b ′ ∥ ≤ ∥ a − a ′ ∥ + ∥ a ′ − b ′ ∥ < r 1 + r 2 \|a - b'\| \leq \|a - a'\| + \|a' - b'\| \lt r_1 + r_2 ∥ a − b ′ ∥ ≤ ∥ a − a ′ ∥ + ∥ a ′ − b ′ ∥ < r 1 + r 2 b ′ b' b ′ S S S a 0 a_0 a 0 b 0 b_0 b 0 A × S A \times S A × S
+
+
+
不失一般性地，假设 A A A a 0 ∈ A a_0 \in A a 0 ∈ A b 0 ∈ B b_0 \in B b 0 ∈ B A A A B B B a 0 ≠ b 0 a_0 \neq b_0 a 0 = b 0 [ a 0 , b 0 ] [a_0, b_0] [ a 0 , b 0 ] L A , L B L_A, L_B L A , L B L A L_A L A a 0 a_0 a 0 L B L_B L B b 0 b_0 b 0 A A A B B B L A , L B L_A, L_B L A , L B ( a 0 , b 0 ) (a_0, b_0) ( a 0 , b 0 )
+代数上，超平面 L A , L B L_A, L_B L A , L B v : = b 0 − a 0 v:= b_0 - a_0 v := b 0 − a 0 c A : = ⟨ v , a 0 ⟩ < c B : = ⟨ v , b 0 ⟩ c_A := \langle v, a_0\rangle \lt c_B := \langle v, b_0\rangle c A := ⟨ v , a 0 ⟩ < c B := ⟨ v , b 0 ⟩ L A = { x : ⟨ v , x ⟩ = c A } , L B = { x : ⟨ v , x ⟩ = c B } L_A = \{x: \langle v, x\rangle = c_A\}, L_B = \{x: \langle v, x\rangle = c_B\} L A = { x : ⟨ v , x ⟩ = c A } , L B = { x : ⟨ v , x ⟩ = c B } ∀ a ∈ A , ⟨ v , a ⟩ ≤ c A \forall a\in A, \langle v, a\rangle \leq c_A ∀ a ∈ A , ⟨ v , a ⟩ ≤ c A ∀ b ∈ B , ⟨ v , b ⟩ ≥ c B \forall b\in B, \langle v, b\rangle \geq c_B ∀ b ∈ B , ⟨ v , b ⟩ ≥ c B
+假设存在某个 a ∈ A a\in A a ∈ A ⟨ v , a ⟩ > c A \langle v, a\rangle \gt c_A ⟨ v , a ⟩ > c A a ′ a' a ′ b 0 b_0 b 0 [ a 0 , a ] [a_0, a] [ a 0 , a ] A A A a ′ a' a ′ A A A a ′ a' a ′ a 0 a_0 a 0 b 0 b_0 b 0 a 0 a_0 a 0 b 0 b_0 b 0 B B B □ \square □
+1.29 支撑超平面定理
+对于一个凸集，支撑超平面（Supporting Hyperplane）是与凸集边界切线的超平面，即它“支撑”了凸集，使得所有的凸集内的点都位于支撑超平面的一侧。形式上，若 S S S x 0 x_0 x 0 S S S x 0 x_0 x 0 x ∗ ∈ X ∗ \ { 0 } x^* \in X^* \backslash \{0\} x ∗ ∈ X ∗ \ { 0 } X ∗ X^* X ∗ X X X x ∗ x^* x ∗ x ∈ S x \in S x ∈ S x ∗ ( x 0 ) ≥ x ∗ ( x ) x^*(x_0) \geq x^*(x) x ∗ ( x 0 ) ≥ x ∗ ( x ) H = { x ∈ X : x ∗ ( x ) = x ∗ ( x 0 ) } H = \{x \in X: x^*(x) = x^*(x_0)\} H = { x ∈ X : x ∗ ( x ) = x ∗ ( x 0 )}
+证明
+定义 T T T S ⊂ T S \subset T S ⊂ T y ∉ S y \not \in S y ∈ S y ∉ T y \not \in T y ∈ T
+设 x ∈ i n t ( S ) x \in \mathrm{int}(S) x ∈ int ( S ) [ x , y ] [x, y] [ x , y ] t t t [ x , t ( y − x ) + x ] [x, t(y-x) + x] [ x , t ( y − x ) + x ] S S S t ∈ ( 0 , 1 ) t \in (0, 1) t ∈ ( 0 , 1 ) b = t ( y − x ) + x b = t(y-x) + x b = t ( y − x ) + x b ∈ ∂ S b \in \partial S b ∈ ∂ S b b b f : R n → R f: \mathbb{R}^n \to \mathbb{R} f : R n → R ∀ a ∈ T , f ( a ) ≥ f ( b ) \forall a \in T, f(a) \geq f(b) ∀ a ∈ T , f ( a ) ≥ f ( b ) x ∈ i n t ( S ) x \in \mathrm{int}(S) x ∈ int ( S ) f ( x ) > f ( b ) f(x) \gt f(b) f ( x ) > f ( b ) f ( y ) − f ( b ) 1 − t = f ( b ) − f ( x ) t − 0 < 0 \frac{f(y) - f(b)}{1-t} = \frac{f(b) - f(x)}{t - 0} \lt 0 1 − t f ( y ) − f ( b ) = t − 0 f ( b ) − f ( x ) < 0 f ( y ) < f ( b ) f(y) \lt f(b) f ( y ) < f ( b ) y ∉ T y \not \in T y ∈ T □ \square □
+第2章：可学性
+编辑：赵志民，王茂霖，李一飞，詹好
+本章前言
+本章的内容围绕学习理论中的可学性理论展开，主要讨论「事件是否能够通过机器学习来解决」这一问题。通过学习理论事先辨别某个问题是否能够被学习，将节省大量的时间与资源。
+在讨论学习算法的设计之前，首先要思考以下几个问题：这个问题是否能被解决（从模型的角度看是否可学习），哪些内容容易学习（如两个凸集），哪些内容难学习（如两个非凸集之间的划分），在可学习的情况下，所需的样本量以及通用的学习模型有哪些？
+在本章中，我们将通过介绍 "概率近似正确的"（PAC）学习框架，开始正式讨论这些问题。PAC 框架有助于根据实现近似解所需的样本点数量、样本复杂度以及学习算法的时间/空间复杂度（取决于概念的计算表示成本）来定义可学习的概念。
+我们首先会描述 PAC 框架并对其进行说明，然后针对所用假设集包含要学习的概念的一致情况和相反的不一致情况，介绍当所用假设集有限时该框架内的一些一般学习保证。
+2.1 【概念解释】概念与假设空间
+在具体介绍 PAC 模型之前，首先需要明确几个基础定义和符号，这些定义和符号将贯穿本书的大部分内容：
+输入空间 X X X X X X
+输出空间 Y Y Y Y Y Y
+在本介绍性章节中，我们将 Y Y Y Y = { 0 , 1 } Y = \{0, 1\} Y = { 0 , 1 } Y = { − 1 , 1 } Y = \{-1, 1\} Y = { − 1 , 1 } Y Y Y { 皮卡丘 , 海绵宝宝 } \{皮卡丘, 海绵宝宝\} { 皮卡丘 , 海绵宝宝 }
+从数学角度看待机器学习中的概念，机器学习可以定义为学习一个映射函数：
+概念 (concept) c : X → Y c : X \rightarrow Y c : X → Y X X X Y Y Y Y = { 0 , 1 } Y = \{0, 1\} Y = { 0 , 1 } c c c X X X 1 1 1 X X X
+在学习理论中，学习的概念可以等同于从 X X X { 0 , 1 } \{0, 1\} { 0 , 1 } X X X C \mathcal{C} C
+假设空间 （hypothesis space）H \mathcal{H} H h ∈ H h \in \mathcal{H} h ∈ H X X X Y Y Y
+H = { h : X → Y } \begin{equation}
+\mathcal{H} = \{h: X \rightarrow Y\}
+\end{equation}
+ H = { h : X → Y }
+假设空间的大小和复杂性决定了算法能够学习到的解决方案的类型。如果假设空间太小或太简单，它可能无法捕捉到数据中的复杂模式，导致欠拟合（Underfitting）。相反，如果假设空间过大或太复杂，它可能包含过于复杂的模型，这些模型可能会过度拟合（Overfitting）训练数据，从而在新的、未见过的数据上表现不佳。
+例如，在一个简单的线性分类器中，假设空间可能包括所有可能的线性边界，每个线性边界都是一个假设。在更复杂的模型中，如神经网络，假设空间可能包括所有可能的网络结构和权重配置，这些构成了网络的能力来学习数据的非线性和复杂模式。
+虽然这种理解适用于机器学习，但我们必须注意，对于深度学习，需要进一步的考虑。例如双下降现象与传统机器学习理论相矛盾，后者认为增加模型大小和数据量通常会提高模型的泛化性能。
+
+
+
双下降现象中描绘模型泛化性能的曲线图由三个阶段组成：
+
+第一阶段：当模型规模小且数据量不足时，模型泛化性能较差。
+第二阶段：随着模型规模和数据量的增加，模型泛化性能最初出现下降。
+第三阶段：随着模型规模和数据量的进一步增加，模型泛化性能再次下降，但最终达到更好的水平。
+双下降现象的出现表明，对于深度神经网络来说，增加模型规模和数据量并不总是有益的。因此，应该采用诸如正则化和增广策略等技术，有效地控制模型规模和数据量，以实现最佳的泛化性能。更多实验细节参考文献：Deep Double Descent: Where Bigger Models and More Data Hurt ）。
+
+2.2 【概念解释】经验误差与泛化误差
+为了衡量学习到的概念 h h h c c c
+泛化误差 ：
+R ( h ) = P x ∼ D [ h ( x ) ≠ c ( x ) ] = E x ∼ D [ 1 h ( x ) ≠ c ( x ) ] , \begin{equation}
+R(h)=\underset{x\sim\mathcal{D}}{\operatorname*{\mathbb{P}}}\left[h(x)\neq c(x)\right]=\underset{x\sim\mathcal{D}}{\operatorname*{\mathbb{E}}}\left[1_{h(x)\neq c(x)}\right], \tag{1}
+\end{equation}
+ R ( h ) = x ∼ D P [ h ( x ) = c ( x ) ] = x ∼ D E [ 1 h ( x ) = c ( x ) ] , ( 1 )
+其中，1 ω 1_{\omega} 1 ω ω \omega ω
+由于泛化误差无法直接求得（其原因在于 D \mathcal{D} D
+经验误差 ：
+R ^ S ( h ) = 1 m ∑ i = 1 m 1 h ( x i ) ≠ c ( x i ) . \begin{equation}
+\widehat{R}_S(h)=\frac{1}{m}\sum_{i=1}^{m}1_{h(x_i)\neq c(x_i)}.\tag{2}
+\end{equation}
+ R S ( h ) = m 1 i = 1 ∑ m 1 h ( x i ) = c ( x i ) . ( 2 )
+经验误差的期望等于其泛化误差：
+E [ R ^ ( h ; D ) ] = R ( h ; D ) \begin{equation}
+\mathrm{E}[\widehat{R}(h ; D)]=R(h ; \mathcal{D})
+\end{equation}
+ E [ R ( h ; D )] = R ( h ; D )
+证明过程分为两步，首先考察等式右边，泛化误差可表示为：
+R ( h ; D ) = P ( x , y ) ∼ D ( h ( x ) ≠ y ) = E ( x , y ) ∼ D [ I ( h ( x ) ≠ y ) ] \begin{equation}
+R(h ; \mathcal{D})=P_{(x, y) \sim \mathcal{D}}(h(x) \neq y)=\mathbb{E}_{(x, y) \sim \mathcal{D}}[\mathbb{I}(h(x) \neq y)]
+\end{equation}
+ R ( h ; D ) = P ( x , y ) ∼ D ( h ( x ) = y ) = E ( x , y ) ∼ D [ I ( h ( x ) = y )]
+然后考察等式左边，经验误差可表示为：
+R ^ ( h ; D ) = 1 m ∑ i = 1 m I ( h ( x i ) ≠ y i ) \begin{equation}
+\widehat{R}(h ; D)=\frac{1}{m} \sum_{i=1}^{m} \mathbb{I}\left(h\left(\boldsymbol{x}_{i}\right) \neq y_{i}\right)
+\end{equation}
+ R ( h ; D ) = m 1 i = 1 ∑ m I ( h ( x i ) = y i )
+经验误差的期望为：
+E [ R ^ ( h ; D ) ] = E D ∼ D m [ R ^ ( h ) ] = 1 m ∑ i = 1 m E ( x , y ) ∼ D [ I ( h ( x i ) ≠ y i ) ] \begin{equation}
+\mathrm{E}[\widehat{R}(h ; D)]=\underset{D \sim D^{m}}{\mathrm{E}}[\widehat{R}(h)]=\frac{1}{m} \sum_{i=1}^{m} \underset{(x,y) \sim D}{\mathrm{E}}[\mathbb{I}\left(h\left(\boldsymbol{x}_{i}\right) \neq y_{i}\right)]
+\end{equation}
+ E [ R ( h ; D )] = D ∼ D m E [ R ( h )] = m 1 i = 1 ∑ m ( x , y ) ∼ D E [ I ( h ( x i ) = y i ) ]
+由于样本服从独立同分布，所有样本的期望值相同，期望的平均值就等于样本的期望，因此：
+E [ R ^ ( h ; D ) ] = R ( h ; D ) \begin{equation}
+\mathrm{E}[\widehat{R}(h ; D)]=R(h ; \mathcal{D})
+\end{equation}
+ E [ R ( h ; D )] = R ( h ; D )
+证毕。
+2.3 【概念解释】假设空间的可分性与学习的复杂度
+假设空间的可分性决定了学习算法能否有效地找到正确的假设。我们讨论假设空间的可分性与不可分性，并探讨可分性对于学习算法性能的影响。
+假设空间 ：可分性是一个针对假设空间的概念，即考察对于给定学习算法，是否存在能够完全区分所有样本的映射。如果存在，则该学习算法对于此假设空间可分；如果不存在，则不可分。
+可分性的严格性指的是其要求所有样本都可分。有时，由于噪声或异常值的影响，数据并非完全可区分，算法只能区分绝大多数样本。因此，可分性并未完全定义学习算法的有效性。
+此外，可分性仅表示了学习算法的能力上限。例如，当我们在线性模型中使用高斯核技巧时，能够对任意二分类样本进行区分（维度为无穷）。但从如此庞大的假设空间中找到正确映射函数却非常困难，这在深度学习中尤为明显。在这个意义上，可分性仅表示了学习算法的能力上限。
+时间复杂度与样本复杂度
+时间复杂度和样本复杂度是评估学习算法效率的两个重要指标。我们讨论这两个概念的等价性，以及它们对学习算法选择的影响。
+由于不同的机器、操作系统会带来完全不同的运行时间，因此在考察时间复杂度时通常会使用抽象机。抽象机通常是抽象意义上的图灵机或实体意义上的图灵机。在该抽象机中，时间复杂度被定义为「需要执行的“操作”数量」。
+一般而言，学习问题是否可以有效解决，取决于如何将其分解为一系列特定的学习问题。考虑学习有限假设类的问题，例如训练样本的数量为 m H ( ϵ ， δ ) = log ( ∣ H ∣ / δ ) / ϵ 2 m_H(\epsilon，δ)= \log(|\mathcal{H}|/δ)/\epsilon^2 m H ( ϵ ， δ ) = log ( ∣ H ∣/ δ ) / ϵ 2 h h h H \mathcal{H} H O ( ∣ H ∣ m H ( ϵ ， δ ) ) O(|H|m_H(\epsilon，δ)) O ( ∣ H ∣ m H ( ϵ ， δ )) H \mathcal{H} H ∣ H n ∣ = n |H_n| = n ∣ H n ∣ = n ∣ H n ∣ = 2 n |H_n| = 2^n ∣ H n ∣ = 2 n n n n n n n
+2.4 【概念解释】PAC-Bayes理论与样本复杂度
+PAC学习理论主要研究如何在有限的样本和计算资源下，从给定的假设空间中找到一个近似正确的假设。PAC-Bayes理论结合了PAC学习和贝叶斯方法的优点，其核心思想是通过考虑假设空间中的概率分布来描述学习算法的行为，并给出关于学习算法在有限数据情况下泛化误差的界限。
+PAC-Bayes不等式是PAC-Bayes理论的核心结果之一，它为后验分布下的泛化误差提供了一个上界。典型的PAC-Bayes不等式形式如下（详细证明参考：PAC-Bayesian Stochastic Model Selection ）：
+E Q [ L ( h ) ] ≤ E Q [ L ^ ( h ) ] + K L ( Q ∥ P ) + ln 1 δ + ln m + ln 2 2 m − 1 \begin{equation}
+\mathbb{E}_{Q}[L(h)] \leq \mathbb{E}_{Q}[\hat{L}(h)] + \sqrt{\frac{KL(Q \| P) + \ln\frac{1}{\delta} + \ln m + \ln 2}{2m-1}}
+\end{equation}
+ E Q [ L ( h )] ≤ E Q [ L ^ ( h )] + 2 m − 1 K L ( Q ∥ P ) + ln δ 1 + ln m + ln 2
+其中：
+
+L ( h ) L(h) L ( h ) h h h L ^ ( h ) \hat{L}(h) L ^ ( h ) h h h Q Q Q P P P K L ( Q ∥ P ) KL(Q \| P) K L ( Q ∥ P ) Q Q Q P P P δ \delta δ m m m
+2.5 【定理证明】3项析取范式的不可PAC学习性
+32页 中有提到，3项析取范式(3-term Disjunctive Normal Form, 3-DNF)概念类并不是高效PAC可学的，除非 R P = N P RP = NP RP = NP
+3项DNF的定义
+
+3项DNF公式 : 由三个子句（项）组成，每个子句是布尔变量的合取（AND）。整个公式是这三个子句的析取（OR）。公式的大小 : 由所有子句中的文字（变量或其否定）数量之和决定。对于n n n 6 n 6n 6 n
+R P ≠ N P RP \neq NP RP = NP 在计算复杂性理论中，R P RP RP 1 / 2 1/2 1/2 N P NP NP R P ≠ N P RP \neq NP RP = NP R P RP RP N P NP NP N P NP NP R P RP RP
+证明策略
+我们通过将一个NP完全问题（在这里选择图的3-着色问题）化简为学习3项DNF公式的问题来进行证明。关键是构造一个样本集S G S_G S G G G G S G S_G S G G G G S G S_G S G
+图的3-着色问题
+
+图的3-着色 : 给定一个无向图G = ( V , E ) G=(V,E) G = ( V , E )
+构造样本集 S G S_G S G
+
+正例 S G + S_G^+ S G + : 对于每个顶点i i i v ( i ) v(i) v ( i ) i i i ( v ( i ) , 1 ) (v(i), 1) ( v ( i ) , 1 ) 反例 S G − S_G^- S G − : 对于每条边( i , j ) (i, j) ( i , j ) e ( i , j ) e(i,j) e ( i , j ) i i i j j j ( e ( i , j ) , 0 ) (e(i,j), 0) ( e ( i , j ) , 0 )
+一致性和3-可着色性的等价性
+
+一致性 : 如果一个3项DNF公式对样本集S G S_G S G S G S_G S G 等价性 : 图G G G S G S_G S G
+3项DNF公式的构造
+详细说明如何根据图G G G S G S_G S G
+
+
+颜色划分与子句构造 ：
+
+假设图G G G
+对于每种颜色，我们构造一个合取项。例如，假设T R T_R T R T R T_R T R
+例如，如果顶点j j j k k k T R = ¬ x j ∧ ¬ x k T_R = \neg x_j \wedge \neg x_k T R = ¬ x j ∧ ¬ x k ¬ x j \neg x_j ¬ x j j j j
+
+
+
+正例与一致性 ：
+
+对于每个正例v ( i ) v(i) v ( i ) T c T_c T c v ( i ) v(i) v ( i ) T c T_c T c T c T_c T c
+假设顶点i i i v ( i ) v(i) v ( i ) i i i v ( i ) v(i) v ( i ) T R T_R T R T R T_R T R v ( i ) v(i) v ( i ) v ( i ) v(i) v ( i ) ¬ x j \neg x_j ¬ x j
+
+
+
+反例与一致性 ：
+
+对于每条边( i , j ) (i, j) ( i , j ) e ( i , j ) e(i,j) e ( i , j ) T R ∨ T B ∨ T Y T_R \vee T_B \vee T_Y T R ∨ T B ∨ T Y e ( i , j ) e(i,j) e ( i , j )
+假设顶点i i i j j j T R T_R T R T B T_B T B
+因为e ( i , j ) e(i,j) e ( i , j ) i i i j j j T R T_R T R e ( i , j ) e(i,j) e ( i , j ) T R T_R T R j j j e ( i , j ) e(i,j) e ( i , j ) T B T_B T B T Y T_Y T Y
+
+
+
+因此，对于每个反例e ( i , j ) e(i,j) e ( i , j ) T R ∨ T B ∨ T Y T_R \vee T_B \vee T_Y T R ∨ T B ∨ T Y S G S_G S G
+如果我们可以有效地学习3项DNF公式，那么就可以用它来解决 N P NP NP R P = N P RP = NP RP = NP R P ≠ N P RP \neq NP RP = NP
+第3章：复杂性分析
+Edit: 王茂霖，李一飞，詹好，赵志民
+本章前言
+在机器学习理论中，复杂性分析与计算理论中的算法复杂度类似，是衡量模型和假设空间能力的关键指标。复杂性越高，模型的表达能力越强，但同时也意味着过拟合的风险增加。因此，研究假设空间的复杂性有助于理解模型的泛化能力。
+3.1 【概念解释】VC维
+VC维（Vapnik-Chervonenkis 维度）是衡量假设空间H \mathcal H H
+VC维的定义如下：
+V C ( H ) = max { m : Π H ( m ) = 2 m } \begin{equation}
+VC(\mathcal H)=\max\{m:\Pi_{\mathcal H}(m)=2^m\}
+\end{equation}
+ V C ( H ) = max { m : Π H ( m ) = 2 m }
+其中，Π H ( m ) \Pi_{\mathcal H}(m) Π H ( m ) H \mathcal H H m m m
+**例子：**对于假设空间s i g n ( w x + b ) sign(wx+b) s i g n ( w x + b ) R 2 R^2 R 2
+3.2 【概念解释】Natarajan维
+在多分类问题中，我们使用Natarajan维来描述假设空间的复杂性。Natarajan维是能被假设空间H \mathcal H H
+当类别数K = 2 K=2 K = 2
+V C ( H ) = N a t a r a j a n ( H ) \begin{equation}
+VC(\mathcal H)=Natarajan(\mathcal H)
+\end{equation}
+ V C ( H ) = N a t a r ajan ( H )
+对于更一般的K K K
+Π H ( m ) ⩽ m d K 2 d \begin{equation}
+\Pi_{\mathcal H}(m)\leqslant m^dK^{2d}
+\end{equation}
+ Π H ( m ) ⩽ m d K 2 d
+随着样本数m m m K K K
+3.3 【概念解释】Rademacher复杂度
+VC维和Natarajan维均未考虑数据分布的影响，而Rademacher复杂度则引入了数据分布因素。它通过考察数据的几何结构和信噪比等特性，提供了更紧的泛化误差界。
+函数空间F \mathcal F F Z \mathcal Z Z D \mathcal D D
+ℜ Z ( F ) = E Z ⊂ Z : ∣ Z ∣ = m [ E σ [ sup f ∈ F 1 m ∑ i = 1 m σ i f ( z i ) ] ] \begin{equation}
+\Re_{\mathcal Z}(\mathcal F)=E_{Z\subset\mathcal Z:|Z|=m}\left[E_{\sigma}\left[\underset{f\in\mathcal F}{\sup}\frac{1}{m} \sum_{i=1}^m \sigma_i f(z_i)\right]\right]
+\end{equation}
+ ℜ Z ( F ) = E Z ⊂ Z : ∣ Z ∣ = m [ E σ [ f ∈ F sup m 1 i = 1 ∑ m σ i f ( z i ) ] ]
+其中σ i \sigma_i σ i
+假设空间H \mathcal H H
+ℜ m ( H ) ⩽ 2 ln Π H ( m ) m \begin{equation}
+\Re_m(\mathcal H)\leqslant\sqrt{\frac{2\ln\Pi_{\mathcal H}(m)}{m}}
+\end{equation}
+ ℜ m ( H ) ⩽ m 2 ln Π H ( m )
+3.4 【概念解释】shattering 概念的可视化
+Shattering 是指假设空间能够实现样本集上所有对分的能力。以下通过二维空间R 2 R^2 R 2
+**示例：**对于二维空间R 2 R^2 R 2 s i g n ( w x + b ) sign(wx+b) s i g n ( w x + b )
+
+
+
因此，线性分类器在R 2 R^2 R 2
+第4章：泛化界
+Edit: 赵志民，李一飞，王茂霖，詹好
+本章前言
+在机器学习中，泛化能力是衡量模型性能的核心标准之一。如何从有限的训练数据中获得能够在未见数据上表现良好的模型，始终是研究者关注的重要问题。本章将深入探讨与泛化界相关的理论基础和定理，通过对关键概念的补充说明和定理的详细推导，帮助读者更好地理解泛化误差的收敛性质以及不同假设空间下的泛化能力。本章还将介绍与泛化界密切相关的Rademacher复杂度及其在实际应用中的意义，为进一步的研究提供理论支持。
+4.1 【概念解释】可分情形中的“等效”假设
+61页 中的「可分情形」部分提到了“等效假设”的概念。这其实是我们在面对模型选择时需要处理的问题。机器学习的任务实际上是从样本空间或属性空间中选择一个最符合实际的模型假设。在理想状态下，我们希望能排除不可能的情况，直接选择唯一可能的模型。然而，这是不现实的，因为训练数据无法覆盖所有可能的情况，这些数据仅是部分经验片段的记录。因此，机器学习成为了一个不适定问题（ill-posed problem）。
+通常而言，不适定问题是指不满足以下任一条件的问题：
+
+存在解 ：对于给定的问题，至少存在一个解，即这个问题是可以解决的。唯一解 ：对于给定的问题，解是唯一的，没有其他可能的解。解连续依赖于定解条件 ：解会随着初始条件或参数的变化而连续变化，不会出现突然跳跃或不连续的情况
+在这里，由于我们无法仅依靠输入数据找到唯一解，这使得学习问题成为一个不适定问题，主要违反了条件2。而在更多时候，我们说机器学习是不适定的，主要是指其违反了条件3，在那种情况下，我们通常会用正则化等方式来解决。
+4.2 【概念解释】定理4.1与定理2.1、定理2.2的关系
+61页 中的定理4.1 与定理2.1 和定理2.2 之间存在密切联系。
+定理2.1 指出一个学习算法 L \mathfrak{L} L H \mathcal{H} H C \mathcal{C} C
+P ( E ( h ) ⩽ ϵ ) ⩾ 1 − δ \begin{equation}
+P(\mathbb{E}(h) \leqslant \epsilon) \geqslant 1-\delta
+\end{equation}
+ P ( E ( h ) ⩽ ϵ ) ⩾ 1 − δ
+其中， 0 < ϵ , δ < 1 0 \lt \epsilon, \delta \lt 1 0 < ϵ , δ < 1 c ∈ C c \in \mathcal{C} c ∈ C h ∈ H h \in \mathcal{H} h ∈ H
+定理2.2 指出，所谓PAC可学，是指对于任何 m ⩾ poly ( 1 / ϵ , 1 / δ , size ( x ) , size ( c ) ) m \geqslant \operatorname{poly}(1 / \epsilon, 1 / \delta, \operatorname{size}(\boldsymbol{x}), \operatorname{size}(c)) m ⩾ poly ( 1/ ϵ , 1/ δ , size ( x ) , size ( c )) L \mathfrak{L} L H \mathcal{H} H C \mathcal{C} C
+在定理4.1 中，假设学习算法 L \mathfrak{L} L H \mathcal{H} H C \mathcal{C} C m m m D D D m ⩾ 1 ϵ ( ln ∣ H ∣ + ln 1 δ ) m \geqslant \frac{1}{\epsilon} \left( \ln \left| \mathcal{H} \right| + \ln \frac{1}{\delta} \right) m ⩾ ϵ 1 ( ln ∣ H ∣ + ln δ 1 )
+m ⩾ poly ( 1 / ϵ , 1 / δ , size ( x ) , size ( c ) ) \begin{equation}
+m \geqslant \operatorname{poly}(1 / \epsilon, 1 / \delta, \operatorname{size}(\boldsymbol{x}), \operatorname{size}(c))
+\end{equation}
+ m ⩾ poly ( 1/ ϵ , 1/ δ , size ( x ) , size ( c ))
+的条件，从而得到
+P ( E ( h ) ⩽ ϵ ) ⩾ 1 − δ \begin{equation}
+P(\mathbb{E}(h) \leqslant \epsilon) \geqslant 1-\delta
+\end{equation}
+ P ( E ( h ) ⩽ ϵ ) ⩾ 1 − δ
+因此，定理4.1 实际上就是逆向使用了定理2.1 和定理2.2 。
+4.3 【证明补充】定理4.2补充
+63页 中，在证明定理4.2时，省略了从式4.6到式4.7的推导过程。在这一过程中，主要用到了28页 中式2.7的内容。
+根据式4.6，有
+P ( ∃ h ∈ H : ∣ E ^ ( h ) − E ( h ) ∣ > ϵ ) = P ( ( ∣ E ^ ( h 1 ) − E ( h 1 ) ∣ > ϵ ) ∨ ⋯ ∨ ( ∣ E ^ ( h ∣ H ∣ ) − E ( h ∣ H ∣ ) ∣ > ϵ ) ) ⩽ ∑ h ∈ H P ( ∣ E ^ ( h ) − E ( h ) ∣ > ϵ ) \begin{equation}
+\begin{align*}
+& P(\exists h \in \mathcal{H}:|\widehat{E}(h)-\mathbb{E}(h)|\gt\epsilon) \\
+=& P\left(\left(\left|\widehat{E}\left(h_{1}\right)-E\left(h_{1}\right)\right|\gt\epsilon\right) \vee \cdots \vee\left(\left|\widehat{E}\left(h_{|\mathcal{H}|}\right)-E\left(h_{|\mathcal{H}|}\right)\right|\gt\epsilon\right)\right) \\
+\leqslant & \sum_{h \in \mathcal{H}} P(|\widehat{E}(h)-\mathbb{E}(h)|\gt\epsilon)
+\end{align*}
+\end{equation}
+ = ⩽ P ( ∃ h ∈ H : ∣ E ( h ) − E ( h ) ∣ > ϵ ) P ( ( E ( h 1 ) − E ( h 1 ) > ϵ ) ∨ ⋯ ∨ ( E ( h ∣ H ∣ ) − E ( h ∣ H ∣ ) > ϵ ) ) h ∈ H ∑ P ( ∣ E ( h ) − E ( h ) ∣ > ϵ )
+引理2.1提出，若训练集 D 包含 m m m 0 < ϵ < 1 0\lt\epsilon\lt1 0 < ϵ < 1 h ∈ H , h \in \mathcal{H}, h ∈ H ,
+P ( E ^ ( h ) − E ( h ) ⩾ ϵ ) ⩽ exp ( − 2 m ϵ 2 ) P ( E ( h ) − E ^ ( h ) ⩾ ϵ ) ⩽ exp ( − 2 m ϵ 2 ) P ( ∣ E ( h ) − E ^ ( h ) ∣ ⩾ ϵ ) ⩽ 2 exp ( − 2 m ϵ 2 ) \begin{equation}
+\begin{align*}
+P(\widehat{E}(h)-\mathbb{E}(h) \geqslant \epsilon) & \leqslant \exp \left(-2 m \epsilon^{2}\right) \\
+P(\mathbb{E}(h)-\widehat{E}(h) \geqslant \epsilon) & \leqslant \exp \left(-2 m \epsilon^{2}\right) \\
+P(|\mathbb{E}(h)-\widehat{E}(h)| \geqslant \epsilon) & \leqslant 2 \exp \left(-2 m \epsilon^{2}\right)
+\end{align*}
+\end{equation}
+ P ( E ( h ) − E ( h ) ⩾ ϵ ) P ( E ( h ) − E ( h ) ⩾ ϵ ) P ( ∣ E ( h ) − E ( h ) ∣ ⩾ ϵ ) ⩽ exp ( − 2 m ϵ 2 ) ⩽ exp ( − 2 m ϵ 2 ) ⩽ 2 exp ( − 2 m ϵ 2 )
+使用第三个式子，即，
+P ( ∣ E ( h ) − E ^ ( h ) ∣ ⩾ ϵ ) ⩽ 2 exp ( − 2 m ϵ 2 ) \begin{equation}
+P(|\mathbb{E}(h)-\widehat{E}(h)| \geqslant \epsilon) \leqslant 2 \exp \left(-2 m \epsilon^{2}\right)
+\end{equation}
+ P ( ∣ E ( h ) − E ( h ) ∣ ⩾ ϵ ) ⩽ 2 exp ( − 2 m ϵ 2 )
+将其带入式4.6，则有，
+∑ h ∈ H P ( ∣ E ^ ( h ) − E ( h ) ∣ > ϵ ) ⩽ ∑ h ∈ H 2 exp ( − 2 m ϵ 2 ) \begin{equation}
+\begin{array}{l}
+\sum_{h \in \mathcal{H}} P(|\widehat{E}(h)-\mathbb{E}(h)|\gt\epsilon) \leqslant \sum_{h \in \mathcal{H}} 2 \exp \left(-2 m \epsilon^{2}\right)
+\end{array}
+\end{equation}
+ ∑ h ∈ H P ( ∣ E ( h ) − E ( h ) ∣ > ϵ ) ⩽ ∑ h ∈ H 2 exp ( − 2 m ϵ 2 )
+令 2 exp ( − 2 m ϵ 2 ) = δ / ∣ H ∣ 2 \exp \left(-2 m \epsilon^{2}\right)=\delta /|\mathcal{H}| 2 exp ( − 2 m ϵ 2 ) = δ /∣ H ∣
+∑ h ∈ H P ( ∣ E ^ ( h ) − E ( h ) ∣ > ϵ ) ⩽ ∑ h ∈ H δ / ∣ H ∣ ⩽ ∣ H ∣ ⋅ δ / ∣ H ∣ = δ \begin{equation}
+\begin{array}{l}
+\sum_{h \in \mathcal{H}} P(|\widehat{E}(h)-\mathbb{E}(h)|\gt\epsilon) \leqslant \sum_{h \in \mathcal{H}} \delta /|\mathcal{H}| \leqslant|\mathcal{H}| \cdot \delta /|\mathcal{H}|=\delta
+\end{array}
+\end{equation}
+ ∑ h ∈ H P ( ∣ E ( h ) − E ( h ) ∣ > ϵ ) ⩽ ∑ h ∈ H δ /∣ H ∣ ⩽ ∣ H ∣ ⋅ δ /∣ H ∣ = δ
+从而得到式4.7。
+4.4 【证明补充】引理4.1的证明思路
+63页 中，引入了引理4.1及其相关的证明。由于证明过程较长，这里对其思路进行梳理和分析。
+对于假设空间 H , h ∈ H , m ∈ N , ϵ ∈ ( 0 , 1 ) \mathcal{H}, h \in \mathcal{H}, m \in \mathbb{N}, \epsilon \in (0,1) H , h ∈ H , m ∈ N , ϵ ∈ ( 0 , 1 ) m ≥ 2 / ϵ 2 m \ge 2/\epsilon^2 m ≥ 2/ ϵ 2
+P ( ∣ E ( h ) − E ^ ∣ > ϵ ) ≤ 4 Π H ( 2 m ) exp ( − m ϵ 2 8 ) \begin{equation}
+P(|\mathbb{E}(h)-\hat{E}| \gt \epsilon) \le 4\Pi_{\mathcal{H}}(2m)\exp(-\frac{m\epsilon^2}{8})
+\end{equation}
+ P ( ∣ E ( h ) − E ^ ∣ > ϵ ) ≤ 4 Π H ( 2 m ) exp ( − 8 m ϵ 2 )
+证明简述
+当我们要证明这个定理时，需要首先回忆增长函数的定义：对于 m ∈ N m \in\mathbb{N} m ∈ N H \mathcal{H} H 增长函数 (growth function) Π H ( m ) \Pi_{\mathcal{H}}(m) Π H ( m )
+Π H ( m ) = max { x 1 , . . . , x m } ⊂ X ∣ { ( h ( x 1 ) , . . . , h ( x m ) ) ∣ h ⊂ H } ∣ \begin{equation}
+\Pi_{\mathcal{H}}(m)=\max_{\{\mathbf{x}_1,...,\mathbf{x}_m\}\subset \mathcal{X}}|\{(h(\mathbf{x}_1),...,h(\mathbf{x}_m))|h\subset \mathcal{H}\}|
+\end{equation}
+ Π H ( m ) = { x 1 , ... , x m } ⊂ X max ∣ {( h ( x 1 ) , ... , h ( x m )) ∣ h ⊂ H } ∣
+由于泛化误差在实际过程中难以评估，证明中首先将泛化误差和经验误差的差距缩放为经验误差之间的差距。通过概率与期望之间的转化，我们将问题进一步转化，并通过上确界的定义给出一个具体的概念 h 0 h_0 h 0
+第二步则是将经验误差之间的差距进一步转化为增长函数的差距，即证明了第二个公式：
+P ( sup h ∈ H ∣ E ^ D ( h ) − E ^ D ′ ( h ) ∣ ≥ 1 2 ϵ ) ≤ 2 ∣ H ∣ D + D ′ ∣ ∣ exp ( − ϵ 2 m 8 ) ∣ \begin{equation}
+P(\sup_{h\in\mathcal{H}}|\hat E_D(h)-\hat E_{D'}(h)|\geq\frac{1}{2}\epsilon)\leq 2|\mathcal{H}_{|D+D'|}| \exp(-\frac{\epsilon^2m}{8})|
+\end{equation}
+ P ( h ∈ H sup ∣ E ^ D ( h ) − E ^ D ′ ( h ) ∣ ≥ 2 1 ϵ ) ≤ 2∣ H ∣ D + D ′ ∣ ∣ exp ( − 8 ϵ 2 m ) ∣
+在这个过程中，使用了式 4.16，通过给出任意置换下的情况，将期望问题转化为级数求和，进一步缩放成有关指数函数的公式：
+1 2 m ∑ i = 1 ( 2 m ) ! I ( ∣ E ^ T i D ( h ) − E ^ T i D ′ ( h ) ∥ ) = ∑ k ∈ [ l ] s . t . ∣ 2 k / m − l / m ∣ ≥ ϵ / 2 ( l k ) ( 2 m − l m − k ) ( 2 m m ) \begin{equation}
+\frac{1}{2m}\sum_{i=1}^{(2m)!}\mathbb{I}(|\hat E_{T_iD}(h)-\hat E_{T_iD'}(h)\|)=\sum_{k\in[l]\\s.t.|2k/m-l/m|\geq\epsilon/2}\frac{\tbinom{l}{k}\tbinom{2m-l}{m-k}}{\tbinom{2m}{m}}
+\end{equation}
+ 2 m 1 i = 1 ∑ ( 2 m )! I ( ∣ E ^ T i D ( h ) − E ^ T i D ′ ( h ) ∥ ) = k ∈ [ l ] s . t .∣2 k / m − l / m ∣ ≥ ϵ /2 ∑ ( m 2 m ) ( k l ) ( m − k 2 m − l )
+注意，原不等式中的上界 2 exp ( − ϵ 2 l 8 ) 2\exp(-\frac{\epsilon^2l}{8}) 2 exp ( − 8 ϵ 2 l )
+再通过进一步缩放，得到最后的缩放公式（4.19）。此时，结合前述推导可证明引理。
+即使将原不等式中的 2 exp ( − ε 2 l 8 ) 2\exp(-\frac{ε^2l}{8}) 2 exp ( − 8 ε 2 l ) 2 exp ( − ε 2 l 4 ) 2\exp(-\frac{ε^2l}{4}) 2 exp ( − 4 ε 2 l ) O ( l n ( m / d ) m / d ) O(\sqrt\frac{ln(m/d)}{m/d}) O ( m / d l n ( m / d ) )
+4.5 【证明补充】定理4.3补充
+67页 中提到将式（4.24）带入引理4.1，即可证明定理4.3，具体推导如下：
+定理4.3 表示为：
+P ( ∣ E ( h ) − E ^ ( h ) ∣ ⩽ 8 d ln 2 e m d + 8 ln 4 δ m ) ⩾ 1 − δ \begin{equation}
+P(|\mathbb{E}(h)-\widehat{E}(h)| \leqslant \sqrt{\frac{8 d \ln \frac{2 e m}{d}+8 \ln \frac{4}{\delta}}{m}}) \geqslant 1-\delta
+\end{equation}
+ P ( ∣ E ( h ) − E ( h ) ∣ ⩽ m 8 d ln d 2 e m + 8 ln δ 4 ) ⩾ 1 − δ
+可以将其等价转化为：
+P ( ∣ E ( h ) − E ^ ( h ) ∣ > 8 d ln 2 e m d + 8 ln 4 δ m ) ⩽ δ \begin{equation}
+P(|\mathbb{E}(h)-\widehat{E}(h)| \gt \sqrt{\frac{8 d \ln \frac{2 e m}{d}+8 \ln \frac{4}{\delta}}{m}}) \leqslant \delta
+\end{equation}
+ P ( ∣ E ( h ) − E ( h ) ∣ > m 8 d ln d 2 e m + 8 ln δ 4 ) ⩽ δ
+将（4.24）带入引理4.1可得：
+P ( ∣ E ( h ) − E ^ ( h ) ∣ > 8 d ln 2 e m d + 8 ln 4 δ m ) ⩽ 4 Π H ( 2 m ) exp ( − m ϵ 2 8 ) \begin{equation}
+P(|\mathbb{E}(h)-\widehat{E}(h)|\gt\sqrt{\frac{8 d \ln \frac{2 e m}{d}+8 \ln \frac{4}{\delta}}{m}}) \leqslant 4 \Pi_{\mathcal{H}}(2 m) \exp \left(-\frac{m \epsilon^{2}}{8}\right)
+\end{equation}
+ P ( ∣ E ( h ) − E ( h ) ∣ > m 8 d ln d 2 e m + 8 ln δ 4 ) ⩽ 4 Π H ( 2 m ) exp ( − 8 m ϵ 2 )
+根据 3.1 可得：
+4 Π H ( 2 m ) exp ( − m ϵ 2 8 ) ⩽ 4 ( 2 e m d ) d exp ( − m ϵ 2 8 ) \begin{equation}
+4 \Pi_{\mathcal{H}}(2 m) \exp \left(-\frac{m \epsilon^{2}}{8}\right) \leqslant 4\left(\frac{2 e m}{d}\right)^{d} \exp \left(-\frac{m \epsilon^{2}}{8}\right)
+\end{equation}
+ 4 Π H ( 2 m ) exp ( − 8 m ϵ 2 ) ⩽ 4 ( d 2 e m ) d exp ( − 8 m ϵ 2 )
+所以引理4.1可以转化为：
+P ( ∣ E ( h ) − E ^ ( h ) ∣ > 8 d ln 2 e m d + 8 ln 4 δ m ) ⩽ 4 Π H ( 2 m ) exp ( − m ϵ 2 8 ) ⩽ 4 ( 2 e m d ) d exp ( − m ϵ 2 8 ) \begin{equation}
+P(|\mathbb{E}(h)-\widehat{E}(h)|\gt\sqrt{\frac{8 d \ln \frac{2 e m}{d}+8 \ln \frac{4}{\delta}}{m}}) \leqslant 4 \Pi_{\mathcal{H}}(2 m) \exp \left(-\frac{m \epsilon^{2}}{8}\right) \leqslant 4\left(\frac{2 e m}{d}\right)^{d} \exp \left(-\frac{m \epsilon^{2}}{8}\right)
+\end{equation}
+ P ( ∣ E ( h ) − E ( h ) ∣ > m 8 d ln d 2 e m + 8 ln δ 4 ) ⩽ 4 Π H ( 2 m ) exp ( − 8 m ϵ 2 ) ⩽ 4 ( d 2 e m ) d exp ( − 8 m ϵ 2 )
+令 4 ( 2 e m d ) d exp ( − m ϵ 2 8 ) = δ 4\left(\frac{2 e m}{d}\right)^{d} \exp \left(-\frac{m \epsilon^{2}}{8}\right) = \delta 4 ( d 2 e m ) d exp ( − 8 m ϵ 2 ) = δ
+P ( ∣ E ( h ) − E ^ ( h ) ∣ > 8 d ln 2 e m d + 8 ln 4 δ m ) ⩽ δ \begin{equation}
+P(|\mathbb{E}(h)-\widehat{E}(h)|\gt\sqrt{\frac{8 d \ln \frac{2 e m}{d}+8 \ln \frac{4}{\delta}}{m}}) \leqslant \delta
+\end{equation}
+ P ( ∣ E ( h ) − E ( h ) ∣ > m 8 d ln d 2 e m + 8 ln δ 4 ) ⩽ δ
+从而得到了定理4.3的结论。
+定理4.3 说明了期望误差和经验误差之间的差异程度，以概率形式限定在一定的区域范围内，虽然这并不完全代表误差一定会在 8 d ln 2 e m d + 8 ln 4 δ m \sqrt{\frac{8 d \ln \frac{2 e m}{d}+8 \ln \frac{4}{\delta}}{m}} m 8 d l n d 2 e m + 8 l n δ 4 1 − δ 1-\delta 1 − δ m d \frac{m}{d} d m l n ( x ) ln(x) l n ( x ) x x x
+4.6 【概念解释】回顾 Rademacher 复杂度
+68页 谈论了基于 Rademacher 的泛化误差界，这里对 Rademacher 复杂度进行回顾。
+由于 VC 维和数据分布无关，未考虑数据的特定分布情况，其得到的结论往往是“松”的。Rademacher 复杂度则是基于数据分布的考虑，在牺牲了一定“普适性”的情况下，得到更为“紧”的结论。
+复杂度是人为定义的一套量化复杂度程度的概念。对应 Rademacher 复杂度，假设空间中表示能力越强的函数，其复杂度越高。回到46-47页 ，如果 E σ [ sup h ∈ H 1 m ∑ i = 1 m σ i h ( x i ) ] = 1 \mathbb{E}_{\boldsymbol{\sigma}}\left[\sup _{h \in \mathcal{H}} \frac{1}{m} \sum_{i=1}^{m} \sigma_{i} h\left(\boldsymbol{x}_{i}\right)\right]=1 E σ [ sup h ∈ H m 1 ∑ i = 1 m σ i h ( x i ) ] = 1 x x x x x x
+对于 Rademacher 复杂度的定义，我们进一步将具体的数据样本点转化为数据的样本空间分布，在经验误差的形式外面套一层期望，从而得到了一般化的 Rademacher 复杂度的定义。经验 Rademacher 复杂度和 Rademacher 复杂度的关系就如同概率论中掷硬币的观测序列和将其视为一个先验分布的随机变量序列一样。
+4.7 【证明补充】引理4.6的证明解析
+71页 的定理4.6给出了泛化误差下界的形式化表述：
+P ( E ( h D , c ) > d − 1 32 m ) ≥ 1 100 \begin{equation}
+P\left(\mathbb{E}(h_D, c) > \frac{d-1}{32m}\right) \ge \frac{1}{100}
+\end{equation}
+ P ( E ( h D , c ) > 32 m d − 1 ) ≥ 100 1
+虽然不等式右边的常数 1 100 \frac{1}{100} 100 1
+事实上，根据公式（4.50）的推导，只要选择一个小于 1 − e − d − 1 12 7 \frac{1 - e^{-\frac{d-1}{12}}}{7} 7 1 − e − 12 d − 1 d = 2 d=2 d = 2 0.0114 0.0114 0.0114 1 100 \frac{1}{100} 100 1
+进一步分析发现，随着维度 d d d 1 7 \frac{1}{7} 7 1 1 7 \frac{1}{7} 7 1
+至于常数 32 32 32 ϵ \epsilon ϵ d − 1 16 ( 1 + r ) \frac{d-1}{16(1+r)} 16 ( 1 + r ) d − 1 r = 1 r=1 r = 1 32 32 32
+4.8 【证明补充】引理4.2补充
+74页 提出了引理4.2，这里给出完整的证明过程。
+令 σ \sigma σ { − 1 , + 1 } \{-1,+1\} { − 1 , + 1 } 0 < α < 1 0\lt\alpha\lt1 0 < α < 1 α σ = 1 / 2 − α σ / 2 \alpha_{\sigma} = 1/2 - \alpha
+\sigma/2 α σ = 1/2 − α σ /2 σ \sigma σ X ∼ D σ X \sim D_{\sigma} X ∼ D σ D σ D_{\sigma} D σ B e r n o u l l i ( α σ ) Bernoulli(\alpha_{\sigma}) B er n o u ll i ( α σ ) P ( X = 1 ) = α σ P(X=1)=\alpha_{\sigma} P ( X = 1 ) = α σ S = { X 1 , ⋯ , X m } S=\{X_1,\cdots,X_m\} S = { X 1 , ⋯ , X m } D α m D_{\alpha}^m D α m m m m S ∼ D α m S \sim D_{\alpha}^m S ∼ D α m f : X m → { − 1 , + 1 } f:X^m \rightarrow \{-1,+1\} f : X m → { − 1 , + 1 }
+E σ [ P S ∼ D α m ( f ( S ) ≠ σ ) ] ≥ Φ ( 2 ⌈ m / 2 ⌉ , α ) \begin{equation}
+\mathbb{E}_{\sigma}[P_{S \sim D_{\alpha}^m}(f(S) \neq \sigma)] \ge \Phi (2\lceil m/2 \rceil, \alpha)
+\end{equation}
+ E σ [ P S ∼ D α m ( f ( S ) = σ )] ≥ Φ ( 2 ⌈ m /2 ⌉ , α )
+其中 Φ ( m , α ) = 1 4 ( 1 − 1 − exp ( − m α 2 1 − α 2 ) ) \Phi (m, \alpha) = \frac{1}{4} (1 - \sqrt{1 - \exp(-\frac{m\alpha^2}{1 - \alpha^2})}) Φ ( m , α ) = 4 1 ( 1 − 1 − exp ( − 1 − α 2 m α 2 ) )
+证明
+我们设想两枚硬币 x A x_A x A x B x_B x B P [ x A = 0 ] = 1 / 2 − α / 2 P[x_A = 0] = 1/2−\alpha/2 P [ x A = 0 ] = 1/2 − α /2 P [ x B = 0 ] = 1 / 2 + α / 2 P[x_B = 0] = 1/2+\alpha/2 P [ x B = 0 ] = 1/2 + α /2 0 < α < 1 0\lt\alpha\lt1 0 < α < 1 x ∈ { x A , x B } x \in \{x_A,x_B\} x ∈ { x A , x B } m m m α σ \alpha_{\sigma} α σ f : { 0 , 1 } m → { x A , x B } f:\{0,1\}^m\rightarrow\{x_A,x_B\} f : { 0 , 1 } m → { x A , x B } e r r o r ( f ) = E [ P S ∼ D α m ( f ( S ) ≠ x ) ] error(f)=\mathbb{E}[\mathbb{P}_{S\sim\mathcal{D}_\alpha^m}(f(S)\neq x)] error ( f ) = E [ P S ∼ D α m ( f ( S ) = x )]
+用 f f f F A F_A F A f ( S ) = x A f(S)=x_A f ( S ) = x A F B F_B F B f ( S ) = x B f(S)=x_B f ( S ) = x B N ( S ) N(S) N ( S ) S S S
+e r r o r ( f ) = ∑ S ∈ F A P [ S ∧ x B ] + ∑ S ∈ F B P [ S ∧ x A ] = 1 2 ∑ S ∈ F A P [ S ∣ x B ] + 1 2 ∑ S ∈ F B P [ S ∣ x A ] = 1 2 ∑ S ∈ F A N ( S ) < ⌈ m / 2 ⌉ P [ S ∣ x B ] + 1 2 ∑ S ∈ F A N ( S ) ≥ ⌈ m / 2 ⌉ P [ S ∣ x B ] + 1 2 ∑ S ∈ F B N ( S ) < ⌈ m / 2 ⌉ P [ S ∣ x A ] + 1 2 ∑ S ∈ F B N ( S ) ≥ ⌈ m / 2 ⌉ P [ S ∣ x A ] \begin{equation}
+\begin{align*}
+error(f)&=\sum_{S\in F_A}\mathbb{P}[S\wedge x_B]+\sum_{S\in F_B}\mathbb{P}[S\wedge x_A]\\
+&=\frac{1}{2}\sum_{S\in F_A}\mathbb{P}[S|x_B]+\frac{1}{2}\sum_{S\in F_B}\mathbb{P}[S|x_A]\\
+&=\frac{1}{2}\sum_{S\in F_A\atop N(S)\lt\lceil m/2\rceil}\mathbb{P}[S|x_B]+\frac{1}{2}\sum_{S\in F_A\atop N(S)\ge \lceil m/2\rceil}\mathbb{P}[S|x_B]
++\frac{1}{2}\sum_{S\in F_B\atop N(S)\lt \lceil m/2\rceil}\mathbb{P}[S|x_A]+\frac{1}{2}\sum_{S\in F_B\atop N(S)\ge \lceil m/2\rceil}\mathbb{P}[S|x_A]\\
+\end{align*}
+\end{equation}
+ error ( f ) = S ∈ F A ∑ P [ S ∧ x B ] + S ∈ F B ∑ P [ S ∧ x A ] = 2 1 S ∈ F A ∑ P [ S ∣ x B ] + 2 1 S ∈ F B ∑ P [ S ∣ x A ] = 2 1 N ( S ) < ⌈ m /2 ⌉ S ∈ F A ∑ P [ S ∣ x B ] + 2 1 N ( S ) ≥ ⌈ m /2 ⌉ S ∈ F A ∑ P [ S ∣ x B ] + 2 1 N ( S ) < ⌈ m /2 ⌉ S ∈ F B ∑ P [ S ∣ x A ] + 2 1 N ( S ) ≥ ⌈ m /2 ⌉ S ∈ F B ∑ P [ S ∣ x A ]
+如果 N ( S ) ≥ ⌈ m / 2 ⌉ N(S)\ge \lceil m/2\rceil N ( S ) ≥ ⌈ m /2 ⌉ P [ S ∣ x B ] ≥ P [ S ∣ x A ] \mathbb{P}[S|x_B]\ge\mathbb{P}[S|x_A] P [ S ∣ x B ] ≥ P [ S ∣ x A ] N ( S ) < ⌈ m / 2 ⌉ N(S)\lt \lceil m/2\rceil N ( S ) < ⌈ m /2 ⌉ P [ S ∣ x A ] ≥ P [ S ∣ x B ] \mathbb{P}[S|x_A]\ge\mathbb{P}[S|x_B] P [ S ∣ x A ] ≥ P [ S ∣ x B ]
+e r r o r ( f ) ≥ 1 2 ∑ S ∈ F A N ( S ) < ⌈ m / 2 ⌉ P [ S ∣ x B ] + 1 2 ∑ S ∈ F A N ( S ) ≥ ⌈ m / 2 ⌉ P [ S ∣ x A ] + 1 2 ∑ S ∈ F B N ( S ) < ⌈ m / 2 ⌉ P [ S ∣ x B ] + 1 2 ∑ S ∈ F B N ( S ) ≥ ⌈ m / 2 ⌉ P [ S ∣ x A ] = 1 2 ∑ S : N ( S ) < ⌈ m / 2 ⌉ P [ S ∣ x B ] + 1 2 ∑ S : N ( S ) ≥ ⌈ m / 2 ⌉ P [ S ∣ x A ] = e r r o r ( f o ) \begin{equation}
+\begin{align*}
+error(f) &\ge\frac{1}{2}\sum_{S\in F_A\atop N(S)\lt\lceil m/2\rceil}\mathbb{P}[S|x_B]+\frac{1}{2}\sum_{S\in F_A\atop N(S)\ge \lceil m/2\rceil}\mathbb{P}[S|x_A]
++\frac{1}{2}\sum_{S\in F_B\atop N(S)\lt \lceil m/2\rceil}\mathbb{P}[S|x_B]+\frac{1}{2}\sum_{S\in F_B\atop N(S)\ge \lceil m/2\rceil}\mathbb{P}[S|x_A]\\
+&=\frac{1}{2}\sum_{S:N(S)\lt\lceil m/2\rceil}\mathbb{P}[S|x_B]+\frac{1}{2}\sum_{S:N(S)\ge \lceil m/2\rceil}\mathbb{P}[S|x_A]\\
+&=error(f_o)
+\end{align*}
+\end{equation}
+ error ( f ) ≥ 2 1 N ( S ) < ⌈ m /2 ⌉ S ∈ F A ∑ P [ S ∣ x B ] + 2 1 N ( S ) ≥ ⌈ m /2 ⌉ S ∈ F A ∑ P [ S ∣ x A ] + 2 1 N ( S ) < ⌈ m /2 ⌉ S ∈ F B ∑ P [ S ∣ x B ] + 2 1 N ( S ) ≥ ⌈ m /2 ⌉ S ∈ F B ∑ P [ S ∣ x A ] = 2 1 S : N ( S ) < ⌈ m /2 ⌉ ∑ P [ S ∣ x B ] + 2 1 S : N ( S ) ≥ ⌈ m /2 ⌉ ∑ P [ S ∣ x A ] = error ( f o )
+因此，当我们选取 f o f_o f o N ( S ) < ⌈ m / 2 ⌉ N(S)\lt \lceil m/2\rceil N ( S ) < ⌈ m /2 ⌉ f o ( S ) = x A f_o(S)=x_A f o ( S ) = x A
+注意到 P [ N ( S ) ≥ ⌈ m / 2 ⌉ ∣ x = x A ] = P [ B ( 2 ⌈ m / 2 ⌉ , p ) ≥ k ] \mathbb{P}[N(S)\ge \lceil m/2\rceil|x=x_A]=\mathbb{P}[B(2\lceil m/2\rceil,p)\ge k] P [ N ( S ) ≥ ⌈ m /2 ⌉ ∣ x = x A ] = P [ B ( 2 ⌈ m /2 ⌉ , p ) ≥ k ] p = 1 / 2 − α / 2 , k = ⌈ m / 2 ⌉ p=1/2-\alpha /2,k=\lceil m/2\rceil p = 1/2 − α /2 , k = ⌈ m /2 ⌉ 2 ⌈ m / 2 ⌉ p ≤ k ≤ 2 ⌈ m / 2 ⌉ ( 1 − p ) 2\lceil m/2\rceil p\le k\le 2\lceil m/2\rceil(1-p) 2 ⌈ m /2 ⌉ p ≤ k ≤ 2 ⌈ m /2 ⌉ ( 1 − p )
+根据 Slud 不等式，我们有：
+e r r o r ( f o ) ≥ 1 2 P [ N ≥ ⌈ m / 2 ⌉ α 1 / 2 ( 1 − α 2 ) ⌈ m / 2 ⌉ ] = 1 2 P [ N ≥ 2 ⌈ m / 2 ⌉ 1 − α 2 α ] \begin{equation}
+error(f_o) \ge \frac{1}{2}\mathbb{P}[N\ge\frac{\lceil m/2\rceil\alpha}{\sqrt{1/2(1-\alpha^2)\lceil m/2\rceil}}]=\frac{1}{2}\mathbb{P}[N\ge\sqrt{\frac{2\lceil m/2\rceil}{1-\alpha^2}}\alpha]
+\end{equation}
+ error ( f o ) ≥ 2 1 P [ N ≥ 1/2 ( 1 − α 2 ) ⌈ m /2 ⌉ ⌈ m /2 ⌉ α ] = 2 1 P [ N ≥ 1 − α 2 2 ⌈ m /2 ⌉ α ]
+根据第一章补充内容中的正态分布不等式推论，我们有：
+e r r o r ( f o ) ≥ 1 4 ( 1 − 1 − e − 2 π u 2 ) ≥ 1 4 ( 1 − 1 − e − u 2 ) \begin{equation}
+error(f_o)\ge\frac{1}{4}(1-\sqrt{1-e^{-\frac{2}{\pi}u^2}})\ge\frac{1}{4}(1-\sqrt{1-e^{-u^2}})
+\end{equation}
+ error ( f o ) ≥ 4 1 ( 1 − 1 − e − π 2 u 2 ) ≥ 4 1 ( 1 − 1 − e − u 2 )
+此处 u = 2 ⌈ m / 2 ⌉ 1 − α 2 α u=\sqrt{\frac{2\lceil m/2\rceil}{1-\alpha^2}}\alpha u = 1 − α 2 2 ⌈ m /2 ⌉ α
+事实上，根据上面的推导，我们可以进一步提升泛化误差的下界，即：
+E [ P S ∼ D α m ( f ( S ) ≠ x ) ] ≥ 1 4 ( 1 − 1 − e − 2 π u 2 ) \begin{equation}
+\mathbb{E}[\mathbb{P}_{S\sim\mathcal{D}_\alpha^m}(f(S)\neq x)]\ge\frac{1}{4}(1-\sqrt{1-e^{-\frac{2}{\pi}u^2}})
+\end{equation}
+ E [ P S ∼ D α m ( f ( S ) = x )] ≥ 4 1 ( 1 − 1 − e − π 2 u 2 )
+在引理末尾处，提到了至少需要 Ω ( 1 α 2 ) \Omega(\frac{1}{\alpha^2}) Ω ( α 2 1 ) σ i \sigma_i σ i e r r o r ( f o ) = δ > 0 error(f_o)=\delta\gt0 error ( f o ) = δ > 0
+1 4 ( 1 − 1 − e − u 2 ) ≤ δ ⇔ m ≥ 2 ⌈ 1 − ϵ 2 2 ϵ 2 ln 1 8 δ ( 1 − 2 δ ) ⌉ \begin{equation}
+\frac{1}{4}(1-\sqrt{1-e^{-u^2}})\le\delta\Leftrightarrow m\ge 2\lceil \frac{1-\epsilon^2}{2\epsilon^2} \ln\frac{1}{8\delta(1-2\delta)} \rceil
+\end{equation}
+ 4 1 ( 1 − 1 − e − u 2 ) ≤ δ ⇔ m ≥ 2 ⌈ 2 ϵ 2 1 − ϵ 2 ln 8 δ ( 1 − 2 δ ) 1 ⌉
+此时，我们发现 m m m Ω ( 1 α 2 ) \Omega(\frac{1}{\alpha^2}) Ω ( α 2 1 ) 1 − δ 1-\delta 1 − δ σ \sigma σ
+4.9 【证明补充】引理4.7的补充
+75页 的定理4.7主要表达的是：无论算法有多强，在不可分的情况下，总会有某种“坏”分布使得输出假设的泛化误差以常数概率为O ( d m ) O(\sqrt\frac{d}{m}) O ( m d )
+∑ x i ∈ S ( I ( h ( x i ) ≠ h D σ ∗ ( x i ) ) + I ( h ( x i ) = h D σ ∗ ( x i ) ) ) = d \begin{equation}
+\sum_{x_i\in S}(\mathbb{I}(h(x_i)\neq h_{\mathcal{D}_{\sigma}^*}(x_i))+\mathbb{I}(h(x_i) = h_{\mathcal{D}_{\sigma}^*}(x_i))) = d
+\end{equation}
+ x i ∈ S ∑ ( I ( h ( x i ) = h D σ ∗ ( x i )) + I ( h ( x i ) = h D σ ∗ ( x i ))) = d
+另外，（4.63）的第三步为何不直接利用引理4.2进行推导呢？这是考虑到函数Φ ( ⋅ , α ) \Phi(·,\alpha) Φ ( ⋅, α ) m / d + 1 ≤ 2 ⌈ m / 2 ⌉ m/d+1\le2\lceil m/2\rceil m / d + 1 ≤ 2 ⌈ m /2 ⌉ Φ ( m / d + 1 , α ) ≥ Φ ( 2 ⌈ m / 2 ⌉ , α ) \Phi(m/d+1,\alpha)\ge\Phi(2\lceil m/2\rceil,\alpha) Φ ( m / d + 1 , α ) ≥ Φ ( 2 ⌈ m /2 ⌉ , α ) ∣ Z ∣ x |Z|_x ∣ Z ∣ x
+在76页 左下角的最后一个脚注中，提到了m / d m/d m / d ∣ Z ∣ x |Z|_x ∣ Z ∣ x U \mathcal{U} U { − 1 , + 1 } d \{-1,+1\}^d { − 1 , + 1 } d x x x 1 / d 1/d 1/ d D σ D_σ D σ m m m S S S x x x m / d m/d m / d
+此外，（4.65）中用到了引理4.3。令 Z ′ = 1 α ( E ( h Z ) − E ( h D σ ∗ m ∗ ) ) Z'=\frac{1}{\alpha}(\mathbb{E}(h_Z)-\mathbb{E}(h_{\mathcal{D}_{\sigma^*}^{m}}^{*})) Z ′ = α 1 ( E ( h Z ) − E ( h D σ ∗ m ∗ )) 0 ≤ Z ′ ≤ 1 0\le Z'\le1 0 ≤ Z ′ ≤ 1 γ ′ = γ u \gamma'=\gamma u γ ′ = γ u Φ ( ⋅ , α ) \Phi(·,\alpha) Φ ( ⋅, α ) 1 / 4 1/4 1/4 γ ′ ∈ [ 0 , 1 / 4 ) ⊆ [ 0 , 1 ) \gamma'\in[0,1/4)\subseteq[0,1) γ ′ ∈ [ 0 , 1/4 ) ⊆ [ 0 , 1 )
+P ( Z ′ > γ ′ ) ≥ E [ Z ′ ] − γ ′ ≥ u − u γ = ( 1 − γ ) u \begin{equation}
+P(Z'\gt\gamma')\ge \mathbb{E}[Z']-\gamma' \ge u-u\gamma = (1-\gamma)u
+\end{equation}
+ P ( Z ′ > γ ′ ) ≥ E [ Z ′ ] − γ ′ ≥ u − u γ = ( 1 − γ ) u
+同时，（4.69）到（4.70）的推导中体现了充分条件的思想。由（4.69）可知：
+m d ≤ A ϵ 2 + B \begin{equation}
+\frac{m}{d}\le \frac{A}{\epsilon^2}+B
+\end{equation}
+ d m ≤ ϵ 2 A + B
+其中 A = ( 7 64 ) 2 ln 4 3 A=(\frac{7}{64})^2 \ln \frac{4}{3} A = ( 64 7 ) 2 ln 3 4 B = − ln 4 3 − 1 B=-\ln \frac{4}{3}-1 B = − ln 3 4 − 1
+我们希望能推导出更为简洁的 m d \frac{m}{d} d m 1 ϵ 2 \frac{1}{\epsilon^2} ϵ 2 1
+m d ≤ A ϵ 2 + B ≤ ω ϵ 2 \begin{equation}
+\frac{m}{d}\le \frac{A}{\epsilon^2}+B\le\frac{\omega}{\epsilon^2}
+\end{equation}
+ d m ≤ ϵ 2 A + B ≤ ϵ 2 ω
+即使得 ω ≥ B ϵ 2 + A \omega\ge B\epsilon^2+A ω ≥ B ϵ 2 + A ϵ ≤ 1 / 64 \epsilon\le 1/64 ϵ ≤ 1/64 ω \omega ω
+值得注意的是，整个证明过程共进行了四次启发式限制，分别为 γ = 1 − 8 δ \gamma=1-8\delta γ = 1 − 8 δ α = 8 ϵ / ( 1 − 8 ϵ ) \alpha=8\epsilon/(1-8\epsilon) α = 8 ϵ / ( 1 − 8 ϵ ) δ ≤ 1 / 64 \delta\le1/64 δ ≤ 1/64 ϵ ≤ 1 / 64 \epsilon\le1/64 ϵ ≤ 1/64
+4.10 【概念解释】ρ \rho ρ
+79页 提到，由经验损失（公式4.72）可知 Φ ρ \Phi_\rho Φ ρ 1 ρ \frac{1}{\rho} ρ 1
+根据Lipschitz连续性的定义，我们可以通过拉格朗日中值定理来证明这一点。具体来说，由拉格朗日中值定理可得：
+∣ Φ ρ ( x 1 ) − Φ ρ ( x 2 ) ∣ ≤ ∣ Φ ρ ′ ( ξ ) ∣ ∣ x 1 − x 2 ∣ \begin{equation}
+|\Phi_\rho(x_1)-\Phi_\rho(x_2)| \leq |\Phi_\rho'(\xi)| |x_1-x_2|
+\end{equation}
+ ∣ Φ ρ ( x 1 ) − Φ ρ ( x 2 ) ∣ ≤ ∣ Φ ρ ′ ( ξ ) ∣∣ x 1 − x 2 ∣
+其中 ξ \xi ξ x 1 x_1 x 1 x 2 x_2 x 2
+已知 Φ ρ \Phi_\rho Φ ρ Φ ρ ′ ( ξ ) \Phi_\rho'(\xi) Φ ρ ′ ( ξ )
+∣ Φ ρ ′ ( ξ ) ∣ ≤ 1 ρ \begin{equation}
+|\Phi_\rho'(\xi)| \leq \frac{1}{\rho}
+\end{equation}
+ ∣ Φ ρ ′ ( ξ ) ∣ ≤ ρ 1
+因此，根据Lipschitz条件的定义，ρ \rho ρ 1 ρ \frac{1}{\rho} ρ 1
+4.11 【证明补充】定理4.8补充
+79页 的定理4.8给出了关于间隔损失函数的分类问题SVM的泛化误差界。
+此处存在一个小的错误：公式4.80前的 “代入 (4.96)” 应为 “代入 (4.76)” 。
+观察要证明的公式，我们发现这是关于 Rademacher 复杂度的泛化上界推理，自然地回顾一下 Rademacher 复杂度。
+现实任务中样本标记有时会受到噪声影响，因此我们与其在假设空间 H \mathcal{H} H H \mathcal{H} H
+在此直接考虑利用前面讲到的关于实值假设空间中的期望与 Rademacher 复杂度的不等式。通过前面 4.73 讲到的关于间隔函数的经验间隔损失的式子，可以带入得到大体形式。
+由于前面引理提到的关于 Lipschitz 函数的性质，结合 ρ \rho ρ
+第5章：稳定性
+编辑：赵志民，李一飞，王茂霖，詹好
+本章前言
+本章将探讨学习理论中的稳定性。在前一章中，我们介绍了不同的复杂度度量方法，并给出了与特定算法无关的泛化界限。
+然而，这些泛化界限是否能通过分析特定算法的性质得到更好的学习保障？这些分析是否能够扩展到具有相似性质的其他学习算法上？
+本章旨在回答这些问题，通过算法稳定性的应用推导出依赖于算法的学习保证。
+5.1 【概念解释】留一交叉验证的风险
+90页 中提到的留一风险（leave-one-out risk）是指依次从数据集中移除某一数据后，利用剩余数据训练的模型与被移除数据之间的风险。本质上，这保证了用于风险测试的数据不会包含在训练集中，类似于模型选择时的留一验证。
+5.2 【证明补充】均匀稳定性与泛化误差上界
+92页 中，定理5.1讨论了均匀稳定性 与泛化性的关系。以下是该证明过程中均匀稳定性与泛化性之间联系的分析。
+证明简述
+对于读者来说，前几章的阅读应使大家对涉及 l n ln l n ϵ \epsilon ϵ
+由于定理中提到的替换样本 β \beta β γ \gamma γ z ，因此我们可以得到关于经验风险与泛化风险差距 （即 Φ ( D ) \Phi(D) Φ ( D )
+通过对损失函数的差值求和平均可以得到风险 (Risk) 的差距。由于替换样本的 β \beta β z ，因此我们可以推导出 (5.22) 和 (5.23) 式，并使用 McDiarmid 不等式推导出经验风险与泛化风险的差距 （即 Φ ( D ) \Phi(D) Φ ( D ) ϵ \epsilon ϵ
+P ( ϕ ( D ) ≥ E [ Φ ( D ) ] + ϵ ) ≤ e x p ( − 2 m ϵ 2 ( 2 m β + M ) 2 ) \begin{equation}
+P(\phi(D)\geq\mathbb{E}[\Phi(D)]+\epsilon)\leq exp(\frac{-2m\epsilon^2}{(2m\beta+M)^2})
+\end{equation}
+ P ( ϕ ( D ) ≥ E [ Φ ( D )] + ϵ ) ≤ e x p ( ( 2 m β + M ) 2 − 2 m ϵ 2 )
+之后进行简单的放缩估计即可得到最终的结果：
+P ( R ( L D ) − R ^ ( L D ) ≥ β + ϵ ) ≤ e x p ( − 2 m ϵ 2 ( 2 m β + M ) 2 ) \begin{equation}
+P(R(\mathcal{L_D})-\hat R(\mathcal{L_D})\geq\beta+\epsilon)\leq exp(\frac{-2m\epsilon^2}{(2m\beta+M)^2})
+\end{equation}
+ P ( R ( L D ) − R ^ ( L D ) ≥ β + ϵ ) ≤ e x p ( ( 2 m β + M ) 2 − 2 m ϵ 2 )
+值得注意的是，（5.22）中的最后一步不等式推导其实省略了一步：
+∣ ℓ ( L D , z i ) − ℓ ( L D i , z i ′ , z i ′ ) ∣ m + ∑ j ≠ i ∣ ℓ ( L D , z j ) − ℓ ( L D i , z i ′ , z j ) ∣ m ≤ M m + m − 1 m β ≤ M m + β \begin{equation}
+\begin{align*}
+&\frac{|\ell(\mathfrak{L}_D,z_i)-\ell(\mathfrak{L}_{D^{i,z'_i}},z'_i)|}{m}+\sum_{j\neq i}\frac{|\ell(\mathfrak{L}_D,z_j)-\ell(\mathfrak{L}_{D^{i,z'_i}},z_j)|}{m}\\
+&\le \frac{M}{m}+\frac{m-1}{m}\beta \\
+&\le \frac{M}{m}+\beta
+\end{align*}
+\end{equation}
+ m ∣ ℓ ( L D , z i ) − ℓ ( L D i , z i ′ , z i ′ ) ∣ + j = i ∑ m ∣ ℓ ( L D , z j ) − ℓ ( L D i , z i ′ , z j ) ∣ ≤ m M + m m − 1 β ≤ m M + β
+之所以这么做，是因为当样本量 m m m β m \frac{\beta}{m} m β
+另外，（5.23）式也省略了一步：
+∣ E z ∼ D [ ℓ ( L D , z ) − ℓ ( L D i , z i ′ , z ) ] ∣ ≤ E z ∼ D [ ∣ ℓ ( L D , z ) − ℓ ( L D i , z i ′ , z ) ∣ ] ≤ E z ∼ D [ β ] = β \begin{equation}
+|E_{z\sim\mathcal{D}}[\ell(\mathfrak{L}_D,z)-\ell(\mathfrak{L}_{D^{i,z'_i}},z)]|\le E_{z\sim\mathcal{D}}[|\ell(\mathfrak{L}_D,z)-\ell(\mathfrak{L}_{D^{i,z'_i}},z)|]\le E_{z\sim\mathcal{D}}[\beta]=\beta
+\end{equation}
+ ∣ E z ∼ D [ ℓ ( L D , z ) − ℓ ( L D i , z i ′ , z )] ∣ ≤ E z ∼ D [ ∣ ℓ ( L D , z ) − ℓ ( L D i , z i ′ , z ) ∣ ] ≤ E z ∼ D [ β ] = β
+关于移除样本 γ \gamma γ 2 m β 2m\beta 2 m β 4 m γ 4m\gamma 4 mγ
+均匀稳定性与泛化性的关系
+在证明过程中，多处涉及了损失函数作差的放缩，即替换样本的 β \beta β
+在 (5.24) 中，通过替换样本的稳定性，我们可以得到经验风险与泛化风险的差距 （即 Φ ( D ) \Phi(D) Φ ( D ) 2 β + M / m 2\beta+M/m 2 β + M / m
+因此在 (5.25) 中，我们可以得到经验风险与泛化风险的差距 （即 Φ ( D ) \Phi(D) Φ ( D )
+5.3 【证明补充】假设稳定性与泛化误差上界
+94页 中，定理5.2讨论了假设稳定性 与泛化性的关系。以下是该证明过程中假设稳定性与泛化性之间联系的分析。
+证明简述
+证明涉及 R ( L D ) − R ^ ( L D ) R(\mathcal{L_D})-\hat R(\mathcal{L_D}) R ( L D ) − R ^ ( L D )
+证明中的一处难点在于（5.30）至（5.33）中关于变量 z z z ∀ i , j ∈ N + , z , z ′ , z i , z j ∼ D \forall i,j\in \mathbb{N}^+,z,z',z_i,z_j\sim\mathcal{D} ∀ i , j ∈ N + , z , z ′ , z i , z j ∼ D z , z ′ , z i , z j z,z',z_i,z_j z , z ′ , z i , z j
+例如，在（5.30）中的第一步推导中，不失一般性地用 z 1 , z 2 z_1,z_2 z 1 , z 2 z i , z j z_i,z_j z i , z j z 1 , z 2 z_1,z_2 z 1 , z 2
+理解这一点后，任何关于变量 z z z
+另外，在（5.32）的第一步推导中，使用了绝对值不等式 E ( X + Y ) ≤ E ( ∣ X ∣ ) + E ( ∣ Y ∣ ) \mathbb{E}(X+Y)\le \mathbb{E}(|X|)+\mathbb{E}(|Y|) E ( X + Y ) ≤ E ( ∣ X ∣ ) + E ( ∣ Y ∣ )
+假设稳定性与泛化性的关系
+该定理实际上给出了经验风险与泛化风险的差距的平方平均的界，这是因为假设稳定性并不是非常强的条件，而是为了放松均匀稳定性这一较强的条件而引入的。
+5.4 【概念解释】过拟合与欠拟合的关系
+过拟合和欠拟合是泛化性研究中的重要概念。当经验风险与泛化风险的差距较大时，会发生过拟合；相反，当泛化风险与经验风险的差距较大时，则发生欠拟合。因此，我们在算法设计时，希望尽可能缩小泛化风险与经验风险的差距。
+96页 中，定理5.3从算法稳定性的角度提出了防止过拟合的方案：当替换训练集的单个样本时，算法的输出函数变化不大，我们认为学习算法 L \mathfrak{L} L
+5.5 【概念解释】稳定性与可学习性
+97页 中，定理5.4讨论了稳定性与可学性之间的关系。以下是定理5.4的梳理分析，探讨稳定性与可学性在证明中的关联。
+证明简述
+首先，我们回顾不可知 PAC 可学的概念：对于所有分布 D \mathcal{D} D L \mathfrak{L} L p o l y ( ⋅ , ⋅ , ⋅ , ⋅ ) poly(\cdot,\cdot,\cdot,\cdot) p o l y ( ⋅ , ⋅ , ⋅ , ⋅ ) m ≥ p o l y ( 1 / ϵ , 1 / δ , s i z e ( x ) , s i z e ( c ) ) m\geq poly(1/\epsilon,1/\delta,size(\mathbf{x}),size(c)) m ≥ p o l y ( 1/ ϵ , 1/ δ , s i ze ( x ) , s i ze ( c )) L \mathfrak{L} L
+P ( E ( h ) − min h ′ ∈ H E ( h ′ ) ≤ ϵ ) ≥ 1 − δ \begin{equation}
+ P\big(\mathbb{E}(h)-\min_{h'\in\mathcal{H}}\mathbb{E}(h')\leq\epsilon\big)\geq1-\delta
+\end{equation}
+ P ( E ( h ) − h ′ ∈ H min E ( h ′ ) ≤ ϵ ) ≥ 1 − δ
+该证明利用了经验风险与泛化风险之间的联系，构造出（5.39），然后分而治之地讨论不同情况下的稳定性关系。
+其中，泛化风险与经验风险之差（5.40）可以根据定理5.1改写为：对于任意的 δ ∈ ( 0 , 1 ) \delta\in(0,1) δ ∈ ( 0 , 1 ) 1 − δ 1-\delta 1 − δ
+R ( L D ) − R ^ ( L D ) ≤ 1 m + ( 2 m β + M ) l n ( 1 / δ ) 2 m \begin{equation}
+R(\mathfrak{L}_D)-\hat R(\mathfrak{L}_D)\le \frac{1}{m}+(2m\beta+M)\sqrt{\frac{ln(1/\delta)}{2m}}
+\end{equation}
+ R ( L D ) − R ^ ( L D ) ≤ m 1 + ( 2 m β + M ) 2 m l n ( 1/ δ )
+参考95页 中对 l i m m → + ∞ m β lim_{m\rightarrow +\infty}m\beta l i m m → + ∞ m β l i m m → + ∞ m β < ∞ lim_{m\rightarrow +\infty}m\beta\lt\infty l i m m → + ∞ m β < ∞ β \beta β β = 1 / m \beta=1/m β = 1/ m
+R ( L D ) − R ^ ( L D ) ≤ 1 m + ( 2 + M ) l n ( 1 / δ ) 2 m \begin{equation}
+R(\mathfrak{L}_D)-\hat R(\mathfrak{L}_D)\le \frac{1}{m}+(2+M)\sqrt{\frac{ln(1/\delta)}{2m}}
+\end{equation}
+ R ( L D ) − R ^ ( L D ) ≤ m 1 + ( 2 + M ) 2 m l n ( 1/ δ )
+在处理 ERM 算法情况下泛化风险与经验风险之差（5.42）时，原书中有一处小错误，但对最终结论影响不大。以下是正确的推导过程：
+根据 ℓ ( L D , z ) ∈ [ 0 , M ] \ell(\mathfrak{L}_D,z)\in[0,M] ℓ ( L D , z ) ∈ [ 0 , M ] R ^ ∈ [ 0 , M ] \hat R \in [0,M] R ^ ∈ [ 0 , M ] R ( h ∗ ) = E D ( R ^ ( h ∗ ) ) R(h^*)=E_{\mathcal{D}}(\hat R(h^*)) R ( h ∗ ) = E D ( R ^ ( h ∗ )) 1 − δ 1-\delta 1 − δ
+R ^ ( h ∗ ) − R ( h ∗ ) ≤ M l n ( 1 / δ ) 2 m \begin{equation}
+\hat R(h^*)-R(h^*)\le M\sqrt{\frac{ln(1/\delta)}{2m}}
+\end{equation}
+ R ^ ( h ∗ ) − R ( h ∗ ) ≤ M 2 m l n ( 1/ δ )
+结合（5.39）至（5.42）可知，至少以 1 − δ 1-\delta 1 − δ
+R ( L D ) − R ( h ∗ ) ≤ 1 m + ( 2 + M ) l n ( 1 / δ ) 2 m + M l n ( 1 / δ ) 2 m \begin{equation}
+R(\mathfrak{L}_D)-R(h^*)\le \frac{1}{m}+(2+M)\sqrt{\frac{ln(1/\delta)}{2m}}+M\sqrt{\frac{ln(1/\delta)}{2m}}
+\end{equation}
+ R ( L D ) − R ( h ∗ ) ≤ m 1 + ( 2 + M ) 2 m l n ( 1/ δ ) + M 2 m l n ( 1/ δ )
+此时（5.44）变为：
+ϵ = 1 m + ( 1 + M ) 2 l n ( 1 / δ ) m \begin{equation}
+\epsilon=\frac{1}{m}+(1+M)\sqrt{\frac{2ln(1/\delta)}{m}}
+\end{equation}
+ ϵ = m 1 + ( 1 + M ) m 2 l n ( 1/ δ )
+令 m ′ = m m'=\sqrt m m ′ = m m ′ m' m ′
+ϵ m ′ 2 − A m ′ − 1 = 0 \begin{equation}
+\epsilon m'^2-Am'-1=0
+\end{equation}
+ ϵ m ′2 − A m ′ − 1 = 0
+其中 A = ( 1 + M ) 2 l n ( 1 / δ ) A=(1+M)\sqrt{2ln(1/\delta)} A = ( 1 + M ) 2 l n ( 1/ δ )
+m ′ = A ± A 2 + 4 ϵ 2 ϵ = O ( 1 ϵ l n ( 1 δ ) ) \begin{equation}
+m'=\frac{A\pm\sqrt{A^2+4\epsilon}}{2\epsilon} = O(\frac{1}{\epsilon}\sqrt{ln(\frac{1}{\delta})})
+\end{equation}
+ m ′ = 2 ϵ A ± A 2 + 4 ϵ = O ( ϵ 1 l n ( δ 1 ) )
+至此，我们得到了 m m m
+m = m ′ 2 = O ( 1 ϵ 2 l n ( 1 δ ) ) \begin{equation}
+m=m'^2=O(\frac{1}{\epsilon^2}ln(\frac{1}{\delta}))
+\end{equation}
+ m = m ′2 = O ( ϵ 2 1 l n ( δ 1 ))
+接下来的推导便水到渠成。
+稳定性与可学性
+这里只能达到不可知 PAC 可学的原因是泛化界只能以概率达到，无法保证在任何函数空间内都能达到上界以下。因此，这里只能讨论稳定性与不可知 PAC 可学性的关系。
+事实上，稳定性与可学性的关系类似于第四章中讲到的泛化界与可学性的关系。通过 ERM 算法得到最小经验风险函数后，结合均匀稳定性带来的泛化上界 ，我们可以获得可学性。
+5.6 【证明补充】二次分布下的 k-近邻算法稳定性
+105页 中，引理5.2讨论了二次分布 X ∼ B ( k , 1 / 2 ) X \sim B(k, 1/2) X ∼ B ( k , 1/2 )
+给定整数 k > 0 k \gt 0 k > 0 X X X
+P ( X = i ) = 1 2 k ( k i ) , i ∈ [ k ] \begin{equation}
+P(X=i) = \frac{1}{2^k} \binom{k}{i}, i \in [k]
+\end{equation}
+ P ( X = i ) = 2 k 1 ( i k ) , i ∈ [ k ]
+则对任意正整数 a a a
+P ( ∣ X − k 2 ∣ ≤ a 2 ) < 2 2 a π k \begin{equation}
+P(|X-\frac{k}{2}| \le \frac{a}{2}) \lt \frac{2\sqrt{2} a}{\sqrt{\pi k}}
+\end{equation}
+ P ( ∣ X − 2 k ∣ ≤ 2 a ) < πk 2 2 a
+首先，我们根据 k k k
+当 k k k
+1 2 k ( k k / 2 ) ≤ 2 2 π k exp ( 1 12 k − 2 6 k + 1 ) < 2 2 π k \begin{equation}
+\frac{1}{2^k} \binom{k}{k/2} \leq \frac{2}{\sqrt{2\pi k}} \exp(\frac{1}{12k} - \frac{2}{6k+1}) \lt \frac{2}{\sqrt{2\pi k}}
+\end{equation}
+ 2 k 1 ( k /2 k ) ≤ 2 πk 2 exp ( 12 k 1 − 6 k + 1 2 ) < 2 πk 2
+第二步推导利用了 Stirling 公式，最后一步推导则利用了函数 l ( x ) = exp ( 1 12 x − 2 6 x + 1 ) l(x) = \exp(\frac{1}{12x} - \frac{2}{6x+1}) l ( x ) = exp ( 12 x 1 − 6 x + 1 2 ) [ 1 , ∞ ) [1,\infty) [ 1 , ∞ ) ( 0 , 1 ) (0,1) ( 0 , 1 )
+因此，我们有：
+P ( ∣ X − k 2 ∣ ≤ a 2 ) = ( a + 1 ) 2 2 π k < 4 a 2 π k \begin{equation}
+P(|X-\frac{k}{2}| \leq \frac{a}{2}) = (a+1) \frac{2}{\sqrt{2\pi k}} \lt \frac{4a}{\sqrt{2\pi k}}
+\end{equation}
+ P ( ∣ X − 2 k ∣ ≤ 2 a ) = ( a + 1 ) 2 πk 2 < 2 πk 4 a
+当 k k k k > 1 k\gt1 k > 1
+1 2 k ( k ( k − 1 ) / 2 ) < 1 2 k − 1 ( k − 1 ( k − 1 ) / 2 ) < 1 2 π ( k − 1 ) < 2 π k \begin{equation}
+\frac{1}{2^k} \binom{k}{(k-1)/2} \lt \frac{1}{2^{k-1}} \binom{k-1}{(k-1)/2}
+\lt \frac{1}{\sqrt{2\pi (k-1)}} \lt \frac{2}{\sqrt{\pi k}}
+\end{equation}
+ 2 k 1 ( ( k − 1 ) /2 k ) < 2 k − 1 1 ( ( k − 1 ) /2 k − 1 ) < 2 π ( k − 1 ) 1 < πk 2
+当 k = 1 k=1 k = 1 1 2 < 2 π \frac{1}{2} \lt \frac{2}{\sqrt{\pi}} 2 1 < π 2
+P ( ∣ X − k 2 ∣ ≤ a 2 ) = a 2 π k < 4 a 2 π k \begin{equation}
+P(|X-\frac{k}{2}| \leq \frac{a}{2}) = a \frac{2}{\sqrt{\pi k}} \lt \frac{4a}{\sqrt{2\pi k}}
+\end{equation}
+ P ( ∣ X − 2 k ∣ ≤ 2 a ) = a πk 2 < 2 πk 4 a
+综上，引理5.2得证。
+5.7 【概念解释】稳定性理论的适用范围
+细心的读者可能已经注意到，这里的稳定性仅在某些条件下才能适用，以下是对这些条件的总结。
+首先，本章的分析假设输出函数 L D \mathfrak{L}_D L D D D D
+另外，在样本扰动分析中，我们几乎没有单独讨论新增样本的情况。这是因为在数据或概念发生漂移的情况下，稳定性的要求不一定成立，因为此时训练集的分布与真实分布已不再一致。而在研究训练集 D D D L D \mathfrak{L}_D L D
+具体而言，在线学习指的是在数据不断到来的过程中，动态地更新模型，因此该训练方式更关注模型的可塑性，即在旧场景中训练的模型是否能通过优化在新场景中表现优异。因此，在实际应用中，我们需要平衡学习算法的可塑性与稳定性。
+为了更好地评估在线学习的性能，本书引入了遗憾界的概念，即在线学习与离线学习算法之间最小损失的差值，具体分析请参见第八章。
+第6章：一致性
+编辑：赵志民，王茂霖，詹好
+本章前言
+本章内容主要探讨学习理论中的一致性（consistency），研究随着训练数据的增加，通过学习算法所获得的分类器是否逐渐逼近贝叶斯最优分类器。具体内容包括一致性的定义、参数方法下的一致性分析、非参数方法下的一致性分析，以及随机森林一致性分析的案例。
+6.1 【证明补充】泛化风险的无偏估计
+117页 中，公式（6.25）给出了分类器的经验风险 R ^ \hat R R ^ R R R
+首先，需要理解经验风险 R ^ \hat R R ^ R R R R R R
+其次，当我们说 y y y x x x E [ x ] = y \mathbb{E}[x]=y E [ x ] = y
+泛化风险定义为：
+R ( f ) = E ( x , y ) ∼ D [ I ( y f ( x ) ⩽ 0 ) ] = E x ∼ D X [ η ( x ) I ( f ( x ) ⩽ 0 ) + ( 1 − η ( x ) ) I ( f ( x ) ⩾ 0 ) ] \begin{equation}
+\begin{align*}
+R(f) &=\mathbb{E}_{(x, y) \sim \mathcal{D}}[\mathbb{I}(y f(x) \leqslant 0)] \\
+&=\mathbb{E}_{x \sim \mathcal{D}_{\mathcal{X}}}[\eta(x) \mathbb{I}(f(x) \leqslant 0)+(1-\eta(x)) \mathbb{I}(f(x) \geqslant 0)]
+\end{align*}
+\end{equation}
+ R ( f ) = E ( x , y ) ∼ D [ I ( y f ( x ) ⩽ 0 )] = E x ∼ D X [ η ( x ) I ( f ( x ) ⩽ 0 ) + ( 1 − η ( x )) I ( f ( x ) ⩾ 0 )]
+经验风险定义为：
+R ^ ( f ) = 1 m ∑ i = 1 m I ( y i f ( x i ) ⩽ 0 ) \begin{equation}
+\hat R(f) = \frac{1}{m} \sum_{i=1}^{m} \mathbb{I}\left(y_{i} f\left(x_{i}\right) \leqslant 0\right)
+\end{equation}
+ R ^ ( f ) = m 1 i = 1 ∑ m I ( y i f ( x i ) ⩽ 0 )
+现在我们证明经验风险是泛化风险的无偏估计：
+假设所有样本都是从一个未知的样本-标签空间 D D D
+E ( R ^ ( f ) ) = E ( x i , y i ) ∼ D [ 1 m ∑ i = 1 m I ( y i f ( x i ) ⩽ 0 ) ] = 1 m ∑ i = 1 m E ( x i , y i ) ∼ D [ I ( y i f ( x i ) ⩽ 0 ) ] = 1 m ∑ i = 1 m E ( x , y ) ∼ D [ I ( y f ( x ) ⩽ 0 ) ] = 1 m ∑ i = 1 m R ( f ) = R ( f ) \begin{equation}
+\begin{align*}
+\mathbb{E}({\hat R(f)}) &=\mathbb{E}_{(\boldsymbol{x_i}, y_i) \sim \mathcal{D}}[{ \frac{1}{m} \sum_{i=1}^{m} \mathbb{I}\left(y_{i} f\left(x_{i}\right) \leqslant 0\right)}] \\
+&= \frac{1}{m} \sum_{i=1}^{m} \mathbb{E}_{(\boldsymbol{x_i}, y_i) \sim \mathcal{D}}[{ \mathbb{I}\left(y_{i} f\left(x_{i}\right) \leqslant 0\right)}]\\
+&= \frac{1}{m} \sum_{i=1}^{m} \mathbb{E}_{(x, y) \sim \mathcal{D}}[{ \mathbb{I}\left(y f\left(x\right) \leqslant 0\right)}]\\
+&= \frac{1}{m} \sum_{i=1}^{m} R(f)\\
+&= R(f)
+\end{align*}
+\end{equation}
+ E ( R ^ ( f ) ) = E ( x i , y i ) ∼ D [ m 1 i = 1 ∑ m I ( y i f ( x i ) ⩽ 0 ) ] = m 1 i = 1 ∑ m E ( x i , y i ) ∼ D [ I ( y i f ( x i ) ⩽ 0 ) ] = m 1 i = 1 ∑ m E ( x , y ) ∼ D [ I ( y f ( x ) ⩽ 0 ) ] = m 1 i = 1 ∑ m R ( f ) = R ( f )
+6.2 【证明补充】替代函数一致性
+120页 的定理6.1给出了替代一致性的充分条件。首先，我们推导了泛化风险与贝叶斯风险之间的差异不等式。根据一致性的定义，我们需要证明，当 R ϕ ( f ^ m ) → R ϕ ∗ {R_{\phi}\left(\hat{f}_{m}\right) \rightarrow R_{\phi}^{*}} R ϕ ( f ^ m ) → R ϕ ∗ R ( f ^ m ) → R ∗ R\left(\hat{f}_{m}\right) \rightarrow R^{*} R ( f ^ m ) → R ∗
+为此，我们进一步构造了关于 R ϕ ( f ^ m ) − R ϕ ∗ {R_{\phi}\left(\hat{f}_{m}\right) - R_{\phi}^{*}} R ϕ ( f ^ m ) − R ϕ ∗
+R ( f ^ m ) − R ∗ ⩽ 2 c R ϕ ( f ^ m ) − R ϕ ∗ s \begin{equation}
+R\left(\hat{f}_{m}\right) - R^{*} \leqslant 2c \sqrt[s]{R_{\phi}\left(\hat{f}_{m}\right) - R_{\phi}^{*}}
+\end{equation}
+ R ( f ^ m ) − R ∗ ⩽ 2 c s R ϕ ( f ^ m ) − R ϕ ∗
+因此，当 R ϕ ( f ^ m ) → R ϕ ∗ {R_{\phi}\left(\hat{f}_{m}\right) \rightarrow R_{\phi}^{*}} R ϕ ( f ^ m ) → R ϕ ∗ R ( f ^ m ) R\left(\hat{f}_{m}\right) R ( f ^ m ) R ∗ R^{*} R ∗
+其中，不等式（6.40）的推导涉及一定的构造技巧，接着通过定理中的条件推导出不等式（6.43）。利用所构造的凸函数的性质，最终完成了这一证明。
+6.3 【概念解释】划分机制方法
+122页 介绍了一种将样本空间划分成多个互不相容区域的方法，然后对各区域内的正例和反例分别计数，并以多数类别作为区域中样本的标记。这种方法本质上不同于参数方法，它并不是在参数空间中进行搜索构建划分超平面，而是在泛函空间上直接进行搜索。一个典型的例子是我们熟悉的决策树模型：
+
+
+
每当构造一个决策树的节点时，相当于在样本空间上进行了一次划分（即划分机制）。这种洞察方式同样适用于解释剪枝操作，即通过减少不必要的节点来简化树结构，同时保持或提高模型的性能。
+6.4 【概念解释】依概率成立
+124页 的定理6.2提到一个定义——依概率成立（almost sure）。这是概率论与数理统计中的一个概念，表达如下：
+lim n → ∞ P ( ( D i a m ( Ω ) − 0 ) ≥ ϵ ) = 0 \begin{equation}
+\lim _{n \rightarrow \infty} P((Diam(\Omega)-0) \geq \epsilon)=0
+\end{equation}
+ n → ∞ lim P (( D iam ( Ω ) − 0 ) ≥ ϵ ) = 0
+和对于所有 N > 0 N\gt0 N > 0
+lim n → ∞ P ( N ( x ) > N ) = 1 \begin{equation}
+\lim _{n \rightarrow \infty} P(N(x)\gt N)=1
+\end{equation}
+ n → ∞ lim P ( N ( x ) > N ) = 1
+它意味着当 n n n D i a m ( Ω ) Diam(\Omega) D iam ( Ω ) 0 0 0 ϵ \epsilon ϵ N ( x ) N(x) N ( x ) 0 0 0
+6.5 【证明补充】划分机制一致性
+124页 的定理6.2给出了划分一致性的充分条件。首先我们定义了 Ω ( x ) \Omega(x) Ω ( x )
+η ^ ( x ) = ∑ x i ∈ Ω ( x ) I ( y i = + 1 ) N ( x ) \begin{equation}
+\hat{\eta}(x)=\sum_{x_{i} \in \Omega(x)} \frac{\mathbb{I}\left(y_{i}=+1\right)}{N(x)}
+\end{equation}
+ η ^ ( x ) = x i ∈ Ω ( x ) ∑ N ( x ) I ( y i = + 1 )
+再根据划分机制构造分类器（输出函数）h m ( x ) = 2 I ( η ^ ( x ) ⩾ 1 2 ) − 1 h_{m}(x)=2 \mathbb{I}\left(\hat{\eta}(x) \geqslant \frac{1}{2}\right)-1 h m ( x ) = 2 I ( η ^ ( x ) ⩾ 2 1 ) − 1 m m m
+在此，我们利用了基于条件概率估计的插值法，并借助引理6.2得到了输出函数的泛化风险与贝叶斯风险之间的差值不等式。对于不等式右侧的期望，利用三角不等式进行放缩，可得（6.62）。
+根据假设条件：
+lim m → ∞ P ( ( D i a m ( Ω ) − 0 ) ≥ ϵ ) = lim m → ∞ P ( ( sup x , x ′ ∈ Ω ∥ x − x ′ ∥ − 0 ) ≥ ϵ ) = 0 \begin{equation}
+\lim _{m \rightarrow \infty} P((Diam(\Omega)-0) \geq \epsilon) = \lim _{m \rightarrow \infty} P(( \sup _{x, x^{\prime} \in \Omega}\left\|x-x^{\prime}\right\| -0) \geq \epsilon)=0
+\end{equation}
+ m → ∞ lim P (( D iam ( Ω ) − 0 ) ≥ ϵ ) = m → ∞ lim P (( x , x ′ ∈ Ω sup ∥ x − x ′ ∥ − 0 ) ≥ ϵ ) = 0
+由于 η ( x ) \eta(x) η ( x ) η ^ ( x ) \hat\eta(x) η ^ ( x ) η ( x ) \eta(x) η ( x )
+E [ ∣ η ˉ ( x ) − η ( x ) ∣ ] → 0 \begin{equation}
+\mathbb{E}[|\bar{\eta}(x)-\eta(x)|] \rightarrow 0
+\end{equation}
+ E [ ∣ η ˉ ( x ) − η ( x ) ∣ ] → 0
+这是由于 x ′ {x}^{\prime} x ′ ϵ \epsilon ϵ η ˉ ( x ) \bar{\eta}(x) η ˉ ( x ) η ( x ) \eta(x) η ( x ) η ( x ) \eta(x) η ( x ) ϵ \epsilon ϵ
+接下来，针对三角不等式右式的前半部分，将其拆分为 N ( x ) = 0 N(x)=0 N ( x ) = 0 N ( x ) > 0 N(x)\gt0 N ( x ) > 0
+E [ ∣ η ^ ( x ) − η ˉ ( x ) ∣ ∣ x , x 1 , … , x m ] = E [ ∣ η ^ ( x ) − η ˉ ( x ) ∣ ∣ N ( x ) = 0 , x , x 1 , … , x m ] + E [ ∣ ∑ x i ∈ Ω ( x ) I ( y i = + 1 ) − η ˉ ( x ) N ( x ) ∣ N ( x ) > 0 , x , x 1 , … , x m ] ⩽ P ( N ( x ) = 0 ∣ x , x 1 , … , x m ) + E [ ∣ ∑ x i ∈ Ω ( x ) I ( y i = + 1 ) − η ˉ ( x ) N ( x ) ∣ N ( x ) > 0 , x , x 1 , … , x m ] \begin{equation}
+\begin{array}{c}
+\mathbb{E}\left[|\hat{\eta}(x)-\bar{\eta}(x)| \mid x, x_{1}, \ldots, x_{m}\right] =
+\mathbb{E}\left[|\hat{\eta}(x)-\bar{\eta}(x)|\mid N(x)=0 , x, x_{1}, \ldots, x_{m}\right] \\
++\mathbb{E}\left[\left|\sum_{x_{i} \in \Omega(x)} \frac{\mathbb{I}\left(y_{i}=+1\right)-\bar{\eta}(x)}{N(x)}\right| N(x)\gt0, x, x_{1}, \ldots, x_{m}\right]\\
+\leqslant P\left(N(x)=0 \mid x, x_{1}, \ldots, x_{m}\right) + \mathbb{E}\left[\left|\sum_{x_{i} \in \Omega(x)} \frac{\mathbb{I}\left(y_{i}=+1\right)-\bar{\eta}(x)}{N(x)}\right| N(x)\gt0, x, x_{1}, \ldots, x_{m}\right]
+\end{array}
+\end{equation}
+ E [ ∣ η ^ ( x ) − η ˉ ( x ) ∣ ∣ x , x 1 , … , x m ] = E [ ∣ η ^ ( x ) − η ˉ ( x ) ∣ ∣ N ( x ) = 0 , x , x 1 , … , x m ] + E [ ∑ x i ∈ Ω ( x ) N ( x ) I ( y i = + 1 ) − η ˉ ( x ) N ( x ) > 0 , x , x 1 , … , x m ] ⩽ P ( N ( x ) = 0 ∣ x , x 1 , … , x m ) + E [ ∑ x i ∈ Ω ( x ) N ( x ) I ( y i = + 1 ) − η ˉ ( x ) N ( x ) > 0 , x , x 1 , … , x m ]
+然后，对于不等式右侧的第二部分，利用引理6.3的不等式，可以得到：
+E [ ∣ ∑ x i ∈ Ω ( x ) I ( y i = + 1 ) − η ˉ ( x ) N ( x ) ∣ N ( x ) > 0 , x , x 1 , … , x m ] ⩽ E [ η ˉ ( x ) ( 1 − η ˉ ( x ) ) N ( x ) I ( N ( x ) > 0 ) ∣ x , x 1 , … , x m ] \begin{equation}
+\begin{array}{l}
+\mathbb{E}\left[\left|\sum_{x_{i} \in \Omega(x)} \frac{\mathbb{I}\left(y_{i}=+1\right)-\bar{\eta}(x)}{N(x)}\right| N(x)\gt0, x, x_{1}, \ldots, x_{m}\right] \\
+\leqslant \mathbb{E}\left[\sqrt{\frac{\bar{\eta}(x)(1-\bar{\eta}(x))}{N(x)}} \mathbb{I}(N(x)\gt0) \mid x, x_{1}, \ldots, x_{m}\right]
+\end{array}
+\end{equation}
+ E [ ∑ x i ∈ Ω ( x ) N ( x ) I ( y i = + 1 ) − η ˉ ( x ) N ( x ) > 0 , x , x 1 , … , x m ] ⩽ E [ N ( x ) η ˉ ( x ) ( 1 − η ˉ ( x )) I ( N ( x ) > 0 ) ∣ x , x 1 , … , x m ]
+对于此不等式的右侧，再进行放缩。对于任意 k ≥ 3 k \geq 3 k ≥ 3 N ( x ) ⩽ k N(x) \leqslant k N ( x ) ⩽ k η ˉ ( x ) ( 1 − η ˉ ( x ) ) N ( x ) ⩽ 1 2 \sqrt{\frac{\bar{\eta}(x)(1-\bar{\eta}(x))}{N(x)}} \leqslant \frac{1}{2} N ( x ) η ˉ ( x ) ( 1 − η ˉ ( x )) ⩽ 2 1 N ( x ) > k N(x) \gt k N ( x ) > k η ˉ ( x ) ( 1 − η ˉ ( x ) ) N ( x ) ⩽ 1 2 k \sqrt{\frac{\bar{\eta}(x)(1-\bar{\eta}(x))}{N(x)}} \leqslant \frac{1}{2\sqrt k} N ( x ) η ˉ ( x ) ( 1 − η ˉ ( x )) ⩽ 2 k 1
+E [ η ˉ ( x ) ( 1 − η ˉ ( x ) ) N ( x ) I ( N ( x ) > 0 ) ∣ x , x 1 , … , x m ] ⩽ 1 2 P ( N ( x ) ⩽ k ∣ x , x 1 , … , x m ) + 1 2 k P ( N ( x ) > k ∣ x , x 1 , … , x m ) ⩽ 1 2 P ( N ( x ) ⩽ k ∣ x , x 1 , … , x m ) + 1 2 k \begin{equation}
+\begin{align*}
+\mathbb{E}\left[\sqrt{\frac{\bar{\eta}(x)(1-\bar{\eta}(x))}{N(x)}} \mathbb{I}(N(x)\gt0) \mid x, x_{1}, \ldots, x_{m}\right] &\leqslant \frac{1}{2} P\left(N(x) \leqslant k \mid x, x_{1}, \ldots, x_{m}\right)+\frac{1}{2 \sqrt{k}} P\left(N(x) \gt k \mid x, x_{1}, \ldots, x_{m}\right)\\
+&\leqslant \frac{1}{2} P\left(N(x) \leqslant k \mid x, x_{1}, \ldots, x_{m}\right)+\frac{1}{2 \sqrt{k}}
+\end{align*}
+\end{equation}
+ E [ N ( x ) η ˉ ( x ) ( 1 − η ˉ ( x )) I ( N ( x ) > 0 ) ∣ x , x 1 , … , x m ] ⩽ 2 1 P ( N ( x ) ⩽ k ∣ x , x 1 , … , x m ) + 2 k 1 P ( N ( x ) > k ∣ x , x 1 , … , x m ) ⩽ 2 1 P ( N ( x ) ⩽ k ∣ x , x 1 , … , x m ) + 2 k 1
+结合前面的结果，我们可以得出：
+E [ ∣ η ^ ( x ) − η ˉ ( x ) ∣ ] ⩽ 1 2 P ( N ( x ) ⩽ k ) + 1 2 k + P ( N ( x ) = 0 ) \begin{equation}
+\mathbb{E}[|\hat{\eta}(x)-\bar{\eta}(x)|] \leqslant \frac{1}{2} P(N(x) \leqslant k)+\frac{1}{2 \sqrt{k}}+P(N(x)=0)
+\end{equation}
+ E [ ∣ η ^ ( x ) − η ˉ ( x ) ∣ ] ⩽ 2 1 P ( N ( x ) ⩽ k ) + 2 k 1 + P ( N ( x ) = 0 )
+根据 N ( x ) → ∞ N(x) \rightarrow \infty N ( x ) → ∞ m → ∞ m \rightarrow \infty m → ∞ P ( N ( x ) ⩽ k ) → 0 P(N(x) \leqslant k) \rightarrow 0 P ( N ( x ) ⩽ k ) → 0 P ( N ( x ) = 0 ) → 0 P(N(x) = 0) \rightarrow 0 P ( N ( x ) = 0 ) → 0 k = N ( x ) k=\sqrt{N(x)} k = N ( x ) 1 2 k → 0 \frac{1}{2 \sqrt{k}} \rightarrow 0 2 k 1 → 0
+E [ ∣ η ^ ( x ) − η ˉ ( x ) ∣ ] → 0 \begin{equation}
+\mathbb{E}[|\hat{\eta}(x)-\bar{\eta}(x)|] \rightarrow 0
+\end{equation}
+ E [ ∣ η ^ ( x ) − η ˉ ( x ) ∣ ] → 0
+最终证明了其输出函数的泛化风险在 m m m
+R ( h m ) − R ∗ ⩽ 2 E [ ∣ η ^ ( x ) − η ( x ) ∣ ] → 0 \begin{equation}
+R\left(h_{m}\right)-R^{*} \leqslant 2 \mathbb{E}[|\hat{\eta}(x)-\eta(x)|] \rightarrow 0
+\end{equation}
+ R ( h m ) − R ∗ ⩽ 2 E [ ∣ η ^ ( x ) − η ( x ) ∣ ] → 0
+6.6 【证明补充】随机森林的划分一致性
+130页 中的定理6.5提到了一种简化版本的随机森林，即每次划分都是均匀随机的，并不依赖于训练集的标签。以下对证明直径 D i a m ( Ω ( x , Z ) ) → 0 Diam(\Omega(x,Z))\rightarrow 0 D iam ( Ω ( x , Z )) → 0
+首先，令 L j L_j L j Ω ( x , Z ) \Omega(x,Z) Ω ( x , Z ) j j j D i a m ( Ω ( x , Z ) ) Diam(\Omega(x,Z)) D iam ( Ω ( x , Z )) L j L_j L j
+D i a m ( Ω ( x , Z ) ) = s u p x , x ′ ∈ Ω ∥ x − x ′ ∥ = ∑ j = 1 d L j 2 \begin{equation}
+\begin{align*}
+Diam(\Omega(x,Z))&=sup_{x,x'\in\Omega}\|x-x'\| = \sqrt{\sum_{j=1}^dL_j^2}
+\end{align*}
+\end{equation}
+ D iam ( Ω ( x , Z )) = s u p x , x ′ ∈ Ω ∥ x − x ′ ∥ = j = 1 ∑ d L j 2
+对于 D i a m ( Ω ( x , Z ) ) Diam(\Omega(x,Z)) D iam ( Ω ( x , Z ))
+E ( D i a m ( Ω ( x , Z ) ) ) = E ( ∑ j = 1 d L j 2 ) \begin{equation}
+\mathbb{E}(Diam(\Omega(x,Z)))=\mathbb{E}(\sqrt{\sum_{j=1}^dL_j^2})
+\end{equation}
+ E ( D iam ( Ω ( x , Z ))) = E ( j = 1 ∑ d L j 2 )
+令 L = ∑ j = 1 d L j 2 L = \sum_{j=1}^dL_j^2 L = ∑ j = 1 d L j 2 L \sqrt{L} L L L L
+E ( ∑ j = 1 d L j 2 ) ≤ ∑ j = 1 d E ( L j 2 ) \begin{equation}
+\mathbb{E}(\sqrt{\sum_{j=1}^dL_j^2})\le\sqrt{\sum_{j=1}^d\mathbb{E}(L_j^2)}
+\end{equation}
+ E ( j = 1 ∑ d L j 2 ) ≤ j = 1 ∑ d E ( L j 2 )
+由于每个属性的边长 L j L_j L j
+∑ j = 1 d E ( L j 2 ) = d E ( L 1 2 ) = d E ( L 1 ) \begin{equation}
+\sqrt{\sum_{j=1}^d\mathbb{E}(L_j^2)}=\sqrt{d\mathbb{E}(L_1^2)}=\sqrt{d}\mathbb{E}(L_1)
+\end{equation}
+ j = 1 ∑ d E ( L j 2 ) = d E ( L 1 2 ) = d E ( L 1 )
+综合以上各式，我们只需证明当 k → ∞ k\rightarrow\infty k → ∞ E ( L 1 ) → 0 \mathbb{E}(L_1)\rightarrow 0 E ( L 1 ) → 0 D i a m ( Ω ( x , Z ) ) → 0 Diam(\Omega(x,Z))\rightarrow 0 D iam ( Ω ( x , Z )) → 0
+令随机变量 U i ∼ U ( 0 , 1 ) U_i\sim \mathcal{U}(0,1) U i ∼ U ( 0 , 1 ) j j j i i i m a x ( U i , 1 − U i ) max(U_i,1-U_i) ma x ( U i , 1 − U i ) j j j i i i K j ∼ B ( T m , 1 / d ) K_j\sim \mathcal{B}(T_m,1/d) K j ∼ B ( T m , 1/ d ) j j j j j j K j K_j K j E K j [ ∏ i = 1 K j m a x ( U i , 1 − U i ) ] \mathbb{E}_{K_j}[\prod_{i=1}^{K_j}max(U_i,1-U_i)] E K j [ ∏ i = 1 K j ma x ( U i , 1 − U i )]
+令 T m T_m T m Ω ( x , Z ) \Omega(x,Z) Ω ( x , Z )
+E ( L j ) ≤ E [ E K j [ ∏ i = 1 K j m a x ( U i , 1 − U i ) ] ] = E [ ( E [ m a x ( U 1 , 1 − U 1 ) ] ) K j ] = E [ ( 3 4 ) K j ] = ∑ K j = 0 T m P ( K j ) ⋅ ( 3 4 ) K j = ∑ K j = 0 T m ( T m K j ) ⋅ ( 1 d ) K j ⋅ ( 1 − 1 d ) T m − K j ⋅ ( 3 4 ) K j = ∑ K j = 0 T m ( T m K j ) ⋅ ( 3 4 d ) K j ⋅ ( 1 − 1 d ) T m = ( 1 − 1 d + 3 4 d ) T m = ( 1 − 1 4 d ) T m \begin{equation}
+\begin{align*}
+\mathbb{E}(L_j)&\le\mathbb{E}[\mathbb{E}_{K_j}[\prod_{i=1}^{K_j}max(U_i,1-U_i)]]\\
+&=\mathbb{E}[(\mathbb{E}[max(U_1,1-U_1)])^{K_j}]\\
+&=\mathbb{E}[(\frac{3}{4})^{K_j}]\\
+&=\sum_{K_j=0}^{T_m}P(K_j)\cdot(\frac{3}{4})^{K_j}\\
+&=\sum_{K_j=0}^{T_m}\binom{T_m}{K_j}\cdot(\frac{1}{d})^{K_j}\cdot(1-\frac{1}{d})^{T_m-K_j}\cdot(\frac{3}{4})^{K_j}\\
+&=\sum_{K_j=0}^{T_m}\binom{T_m}{K_j}\cdot(\frac{3}{4d})^{K_j}\cdot(1-\frac{1}{d})^{T_m}\\
+&=(1-\frac{1}{d}+\frac{3}{4d})^{T_m}\\
+&=(1-\frac{1}{4d})^{T_m}
+\end{align*}
+\end{equation}
+ E ( L j ) ≤ E [ E K j [ i = 1 ∏ K j ma x ( U i , 1 − U i )]] = E [( E [ ma x ( U 1 , 1 − U 1 )] ) K j ] = E [( 4 3 ) K j ] = K j = 0 ∑ T m P ( K j ) ⋅ ( 4 3 ) K j = K j = 0 ∑ T m ( K j T m ) ⋅ ( d 1 ) K j ⋅ ( 1 − d 1 ) T m − K j ⋅ ( 4 3 ) K j = K j = 0 ∑ T m ( K j T m ) ⋅ ( 4 d 3 ) K j ⋅ ( 1 − d 1 ) T m = ( 1 − d 1 + 4 d 3 ) T m = ( 1 − 4 d 1 ) T m
+此时，只需证明当 k → ∞ k\rightarrow\infty k → ∞ T m → ∞ T_m\rightarrow\infty T m → ∞ E ( L j ) → 0 \mathbb{E}(L_j)\rightarrow 0 E ( L j ) → 0
+每次划分节点都会增加一个新节点，且每次选择节点进行划分的概率均为 p = 1 / i p=1/i p = 1/ i i i i Ω ( x , Z ) \Omega(x,Z) Ω ( x , Z ) i i i ξ i ∼ B e r n o u l l i ( p ) \xi_i\sim Bernoulli(p) ξ i ∼ B er n o u ll i ( p ) ξ i \xi_i ξ i T m = ∑ i = 1 k ξ i T_m=\sum_{i=1}^k\xi_i T m = ∑ i = 1 k ξ i
+由于 T m T_m T m E [ T m ] = ∑ i = 1 k 1 i \mathbb{E}[T_m]=\sum_{i=1}^k\frac{1}{i} E [ T m ] = ∑ i = 1 k i 1 k → ∞ k\rightarrow\infty k → ∞ E [ T m ] → ∞ \mathbb{E}[T_m]\rightarrow\infty E [ T m ] → ∞ T m → ∞ T_m\rightarrow\infty T m → ∞ D i a m ( Ω ( x , Z ) ) → 0 Diam(\Omega(x,Z))\rightarrow 0 D iam ( Ω ( x , Z )) → 0
+第7章：收敛率
+编辑：赵志民
+本章前言
+本章的内容围绕学习理论中的算法收敛率（convergence rate）展开。具体来说，我们将探讨在确定性优化和随机优化中的收敛率问题，并在最后分析支持向量机的实例。
+7.1 【概念解释】算法收敛率
+在算法分析中，收敛率是指迭代算法逼近解或收敛到最优或期望结果的速度，它衡量算法在减少当前解与最优解之间差异的快慢。
+设 { x k } \{x_k\} { x k }
+lim t → + ∞ ∥ x t + 1 − x ∗ ∥ ∥ x t − x ∗ ∥ p = C \begin{equation}
+\lim_{t\rightarrow+\infty}\frac{\|x_{t+1} - x^*\|}{\|x_t - x^*\|^p} = C
+\end{equation}
+ t → + ∞ lim ∥ x t − x ∗ ∥ p ∥ x t + 1 − x ∗ ∥ = C
+其中，C C C p p p x ∗ x^* x ∗ ∥ . ∥ \|.\| ∥.∥
+根据收敛率的不同情况，我们可以将其分类如下：
+
+超线性收敛 ：p ≥ 1 p\ge1 p ≥ 1 C = 0 C=0 C = 0 p > 1 p\gt1 p > 1 p p p p = 2 p=2 p = 2 p = 3 p=3 p = 3 线性收敛 ：p = 1 p=1 p = 1 C > 0 C\gt0 C > 0 次线性收敛 ：p = 1 p=1 p = 1 C = 1 C=1 C = 1
+7.2 【证明补充】凸函数的确定性优化
+书中给出的梯度下降算法中，输出的是 T T T ω \omega ω ω T \omega_T ω T η \eta η ω ′ \omega' ω ′
+根据定理7.1，T T T ω \omega ω ω T \omega_T ω T ω \omega ω
+作为对比，在7.2.2中的强凸函数梯度下降算法中，我们只输出了最后一次迭代值 ω T \omega_T ω T ω t + 1 = ω t − 1 γ ∇ f ( ω t ) \omega_{t+1}=\omega_t-\frac{1}{\gamma}\nabla f(\omega_t) ω t + 1 = ω t − γ 1 ∇ f ( ω t ) ω \omega ω
+另外，在 139页 定理7.1的（7.12）推导中，利用了第一章补充内容 AM-GM 不等式 n = 2 n=2 n = 2 x , y x,y x , y
+x y ≤ x + y 2 \begin{equation}
+\sqrt{xy}\le\frac{x+y}{2}
+\end{equation}
+ x y ≤ 2 x + y
+当且仅当 x = y x=y x = y
+因此，只有当 Γ 2 2 η T = η l 2 2 \frac{\Gamma^2}{2\eta T}=\frac{\eta l^2}{2} 2 η T Γ 2 = 2 η l 2 Γ 2 2 η T + η l 2 2 \frac{\Gamma^2}{2\eta T}+\frac{\eta l^2}{2} 2 η T Γ 2 + 2 η l 2 l Γ T \frac{l\Gamma}{\sqrt T} T l Γ η \eta η Γ l T \frac{\Gamma}{l\sqrt T} l T Γ
+7.3 【证明补充】强凸函数的确定性优化
+142页 中，在证明定理7.3时，对于（7.19）的推导补充如下。
+首先，如果目标函数满足 λ \lambda λ γ \gamma γ γ ≥ λ \gamma\ge\lambda γ ≥ λ ω , ω ′ \omega,\omega' ω , ω ′ γ \gamma γ
+f ( ω ) ≤ f ( ω ′ ) + ∇ f ( ω ′ ) T ( ω − ω ′ ) + γ 2 ∥ ω − ω ′ ∥ 2 \begin{equation}
+f(\omega)\le f(\omega')+\nabla f(\omega')^T(\omega-\omega')+\frac{\gamma}{2}\|\omega-\omega'\|^2
+\end{equation}
+ f ( ω ) ≤ f ( ω ′ ) + ∇ f ( ω ′ ) T ( ω − ω ′ ) + 2 γ ∥ ω − ω ′ ∥ 2
+而强凸系数 λ \lambda λ
+f ( ω ) ≥ f ( ω ′ ) + ∇ f ( ω ′ ) T ( ω − ω ′ ) + λ 2 ∥ ω − ω ′ ∥ 2 \begin{equation}
+f(\omega)\ge f(\omega')+\nabla f(\omega')^T(\omega-\omega')+\frac{\lambda}{2}\|\omega-\omega'\|^2
+\end{equation}
+ f ( ω ) ≥ f ( ω ′ ) + ∇ f ( ω ′ ) T ( ω − ω ′ ) + 2 λ ∥ ω − ω ′ ∥ 2
+光滑系数 γ \gamma γ f ( ω ) f(\omega) f ( ω ) λ \lambda λ f ( ω ) f(\omega) f ( ω ) γ \gamma γ λ \lambda λ
+接着，令 f ( α ) = γ − λ λ α 2 − α f(\alpha)=\frac{\gamma-\lambda}{\lambda}\alpha^2-\alpha f ( α ) = λ γ − λ α 2 − α γ − λ λ ≥ 0 \frac{\gamma-\lambda}{\lambda}\ge0 λ γ − λ ≥ 0
+
+当 γ − λ λ = 0 \frac{\gamma-\lambda}{\lambda}=0 λ γ − λ = 0
+
+f ( ω t + 1 ) ≤ min α ∈ [ 0 , 1 ] { f ( ω t ) − α ( f ( ω t ) − f ( ω ∗ ) ) } ⇒ f ( ω t + 1 ) − f ( ω ∗ ) ≤ min α ∈ [ 0 , 1 ] { 1 − α } ( f ( ω t ) − f ( ω ∗ ) ) \begin{equation}
+\begin{align*}
+f(\omega_{t+1})&\le \min_{\alpha\in[0,1]}\{f(\omega_t)-\alpha (f(\omega_t)-f(\omega^*))\} \\
+\Rightarrow f(\omega_{t+1})-f(\omega^*)&\le \min_{\alpha\in[0,1]}\{1-\alpha\}(f(\omega_t)-f(\omega^*))
+\end{align*}
+\end{equation}
+ f ( ω t + 1 ) ⇒ f ( ω t + 1 ) − f ( ω ∗ ) ≤ α ∈ [ 0 , 1 ] min { f ( ω t ) − α ( f ( ω t ) − f ( ω ∗ ))} ≤ α ∈ [ 0 , 1 ] min { 1 − α } ( f ( ω t ) − f ( ω ∗ ))
+因为 f ( ω t ) − f ( ω ∗ ) ≥ 0 f(\omega_t)-f(\omega^*)\ge0 f ( ω t ) − f ( ω ∗ ) ≥ 0 α = 1 \alpha=1 α = 1 0 0 0 f ( ω t + 1 ) = f ( ω ∗ ) f(\omega_{t+1})=f(\omega^*) f ( ω t + 1 ) = f ( ω ∗ ) ω t + 1 = ω ∗ \omega_{t+1}=\omega^* ω t + 1 = ω ∗ t + 1 t+1 t + 1
+
+当 γ − λ λ > 0 \frac{\gamma-\lambda}{\lambda}\gt0 λ γ − λ > 0 f ( α ) f(\alpha) f ( α ) f ′ ( α ) = 2 γ − λ λ α − 1 = 0 f'(\alpha)=2\frac{\gamma-\lambda}{\lambda}\alpha-1=0 f ′ ( α ) = 2 λ γ − λ α − 1 = 0 f ( α ) f(\alpha) f ( α ) α = λ 2 ( γ − λ ) \alpha=\frac{\lambda}{2(\gamma-\lambda)} α = 2 ( γ − λ ) λ
+当 λ 2 ( γ − λ ) ≥ 1 \frac{\lambda}{2(\gamma-\lambda)}\ge1 2 ( γ − λ ) λ ≥ 1 f ( α ) f(\alpha) f ( α ) α = 1 \alpha=1 α = 1
+当 0 < λ 2 ( γ − λ ) < 1 0\lt\frac{\lambda}{2(\gamma-\lambda)}\lt1 0 < 2 ( γ − λ ) λ < 1 f ( α ) f(\alpha) f ( α ) α = λ 2 ( γ − λ ) \alpha=\frac{\lambda}{2(\gamma-\lambda)} α = 2 ( γ − λ ) λ
+
+
+
+余下的推导部分与书中相同，此处不再赘述。
+7.4 【定理证明】鞅差序列的 Bernstein 不等式
+149页 定理7.6 给出了鞅差序列的 Bernstein 不等式，我们在这里给出完整的证明过程。
+假设 X 1 , ⋯ , X n X_1,\cdots,X_n X 1 , ⋯ , X n f = ( f i ) 1 ≤ i ≤ n f = (f_i)_{1\le i \le n} f = ( f i ) 1 ≤ i ≤ n ∣ X i ∣ ≤ K |X_i| \le K ∣ X i ∣ ≤ K
+S i = ∑ j = 1 i X j \begin{equation}
+S_i = \sum_{j=1}^i X_j
+\end{equation}
+ S i = j = 1 ∑ i X j
+将X n X_n X n
+V n 2 = ∑ k = 1 n E [ X k 2 ∣ F k − 1 ] \begin{equation}
+V_n^2 = \sum_{k=1}^n \mathbb{E}[X_k^2|F_{k-1}]
+\end{equation}
+ V n 2 = k = 1 ∑ n E [ X k 2 ∣ F k − 1 ]
+那么对于任意正数 t t t v v v
+P ( max i = 1 , ⋯ , k S i > t , V k 2 ≤ v ) ≤ exp ( − t 2 2 ( v + K t / 3 ) ) \begin{equation}
+P(\max_{i=1,\cdots,k} S_i \gt t,V_k^2 \le v) \le \exp\left( -\frac{t^2}{2(v+Kt/3)}\right)
+\end{equation}
+ P ( i = 1 , ⋯ , k max S i > t , V k 2 ≤ v ) ≤ exp ( − 2 ( v + K t /3 ) t 2 )
+证明
+考虑函数 f ( x ) = ( e θ x − θ x − 1 ) / x 2 f(x) = (e^{\theta x} -\theta x-1)/x^2 f ( x ) = ( e θ x − θ x − 1 ) / x 2 f ( 0 ) = θ 2 / 2 f(0) = \theta^2/2 f ( 0 ) = θ 2 /2 f ( x ) ≤ f ( 1 ) f(x) \leq f(1) f ( x ) ≤ f ( 1 ) x ≤ 1 x \leq 1 x ≤ 1
+e θ x = 1 + θ x + x 2 f ( x ) ≤ 1 + θ x + x 2 f ( 1 ) = 1 + θ x + g ( θ ) x 2 , x ≤ 1 \begin{equation}
+e^{\theta x} = 1 + \theta x + x^2f(x) \leq 1+\theta x+x^2f(1) = 1 + \theta x + g(\theta)x^2, \quad x \leq 1
+\end{equation}
+ e θ x = 1 + θ x + x 2 f ( x ) ≤ 1 + θ x + x 2 f ( 1 ) = 1 + θ x + g ( θ ) x 2 , x ≤ 1
+将其用于随机变量 X k / K X_k/K X k / K
+E [ exp ( θ X k K ) ∣ F k − 1 ] ≤ 1 + θ K E [ X k ∣ F k − 1 ] + g ( θ ) K 2 E [ X k 2 ∣ F k − 1 ] \begin{equation}
+\mathbb{E} \left[\exp \left(\frac{\theta X_k}{K}\right) \bigg| \mathcal{F}_{k-1}\right] \leq 1 + \frac{\theta}{K} \mathbb{E} \left[X_k | \mathcal{F}_{k-1} \right] + \frac{g(\theta)}{K^2} \mathbb{E} \left[X_k^2 | \mathcal{F}_{k-1} \right]
+\end{equation}
+ E [ exp ( K θ X k ) F k − 1 ] ≤ 1 + K θ E [ X k ∣ F k − 1 ] + K 2 g ( θ ) E [ X k 2 ∣ F k − 1 ]
+由于 { X k } \{X_k\} { X k } E [ X k ∣ F k − 1 ] = 0 \mathbb{E} \left[X_k | \mathcal{F}_{k-1} \right] = 0 E [ X k ∣ F k − 1 ] = 0 1 + x ≤ e x , x ≥ 0 1+x \leq e^x, x \geq 0 1 + x ≤ e x , x ≥ 0
+E [ exp ( θ X k K ) ∣ F k − 1 ] = 1 + g ( θ ) K 2 E [ X k 2 ∣ F k − 1 ] ≤ exp ( g ( θ ) E [ X k 2 ∣ F k − 1 ] K 2 ) \begin{equation}
+\mathbb{E} \left[\exp \left(\frac{\theta X_k}{K}\right) \bigg| \mathcal{F}_{k-1}\right] = 1 + \frac{g(\theta)}{K^2} \mathbb{E} \left[X_k^2 | \mathcal{F}_{k-1} \right] \leq \exp \left(g(\theta) \frac{\mathbb{E} [X_k^2|\mathcal{F}_{k-1}]}{K^2} \right)
+\end{equation}
+ E [ exp ( K θ X k ) F k − 1 ] = 1 + K 2 g ( θ ) E [ X k 2 ∣ F k − 1 ] ≤ exp ( g ( θ ) K 2 E [ X k 2 ∣ F k − 1 ] )
+考虑一个随机过程：
+Q k = exp ( θ S k K − g ( θ ) V k 2 K 2 ) , Q 0 = 1 \begin{equation}Q_k = \exp \left(\theta \frac{S_k}{K} - g(\theta) \frac{V_k^2}{K^2}\right), \quad Q_0 = 1\end{equation}
+ Q k = exp ( θ K S k − g ( θ ) K 2 V k 2 ) , Q 0 = 1
+我们证明这个过程对于滤波 F n \mathcal{F}_n F n E [ Q k ∣ F k − 1 ] ≤ Q k − 1 \mathbb{E} [Q_k|\mathcal{F}_{k-1}] \leq Q_{k-1} E [ Q k ∣ F k − 1 ] ≤ Q k − 1
+证明如下：
+E [ Q k ∣ F k − 1 ] = E [ exp ( θ S k K − g ( θ ) V k 2 K 2 ) ∣ F k − 1 ] = E [ exp ( θ S k − 1 K − g ( θ ) V k − 1 2 K 2 − g ( θ ) E [ X k 2 ∣ F k − 1 ] K 2 + θ X k K ) ∣ F k − 1 ] = exp ( θ S k − 1 K − g ( θ ) V k − 1 2 K 2 − g ( θ ) E [ X k 2 ∣ F k − 1 ] K 2 ) E [ exp ( θ X k K ) ∣ F k − 1 ] \begin{equation}
+\begin{align*}
+\mathbb{E} [Q_k|\mathcal{F}_{k-1}] &= \mathbb{E} \left[\exp \left(\theta \frac{S_k}{K} - g(\theta) \frac{V_k^2}{K^2}\right)\bigg|\mathcal{F}_{k-1}\right] \\
+&= \mathbb{E} \left[\exp \left(\theta \frac{S_{k-1}}{K} - g(\theta) \frac{V_{k-1}^2}{K^2} - g(\theta)\frac{\mathbb{E} [X_k^2|\mathcal{F}_{k-1}]}{K^2} + \theta \frac{X_k}{K}\right)\bigg|\mathcal{F}_{k-1}\right] \\
+&= \exp \left(\theta \frac{S_{k-1}}{K} - g(\theta) \frac{V_{k-1}^2}{K^2} - g(\theta)\frac{\mathbb{E} [X_k^2|\mathcal{F}_{k-1}]}{K^2}\right) \mathbb{E} \left[ \exp \left(\theta \frac{X_k}{K}\right)\bigg|\mathcal{F}_{k-1}\right]
+\end{align*}
+\end{equation}
+ E [ Q k ∣ F k − 1 ] = E [ exp ( θ K S k − g ( θ ) K 2 V k 2 ) F k − 1 ] = E [ exp ( θ K S k − 1 − g ( θ ) K 2 V k − 1 2 − g ( θ ) K 2 E [ X k 2 ∣ F k − 1 ] + θ K X k ) F k − 1 ] = exp ( θ K S k − 1 − g ( θ ) K 2 V k − 1 2 − g ( θ ) K 2 E [ X k 2 ∣ F k − 1 ] ) E [ exp ( θ K X k ) F k − 1 ]
+应用之前证明的不等式，我们得到：
+E [ Q k ∣ F k − 1 ] ≤ exp ( θ S k − 1 K − g ( θ ) V k − 1 2 K 2 ) = Q k − 1 \begin{equation}\mathbb{E} [Q_k|\mathcal{F}_{k-1}] \leq \exp \left(\theta \frac{S_{k-1}}{K} - g(\theta) \frac{V_{k-1}^2}{K^2}\right) = Q_{k-1}\end{equation}
+ E [ Q k ∣ F k − 1 ] ≤ exp ( θ K S k − 1 − g ( θ ) K 2 V k − 1 2 ) = Q k − 1
+我们定义 A = { k ≥ 0 : max i = 1 , ⋯ , k S i > t , V k 2 ≤ v } A = \{k \geq 0: \max_{i=1,\cdots,k} S_i \gt t,V_k^2 \le v\} A = { k ≥ 0 : max i = 1 , ⋯ , k S i > t , V k 2 ≤ v }
+Q k ≥ exp ( θ t K − g ( θ ) v K 2 ) , k ∈ A \begin{equation}Q_k\geq \exp \left(\theta \frac{t}{K} - g(\theta) \frac{v}{K^2}\right), k \in A\end{equation}
+ Q k ≥ exp ( θ K t − g ( θ ) K 2 v ) , k ∈ A
+由于 { Q k } \{Q_k\} { Q k }
+E [ Q k ∣ F k − 1 ] ≤ E [ Q k − 1 ∣ F k − 2 ] ≤ ⋯ ≤ Q 0 = 1 \begin{equation}\mathbb{E} [Q_k|\mathcal{F}_{k-1}] \leq \mathbb{E} [Q_{k-1}|\mathcal{F}_{k-2}] \leq \cdots \leq Q_0 = 1\end{equation}
+ E [ Q k ∣ F k − 1 ] ≤ E [ Q k − 1 ∣ F k − 2 ] ≤ ⋯ ≤ Q 0 = 1
+考虑到 1 ≥ P ( A ) 1 \geq \mathbb{P}(A) 1 ≥ P ( A )
+1 ≥ E [ Q k ∣ F k − 1 ] ≥ exp ( θ t K − g ( θ ) v K 2 ) P ( A ) , k ∈ A \begin{equation}1 \geq \mathbb{E} [Q_k|\mathcal{F}_{k-1}] \geq \exp \left(\theta \frac{t}{K} - g(\theta) \frac{v}{K^2}\right) \mathbb{P}(A), k \in A\end{equation}
+ 1 ≥ E [ Q k ∣ F k − 1 ] ≥ exp ( θ K t − g ( θ ) K 2 v ) P ( A ) , k ∈ A
+因此：
+P ( A ) ≤ exp ( g ( θ ) v K 2 − θ t K ) \begin{equation}
+\begin{align*}
+\mathbb{P}(A) \leq \exp \left(g(\theta) \frac{v}{K^2} -\theta \frac{t}{K} \right)
+\end{align*}
+\end{equation}
+ P ( A ) ≤ exp ( g ( θ ) K 2 v − θ K t )
+由于上述不等式对任何 θ > 0 \theta \gt 0 θ > 0
+P ( A ) ≤ inf θ > 0 exp ( g ( θ ) v K 2 − θ t K ) \begin{equation}P(A) \leq \inf_{\theta \gt 0} \exp \left(g(\theta) \frac{v}{K^2} - \theta \frac{t}{K} \right)\end{equation}
+ P ( A ) ≤ θ > 0 inf exp ( g ( θ ) K 2 v − θ K t )
+检查不等式右边的一阶导数，我们知道该下确界在 θ = log ( 1 + K t / v ) \theta = \log (1+Kt/v) θ = log ( 1 + K t / v )
+对于指数内部的表达式，我们进行如下变换：
+θ t K − g ( θ ) v K 2 = log ( 1 + K t v ) t K − v K 2 ( K t v − log ( 1 + K t v ) ) = v K 2 ( ( 1 + K t v ) log ( 1 + K t v ) − K t v ) = v K 2 h ( K t v ) \begin{equation}
+\begin{align*}
+\theta \frac{t}{K} - g(\theta)\frac{v}{K^2} &= \log \left(1 + \frac{Kt}{v}\right) \frac{t}{K} - \frac{v}{K^2} \left(\frac{Kt}{v} - \log \left(1 + \frac{Kt}{v}\right) \right) \\
+&=\frac{v}{K^2} \left( \left(1+\frac{Kt}{v} \right) \log \left(1 + \frac{Kt}{v}\right) - \frac{Kt}{v} \right) \\
+&= \frac{v}{K^2} h\left( \frac{Kt}{v} \right)
+\end{align*}
+\end{equation}
+ θ K t − g ( θ ) K 2 v = log ( 1 + v K t ) K t − K 2 v ( v K t − log ( 1 + v K t ) ) = K 2 v ( ( 1 + v K t ) log ( 1 + v K t ) − v K t ) = K 2 v h ( v K t )
+其中 h ( u ) = ( 1 + u ) log ( 1 + u ) − u h(u) = (1+u)\log(1+u) - u h ( u ) = ( 1 + u ) log ( 1 + u ) − u
+通过对表达式求二阶导数的方法，我们也可以证明：
+h ( u ) ≥ u 2 2 ( 1 + u / 3 ) , u ≥ 0 \begin{equation}
+h(u) \geq \frac{u^2}{2(1 + u/3)},\quad u \geq 0
+\end{equation}
+ h ( u ) ≥ 2 ( 1 + u /3 ) u 2 , u ≥ 0
+综上所述，我们有：
+P ( A ) ≤ exp ( − v K 2 h ( K t v ) ) ≤ exp ( − v K 2 K 2 t 2 2 v ( v + K t / 3 ) ) = exp ( − t 2 2 ( v + K t / 3 ) ) \begin{equation}
+P(A) \leq \exp \left( -\frac{v}{K^2} h \left( \frac{Kt}{v} \right)\right) \leq \exp \left( - \frac{v}{K^2} \frac{K^2t^2}{2v (v+Kt/3)} \right) = \exp\left( -\frac{t^2}{2(v+Kt/3)}\right)
+\end{equation}
+ P ( A ) ≤ exp ( − K 2 v h ( v K t ) ) ≤ exp ( − K 2 v 2 v ( v + K t /3 ) K 2 t 2 ) = exp ( − 2 ( v + K t /3 ) t 2 )
+7.5 【证明补充】Epoch-GD 的收敛率
+150页 引理7.2给出了Epoch-GD外层循环收敛率的泛化上界，我们对其中部分推导进行必要补充。
+首先，（7.60）中第二个不等式的推导利用了Cauchy-Schwarz不等式（1.14），即 ∥ x T y ∥ ≤ ∥ x ∥ ∥ y ∥ \|x^Ty\|\le\|x\|\|y\| ∥ x T y ∥ ≤ ∥ x ∥∥ y ∥ x = [ 1 , ⋯ , 1 ] ⏟ T x=\underbrace{[1,\cdots,1]}_{T} x = T [ 1 , ⋯ , 1 ] y = [ ∥ ω 1 − w ∗ ∥ , ⋯ , ∥ ω T − w ∗ ∥ ] ⏟ T y=\underbrace{[\|\omega_1-w^*\|,\cdots,\|\omega_T-w^*\|]}_{T} y = T [ ∥ ω 1 − w ∗ ∥ , ⋯ , ∥ ω T − w ∗ ∥ ]
+∣ x T y ∣ = ∑ t = 1 T ∥ ω t − w ∗ ∥ ≤ T ∑ t = 1 T ∥ ω t − w ∗ ∥ 2 = ∣ x ∥ y ∣ \begin{equation}
+|x^Ty|=\sum_{t=1}^T\|\omega_t-w^*\|\le \sqrt{T}\sqrt{\sum_{t=1}^T\|\omega_t-w^*\|^2}=|x\|y|
+\end{equation}
+ ∣ x T y ∣ = t = 1 ∑ T ∥ ω t − w ∗ ∥ ≤ T t = 1 ∑ T ∥ ω t − w ∗ ∥ 2 = ∣ x ∥ y ∣
+其次，（7.62）中最后两个不等式的推导利用了一些常见的缩放技巧，我们在这里给出完整形式：
+∑ i = 1 m P ( ∑ t = 1 T δ t ≥ 2 4 l 2 A T τ + 2 3 4 l 2 λ τ + 4 l 2 λ , V T 2 ≤ 4 l 2 A T , A T ∈ ( 4 l 2 λ 2 T 2 i − 1 , 4 l 2 λ 2 T 2 i ) ) ≤ ∑ i = 1 m P ( ∑ t = 1 T δ t ≥ 2 4 l 2 A T τ + 2 3 4 l 2 λ τ , V T 2 ≤ 4 l 2 A T , A T ∈ ( 4 l 2 λ 2 T 2 i − 1 , 4 l 2 λ 2 T 2 i ) ) ≤ ∑ i = 1 m P ( ∑ t = 1 T δ t ≥ 2 16 l 4 2 i λ 2 T τ + 2 3 4 l 2 λ τ , V T 2 ≤ 16 l 4 2 i λ 2 T ) ≤ ∑ i = 1 m P ( max j = 1 , ⋯ , T ∑ t = 1 j δ t ⏟ S j ≥ 2 16 l 4 2 i λ 2 T ⏟ ν τ + 2 3 4 l 2 λ ⏟ K τ , V T 2 ≤ 16 l 4 2 i λ 2 T ⏟ ν ) ≤ ∑ i = 1 m e − τ = m e − τ \begin{equation}
+\begin{align*}
+&\sum_{i=1}^m P\left(\sum_{t=1}^T \delta_t \ge 2\sqrt{4l^2A_T\tau}+\frac{2}{3}\frac{4l^2}{\lambda}\tau+\frac{4l^2}{\lambda},V_T^2\le4l^2A_T,A_T\in\left(\frac{4l^2}{\lambda^2T}2^{i-1},\frac{4l^2}{\lambda^2T}2^i\right)\right) \\
+\le &\sum_{i=1}^m P\left(\sum_{t=1}^T \delta_t \ge 2\sqrt{4l^2A_T\tau}+\frac{2}{3}\frac{4l^2}{\lambda}\tau,V_T^2\le4l^2A_T,A_T\in\left(\frac{4l^2}{\lambda^2T}2^{i-1},\frac{4l^2}{\lambda^2T}2^i\right)\right) \\
+\le &\sum_{i=1}^m P\left(\sum_{t=1}^T \delta_t \ge \sqrt{2\frac{16l^42^i}{\lambda^2T}\tau}+\frac{2}{3}\frac{4l^2}{\lambda}\tau,V_T^2\le\frac{16l^42^i}{\lambda^2T}\right) \\
+\le &\sum_{i=1}^m P\left(\max_{j=1,\cdots,T}\underbrace{\sum_{t=1}^j \delta_t}_{S_j} \ge \sqrt{2\underbrace{\frac{16l^42^i}{\lambda^2T}}_{\nu}\tau}+\frac{2}{3}\underbrace{\frac{4l^2}{\lambda}}_{K}\tau,V_T^2\le\underbrace{\frac{16l^42^i}{\lambda^2T}}_{\nu}\right) \\
+\le &\sum_{i=1}^m e^{-\tau} \\
+= &me^{-\tau}
+\end{align*}
+\end{equation}
+ ≤ ≤ ≤ ≤ = i = 1 ∑ m P ( t = 1 ∑ T δ t ≥ 2 4 l 2 A T τ + 3 2 λ 4 l 2 τ + λ 4 l 2 , V T 2 ≤ 4 l 2 A T , A T ∈ ( λ 2 T 4 l 2 2 i − 1 , λ 2 T 4 l 2 2 i ) ) i = 1 ∑ m P ( t = 1 ∑ T δ t ≥ 2 4 l 2 A T τ + 3 2 λ 4 l 2 τ , V T 2 ≤ 4 l 2 A T , A T ∈ ( λ 2 T 4 l 2 2 i − 1 , λ 2 T 4 l 2 2 i ) ) i = 1 ∑ m P ( t = 1 ∑ T δ t ≥ 2 λ 2 T 16 l 4 2 i τ + 3 2 λ 4 l 2 τ , V T 2 ≤ λ 2 T 16 l 4 2 i ) i = 1 ∑ m P j = 1 , ⋯ , T max S j t = 1 ∑ j δ t ≥ 2 ν λ 2 T 16 l 4 2 i τ + 3 2 K λ 4 l 2 τ , V T 2 ≤ ν λ 2 T 16 l 4 2 i i = 1 ∑ m e − τ m e − τ
+这里，第一个不等式利用了 4 l 2 λ > 0 \frac{4l^2}{\lambda} \gt 0 λ 4 l 2 > 0 ∑ t = 1 T δ t \sum_{t=1}^T \delta_t ∑ t = 1 T δ t A T A_T A T ∑ t = 1 T δ t \sum_{t=1}^T \delta_t ∑ t = 1 T δ t V T 2 V_T^2 V T 2 max j = 1 , ⋯ , T ∑ t = 1 j δ t \max_{j=1,\cdots,T}\sum_{t=1}^j \delta_t max j = 1 , ⋯ , T ∑ t = 1 j δ t ∑ t = 1 T δ t \sum_{t=1}^T \delta_t ∑ t = 1 T δ t V T 2 V_T^2 V T 2
+最后，（7.64）中第二个不等式的推导利用了开口向下的二次函数 f ( x ) = a x 2 + b x + c , a < 0 f(x)=ax^2+bx+c,a\lt0 f ( x ) = a x 2 + b x + c , a < 0 x 0 = − b 2 a x_0=-\frac{b}{2a} x 0 = − 2 a b x = A T x=\sqrt{A_T} x = A T a = − λ 2 , b = 2 4 l 2 ln m δ , c = 0 a=-\frac{\lambda}{2},b=2\sqrt{4l^2\ln\frac{m}{\delta}},c=0 a = − 2 λ , b = 2 4 l 2 ln δ m , c = 0 f ( x ) f(x) f ( x ) 8 l 2 λ ln m δ \frac{8l^2}{\lambda}\ln\frac{m}{\delta} λ 8 l 2 ln δ m
+进一步地，152页 引理7.3利用数学归纳法给出了特定步长和迭代次数下Epoch-GD外层循环收敛率的泛化上界，这为154页 定理7.7中Epoch-GD的收敛率奠定了基础。我们对后者的部分推导进行必要补充。
+首先，观察（7.75）可以发现，Epoch-GD外层的迭代次数 k k k α 2 ( 2 k − 1 ) ≤ T \frac{\alpha}{2}(2^k-1) \le T 2 α ( 2 k − 1 ) ≤ T k = ⌊ log 2 ( 2 T α + 1 ) ⌋ k=\lfloor \log_2(\frac{2T}{\alpha}+1)\rfloor k = ⌊ log 2 ( α 2 T + 1 )⌋ k † k^{\dagger} k †
+其次，（7.77）的推导利用了函数 f ( x ) = ( 1 − 1 x ) x f(x)=(1-\frac{1}{x})^x f ( x ) = ( 1 − x 1 ) x x = k † δ > 1 x=\frac{k^{\dagger}}{\delta}\gt1 x = δ k † > 1
+对函数 f ( x ) f(x) f ( x )
+ln f ( x ) = x ln ( 1 − 1 x ) \begin{equation}
+\ln f(x)=x\ln(1-\frac{1}{x})
+\end{equation}
+ ln f ( x ) = x ln ( 1 − x 1 )
+接着对两边分别求导，可得：
+f ′ ( x ) f ( x ) = ln ( 1 − 1 x ) + 1 x − 1 \begin{equation}
+\frac{f'(x)}{f(x)}=\ln(1-\frac{1}{x})+\frac{1}{x-1}
+\end{equation}
+ f ( x ) f ′ ( x ) = ln ( 1 − x 1 ) + x − 1 1
+易知当 x > 1 x\gt1 x > 1 f ( x ) > 0 f(x)\gt0 f ( x ) > 0 x > 1 x\gt1 x > 1 g ( x ) = ln ( 1 − 1 x ) + 1 x − 1 g(x)=\ln(1-\frac{1}{x})+\frac{1}{x-1} g ( x ) = ln ( 1 − x 1 ) + x − 1 1
+g ′ ( x ) = 1 x ( x − 1 ) 2 \begin{equation}
+g'(x)=\frac{1}{x(x-1)^2}
+\end{equation}
+ g ′ ( x ) = x ( x − 1 ) 2 1
+易知当 x > 1 x\gt1 x > 1 g ′ ( x ) < 0 g'(x)\lt0 g ′ ( x ) < 0
+g ( x ) > lim x → + ∞ g ( x ) = lim x → + ∞ ln ( 1 − 1 x ) + lim x → + ∞ 1 x − 1 = 0 \begin{equation}
+g(x)\gt\lim_{x\rightarrow+\infty}g(x)=\lim_{x\rightarrow+\infty}\ln(1-\frac{1}{x})+\lim_{x\rightarrow+\infty}\frac{1}{x-1}=0
+\end{equation}
+ g ( x ) > x → + ∞ lim g ( x ) = x → + ∞ lim ln ( 1 − x 1 ) + x → + ∞ lim x − 1 1 = 0
+综上，当 x > 1 x\gt1 x > 1 f ′ ( x ) f ( x ) = g ( x ) > 0 \frac{f'(x)}{f(x)}=g(x)\gt0 f ( x ) f ′ ( x ) = g ( x ) > 0 f ′ ( x ) > 0 f'(x)\gt0 f ′ ( x ) > 0 f ( x ) f(x) f ( x ) x > 1 x\gt1 x > 1
+第8章：遗憾界
+编辑：赵志民，詹好
+本章前言
+本章的内容围绕学习理论中的遗憾（regret）概念展开（有的教材里也翻译为“悔”）。通常，我们使用超额风险（excess risk）来评估批量学习的分类器性能，而用遗憾来评估在线学习的分类器性能。二者的不同在于，前者衡量的是整个学习过程结束后所得到的分类器性能，可以理解为学习算法最终输出的模型 与假设空间内最优模型 的风险之差；而后者衡量的是算法运行过程中，所产生的模型 与假设空间内最优模型 的损失之差的和 。
+8.1 【概念解释】超额风险与遗憾的区别
+8.1介绍了遗憾这一评估指标的基本概念，我们在此基础上梳理一下其与超额风险这一评估指标的区别。
+超额风险这一评估指标被定义为：
+E R = E ( x , y ) ∼ D [ l ( w T + 1 , ( x , y ) ) ] − min w ∈ W E ( x , y ) ∼ D [ l ( w , ( x , y ) ) ] \begin{equation}
+ER = \mathbb{E}_{(x,y)\sim D}[l(w_{T+1},(x,y))] - \min_{w \in W} \mathbb{E}_{(x,y)\sim D}[l(w,(x,y))]
+\end{equation}
+ ER = E ( x , y ) ∼ D [ l ( w T + 1 , ( x , y ))] − w ∈ W min E ( x , y ) ∼ D [ l ( w , ( x , y ))]
+其中，E R ER ER E ( x , y ) ∼ D [ l ( w T + 1 , ( x , y ) ) ] \mathbb{E}_{(x,y)\sim D}[l(w_{T+1},(x,y))] E ( x , y ) ∼ D [ l ( w T + 1 , ( x , y ))] w T + 1 w_{T+1} w T + 1 min w ∈ W E ( x , y ) ∼ D [ l ( w , ( x , y ) ) ] \min_{w \in W} \mathbb{E}_{(x,y)\sim D}[l(w,(x,y))] min w ∈ W E ( x , y ) ∼ D [ l ( w , ( x , y ))]
+而遗憾这一评估指标，被定义为：
+r e g r e t = ∑ t = 1 T f t ( w t ) − min w ∈ W ∑ t = 1 T f t ( w ) \begin{equation}
+regret = \sum^{T}_{t=1}f_t(w_t)-\min_{w\in W}\sum^{T}_{t=1}f_t(w)
+\end{equation}
+ re g re t = t = 1 ∑ T f t ( w t ) − w ∈ W min t = 1 ∑ T f t ( w )
+其中，f t ( w t ) f_t(w_t) f t ( w t )
+∑ t = 1 T l ( w t , ( x t , y t ) ) − min w ∈ W ∑ t = 1 T l ( w , ( x t , y t ) ) \begin{equation}
+\sum^{T}_{t=1}l(w_t,(x_t,y_t)) - \min_{w \in W}\sum^{T}_{t=1}l(w,(x_t,y_t))
+\end{equation}
+ t = 1 ∑ T l ( w t , ( x t , y t )) − w ∈ W min t = 1 ∑ T l ( w , ( x t , y t ))
+由于w t w_t w t ( x t , y t ) (x_t,y_t) ( x t , y t ) ( x 1 , y 1 ) , . . . , ( x t − 1 , y t − 1 ) (x_1,y_1),...,(x_{t-1},y_{t-1}) ( x 1 , y 1 ) , ... , ( x t − 1 , y t − 1 ) l ( w , ( x t , y t ) ) l(w,(x_t,y_t)) l ( w , ( x t , y t ))
+由此，我们可以总结出二者之间的两个主要区别：首先，超额风险引入了期望 ，而遗憾没有；其次，超额风险是在所有数据上进行的一次性计算，而遗憾是对多次损失的一个求和 。同时，由于在线学习不依赖于任何分布假设，因此适用于非独立同分布样本或固定分布的情形。
+8.2 【案例分享】Maler 算法
+在8.2.3节的170页 末尾，作者提到了Maler算法（multiple sub-algorithms and learning rates）（详细证明参考：Adaptivity and Optimality: A Universal Algorithm for Online Convex Optimization ），这是一个能够自适应选择最优专家的在线学习算法，并在不同类型的损失函数上实现最优的遗憾界限：
+
+一般凸函数 ：R ( T ) ≤ O T ) R(T) \leq O\sqrt{T}) R ( T ) ≤ O T ) 指数凹函数 ：R ( T ) ≤ O ( d log T ) R(T) \leq O(d\log T) R ( T ) ≤ O ( d log T ) 强凸函数 ：R ( T ) ≤ O ( log T ) R(T) \leq O(\log T) R ( T ) ≤ O ( log T ) T T T d d d
+下面，我们简要补充Maler算法的原理和实现。
+假设和定义
+
+
+假设 1（梯度有界性） ：所有损失函数 f t ( x ) f_t(x) f t ( x ) G G G
+∀ t > 0 , max x ∈ D ∥ ∇ f t ( x ) ∥ ≤ G \begin{equation}
+\forall t \gt 0, \quad \max_{x \in D} \|\nabla f_t(x)\| \leq G
+\end{equation}
+ ∀ t > 0 , x ∈ D max ∥∇ f t ( x ) ∥ ≤ G
+
+
+假设 2（行动集的直径有界性） ：行动集 D D D D D D
+max x 1 , x 2 ∈ D ∥ x 1 − x 2 ∥ ≤ D \begin{equation}
+\max_{x_1, x_2 \in D} \|x_1 - x_2\| \leq D
+\end{equation}
+ x 1 , x 2 ∈ D max ∥ x 1 − x 2 ∥ ≤ D
+
+
+定义 1（凸函数） ：函数 f : D → R f : D \rightarrow \mathbb{R} f : D → R
+f ( x 1 ) ≥ f ( x 2 ) + ∇ f ( x 2 ) ⊤ ( x 1 − x 2 ) , ∀ x 1 , x 2 ∈ D \begin{equation}
+f(x_1) \geq f(x_2) + \nabla f(x_2)^\top (x_1 - x_2), \quad \forall x_1, x_2 \in D
+\end{equation}
+ f ( x 1 ) ≥ f ( x 2 ) + ∇ f ( x 2 ) ⊤ ( x 1 − x 2 ) , ∀ x 1 , x 2 ∈ D
+
+
+定义 2（强凸函数） ：函数 f : D → R f : D \rightarrow \mathbb{R} f : D → R λ \lambda λ
+f ( x 1 ) ≥ f ( x 2 ) + ∇ f ( x 2 ) ⊤ ( x 1 − x 2 ) + λ 2 ∥ x 1 − x 2 ∥ 2 , ∀ x 1 , x 2 ∈ D \begin{equation}
+f(x_1) \geq f(x_2) + \nabla f(x_2)^\top (x_1 - x_2) + \frac{\lambda}{2} \|x_1 - x_2\|^2, \quad \forall x_1, x_2 \in D
+\end{equation}
+ f ( x 1 ) ≥ f ( x 2 ) + ∇ f ( x 2 ) ⊤ ( x 1 − x 2 ) + 2 λ ∥ x 1 − x 2 ∥ 2 , ∀ x 1 , x 2 ∈ D
+
+
+定义 3（指数凹函数） ：函数 f : D → R f : D \rightarrow \mathbb{R} f : D → R α \alpha α α \alpha α
+exp ( − α f ( x ) ) 是凹的 \begin{equation}
+\exp(-\alpha f(x)) \text{是凹的}
+\end{equation}
+ exp ( − α f ( x )) 是凹的
+
+
+元算法（Maler）
+输入 ：学习率 η c , η 1 , η 2 , … \eta^c, \eta_1, \eta_2, \dots η c , η 1 , η 2 , … π 1 c , π 1 η 1 , s , π 1 η 2 , s … \pi_1^c, \pi_1^{\eta_1,s}, \pi_1^{\eta_2,s} \dots π 1 c , π 1 η 1 , s , π 1 η 2 , s … π 1 η 1 , l , π 1 η 2 , l , … \pi_1^{\eta_1,l}, \pi_1^{\eta_2,l}, \dots π 1 η 1 , l , π 1 η 2 , l , …
+
+对于每个回合 t = 1 , … , T t = 1, \dots, T t = 1 , … , T
+
+
+从凸专家算法（专家 1）获取预测 x t c x^c_t x t c x t η , l x^{\eta, l}_t x t η , l x t η , s x^{\eta, s}_t x t η , s
+
+
+执行：
+x t = π t c η c x t c + ∑ η ( π t η , s η x t η , s + π t η , l η x t η , l ) π t c η c + ∑ η ( π t η , s η + π t η , l η ) \begin{equation}
+x_t = \frac{\pi^c_t \eta^c x^c_t + \sum_{\eta} (\pi^{\eta,s}_t \eta x^{\eta,s}_t + \pi^{\eta,l}_t \eta x^{\eta,l}_t)}{\pi^c_t \eta^c + \sum_{\eta} (\pi^{\eta,s}_t \eta + \pi^{\eta,l}_t \eta)}
+\end{equation}
+ x t = π t c η c + ∑ η ( π t η , s η + π t η , l η ) π t c η c x t c + ∑ η ( π t η , s η x t η , s + π t η , l η x t η , l )
+
+
+观察梯度 g t g_t g t
+
+
+对所有的 η \eta η
+π t + 1 c = π t c e − c t ( x t c ) Φ t , π t + 1 η , s = π t η , s e − s t η ( x t η , s ) Φ t , π t + 1 η , l = π t η , l e − l t η ( x t η , l ) Φ t \begin{equation}
+\pi^c_{t+1} = \frac{\pi^c_t e^{-c_t(x^c_t)}}{\Phi_t}, \quad \pi^{\eta,s}_{t+1} = \frac{\pi^{\eta,s}_t e^{-s^{\eta}_t(x^{\eta,s}_t)}}{\Phi_t}, \quad \pi^{\eta,l}_{t+1} = \frac{\pi^{\eta,l}_t e^{-l^{\eta}_t(x^{\eta,l}_t)}}{\Phi_t}
+\end{equation}
+ π t + 1 c = Φ t π t c e − c t ( x t c ) , π t + 1 η , s = Φ t π t η , s e − s t η ( x t η , s ) , π t + 1 η , l = Φ t π t η , l e − l t η ( x t η , l )
+其中：
+Φ t = ∑ η ( π t η , s e − s t η ( x t η , s ) + π t η , l e − l t η ( x t η , l ) ) + π t c e − c t ( x t c ) \begin{equation}
+\Phi_t = \sum_{\eta} (\pi^{\eta,s}_t e^{-s^{\eta}_t(x^{\eta,s}_t)} + \pi^{\eta,l}_t e^{-l^{\eta}_t(x^{\eta,l}_t)} ) + \pi^c_t e^{-c_t(x^c_t)}
+\end{equation}
+ Φ t = η ∑ ( π t η , s e − s t η ( x t η , s ) + π t η , l e − l t η ( x t η , l ) ) + π t c e − c t ( x t c )
+
+
+
+凸专家算法（专家 1）
+
+x 1 c = 0 x^c_1 = 0 x 1 c = 0 对于每个回合 t = 1 , … , T t = 1, \dots, T t = 1 , … , T
+
+
+指数凹专家算法（专家 2）
+
+输入 ：学习率 η \eta η x 1 η , l = 0 , β = 1 2 min { 1 4 G l D , 1 } , G l = 7 25 D , Σ 1 = 1 β 2 D 2 I d x^{\eta,l}_1 = 0, \beta = \frac{1}{2} \min\{\frac{1}{4G^l D}, 1\}, G^l = \frac{7}{25D}, \Sigma_1 = \frac{1}{\beta^2 D^2}I_d x 1 η , l = 0 , β = 2 1 min { 4 G l D 1 , 1 } , G l = 25 D 7 , Σ 1 = β 2 D 2 1 I d 对于每个回合 t = 1 , … , T t = 1, \dots, T t = 1 , … , T
+
+将 x t η , l x^{\eta,l}_t x t η , l
+从元算法接收梯度 g t g_t g t
+更新：Σ t + 1 = Σ t + ∇ l t η ( x t η , l ) ∇ l t η ( x t η , l ) ⊤ x t + 1 η , l = Π D Σ t + 1 ( x t η , l − 1 β Σ t + 1 − 1 ∇ l t η ( x t η , l ) ) \begin{equation}
+\begin{align*}
+\Sigma_{t+1} &= \Sigma_t + \nabla l^{\eta}_t(x^{\eta,l}_t) \nabla l^{\eta}_t(x^{\eta,l}_t)^\top \\
+x^{\eta,l}_{t+1} &= \Pi^{\Sigma_{t+1}}_D (x^{\eta,l}_t - \frac{1}{\beta} \Sigma_{t+1}^{-1} \nabla l^{\eta}_t(x^{\eta,l}_t)) \\
+\end{align*}
+\end{equation}
+ Σ t + 1 x t + 1 η , l = Σ t + ∇ l t η ( x t η , l ) ∇ l t η ( x t η , l ) ⊤ = Π D Σ t + 1 ( x t η , l − β 1 Σ t + 1 − 1 ∇ l t η ( x t η , l ))
+其中 ∇ l t η ( x t η , l ) = η g t + 2 η 2 g t g t ⊤ ( x t η , l − x t ) \nabla l^{\eta}_t(x^{\eta,l}_t) = \eta g_t + 2 \eta^2 g_t g_t^\top (x^{\eta,l}_t - x_t) ∇ l t η ( x t η , l ) = η g t + 2 η 2 g t g t ⊤ ( x t η , l − x t )
+
+
+强凸专家算法（专家 3）
+
+输入 ：学习率 η \eta η x 1 η , s = 0 x^{\eta,s}_1 = 0 x 1 η , s = 0 对于每个回合 t = 1 , … , T t = 1, \dots, T t = 1 , … , T
+
+将 x t η , s x^{\eta,s}_t x t η , s
+从元算法接收梯度 g t g_t g t
+更新：x t + 1 η , s = Π D I d ( x t η , s − 1 2 η 2 G 2 t ∇ s t η ( x t η , s ) ) \begin{equation}
+x^{\eta,s}_{t+1} = \Pi^{I_d}_D (x^{\eta,s}_t - \frac{1}{2\eta^2 G^2 t} \nabla s^{\eta}_t(x^{\eta,s}_t))
+\end{equation}
+ x t + 1 η , s = Π D I d ( x t η , s − 2 η 2 G 2 t 1 ∇ s t η ( x t η , s ))
+其中 ∇ s t η ( x t η , s ) = η g t + 2 η 2 G 2 ( x t η , s − x t ) \nabla s^{\eta}_t(x^{\eta,s}_t) = \eta g_t + 2 \eta^2 G^2 (x^{\eta,s}_t - x_t) ∇ s t η ( x t η , s ) = η g t + 2 η 2 G 2 ( x t η , s − x t )
+
+
+8.3 【证明补充】随机多臂赌博机的遗憾界
+172页 中定理8.3给出了随机多臂赌博机的遗憾界，我们在此基础上对公式（8.42）至（8.47）证明过程进行补充。
+首先，（8.42）给出当μ ‾ ∗ ( p ) + 2 ln t p ≤ μ ‾ i ( q ) + 2 ln t q \overline{\mu}_*(p)+\sqrt{\frac{2\ln t}{p}}\le\overline{\mu}_i(q)+\sqrt{\frac{2\ln t}{q}} μ ∗ ( p ) + p 2 l n t ≤ μ i ( q ) + q 2 l n t
+μ ‾ ∗ ( p ) + 2 ln t p ≤ μ ∗ , μ ∗ ≤ μ ‾ i ( q ) + 2 ln t q , μ ‾ i ( q ) + 2 ln t q ≤ μ ‾ i ( p ) \begin{equation}
+\overline{\mu}_*(p)+\sqrt{\frac{2\ln t}{p}}\le\mu_*,\mu_*\le\overline{\mu}_i(q)+\sqrt{\frac{2\ln t}{q}},\overline{\mu}_i(q)+\sqrt{\frac{2\ln t}{q}}\le\overline{\mu}_i(p)
+\end{equation}
+ μ ∗ ( p ) + p 2 ln t ≤ μ ∗ , μ ∗ ≤ μ i ( q ) + q 2 ln t , μ i ( q ) + q 2 ln t ≤ μ i ( p )
+此时，构造（8.44）和（8.45）的逻辑更加顺畅。我们令l = ⌈ ( 2 ln T ) / Δ i 2 ⌉ l=\lceil(2\ln T)/\Delta_i^2\rceil l = ⌈( 2 ln T ) / Δ i 2 ⌉
+P ( μ ∗ ≤ μ i + 2 ln t q ) = 0 , q ≥ l \begin{equation}
+P(\mu_*\le\mu_i+\sqrt{\frac{2\ln t}{q}})=0,q\ge l
+\end{equation}
+ P ( μ ∗ ≤ μ i + q 2 ln t ) = 0 , q ≥ l
+代入（8.44），可得：
+E [ n i T ] ≤ ⌈ 2 ln T Δ i 2 ⌉ + 2 ∑ t = 1 T − 1 ∑ p = 1 t − 1 ∑ q = l t − 1 t − 4 ≤ 2 ln T Δ i 2 + 1 + 2 ∑ t = 1 T − 1 ∑ p = 1 t ∑ q = 1 t t − 4 ≤ 2 ln T Δ i 2 + 1 + 2 lim T → + ∞ ∑ t = 1 T − 1 t − 2 \begin{equation}
+\begin{align*}
+\mathbb{E}[n_i^T]&\le\lceil\frac{2\ln T}{\Delta_i^2}\rceil+2\sum_{t=1}^{T-1}\sum_{p=1}^{t-1}\sum_{q=l}^{t-1}t^{-4} \\
+&\le\frac{2\ln T}{\Delta_i^2}+1+2\sum_{t=1}^{T-1}\sum_{p=1}^{t}\sum_{q=1}^{t}t^{-4} \\
+&\le\frac{2\ln T}{\Delta_i^2}+1+2\lim_{T\rightarrow+\infty}\sum_{t=1}^{T-1}t^{-2}
+\end{align*}
+\end{equation}
+ E [ n i T ] ≤ ⌈ Δ i 2 2 ln T ⌉ + 2 t = 1 ∑ T − 1 p = 1 ∑ t − 1 q = l ∑ t − 1 t − 4 ≤ Δ i 2 2 ln T + 1 + 2 t = 1 ∑ T − 1 p = 1 ∑ t q = 1 ∑ t t − 4 ≤ Δ i 2 2 ln T + 1 + 2 T → + ∞ lim t = 1 ∑ T − 1 t − 2
+根据p p p p = 2 > 1 p=2\gt1 p = 2 > 1 lim T → + ∞ ∑ t = 1 T − 1 t − 2 \lim_{T\rightarrow+\infty}\sum_{t=1}^{T-1}t^{-2} lim T → + ∞ ∑ t = 1 T − 1 t − 2
+lim T → + ∞ ∑ t = 1 T − 1 t − 2 \lim_{T\rightarrow+\infty}\sum_{t=1}^{T-1}t^{-2} lim T → + ∞ ∑ t = 1 T − 1 t − 2 The Basel Problem - Numerous Proofs 。此处提供另一种在微积分变换中常见的缩放方法：
+∑ t = 1 T − 1 t − 2 ≤ 1 + ∫ 1 T − 1 1 x 2 d x = 1 + ( − 1 x ) ∣ 1 T − 1 = 2 − 1 T \begin{equation}
+\begin{align*}
+\sum_{t=1}^{T-1}t^{-2}&\le1+\int_{1}^{T-1}\frac{1}{x^2}dx \\
+&=1+(-\frac{1}{x})|_1^{T-1} \\
+&=2-\frac{1}{T}
+\end{align*}
+\end{equation}
+ t = 1 ∑ T − 1 t − 2 ≤ 1 + ∫ 1 T − 1 x 2 1 d x = 1 + ( − x 1 ) ∣ 1 T − 1 = 2 − T 1
+对不等式两边同时取极限，可得：
+lim T → + ∞ ∑ t = 1 T − 1 t − 2 ≤ 2 \begin{equation}
+\lim_{T\rightarrow+\infty}\sum_{t=1}^{T-1}t^{-2}\le2
+\end{equation}
+ T → + ∞ lim t = 1 ∑ T − 1 t − 2 ≤ 2
+代入（8.46），同样可得类似（8.47）的结论。
+这里继续沿用书中给出的lim T → + ∞ ∑ t = 1 T t − 2 = π 2 6 \lim_{T\rightarrow+\infty}\sum_{t=1}^{T}t^{-2}=\frac{\pi^2}{6} lim T → + ∞ ∑ t = 1 T t − 2 = 6 π 2
+E [ r e g r e t ] ≤ ∑ i = 1 K 2 ln T Δ i 2 + O ( 1 ) \begin{equation}
+\mathbb{E}[regret]\le\sum_{i=1}^{K}\frac{2\ln T}{\Delta_i^2}+O(1)
+\end{equation}
+ E [ re g re t ] ≤ i = 1 ∑ K Δ i 2 2 ln T + O ( 1 )
+此时（8.46）变为：
+E [ n i T ] ≤ ∑ i ≠ ∗ K 2 ln T Δ i + ( 1 + π 2 3 ) Δ i = O ( K log T ) \begin{equation}
+\mathbb{E}[n_i^T]\le\sum_{i\neq*}^K\frac{2\ln T}{\Delta_i}+(1+\frac{\pi^2}{3}){\Delta_i}=O(K\log T)
+\end{equation}
+ E [ n i T ] ≤ i = ∗ ∑ K Δ i 2 ln T + ( 1 + 3 π 2 ) Δ i = O ( K log T )
+观察（8.47）可知，求和公式中的每一项符合对钩函数的构造，即：
+f ( x ) = A x + B x , x > 0 , A > 0 , B > 0 \begin{equation}
+f(x)=Ax+\frac{B}{x},x\gt0,A\gt0,B\gt0
+\end{equation}
+ f ( x ) = A x + x B , x > 0 , A > 0 , B > 0
+这里x = Δ i , A = 1 + π 2 3 , B = 2 ln T x=\Delta_i,A=1+\frac{\pi^2}{3},B=2\ln T x = Δ i , A = 1 + 3 π 2 , B = 2 ln T Δ i \Delta_i Δ i K K K K K K
+8.4 【概念解释】线性赌博机
+176页 的8.3.2节介绍了线性赌博机的概念，我们在此基础上对参数估计部分进行补充。
+为了估计线性赌博机的参数，我们将原问题转化为岭回归问题，即（8.52）：
+f ( w ) = ( Y − w T X ) T ( Y − w T X ) + λ w T w \begin{equation}
+f(w)=(Y-w^T X)^T(Y-w^T X)+\lambda w^T w
+\end{equation}
+ f ( w ) = ( Y − w T X ) T ( Y − w T X ) + λ w T w
+为了求得最优解w ∗ w^* w ∗ f ′ ( w ) = 0 f'(w)=0 f ′ ( w ) = 0
+∂ f ( w ) ∂ w = − 2 X T ( Y − w T X ) + 2 λ w = 0 → X T Y = ( X T X + λ I ) w → w ∗ = ( X T X + λ I ) − 1 X T Y \begin{equation}
+\begin{align*}
+\frac{\partial f(w)}{\partial w} = -2X^T(Y-w^T X)+2\lambda w &= 0 \\
+\rightarrow X^TY &= (X^TX + \lambda I)w \\
+\rightarrow w^* &= (X^TX + \lambda I)^{-1}X^TY
+\end{align*}
+\end{equation}
+ ∂ w ∂ f ( w ) = − 2 X T ( Y − w T X ) + 2 λ w → X T Y → w ∗ = 0 = ( X T X + λ I ) w = ( X T X + λ I ) − 1 X T Y
+相比于每次传入新数据( x t , y t ) (x_t,y_t) ( x t , y t ) w t w_t w t ( A + u v T ) − 1 (A+uv^T)^{-1} ( A + u v T ) − 1 A A A u , v u,v u , v O ( d 2 ) O(d^2) O ( d 2 )
+8.5 【证明补充】Sherman-Morrison-Woodbury (或 Woodbury) 公式
+177页 的 Sherman-Morrison-Woodbury 公式变种是矩阵求逆中的一个重要工具，它可以通过已知矩阵的逆来快速计算被低秩修正的矩阵的逆。
+该公式如下所示：
+( A + U C V ) − 1 = A − 1 − A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 \begin{equation}
+(A + UCV)^{-1} = A^{-1} - A^{-1}U (C^{-1} + VA^{-1}U)^{-1} VA^{-1}
+\end{equation}
+ ( A + U C V ) − 1 = A − 1 − A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1
+其中，A 是一个 n × n n \times n n × n k × k k \times k k × k n × k n \times k n × k C C C
+证明
+该公式可以通过验证 A + U C V A + UCV A + U C V
+( A + U C V ) [ A − 1 − A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 ] \begin{equation}
+(A + UCV) [ A^{-1} - A^{-1}U (C^{-1} + VA^{-1}U )^{-1} VA^{-1} ]
+\end{equation}
+ ( A + U C V ) [ A − 1 − A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 ]
+逐步推导如下：
+= { I + U C V A − 1 } − { U ( C − 1 + V A − 1 U ) − 1 V A − 1 + U C V A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 } = I + U C V A − 1 − ( U + U C V A − 1 U ) ( C − 1 + V A − 1 U ) − 1 V A − 1 = I + U C V A − 1 − U C ( C − 1 + V A − 1 U ) ( C − 1 + V A − 1 U ) − 1 V A − 1 = I + U C V A − 1 − U C V A − 1 = I \begin{equation}
+\begin{align*}
+=& \{ I + UCVA^{-1} \} - \{ U (C^{-1} + VA^{-1}U )^{-1}VA^{-1} + UCVA^{-1}U (C^{-1} + VA^{-1}U )^{-1} VA^{-1} \} \\
+=& I + UCVA^{-1} - (U + UCVA^{-1}U ) (C^{-1} + VA^{-1}U )^{-1}VA^{-1} \\
+=& I + UCVA^{-1} - UC (C^{-1} + VA^{-1}U) (C^{-1} + VA^{-1}U)^{-1}VA^{-1} \\
+=& I + UCVA^{-1} - UCVA^{-1} \\
+=& I
+\end{align*}
+\end{equation}
+ = = = = = { I + U C V A − 1 } − { U ( C − 1 + V A − 1 U ) − 1 V A − 1 + U C V A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 } I + U C V A − 1 − ( U + U C V A − 1 U ) ( C − 1 + V A − 1 U ) − 1 V A − 1 I + U C V A − 1 − U C ( C − 1 + V A − 1 U ) ( C − 1 + V A − 1 U ) − 1 V A − 1 I + U C V A − 1 − U C V A − 1 I
+8.6 【证明补充】单样本的近似梯度
+第181页 的引理8.2给出了单样本条件下的梯度近似公式，本节将提供该引理的完整证明过程。
+E u ∈ S [ f ( x + δ u ) u ] = δ d ∇ E v ∈ B [ f ( x + δ v ) ] \begin{equation}
+\mathbb{E}_{u \in \mathbb{S}}[f(x+\delta u)u] = \frac{\delta}{d}\nabla \mathbb{E}_{v \in \mathbb{B}}[f(x + \delta v)]
+\end{equation}
+ E u ∈ S [ f ( x + δ u ) u ] = d δ ∇ E v ∈ B [ f ( x + δ v )]
+其中：
+
+d d d δ \delta δ B \mathbb{B} B B = { v ∈ R d ∣ ∥ v ∥ ≤ 1 } \mathbb{B} = \{v \in \mathbb{R}^d \mid \|v\| \leq 1\} B = { v ∈ R d ∣ ∥ v ∥ ≤ 1 } S \mathbb{S} S S = { u ∈ R d ∣ ∥ u ∥ = 1 } \mathbb{S} = \{u \in \mathbb{R}^d \mid \|u\| = 1\} S = { u ∈ R d ∣ ∥ u ∥ = 1 }
+证明
+为了证明上述等式，我们将分三个步骤进行推导。
+1. 表达左边的期望
+首先，考虑左边的期望：
+E u ∈ S [ f ( x + δ u ) u ] = 1 Vol d − 1 ( S ) ∫ S f ( x + δ u ) u d S ( u ) \begin{equation}
+\mathbb{E}_{u \in \mathbb{S}}[f(x+\delta u)u] = \frac{1}{\text{Vol}_{d-1}(\mathbb{S})} \int_{\mathbb{S}} f(x + \delta u) u \, dS(u)
+\end{equation}
+ E u ∈ S [ f ( x + δ u ) u ] = Vol d − 1 ( S ) 1 ∫ S f ( x + δ u ) u d S ( u )
+其中，Vol d − 1 ( S ) \text{Vol}_{d-1}(\mathbb{S}) Vol d − 1 ( S ) ( d − 1 ) (d-1) ( d − 1 ) d S ( u ) dS(u) d S ( u )
+进行变量替换，令 w = δ u w = \delta u w = δ u
+
+当 u ∈ S u \in \mathbb{S} u ∈ S w ∈ δ S w \in \delta \mathbb{S} w ∈ δ S
+球面上的微分面积元素变化为 d S ( u ) = d S ( w ) δ d − 1 dS(u) = \frac{dS(w)}{\delta^{d-1}} d S ( u ) = δ d − 1 d S ( w ) δ \delta δ ( d − 1 ) (d-1) ( d − 1 ) δ d − 1 \delta^{d-1} δ d − 1
+
+将变量替换代入期望的表达式：
+E u ∈ S [ f ( x + δ u ) u ] = 1 Vol d − 1 ( S ) ∫ S f ( x + δ u ) u d S ( u ) = 1 Vol d − 1 ( S ) ⋅ δ d − 1 ∫ δ S f ( x + w ) w δ d S ( w ) \begin{equation}
+\mathbb{E}_{u \in \mathbb{S}}[f(x+\delta u)u] = \frac{1}{\text{Vol}_{d-1}(\mathbb{S})} \int_{\mathbb{S}} f(x + \delta u) u \, dS(u) = \frac{1}{\text{Vol}_{d-1}(\mathbb{S}) \cdot \delta^{d-1}} \int_{\delta \mathbb{S}} f(x + w) \frac{w}{\delta} \, dS(w)
+\end{equation}
+ E u ∈ S [ f ( x + δ u ) u ] = Vol d − 1 ( S ) 1 ∫ S f ( x + δ u ) u d S ( u ) = Vol d − 1 ( S ) ⋅ δ d − 1 1 ∫ δ S f ( x + w ) δ w d S ( w )
+简化后得到：
+E u ∈ S [ f ( x + δ u ) u ] = 1 Vol d − 1 ( δ S ) ∫ δ S f ( x + w ) w ∥ w ∥ d S ( w ) \begin{equation}
+\mathbb{E}_{u \in \mathbb{S}}[f(x+\delta u)u] = \frac{1}{\text{Vol}_{d-1}(\delta \mathbb{S})} \int_{\delta \mathbb{S}} f(x + w) \frac{w}{\|w\|} \, dS(w)
+\end{equation}
+ E u ∈ S [ f ( x + δ u ) u ] = Vol d − 1 ( δ S ) 1 ∫ δ S f ( x + w ) ∥ w ∥ w d S ( w )
+2. 表达右边的期望及其梯度
+接下来，考虑右边的期望：
+E v ∈ B [ f ( x + δ v ) ] = 1 Vol d ( B ) ∫ B f ( x + δ v ) d v \begin{equation}
+\mathbb{E}_{v \in \mathbb{B}}[f(x + \delta v)] = \frac{1}{\text{Vol}_d(\mathbb{B})} \int_{\mathbb{B}} f(x + \delta v) \, dv
+\end{equation}
+ E v ∈ B [ f ( x + δ v )] = Vol d ( B ) 1 ∫ B f ( x + δ v ) d v
+其中，Vol d ( B ) \text{Vol}_d(\mathbb{B}) Vol d ( B ) d d d d v dv d v
+同样进行变量替换，令 w = δ v w = \delta v w = δ v
+
+当 v ∈ B v \in \mathbb{B} v ∈ B w ∈ δ B w \in \delta \mathbb{B} w ∈ δ B
+微分体积元素变化为 d v = d w δ d dv = \frac{dw}{\delta^d} d v = δ d d w δ \delta δ δ d \delta^d δ d
+
+代入后得到：
+E v ∈ B [ f ( x + δ v ) ] = 1 Vol d ( B ) ⋅ δ d ∫ δ B f ( x + w ) d w = 1 Vol d ( δ B ) ∫ δ B f ( x + w ) d w \begin{equation}
+\mathbb{E}_{v \in \mathbb{B}}[f(x + \delta v)] = \frac{1}{\text{Vol}_d(\mathbb{B}) \cdot \delta^d} \int_{\delta \mathbb{B}} f(x + w) \, dw = \frac{1}{\text{Vol}_d(\delta \mathbb{B})} \int_{\delta \mathbb{B}} f(x + w) \, dw
+\end{equation}
+ E v ∈ B [ f ( x + δ v )] = Vol d ( B ) ⋅ δ d 1 ∫ δ B f ( x + w ) d w = Vol d ( δ B ) 1 ∫ δ B f ( x + w ) d w
+为了计算 ∇ E v ∈ B [ f ( x + δ v ) ] \nabla \mathbb{E}_{v \in \mathbb{B}}[f(x + \delta v)] ∇ E v ∈ B [ f ( x + δ v )]
+F ( x ) = E v ∈ B [ f ( x + δ v ) ] = 1 Vol d ( δ B ) ∫ δ B f ( x + w ) d w \begin{equation}
+F(x) = \mathbb{E}_{v \in \mathbb{B}}[f(x + \delta v)] = \frac{1}{\text{Vol}_d(\delta \mathbb{B})} \int_{\delta \mathbb{B}} f(x + w) \, dw
+\end{equation}
+ F ( x ) = E v ∈ B [ f ( x + δ v )] = Vol d ( δ B ) 1 ∫ δ B f ( x + w ) d w
+梯度作用在积分上，由于 x x x w w w
+∇ F ( x ) = 1 Vol d ( δ B ) ∫ δ B ∇ x f ( x + w ) d w \begin{equation}
+\nabla F(x) = \frac{1}{\text{Vol}_d(\delta \mathbb{B})} \int_{\delta \mathbb{B}} \nabla_x f(x + w) \, dw
+\end{equation}
+ ∇ F ( x ) = Vol d ( δ B ) 1 ∫ δ B ∇ x f ( x + w ) d w
+注意到：
+∇ x f ( x + w ) = ∇ w f ( x + w ) \begin{equation}
+\nabla_x f(x + w) = \nabla_w f(x + w)
+\end{equation}
+ ∇ x f ( x + w ) = ∇ w f ( x + w )
+这是因为 x x x w w w x x x w w w
+根据散度定理，有：
+∫ δ B ∇ w f ( x + w ) d w = ∫ δ S f ( x + w ) n ( w ) d S ( w ) \begin{equation}
+\int_{\delta \mathbb{B}} \nabla_w f(x + w) \, dw = \int_{\delta \mathbb{S}} f(x + w) n(w) \, dS(w)
+\end{equation}
+ ∫ δ B ∇ w f ( x + w ) d w = ∫ δ S f ( x + w ) n ( w ) d S ( w )
+其中，δ S \delta \mathbb{S} δ S δ \delta δ n ( w ) n(w) n ( w ) w w w
+∇ F ( x ) = 1 Vol d ( δ B ) ∫ δ S f ( x + w ) w ∥ w ∥ d S ( w ) \begin{equation}
+\nabla F(x) = \frac{1}{\text{Vol}_d(\delta \mathbb{B})} \int_{\delta \mathbb{S}} f(x + w) \frac{w}{\|w\|} \, dS(w)
+\end{equation}
+ ∇ F ( x ) = Vol d ( δ B ) 1 ∫ δ S f ( x + w ) ∥ w ∥ w d S ( w )
+3. 关联两边的表达式
+将步骤 1 和步骤 2 的结果进行对比，可以得到：
+E u ∈ S [ f ( x + δ u ) u ] = Vol d ( δ B ) Vol d − 1 ( δ S ) ∇ E v ∈ B [ f ( x + δ v ) ] \begin{equation}
+\mathbb{E}_{u \in \mathbb{S}}[f(x+\delta u)u] = \frac{\text{Vol}_d(\delta \mathbb{B})}{\text{Vol}_{d-1}(\delta \mathbb{S})} \nabla \mathbb{E}_{v \in \mathbb{B}}[f(x + \delta v)]
+\end{equation}
+ E u ∈ S [ f ( x + δ u ) u ] = Vol d − 1 ( δ S ) Vol d ( δ B ) ∇ E v ∈ B [ f ( x + δ v )]
+为了确定系数，我们需要利用 d d d
+d d d δ \delta δ
+Vol d ( δ B ) = δ d ⋅ Vol d ( B ) \begin{equation}
+\text{Vol}_d(\delta \mathbb{B}) = \delta^d \cdot \text{Vol}_d(\mathbb{B})
+\end{equation}
+ Vol d ( δ B ) = δ d ⋅ Vol d ( B )
+而球面的表面积与半径 δ \delta δ
+Vol d − 1 ( δ S ) = δ d − 1 ⋅ Vol d − 1 ( S ) \begin{equation}
+\text{Vol}_{d-1}(\delta \mathbb{S}) = \delta^{d-1} \cdot \text{Vol}_{d-1}(\mathbb{S})
+\end{equation}
+ Vol d − 1 ( δ S ) = δ d − 1 ⋅ Vol d − 1 ( S )
+结合这两个关系，可以得到：
+Vol d ( δ B ) = ∫ 0 δ Vol d − 1 ( r S ) d r = ∫ 0 δ Vol d − 1 ( S ) r d − 1 d r = Vol d − 1 ( S ) ⋅ δ d d = δ d ⋅ Vol d − 1 ( δ S ) \begin{equation}
+\text{Vol}_d(\delta \mathbb{B}) = \int_0^{\delta} \text{Vol}_{d-1}(\mathbb{rS}) \, dr = \int_0^{\delta} \text{Vol}_{d-1}(\mathbb{S}) \, r^{d-1} \, dr = \frac{\text{Vol}_{d-1}(\mathbb{S}) \cdot \delta^{d}}{d} = \frac{\delta}{d} \cdot \text{Vol}_{d-1}(\delta \mathbb{S})
+\end{equation}
+ Vol d ( δ B ) = ∫ 0 δ Vol d − 1 ( r S ) d r = ∫ 0 δ Vol d − 1 ( S ) r d − 1 d r = d Vol d − 1 ( S ) ⋅ δ d = d δ ⋅ Vol d − 1 ( δ S )
+带入上述等式中，得证：
+E u ∈ S [ f ( x + δ u ) u ] = δ d ∇ E v ∈ B [ f ( x + δ v ) ] \begin{equation}
+\mathbb{E}_{u \in \mathbb{S}}[f(x+\delta u)u] = \frac{\delta}{d}\nabla \mathbb{E}_{v \in \mathbb{B}}[f(x + \delta v)]
+\end{equation}
+ E u ∈ S [ f ( x + δ u ) u ] = d δ ∇ E v ∈ B [ f ( x + δ v )]
+8.7 【证明补充】凸赌博机的在线梯度下降
+182页 中引理8.3给出了凸赌博机的随机版本在线梯度下降，我们在此给出完整的证明过程。
+设 f 1 , f 2 , … , f T : W → R f_1, f_2, \dots, f_T: W \to \mathbb{R} f 1 , f 2 , … , f T : W → R ω 1 , ω 2 , … , ω T ∈ W \omega_1, \omega_2, \dots, \omega_T \in W ω 1 , ω 2 , … , ω T ∈ W ω 1 \omega_1 ω 1 ω t + 1 = Π W ( ω t − η g t ) \omega_{t+1} = \Pi_W(\omega_t − \eta g_t) ω t + 1 = Π W ( ω t − η g t ) η > 0 \eta \gt 0 η > 0 g 1 , … , g T g_1, \dots, g_T g 1 , … , g T E [ g t ∣ ω t ] = ∇ f t ( ω t ) \mathbb{E}[g_t|\omega_t] = \nabla f_t(\omega_t) E [ g t ∣ ω t ] = ∇ f t ( ω t ) ∥ g t ∥ ≤ l \|g_t\| \leq l ∥ g t ∥ ≤ l l > 0 l \gt 0 l > 0 η = Λ l T \eta = \frac{\Lambda}{l\sqrt{T}} η = l T Λ
+∑ t = 1 T E [ f t ( ω t ) ] − min ω ∈ W ∑ t = 1 T f t ( ω ) ≤ l Λ T \begin{equation}
+\sum_{t=1}^{T} \mathbb{E}[f_t(\omega_t)] - \min_{\omega \in W} \sum_{t=1}^{T} f_t(\omega) \le l\Lambda \sqrt{T}
+\end{equation}
+ t = 1 ∑ T E [ f t ( ω t )] − ω ∈ W min t = 1 ∑ T f t ( ω ) ≤ l Λ T
+证明: ω ⋆ \omega^\star ω ⋆ W W W ∑ t = 1 T f t ( ω ) \sum_{t=1}^{T} f_t(\omega) ∑ t = 1 T f t ( ω ) f t f_t f t f t ( ω t ) f_t(\omega_t) f t ( ω t ) f t ( ω ⋆ ) f_t(\omega^\star) f t ( ω ⋆ )
+f t ( ω ⋆ ) − f t ( ω t ) ≥ ∇ f t ( ω t ) ⊤ ( ω ⋆ − ω t ) = E [ g t ∣ ω t ] ⊤ ( ω ⋆ − ω t ) \begin{equation}
+f_t(\omega^\star) - f_t(\omega_t) \ge \nabla f_t(\omega_t)^\top (\omega^\star − \omega_t) = \mathbb{E}[g_t|\omega_t]^\top (\omega^\star − \omega_t)
+\end{equation}
+ f t ( ω ⋆ ) − f t ( ω t ) ≥ ∇ f t ( ω t ) ⊤ ( ω ⋆ − ω t ) = E [ g t ∣ ω t ] ⊤ ( ω ⋆ − ω t )
+对该不等式取期望，得到：
+E [ f t ( ω t ) − f t ( ω ⋆ ) ] ≤ E [ g t ⊤ ( ω t − ω ⋆ ) ] \begin{equation}
+\mathbb{E}[f_t(\omega_t) − f_t(\omega^\star)] \leq \mathbb{E}[g_t^\top (\omega_t − \omega^\star)]
+\end{equation}
+ E [ f t ( ω t ) − f t ( ω ⋆ )] ≤ E [ g t ⊤ ( ω t − ω ⋆ )]
+我们使用 ∥ ω t − ω ⋆ ∥ 2 \|\omega_t − \omega^\star\|^2 ∥ ω t − ω ⋆ ∥ 2 ∥ Π W ( ω ) − ω ⋆ ∥ ≤ ∥ ω − ω ⋆ ∥ \|\Pi_W(\omega) − \omega^\star\| \leq \|\omega − \omega^\star\| ∥ Π W ( ω ) − ω ⋆ ∥ ≤ ∥ ω − ω ⋆ ∥
+∥ ω t + 1 − ω ⋆ ∥ 2 = ∥ Π W ( ω t − η g t ) − ω ⋆ ∥ 2 ≤ ∥ ω t − η g t − ω ⋆ ∥ 2 = ∥ ω t − ω ⋆ ∥ 2 + η 2 ∥ g t ∥ 2 − 2 η ( ω t − ω ⋆ ) ⊤ g t ≤ ∥ ω t − ω ⋆ ∥ 2 + η 2 l 2 − 2 η ( ω t − ω ⋆ ) ⊤ g t \begin{equation}
+\begin{align*}
+\|\omega_{t+1} − \omega^\star\|^2 &= \|\Pi_W(\omega_t − \eta g_t) − \omega^\star\|^2 \\
+&\leq \|\omega_t − \eta g_t − \omega^\star\|^2 \\
+&= \|\omega_t − \omega^\star\|^2 + \eta^2 \|g_t\|^2 − 2\eta (\omega_t − \omega^\star)^\top g_t \\
+&\leq \|\omega_t − \omega^\star\|^2 + \eta^2 l^2 − 2\eta (\omega_t − \omega^\star)^\top g_t
+\end{align*}
+\end{equation}
+ ∥ ω t + 1 − ω ⋆ ∥ 2 = ∥ Π W ( ω t − η g t ) − ω ⋆ ∥ 2 ≤ ∥ ω t − η g t − ω ⋆ ∥ 2 = ∥ ω t − ω ⋆ ∥ 2 + η 2 ∥ g t ∥ 2 − 2 η ( ω t − ω ⋆ ) ⊤ g t ≤ ∥ ω t − ω ⋆ ∥ 2 + η 2 l 2 − 2 η ( ω t − ω ⋆ ) ⊤ g t
+整理后得到：
+g t ⊤ ( ω t − ω ⋆ ) ≤ ∥ ω t − ω ⋆ ∥ 2 − ∥ ω t + 1 − ω ⋆ ∥ 2 + η 2 l 2 2 η \begin{equation}
+g_t^\top (\omega_t − \omega^\star) \leq \frac{\|\omega_t − \omega^\star\|^2 − \|\omega_{t+1} − \omega^\star\|^2 + \eta^2 l^2}{2\eta}
+\end{equation}
+ g t ⊤ ( ω t − ω ⋆ ) ≤ 2 η ∥ ω t − ω ⋆ ∥ 2 − ∥ ω t + 1 − ω ⋆ ∥ 2 + η 2 l 2
+因此，我们有：
+∑ t = 1 T E [ f t ( ω t ) ] − ∑ t = 1 T f t ( ω ⋆ ) = ∑ t = 1 T E [ f t ( ω t ) − f t ( ω ⋆ ) ] ≤ ∑ t = 1 T E [ g t ⊤ ( ω t − ω ⋆ ) ] ≤ ∑ t = 1 T E [ ∥ ω t − ω ⋆ ∥ 2 − ∥ ω t + 1 − ω ⋆ ∥ 2 + η 2 l 2 2 η ] = E [ ∥ ω 1 − ω ⋆ ∥ 2 ] − E [ ∥ ω T + 1 − ω ⋆ ∥ 2 ] 2 η + T η l 2 2 ≤ E [ ∥ ω 1 − ω ⋆ ∥ 2 ] 2 η + T η l 2 2 ≤ Λ 2 2 η + T η l 2 2 \begin{equation}
+\begin{align*}
+\sum_{t=1}^{T} \mathbb{E}[f_t(\omega_t)] − \sum_{t=1}^{T} f_t(\omega^\star) &= \sum_{t=1}^{T} \mathbb{E}[f_t(\omega_t) − f_t(\omega^\star)] \\
+&\leq \sum_{t=1}^{T} \mathbb{E}[g_t^\top (\omega_t − \omega^\star)] \\
+&\leq \sum_{t=1}^{T} \mathbb{E} \left[\frac{\|\omega_t − \omega^\star\|^2 − \|\omega_{t+1} − \omega^\star\|^2 + \eta^2 l^2}{2\eta}\right] \\
+&= \frac{\mathbb{E}[\|\omega_1 − \omega^\star\|^2] - \mathbb{E}[\|\omega_{T+1} − \omega^\star\|^2]}{2\eta} + \frac{T \eta l^2}{2} \\
+&\le \frac{\mathbb{E}[\|\omega_1 − \omega^\star\|^2]}{2\eta} + \frac{T \eta l^2}{2} \\
+&\le \frac{\Lambda^2}{2\eta} + \frac{T \eta l^2}{2}
+\end{align*}
+\end{equation}
+ t = 1 ∑ T E [ f t ( ω t )] − t = 1 ∑ T f t ( ω ⋆ ) = t = 1 ∑ T E [ f t ( ω t ) − f t ( ω ⋆ )] ≤ t = 1 ∑ T E [ g t ⊤ ( ω t − ω ⋆ )] ≤ t = 1 ∑ T E [ 2 η ∥ ω t − ω ⋆ ∥ 2 − ∥ ω t + 1 − ω ⋆ ∥ 2 + η 2 l 2 ] = 2 η E [ ∥ ω 1 − ω ⋆ ∥ 2 ] − E [ ∥ ω T + 1 − ω ⋆ ∥ 2 ] + 2 T η l 2 ≤ 2 η E [ ∥ ω 1 − ω ⋆ ∥ 2 ] + 2 T η l 2 ≤ 2 η Λ 2 + 2 T η l 2
+代入 η = Λ l T \eta = \frac{\Lambda}{l\sqrt{T}} η = l T Λ
+8.8 【证明补充】凸赌博机的缩减投影误差
+182页 中引理8.4给出了凸赌博机的缩减投影误差，我们在此给出完整的证明过程。
+设 f 1 , f 2 , … , f T : W → R f_1, f_2, \dots, f_T: W \to \mathbb{R} f 1 , f 2 , … , f T : W → R ∀ ω ∈ W , i ∈ [ T ] \forall \omega \in W,i \in [T] ∀ ω ∈ W , i ∈ [ T ] ∣ f i ( ω ) ∣ ≤ c |f_i(\omega)| \le c ∣ f i ( ω ) ∣ ≤ c
+min ω ∈ ( 1 − α ) W ∑ t = 1 T f t ( ω ) − min ω ∈ W ∑ t = 1 T f t ( ω ) ≤ 2 α c T \begin{equation}
+\min_{\omega \in (1−\alpha)W} \sum_{t=1}^T f_t(\omega) - \min_{\omega \in W} \sum_{t=1}^T f_t(\omega) \leq 2\alpha cT
+\end{equation}
+ ω ∈ ( 1 − α ) W min t = 1 ∑ T f t ( ω ) − ω ∈ W min t = 1 ∑ T f t ( ω ) ≤ 2 α c T
+证明
+显然，( 1 − α ) W ⊆ W (1−\alpha)W \subseteq W ( 1 − α ) W ⊆ W
+min ω ∈ ( 1 − α ) W ∑ t = 1 T f t ( ω ) = min ω ∈ W ∑ t = 1 T f t ( ( 1 − α ) ω ) \begin{equation}
+\min_{\omega \in (1−\alpha)W} \sum_{t=1}^T f_t(\omega) = \min_{\omega \in W} \sum_{t=1}^T f_t((1−\alpha)\omega)
+\end{equation}
+ ω ∈ ( 1 − α ) W min t = 1 ∑ T f t ( ω ) = ω ∈ W min t = 1 ∑ T f t (( 1 − α ) ω )
+由于每个f t f_t f t 0 ∈ W 0 \in W 0 ∈ W
+min ω ∈ W ∑ t = 1 T f t ( ( 1 − α ) ω ) ≤ min ω ∈ W ∑ t = 1 T α f t ( 0 ) + ( 1 − α ) f t ( ω ) = min ω ∈ W ∑ t = 1 T α ( f t ( 0 ) − f t ( ω ) ) + f t ( ω ) \begin{equation}
+\begin{align*}
+\min_{\omega \in W} \sum_{t=1}^T f_t((1−\alpha)\omega) &\leq \min_{\omega \in W} \sum_{t=1}^T \alpha f_t(0) + (1−\alpha) f_t(\omega) \\
+&= \min_{\omega \in W} \sum_{t=1}^T \alpha (f_t(0) − f_t(\omega)) + f_t(\omega)
+\end{align*}
+\end{equation}
+ ω ∈ W min t = 1 ∑ T f t (( 1 − α ) ω ) ≤ ω ∈ W min t = 1 ∑ T α f t ( 0 ) + ( 1 − α ) f t ( ω ) = ω ∈ W min t = 1 ∑ T α ( f t ( 0 ) − f t ( ω )) + f t ( ω )
+最后，由于对于任意ω ∈ W \omega \in W ω ∈ W t ∈ { 1 , … , T } t \in \{1, \dots, T\} t ∈ { 1 , … , T } ∣ f t ( ω ) ∣ ≤ c |f_t(\omega)| \leq c ∣ f t ( ω ) ∣ ≤ c
+∑ t = 1 T min ω ∈ W α ( f t ( 0 ) − f t ( ω ) ) + f t ( ω ) ≤ min ω ∈ W ∑ t = 1 T 2 α c + f t ( ω ) = 2 α c T + min ω ∈ W ∑ t = 1 T f t ( ω ) \begin{equation}
+\begin{align*}
+\sum_{t=1}^{T} \min_{\omega \in W} \alpha (f_t(0) − f_t(\omega)) + f_t(\omega) &\leq \min_{\omega \in W}\sum_{t=1}^{T} 2\alpha c + f_t(\omega) \\
+&= 2\alpha cT + \min_{\omega \in W} \sum_{t=1}^{T} f_t(\omega)
+\end{align*}
+\end{equation}
+ t = 1 ∑ T ω ∈ W min α ( f t ( 0 ) − f t ( ω )) + f t ( ω ) ≤ ω ∈ W min t = 1 ∑ T 2 α c + f t ( ω ) = 2 α c T + ω ∈ W min t = 1 ∑ T f t ( ω )
+进行适当移项即可得原不等式。
+8.9 【证明补充】凸赌博机的遗憾界
+182页 中定理8.5给出了凸赌博机的遗憾界，在证明开始时，作者对η , α , δ \eta,\alpha,\delta η , α , δ
+对于步长η \eta η E [ ∑ t = 1 T f ^ t ( z t ) ] − min w ∈ ( 1 − α ) W ∑ t = 1 T f ^ t ( w ) \mathbb{E}[\sum_{t=1}^T\hat f_t(z_t)]-\min_{w\in(1-\alpha)\mathcal{W}}\sum_{t=1}^T\hat f_t(w) E [ ∑ t = 1 T f ^ t ( z t )] − min w ∈ ( 1 − α ) W ∑ t = 1 T f ^ t ( w ) η = Λ l ′ T \eta=\frac{\Lambda}{l'\sqrt{T}} η = l ′ T Λ Λ = Λ 2 \Lambda=\Lambda_2 Λ = Λ 2 l ′ = d c δ l'=\frac{dc}{\delta} l ′ = δ d c η = Λ 2 ( d c / δ ) T \eta=\frac{\Lambda_2}{(dc/\delta)\sqrt T} η = ( d c / δ ) T Λ 2
+对于缩减系数α \alpha α δ \delta δ δ \delta δ
+f ( δ ) = A δ + B δ + C \begin{equation}
+f(\delta)=A\delta+\frac{B}{\delta}+C
+\end{equation}
+ f ( δ ) = A δ + δ B + C
+假设α \alpha α δ \delta δ
+A = 3 l T , B = d c Λ 2 T , C = 2 α c T \begin{equation}
+A=3lT,B=dc\Lambda_2\sqrt T,C=2\alpha cT
+\end{equation}
+ A = 3 lT , B = d c Λ 2 T , C = 2 α c T
+令f ′ ( δ ) = 0 f'(\delta)=0 f ′ ( δ ) = 0
+δ ∗ = T − 1 / 4 d c Λ 2 3 l \begin{equation}
+\delta^*=T^{-1/4}\sqrt{\frac{dc\Lambda_2}{3l}}
+\end{equation}
+ δ ∗ = T − 1/4 3 l d c Λ 2
+此时，f ( δ ) f(\delta) f ( δ )
+f ( δ ∗ ) = O ( T 3 / 4 ) \begin{equation}
+f(\delta^*)=O(T^{3/4})
+\end{equation}
+ f ( δ ∗ ) = O ( T 3/4 )
+如果我们想加速收敛，则可将α \alpha α δ \delta δ T T T δ → 0 \delta\rightarrow0 δ → 0 α = δ Λ 1 \alpha=\frac{\delta}{\Lambda_1} α = Λ 1 δ f ( δ ) f(\delta) f ( δ )
+δ ∗ = T − 1 / 4 d c Λ 1 Λ 2 3 ( l Λ 1 + c ) f ( δ ∗ ) = O ( T 3 / 4 ) \begin{equation}
+\begin{align*}
+&\delta^*=T^{-1/4}\sqrt{\frac{dc\Lambda_1\Lambda_2}{3(l\Lambda_1+c)}} \\
+&f(\delta^*)=O(T^{3/4})
+\end{align*}
+\end{equation}
+ δ ∗ = T − 1/4 3 ( l Λ 1 + c ) d c Λ 1 Λ 2 f ( δ ∗ ) = O ( T 3/4 )
+进一步地，可以发现，δ ∗ \delta^* δ ∗ δ ∗ = T − 1 / 4 d c Λ 1 Λ 2 3 l Λ 1 + 2 c \delta^*=T^{-1/4}\sqrt{\frac{dc\Lambda_1\Lambda_2}{3l\Lambda_1+2c}} δ ∗ = T − 1/4 3 l Λ 1 + 2 c d c Λ 1 Λ 2
+附录
+编辑：赵志民, 李一飞
+范数
+范数（norm）是数学中用于为向量空间中的每个非零向量分配严格正长度或大小的函数。几何上，范数可理解为向量的长度或大小。例如，绝对值是实数集上的一种范数。与之相对的是半范数（seminorm），它可以将非零向量赋予零长度。
+向量空间上的半范数需满足以下条件：
+
+半正定性（非负性） ：任何向量的范数总是非负的，对于任意向量 v v v ∥ v ∥ ≥ 0 \|v\| \geq 0 ∥ v ∥ ≥ 0 可伸缩性（齐次性） ：对于任意标量 a a a v v v a v av a v ∥ a v ∥ = ∣ a ∣ ∥ v ∥ \|av\| = |a|\|v\| ∥ a v ∥ = ∣ a ∣∥ v ∥ 次可加性（三角不等式） ：对于任何向量 v v v w w w u = v + w u=v+w u = v + w v v v w w w ∥ v + w ∥ ≤ ∥ v ∥ + ∥ w ∥ \|v+w\| \leq \|v\| + \|w\| ∥ v + w ∥ ≤ ∥ v ∥ + ∥ w ∥
+范数在具备上述半范数特性的基础上，还要求：对于任意向量 v v v ∥ v ∥ = 0 \|v\|=0 ∥ v ∥ = 0 v v v
+常用的向量范数包括：
+
+ℓ 0 \ell_0 ℓ 0 x x x ∥ x ∥ 0 = ∑ i = 1 n I ( x i ≠ 0 ) \|x\|_0=\sum_{i=1}^n \mathbb{I}(x_i\neq 0) ∥ x ∥ 0 = ∑ i = 1 n I ( x i = 0 ) ℓ 1 \ell_1 ℓ 1 x x x ∥ x ∥ 1 = ∑ i = 1 n ∣ x i ∣ \|x\|_1=\sum_{i=1}^n |x_i| ∥ x ∥ 1 = ∑ i = 1 n ∣ x i ∣ ℓ 2 \ell_2 ℓ 2 x x x ∥ x ∥ 2 = ∑ i = 1 n x i 2 \|x\|_2=\sqrt{\sum_{i=1}^n x_i^2} ∥ x ∥ 2 = ∑ i = 1 n x i 2 ℓ p \ell_p ℓ p x x x p p p p p p ∥ x ∥ p = ( ∑ i = 1 n ∣ x i ∣ p ) 1 p \|x\|_p=(\sum_{i=1}^n |x_i|^p)^{\frac{1}{p}} ∥ x ∥ p = ( ∑ i = 1 n ∣ x i ∣ p ) p 1 ℓ ∞ \ell_\infty ℓ ∞ x x x ∥ x ∥ ∞ = max i = 1 , ⋯ , n ∣ x i ∣ \|x\|_\infty=\max_{i=1,\cdots,n} |x_i| ∥ x ∥ ∞ = max i = 1 , ⋯ , n ∣ x i ∣ 加权范数 ：设 A A A n n n x x x ∥ x ∥ A = x T A x \|x\|_A=\sqrt{x^T A x} ∥ x ∥ A = x T A x
+凸集合
+凸集合（convex set）是向量空间（如欧几里得空间）中的一个子集，对于集合中的任意两点，连接它们的线段完全位于该集合内。换句话说，若一个集合包含了连接集合内任意两点的线段上的所有点，则该集合是凸集合。
+形式化地说，考虑向量空间 V \mathcal{V} V x x x y y y α ∈ [ 0 , 1 ] \alpha\in[0,1] α ∈ [ 0 , 1 ] α \alpha α α x + ( 1 − α ) y \alpha x+(1-\alpha)y αx + ( 1 − α ) y D \mathcal{D} D D ⊆ V \mathcal{D}\subseteq\mathcal{V} D ⊆ V
+凸集合具有非扩张性（non-expansiveness），即对于集合内的任意两点，连接这两点的线段完全包含在集合内。这种性质使得凸集合在许多数学环境中易于处理，特别是在优化问题中：在凸集合中找到的最小值或最大值必为全局值，没有局部最小值或最大值，从而简化了搜索过程。
+不仅凸集合具有非扩张性，映射到凸集合的投影操作也是非扩张的，即两点在凸集合上的投影之间的距离不大于两点本身之间的距离。形式上，对于闭合凸集合 K ⊆ R D K\subseteq\mathbb{R}^D K ⊆ R D Π : R D → K \Pi:\mathbb{R}^D\rightarrow K Π : R D → K
+Π ( x ) = arg min y ∈ K ∥ x − y ∥ 2 \begin{equation}
+\Pi(x)=\arg \min_{y\in K} \| x-y\|_2
+\end{equation}
+ Π ( x ) = arg y ∈ K min ∥ x − y ∥ 2
+即将一个向量映射到最接近它的凸集合中的点。投影算子 Π \Pi Π ℓ 2 \ell_2 ℓ 2 x , x ′ ∈ R D x,x'\in\mathbb{R}^D x , x ′ ∈ R D
+∥ Π ( x ) − Π ( x ′ ) ∥ 2 ≤ ∥ x − x ′ ∥ 2 \begin{equation}
+\| \Pi(x) - \Pi(x')\|_2 \leq \| x - x'\|_2
+\end{equation}
+ ∥Π ( x ) − Π ( x ′ ) ∥ 2 ≤ ∥ x − x ′ ∥ 2
+该性质证明如下：y = Π ( x ) y=\Pi(x) y = Π ( x ) x x x K K K y y y H = { z ∈ R D : ⟨ z − y , x − y ⟩ = 0 } H=\{z\in\mathbb{R}^D:\langle z-y,x-y\rangle=0\} H = { z ∈ R D : ⟨ z − y , x − y ⟩ = 0 } K K K u u u
+⟨ x − y , u − y ⟩ ≤ 0 \begin{equation}
+\langle x-y,u-y\rangle \leq 0
+\end{equation}
+ ⟨ x − y , u − y ⟩ ≤ 0
+同理，令 y ′ = Π ( x ′ ) y'=\Pi(x') y ′ = Π ( x ′ ) K K K u ′ u' u ′
+⟨ x ′ − y ′ , u ′ − y ′ ⟩ ≤ 0 \begin{equation}
+\langle x'-y',u'-y'\rangle \leq 0
+\end{equation}
+ ⟨ x ′ − y ′ , u ′ − y ′ ⟩ ≤ 0
+此时，令 u = y ′ u=y' u = y ′ u ′ = y u'=y u ′ = y
+⟨ x − y , y ′ − y ⟩ ≤ 0 ⟨ x ′ − y ′ , y − y ′ ⟩ ≤ 0 \begin{equation}
+\langle x-y,y'-y\rangle \leq 0 \\
+\langle x'-y',y-y'\rangle \leq 0
+\end{equation}
+ ⟨ x − y , y ′ − y ⟩ ≤ 0 ⟨ x ′ − y ′ , y − y ′ ⟩ ≤ 0
+将两个不等式相加可得：
+⟨ ( x − x ′ ) + ( y ′ − y ) , y ′ − y ⟩ ≤ 0 \begin{equation}
+\langle (x-x')+(y'-y),y'-y\rangle \leq 0
+\end{equation}
+ ⟨( x − x ′ ) + ( y ′ − y ) , y ′ − y ⟩ ≤ 0
+根据 Cauchy-Schwarz 不等式，有：
+∥ y − y ′ ∥ 2 2 ≤ ⟨ x − x ′ , y − y ′ ⟩ ≤ ∥ x − x ′ ∥ 2 ∥ y − y ′ ∥ 2 ⇒ ∥ y − y ′ ∥ 2 ≤ ∥ x − x ′ ∥ 2 ⇒ ∥ Π ( x ) − Π ( x ′ ) ∥ 2 ≤ ∥ x − x ′ ∥ 2 \begin{equation}
+\begin{align*}
+&\|y-y'\|_2^2 \leq \langle x-x',y-y'\rangle \leq \|x-x'\|_2\,\|y-y'\|_2\\
+\Rightarrow &\|y-y'\|_2 \leq \|x-x'\|_2 \\
+\Rightarrow &\|\Pi(x) - \Pi(x')\|_2 \leq \|x-x'\|_2
+\end{align*}
+\end{equation}
+ ⇒ ⇒ ∥ y − y ′ ∥ 2 2 ≤ ⟨ x − x ′ , y − y ′ ⟩ ≤ ∥ x − x ′ ∥ 2 ∥ y − y ′ ∥ 2 ∥ y − y ′ ∥ 2 ≤ ∥ x − x ′ ∥ 2 ∥Π ( x ) − Π ( x ′ ) ∥ 2 ≤ ∥ x − x ′ ∥ 2
+这种投影映射经常用于凸优化中，因为它能将问题简化为凸优化问题，从而提高算法效率，并在许多情况下保证全局最优解。
+Hessian 矩阵
+Hessian 矩阵 H f H_f H f f ( x ) f(x) f ( x )
+H f = [ ∂ 2 f ∂ x 1 2 ∂ 2 f ∂ x 1 ∂ x 2 ⋯ ∂ 2 f ∂ x 1 ∂ x n ∂ 2 f ∂ x 2 ∂ x 1 ∂ 2 f ∂ x 2 2 ⋯ ∂ 2 f ∂ x 2 ∂ x n ⋮ ⋮ ⋱ ⋮ ∂ 2 f ∂ x n ∂ x 1 ∂ 2 f ∂ x n ∂ x 2 ⋯ ∂ 2 f ∂ x n 2 ] . \begin{equation}
+\mathbf H_f= \begin{bmatrix}
+ \dfrac{\partial^2 f}{\partial x_1^2} & \dfrac{\partial^2 f}{\partial x_1\,\partial x_2} & \cdots & \dfrac{\partial^2 f}{\partial x_1\,\partial x_n} \\[2.2ex]
+ \dfrac{\partial^2 f}{\partial x_2\,\partial x_1} & \dfrac{\partial^2 f}{\partial x_2^2} & \cdots & \dfrac{\partial^2 f}{\partial x_2\,\partial x_n} \\[2.2ex]
+ \vdots & \vdots & \ddots & \vdots \\[2.2ex]
+ \dfrac{\partial^2 f}{\partial x_n\,\partial x_1} & \dfrac{\partial^2 f}{\partial x_n\,\partial x_2} & \cdots & \dfrac{\partial^2 f}{\partial x_n^2}
+\end{bmatrix}.
+\end{equation}
+ H f = ∂ x 1 2 ∂ 2 f ∂ x 2 ∂ x 1 ∂ 2 f ⋮ ∂ x n ∂ x 1 ∂ 2 f ∂ x 1 ∂ x 2 ∂ 2 f ∂ x 2 2 ∂ 2 f ⋮ ∂ x n ∂ x 2 ∂ 2 f ⋯ ⋯ ⋱ ⋯ ∂ x 1 ∂ x n ∂ 2 f ∂ x 2 ∂ x n ∂ 2 f ⋮ ∂ x n 2 ∂ 2 f .
+其中，x = [ x 1 , x 2 , ⋯ , x n ] x=[x_1,x_2,\cdots,x_n] x = [ x 1 , x 2 , ⋯ , x n ]
+凸函数
+凸函数（convex function）是定义在凸集上的实值函数，满足以下性质：对于定义域内的任意两个点 x x x y y y α ∈ [ 0 , 1 ] \alpha\in[0,1] α ∈ [ 0 , 1 ] α \alpha α
+f ( α x + ( 1 − α ) y ) ≤ α f ( x ) + ( 1 − α ) f ( y ) \begin{equation}
+f(\alpha x + (1-\alpha)y) \leq \alpha f(x) + (1-\alpha) f(y)
+\end{equation}
+ f ( αx + ( 1 − α ) y ) ≤ α f ( x ) + ( 1 − α ) f ( y )
+该不等式被称为凸性条件。
+除了上述定义，凸函数还有以下几种等价的定义方式：
+
+一阶条件 ：若一个定义在凸集上的函数 f ( x ) f(x) f ( x )
+f ( y ) ≥ f ( x ) + ∇ f ( x ) T ( y − x ) \begin{equation}
+f(y) \geq f(x) + \nabla f(x)^T(y - x)
+\end{equation}
+ f ( y ) ≥ f ( x ) + ∇ f ( x ) T ( y − x )
+其中，∇ f ( x ) \nabla f(x) ∇ f ( x ) f ( x ) f(x) f ( x ) x x x
+
+
+二阶条件 ：若函数 f ( x ) f(x) f ( x ) H f H_f H f x x x
+
+
+Jensen 不等式 ：若 f ( x ) f(x) f ( x ) x 1 , x 2 , ⋯ , x n {x_1, x_2, \cdots, x_n} x 1 , x 2 , ⋯ , x n w 1 , w 2 , ⋯ , w n {w_1, w_2, \cdots, w_n} w 1 , w 2 , ⋯ , w n ∑ i = 1 n w i = 1 \sum_{i=1}^n w_i=1 ∑ i = 1 n w i = 1
+
+
+f ( ∑ i = 1 n w i x i ) ≤ ∑ i = 1 n w i f ( x i ) \begin{equation}
+f(\sum_{i=1}^n w_i x_i) \leq \sum_{i=1}^n w_i f(x_i)
+\end{equation}
+ f ( i = 1 ∑ n w i x i ) ≤ i = 1 ∑ n w i f ( x i )
+
+上图集定义 ：凸函数与凸集合的概念密切相关。函数 f f f
+e p i ( f ) = { ( x , y ) ∣ x ∈ d o m ( f ) ， y ≥ f ( x ) } \begin{equation}
+epi(f) = \{(x, y) | x \in dom(f)，y \geq f(x)\}
+\end{equation}
+ e p i ( f ) = {( x , y ) ∣ x ∈ d o m ( f ) ， y ≥ f ( x )}
+其中，d o m ( f ) dom(f) d o m ( f ) f f f
+凸函数的一些特性包括：
+
+正比例性质 ：若函数 f ( x ) f(x) f ( x ) α > 0 \alpha \gt 0 α > 0 α f ( x ) \alpha f(x) α f ( x ) 正移位性质 ：若函数 f ( x ) f(x) f ( x ) c > 0 c \gt 0 c > 0 f ( x ) − c f(x) - c f ( x ) − c 加法性质 ：若 f ( x ) f(x) f ( x ) g ( x ) g(x) g ( x ) f ( x ) + g ( x ) f(x) + g(x) f ( x ) + g ( x )
+凹函数
+凹函数（concave function）的定义与凸函数相反。对于其定义域内的任意两个点 x x x y y y α ∈ [ 0 , 1 ] \alpha\in[0,1] α ∈ [ 0 , 1 ] α \alpha α
+f ( α x + ( 1 − α ) y ) ≥ α f ( x ) + ( 1 − α ) f ( y ) \begin{equation}
+f(\alpha x + (1-\alpha)y) \geq \alpha f(x) + (1-\alpha) f(y)
+\end{equation}
+ f ( αx + ( 1 − α ) y ) ≥ α f ( x ) + ( 1 − α ) f ( y )
+此不等式被称为凹性条件。
+其他定义与凸函数类似，这里不再赘述。值得注意的是，若函数 f ( x ) f(x) f ( x ) − f ( x ) -f(x) − f ( x )
+强凸函数
+若f ( x ) f(x) f ( x ) x , y ∈ d o m ( f ) x,y \in dom(f) x , y ∈ d o m ( f ) α ∈ [ 0 , 1 ] \alpha \in [0,1] α ∈ [ 0 , 1 ] λ > 0 \lambda \gt 0 λ > 0
+f ( α x + ( 1 − α ) y ) ≤ α f ( x ) + ( 1 − α ) f ( y ) − λ 2 α ( 1 − α ) ∥ x − y ∥ 2 2 \begin{equation}
+f(\alpha x + (1-\alpha)y) \leq \alpha f(x) + (1-\alpha)f(y) - \frac{\lambda}{2}\alpha(1-\alpha)\|x-y\|_2^2
+\end{equation}
+ f ( αx + ( 1 − α ) y ) ≤ α f ( x ) + ( 1 − α ) f ( y ) − 2 λ α ( 1 − α ) ∥ x − y ∥ 2 2
+此时，称 f ( x ) f(x) f ( x ) λ \lambda λ λ \lambda λ
+强凸函数的其他等价定义包括：
+
+
+Hessian 矩阵条件 ：若一个两次可微的函数 f ( x ) f(x) f ( x ) H f H_f H f x x x
+
+
+梯度条件 ：若一个可微函数 f ( x ) f(x) f ( x ) m m m x , y x,y x , y ∥ ∇ f ( x ) − ∇ f ( y ) ∥ 2 ≥ m ∥ x − y ∥ 2 \|\nabla f(x) - \nabla f(y)\|_2 \geq m \|x - y\|_2 ∥∇ f ( x ) − ∇ f ( y ) ∥ 2 ≥ m ∥ x − y ∥ 2 ∇ f ( x ) \nabla f(x) ∇ f ( x ) f ( x ) f(x) f ( x ) x x x
+
+
+直观上，对于强凸函数 f ( x ) f(x) f ( x ) 90页 中定理 7.2 的良好性质。
+以下给出定理 7.2 的证明：
+根据强凸函数的定义，取 x = w x = w x = w y = w ∗ y = w^* y = w ∗ α \alpha α
+f ( α w + ( 1 − α ) w ∗ ) α ≤ f ( w ) + 1 − α α f ( w ∗ ) − λ 2 ( 1 − α ) ∥ w − w ∗ ∥ 2 2 ⇒ λ 2 ( 1 − α ) ∥ w − w ∗ ∥ 2 2 ≤ f ( w ) − f ( w ∗ ) − f ( w ∗ + ( w − w ∗ ) α ) − f ( w ∗ ) α \begin{equation}
+\begin{align*}
+&\frac{f(\alpha w + (1-\alpha)w^*)}{\alpha} \leq f(w) + \frac{1-\alpha}{\alpha}f(w^*) - \frac{\lambda}{2}(1-\alpha)\|w-w^*\|_2^2 \\
+\Rightarrow &\frac{\lambda}{2}(1-\alpha)\|w-w^*\|_2^2 \leq f(w) - f(w^*) - \frac{f(w^* + (w-w^*)\alpha) - f(w^*)}{\alpha}
+\end{align*}
+\end{equation}
+ ⇒ α f ( α w + ( 1 − α ) w ∗ ) ≤ f ( w ) + α 1 − α f ( w ∗ ) − 2 λ ( 1 − α ) ∥ w − w ∗ ∥ 2 2 2 λ ( 1 − α ) ∥ w − w ∗ ∥ 2 2 ≤ f ( w ) − f ( w ∗ ) − α f ( w ∗ + ( w − w ∗ ) α ) − f ( w ∗ )
+令 α → 0 + \alpha \rightarrow 0^+ α → 0 +
+lim α → 0 + λ 2 ( 1 − α ) ∥ w − w ∗ ∥ 2 2 ≤ f ( w ) − f ( w ∗ ) + lim α → 0 + f ( w ∗ + ( w − w ∗ ) α ) − f ( w ∗ ) α ⇒ λ 2 ∥ w − w ∗ ∥ 2 2 ≤ f ( w ) − f ( w ∗ ) + ∇ f ( w ∗ ) T ( w − w ∗ ) \begin{equation}
+\begin{align*}
+&\lim_{\alpha\rightarrow 0^+}\frac{\lambda}{2}(1-\alpha)\|w-w^*\|_2^2 \leq f(w) - f(w^*) + \lim_{\alpha\rightarrow 0^+}\frac{f(w^* + (w-w^*)\alpha) - f(w^*)}{\alpha} \\
+\Rightarrow &\frac{\lambda}{2}\|w-w^*\|_2^2 \leq f(w) - f(w^*) + \nabla f(w^*)^T(w-w^*)
+\end{align*}
+\end{equation}
+ ⇒ α → 0 + lim 2 λ ( 1 − α ) ∥ w − w ∗ ∥ 2 2 ≤ f ( w ) − f ( w ∗ ) + α → 0 + lim α f ( w ∗ + ( w − w ∗ ) α ) − f ( w ∗ ) 2 λ ∥ w − w ∗ ∥ 2 2 ≤ f ( w ) − f ( w ∗ ) + ∇ f ( w ∗ ) T ( w − w ∗ )
+其中 Δ = ( w − w ∗ ) α \Delta = (w-w^*)\alpha Δ = ( w − w ∗ ) α
+由于 w ∗ w^* w ∗ ∇ f ( w ∗ ) = 0 \nabla f(w^*) = 0 ∇ f ( w ∗ ) = 0
+f ( w ) − f ( w ∗ ) ≥ λ 2 ∥ w − w ∗ ∥ 2 2 \begin{equation}
+f(w) - f(w^*) \geq \frac{\lambda}{2}\|w-w^*\|_2^2
+\end{equation}
+ f ( w ) − f ( w ∗ ) ≥ 2 λ ∥ w − w ∗ ∥ 2 2
+指数凹函数
+若函数 f ( x ) f(x) f ( x ) exp ( f ( x ) ) \exp(f(x)) exp ( f ( x )) f ( x ) f(x) f ( x ) exp ( f ( x ) ) \exp(f(x)) exp ( f ( x )) f ( x ) f(x) f ( x ) f ( x ) f(x) f ( x ) exp ( − f ( x ) ) \exp(-f(x)) exp ( − f ( x ))
+指数凹函数的一些特性包括：
+
+正比例性质 ：若函数 f ( x ) f(x) f ( x ) α \alpha α α f ( x ) \alpha f(x) α f ( x ) 负移位性质 ：若函数 f ( x ) f(x) f ( x ) c c c f ( x ) − c f(x) - c f ( x ) − c
+指数凹函数提供了一种灵活且富有表现力的方式来建模各种现象。它能捕捉广泛的形状和行为。例如，在凸优化中使用指数凹函数可以加快迭代优化算法（如梯度下降或牛顿法）的收敛速度。因此，指数凹函数在处理概率模型或存在不确定性的场景中具有重要意义，特别是在限制或量化不确定性方面。
+凸优化
+凸优化（convex optimization）是优化理论的一个分支，研究的是在凸函数的凸集上进行优化的问题。凸优化的目标是在满足一组凸约束条件的情况下，找到凸目标函数的最小值。
+一般形式的凸优化问题可以表示为：
+min f 0 ( x ) s . t . f i ( x ) ≤ 0 , i ∈ [ m ] g j ( x ) = 0 , j ∈ [ n ] \begin{equation}
+\begin{align*}
+&\min\ &f_0(x) \\
+&s.t.\ &f_i(x) \leq 0, &i\in[m] \\
+&\ &g_j(x) = 0, &j\in[n]
+\end{align*}
+\end{equation}
+ min s . t . f 0 ( x ) f i ( x ) ≤ 0 , g j ( x ) = 0 , i ∈ [ m ] j ∈ [ n ]
+其中，f 0 ( x ) f_0(x) f 0 ( x ) f i ( x ) f_i(x) f i ( x ) g j ( x ) g_j(x) g j ( x )
+凸优化具有以下有利特性，使其成为一个被广泛研究和应用的领域：
+
+
+全局最优性 ：凸优化问题的一个关键性质是，任何局部最小值也是全局最小值。此性质确保凸优化算法找到的解是给定凸集中的最优解。
+
+
+高效算法 ：凸优化拥有多项式时间内找到最优解的高效算法。这些算法基于凸目标函数和约束条件的凸性，能够有效解决复杂的优化问题。
+
+
+广泛应用 ：凸优化在工程学、金融学、机器学习、运筹学和信号处理等领域有着广泛的应用。它被用于解决如投资组合优化、信号重构、资源分配和机器学习模型训练等问题。凸优化技术，如线性规划、二次规划和半定规划，构成了许多优化算法的基础，为高效解决复杂优化问题提供了强大工具。
+
+
+以下证明凸函数任何局部最优解均为全局最优解的性质。
+假设 f ( x ) f(x) f ( x ) x ∗ x^* x ∗ f f f D \mathcal{D} D y y y y − x ∗ y-x^* y − x ∗ α > 0 \alpha \gt 0 α > 0
+f ( x ∗ ) ≤ f ( x ∗ + α ( y − x ∗ ) ) \begin{equation}
+f(x^*) \leq f(x^* + \alpha(y-x^*))
+\end{equation}
+ f ( x ∗ ) ≤ f ( x ∗ + α ( y − x ∗ ))
+由 f f f
+f ( x ∗ + α ( y − x ∗ ) ) = f ( ( 1 − α ) x ∗ + α y ) ≤ ( 1 − α ) f ( x ∗ ) + α f ( y ) \begin{equation}
+f(x^* + \alpha(y-x^*)) = f((1-\alpha)x^* + \alpha y) \leq (1-\alpha)f(x^*) + \alpha f(y)
+\end{equation}
+ f ( x ∗ + α ( y − x ∗ )) = f (( 1 − α ) x ∗ + α y ) ≤ ( 1 − α ) f ( x ∗ ) + α f ( y )
+结合以上两式，可得：
+f ( x ∗ ) ≤ ( 1 − α ) f ( x ∗ ) + α f ( y ) r i g h t a r r o w f ( x ∗ ) ≤ f ( y ) \begin{equation}
+\begin{align*}
+&f(x^*) \leq (1-\alpha)f(x^*) + \alpha f(y) \\
+rightarrow &f(x^*) \leq f(y)
+\end{align*}
+\end{equation}
+ r i g h t a rro w f ( x ∗ ) ≤ ( 1 − α ) f ( x ∗ ) + α f ( y ) f ( x ∗ ) ≤ f ( y )
+由于 y y y D \mathcal{D} D x ∗ x^* x ∗ f ( x ) f(x) f ( x ) − f ( x ) -f(x) − f ( x )
+仿射
+仿射变换（Affine transformation），又称仿射映射，是指在几何中，对一个向量空间进行一次线性变换并加上一个平移，变换为另一个向量空间。若该线性映射被表示为矩阵 A A A b ⃗ \vec{b} b f f f
+y ⃗ = f ( x ⃗ ) = A x ⃗ + b ⃗ \begin{equation}
+\vec{y} = f(\vec{x}) = A\vec{x} + \vec{b}
+\end{equation}
+ y = f ( x ) = A x + b
+其中，A A A
+仿射变换具有以下性质：
+
+点之间的共线性 ：在同一条直线上的三个或更多的点（即共线点）在变换后依然位于同一条直线上（共线）。直线的平行性 ：两条或以上的平行直线在变换后仍保持平行。集合的凸性 ：凸集合在变换后依然是凸集合，且最初的极值点被映射到变换后的极值点集。平行线段的长度比例恒定 ：两条由点 p 1 , p 2 , p 3 , p 4 p_1, p_2, p_3, p_4 p 1 , p 2 , p 3 , p 4 p 1 p 2 → p 3 p 4 → = f ( p 1 ) f ( p 2 ) → f ( p 3 ) f ( p 4 ) → \frac{\overrightarrow{p_1p_2}}{\overrightarrow{p_3p_4}} = \frac{\overrightarrow{f(p_1)f(p_2)}}{\overrightarrow{f(p_3)f(p_4)}} p 3 p 4 p 1 p 2 = f ( p 3 ) f ( p 4 ) f ( p 1 ) f ( p 2 ) 质心位置恒定 ：不同质量的点组成集合的质心位置在仿射变换后保持不变。
+仿射集（affine set）是指欧氏空间 R n R^n R n S S S x , y ∈ S x,y\in S x , y ∈ S ∀ λ ∈ [ 0 , 1 ] \forall \lambda\in[0,1] ∀ λ ∈ [ 0 , 1 ] ( 1 − λ ) x + λ y ∈ S (1-\lambda)x+\lambda y\in S ( 1 − λ ) x + λ y ∈ S S S S R n R^n R n
+仿射包（affine hull/span）是包含集合 S S S S S S S S S a f f ( S ) aff(S) a ff ( S )
+a f f ( S ) = { ∑ i = 1 k α i x i ∣ k > 0 , x i ∈ S , α i ∈ R , ∑ i = 1 k α i = 1 } \begin{equation}
+aff(S) = \{\sum_{i=1}^k \alpha_i x_i \mid k\gt0, x_i\in S, \alpha_i\in R, \sum_{i=1}^k \alpha_i = 1\}
+\end{equation}
+ a ff ( S ) = { i = 1 ∑ k α i x i ∣ k > 0 , x i ∈ S , α i ∈ R , i = 1 ∑ k α i = 1 }
+仿射包具有以下性质：
+
+a f f ( a f f ( S ) ) = a f f ( S ) aff(aff(S)) = aff(S) a ff ( a ff ( S )) = a ff ( S ) a f f ( S + T ) = a f f ( S ) + a f f ( T ) aff(S + T) = aff(S) + aff(T) a ff ( S + T ) = a ff ( S ) + a ff ( T ) 若 S S S a f f ( S ) aff(S) a ff ( S )
+
+Slater条件/定理
+关于强对偶性的讨论，11页 已给出了详细说明，此处不再赘述。这里着重讨论 11页 左下角附注提到的 Slater 条件，即：
+存在一点 x ∈ relint ( D ) x\in \text{relint}(D) x ∈ relint ( D )
+f i ( x ) < 0 , i ∈ [ m ] \begin{equation}
+\begin{align*}
+f_i(x) \lt 0, &\quad i\in[m]
+\end{align*}
+\end{equation}
+ f i ( x ) < 0 , i ∈ [ m ]
+其中，D = ⋂ 0 m dom ( f i ) D = \bigcap_0^m \text{dom}(f_i) D = ⋂ 0 m dom ( f i ) r e l i n t ( D ) relint(D) re l in t ( D ) D D D r e l i n t ( D ) = int ( a f f ( D ) ) relint(D) = \text{int}(aff(D)) re l in t ( D ) = int ( a ff ( D ))
+当满足 Slater 条件且原始问题为凸优化问题时：
+
+强对偶性成立。
+对偶最优解集合非空且有界。
+
+这就是 Slater 定理。
+证明
+首先证明对偶间隙（Duality Gap）为零，即原始问题与对偶问题的目标函数值之差 p ∗ − d ∗ = 0 p^* - d^* = 0 p ∗ − d ∗ = 0 V ⊂ R m × R \mathcal{V}\subset \mathbb{R}^m \times \mathbb{R} V ⊂ R m × R
+V : = { ( u , w ) ∈ R m × R ∣ f 0 ( x ) ≤ w , f i ( x ) ≤ u i , ∀ i ∈ [ m ] , ∀ x } \begin{equation}
+\mathcal{V}:=\{(u,w)\in\mathbb{R}^m \times \mathbb{R} \mid f_0(x) \le w, f_i(x) \le u_i, \forall i\in[m], \forall x\}
+\end{equation}
+ V := {( u , w ) ∈ R m × R ∣ f 0 ( x ) ≤ w , f i ( x ) ≤ u i , ∀ i ∈ [ m ] , ∀ x }
+集合 V \mathcal{V} V
+
+它是凸集合，可由 f i , i ∈ { 0 } ∪ [ m ] f_i,\ i\in\{0\}\cup[m] f i , i ∈ { 0 } ∪ [ m ]
+若 ( u , w ) ∈ V (u,w)\in\mathcal{V} ( u , w ) ∈ V ( u ′ , w ′ ) ⪰ ( u , w ) (u',w')\succeq(u,w) ( u ′ , w ′ ) ⪰ ( u , w ) ( u ′ , w ′ ) ∈ V (u',w')\in\mathcal{V} ( u ′ , w ′ ) ∈ V
+
+易证向量 ( 0 , p ∗ ) ∉ i n t ( V ) (0,p^*)\notin int(\mathcal{V}) ( 0 , p ∗ ) ∈ / in t ( V ) ε > 0 \varepsilon \gt 0 ε > 0 ( 0 , p ∗ − ε ) ∈ i n t ( V ) (0,p^*-\varepsilon)\in int(\mathcal{V}) ( 0 , p ∗ − ε ) ∈ in t ( V ) p ∗ p^* p ∗ ( 0 , p ∗ ) ∈ ∂ V (0,p^*)\in \partial\mathcal{V} ( 0 , p ∗ ) ∈ ∂ V ( 0 , p ∗ ) ∉ V (0,p^*)\notin\mathcal{V} ( 0 , p ∗ ) ∈ / V ( λ , λ 0 ) ∈ R m × R (\lambda,\lambda_0)\in \mathbb{R}^m \times \mathbb{R} ( λ , λ 0 ) ∈ R m × R
+( λ , λ 0 ) T ( u , w ) = λ T u + λ 0 w ≥ λ 0 p ∗ , ∀ ( u , w ) ∈ V \begin{equation}
+(\lambda,\lambda_0)^T(u,w) = \lambda^Tu + \lambda_0w \ge \lambda_0p^*, \forall(u,w)\in\mathcal{V}
+\end{equation}
+ ( λ , λ 0 ) T ( u , w ) = λ T u + λ 0 w ≥ λ 0 p ∗ , ∀ ( u , w ) ∈ V
+在此情况下，必然有 λ ⪰ 0 \lambda \succeq 0 λ ⪰ 0 λ 0 ≥ 0 \lambda_0 \geq 0 λ 0 ≥ 0 λ \lambda λ λ 0 \lambda_0 λ 0 V \mathcal{V} V ( u , w ) (u, w) ( u , w ) V \mathcal{V} V
+因此，只需考虑两种情况：
+
+λ 0 = 0 \lambda_0 = 0 λ 0 = 0
+inf ( u , w ) ∈ V λ T u = 0 \begin{equation}
+\inf_{(u,w)\in\mathcal{V}}\lambda^Tu = 0
+\end{equation}
+ ( u , w ) ∈ V inf λ T u = 0
+另一方面，根据 V \mathcal{V} V λ ⪰ 0 \lambda\succeq 0 λ ⪰ 0 λ ≠ 0 \lambda \neq 0 λ = 0
+inf ( u , w ) ∈ V λ T u = inf x ∑ i = 1 m λ i f i ( x ) ≤ ∑ i = 1 m λ i f i ( x ˉ ) < 0 \begin{equation}
+\inf_{(u,w)\in\mathcal{V}}\lambda^Tu = \inf_{x}\sum_{i=1}^m \lambda_i f_i(x) \leq \sum_{i=1}^m \lambda_i f_i(\bar{x}) \lt 0
+\end{equation}
+ ( u , w ) ∈ V inf λ T u = x inf i = 1 ∑ m λ i f i ( x ) ≤ i = 1 ∑ m λ i f i ( x ˉ ) < 0
+其中，x ˉ \bar{x} x ˉ λ 0 ≠ 0 \lambda_0 \neq 0 λ 0 = 0
+
+λ 0 > 0 \lambda_0 \gt 0 λ 0 > 0 λ 0 \lambda_0 λ 0
+inf ( u , w ) ∈ V { λ ~ T u + w } ≥ p ∗ \begin{equation}
+\inf_{(u,w)\in\mathcal{V}}\{\tilde\lambda^Tu + w\} \ge p^*
+\end{equation}
+ ( u , w ) ∈ V inf { λ ~ T u + w } ≥ p ∗
+其中，λ ~ : = λ λ 0 ⪰ 0 \tilde\lambda := \frac{\lambda}{\lambda_0}\succeq 0 λ ~ := λ 0 λ ⪰ 0
+考虑拉格朗日函数 L : R n × R n → R L:\mathbb{R}^n \times \mathbb{R}^n \rightarrow \mathbb{R} L : R n × R n → R
+L ( x , λ ~ ) : = f 0 ( x ) + ∑ i = 1 m λ ~ i f i ( x ) \begin{equation}
+L(x,\tilde\lambda) := f_0(x) + \sum_{i=1}^m \tilde\lambda_i f_i(x)
+\end{equation}
+ L ( x , λ ~ ) := f 0 ( x ) + i = 1 ∑ m λ ~ i f i ( x )
+其对偶函数为：
+g ( λ ~ ) : = inf x L ( x , λ ~ ) ≥ p ∗ \begin{equation}
+g(\tilde\lambda) := \inf_{x} L(x,\tilde\lambda) \ge p^*
+\end{equation}
+ g ( λ ~ ) := x inf L ( x , λ ~ ) ≥ p ∗
+其对偶问题为：
+max λ g ( λ ) , λ ⪰ 0 \begin{equation}
+\max_{\lambda} g(\lambda), \lambda\succeq 0
+\end{equation}
+ λ max g ( λ ) , λ ⪰ 0
+因此，可得 d ∗ ≥ p ∗ d^* \geq p^* d ∗ ≥ p ∗ d ∗ ≤ p ∗ d^* \leq p^* d ∗ ≤ p ∗ d ∗ = p ∗ d^* = p^* d ∗ = p ∗
+接着证明对偶问题最优解集合非空且有界。对于任意对偶最优解 λ ~ ⪰ 0 \tilde\lambda\succeq 0 λ ~ ⪰ 0
+d ∗ = g ( λ ~ ) = inf x { f 0 ( x ) + ∑ i = 1 m λ ~ i f i ( x ) } ≤ f 0 ( x ˉ ) + ∑ i = 1 m λ ~ i f i ( x ˉ ) ≤ f 0 ( x ˉ ) + max i ∈ [ m ] { f i ( x ˉ ) } [ ∑ i = 1 m λ ~ i ] \begin{equation}
+\begin{align*}
+d^* = g(\tilde\lambda) &= \inf_{x} \{f_0(x) + \sum_{i=1}^m \tilde\lambda_i f_i(x)\} \\
+&\leq f_0(\bar{x}) + \sum_{i=1}^m \tilde\lambda_i f_i(\bar{x}) \\
+&\leq f_0(\bar{x}) + \max_{i\in[m]}\{f_i(\bar{x})\}[\sum_{i=1}^m \tilde\lambda_i]
+\end{align*}
+\end{equation}
+ d ∗ = g ( λ ~ ) = x inf { f 0 ( x ) + i = 1 ∑ m λ ~ i f i ( x )} ≤ f 0 ( x ˉ ) + i = 1 ∑ m λ ~ i f i ( x ˉ ) ≤ f 0 ( x ˉ ) + i ∈ [ m ] max { f i ( x ˉ )} [ i = 1 ∑ m λ ~ i ]
+因此，有：
+min i ∈ [ m ] { − f i ( x ˉ ) } [ ∑ i = 1 m λ ~ i ] ≤ f 0 ( x ˉ ) − d ∗ \begin{equation}
+\min_{i\in[m]}\{-f_i(\bar{x})\}[\sum_{i=1}^m \tilde\lambda_i] \leq f_0(\bar{x}) - d^*
+\end{equation}
+ i ∈ [ m ] min { − f i ( x ˉ )} [ i = 1 ∑ m λ ~ i ] ≤ f 0 ( x ˉ ) − d ∗
+进而得出：
+∥ λ ~ ∥ ≤ ∑ i = 1 m λ ~ i ≤ f 0 ( x ˉ ) − d ∗ min i ∈ [ m ] { − f i ( x ˉ ) } < ∞ \begin{equation}
+\|\tilde\lambda\| \leq \sum_{i=1}^m \tilde\lambda_i \leq \frac{f_0(\bar{x}) - d^*}{\min_{i\in[m]}\{-f_i(\bar{x})\}} \lt \infty
+\end{equation}
+ ∥ λ ~ ∥ ≤ i = 1 ∑ m λ ~ i ≤ min i ∈ [ m ] { − f i ( x ˉ )} f 0 ( x ˉ ) − d ∗ < ∞
+其中，最后一个不等式依据 Slater 条件得出。□ \square □
+KKT条件
+KKT条件（Karush-Kuhn-Tucker条件）在凸优化领域具有至关重要的地位。虽然在12-13页 中对其进行了基本解释，此处将进行更为深入的分析。KKT条件中的符号 λ i , i ∈ [ m ] \lambda_i,\ i\in[m] λ i , i ∈ [ m ] μ i , i ∈ [ n ] \mu_i,\ i\in[n] μ i , i ∈ [ n ] m = 0 m=0 m = 0
+证明
+首先，对于 x ∗ , ( μ ∗ , λ ∗ ) x^*,(\mu^*,\lambda^*) x ∗ , ( μ ∗ , λ ∗ )
+固定 ( μ ∗ , λ ∗ ) (\mu^*,\lambda^*) ( μ ∗ , λ ∗ ) x x x x ∗ x^* x ∗
+固定 x x x ( μ ∗ , λ ∗ ) (\mu^*,\lambda^*) ( μ ∗ , λ ∗ )
+充分性 ：若解对 x ∗ , ( μ ∗ , λ ∗ ) x^*,(\mu^*,\lambda^*) x ∗ , ( μ ∗ , λ ∗ )
+必要性 ：任意解对 x ∗ , ( μ ∗ , λ ∗ ) x^*,(\mu^*,\lambda^*) x ∗ , ( μ ∗ , λ ∗ ) □ \square □
+在此对 KKT 和 Slater 条件进行区分：
+
+
+KKT条件 是一组用于确定约束优化问题中解的最优性的条件。它们通过将约束纳入条件，扩展了无约束优化中设定目标函数梯度为零的思路到约束优化问题中。Slater条件 是凸优化中确保强对偶性的特定约束条件，即主问题和对偶问题最优解的等价性。
+
+
+KKT条件包括对偶问题的约束、互补松弛条件、主问题约束和稳定性。它们整合了目标和约束函数的梯度以及 KKT 乘子，以形成最优性条件。
+
+
+当点满足 KKT 条件时，表明问题的局部最优解已找到。这些条件弥合了主问题和对偶问题之间的差距，对于分析和解决约束优化问题至关重要。
+
+
+KKT条件 较为通用，适用于更广泛的优化问题类别，包括非凸问题。Slater条件 则特定于凸优化问题，用于确保这些问题中的强对偶性。
+
+
+对于凸且可微的问题，满足 KKT 条件意味着最优性和强对偶性。相反，最优性和强对偶性意味着所有问题的 KKT 条件得到满足。
+
+
+KKT条件和 Slater 条件通常被归类为“正则条件”（regularity condition）或“约束资格”（constraint qualification）。这些条件为优化问题提供了一个结构化的框架，以便在约束情况下分析和确定解的最优性。更多的正则条件详见参考文献：On regularity conditions in mathematical programming 。
+偏序集
+序理论（Order Theory）是数学的一个分支，它的核心思想是通过定义某种“序”来描述元素之间的相对关系。在序理论中，一个偏序集（partial order set，简称 poset）包含一个非空集合 P P P ≤ \leq ≤
+
+自反性（Reflexivity） ：对于 P P P a a a a ≤ a a \leq a a ≤ a 反对称性（Antisymmetry） ：对于 P P P a a a b b b a ≤ b a \leq b a ≤ b b ≤ a b \leq a b ≤ a a = b a = b a = b 传递性（Transitivity） ：对于 P P P a a a b b b c c c a ≤ b a \leq b a ≤ b b ≤ c b \leq c b ≤ c a ≤ c a \leq c a ≤ c
+这些条件定义了偏序关系，使其与全序（total order）关系不同。在偏序集中，可能存在某些元素是不可比较的，即对于 P P P a a a b b b a ≤ b a \leq b a ≤ b b ≤ a b \leq a b ≤ a
+上下界
+上界（upper bound 或 majorant）是与偏序集有关的特殊元素，指偏序集中大于或等于其子集中一切元素的元素。若数集 S S S R R R S S S
+尾界
+**尾界（tail bound）**是指给定一个随机变量，其概率分布尾部部分的界限。上尾界（upper tail bound）描述随机变量在其分布上尾处的概率上限，而下尾界（lower tail bound）描述随机变量在其分布下尾处的概率上限。Chebyshev 不等式、Hoeffding 不等式和 Bernstein 不等式都是尾界的例子，它们提供了随机变量偏离其期望值的概率界限。
+置信界
+**置信界（confidence bound）**是在估计一个未知参数时，给出一个包含该参数的区间，并且这个区间具有特定的置信水平。例如，一个95%的置信区间意味着我们有95%的信心该区间包含真实的参数值。置信界可以是上置信界（upper confidence bound），下置信界（lower confidence bound），或同时包含上下界的置信区间（confidence interval）。上置信界提供对参数估计的可能最大值的上限，下置信界提供对参数估计的可能最小值的下限。
+连续性
+连续性（continuity）表示函数在某处的变化不会突然中断或跳跃。形式上，如果函数 f ( x ) f(x) f ( x ) x = a x = a x = a
+
+函数 f ( x ) f(x) f ( x ) x = a x = a x = a
+当 x x x a a a f ( x ) f(x) f ( x ) f ( a ) f(a) f ( a )
+
+连续性意味着输入的微小变化导致输出的微小变化。如果一个函数在其定义域的每个点上都是连续的，则称其为连续函数。
+Lipschitz 连续性是连续性的更强形式，它要求函数在变化速度方面有界。具体而言，如果存在一个常数 L L L L L L L − L i p s c h i t z L-Lipschitz L − L i p sc hi t z
+∀ x , y ∈ dom ( f ) , ∃ L > 0 使得 ∥ f ( x ) − f ( y ) ∥ 2 ≤ L ∥ x − y ∥ 2 \begin{equation}
+\forall x,y\in \text{dom}(f),\ \exists L \gt 0\ \text{使得}\ \|f(x)-f(y)\|_2 \leq L\|x-y\|_2
+\end{equation}
+ ∀ x , y ∈ dom ( f ) , ∃ L > 0 使得 ∥ f ( x ) − f ( y ) ∥ 2 ≤ L ∥ x − y ∥ 2
+其中，L L L L L L L L L
+事实上，如果一个函数的导数有界，那么它一定是 Lipschitz 连续的；反之，如果一个可微函数是 Lipschitz 连续的，那么它的导数一定有界。
+证明如下：
+
+若函数 f ( x ) f(x) f ( x ) L ≥ 0 L \ge 0 L ≥ 0 x x x ∣ f ′ ( x ) ∣ ≤ L |f'(x)| \leq L ∣ f ′ ( x ) ∣ ≤ L x ≤ y x \le y x ≤ y c ∈ [ x , y ] c \in [x,y] c ∈ [ x , y ]
+
+∥ f ( x ) − f ( y ) ∥ 2 = ∥ f ′ ( c ) ∥ 2 ∥ x − y ∥ 2 ⇒ ∥ f ( x ) − f ( y ) ∥ 2 ≤ L ∥ x − y ∥ 2 \begin{equation}
+\begin{align*}
+&\|f(x)-f(y)\|_2 = \|f'(c)\|_2\|x-y\|_2 \\
+\Rightarrow &\|f(x)-f(y)\|_2 \le L \|x-y\|_2
+\end{align*}
+\end{equation}
+ ⇒ ∥ f ( x ) − f ( y ) ∥ 2 = ∥ f ′ ( c ) ∥ 2 ∥ x − y ∥ 2 ∥ f ( x ) − f ( y ) ∥ 2 ≤ L ∥ x − y ∥ 2
+此时，函数是 L − L i p s c h i t z L-Lipschitz L − L i p sc hi t z
+
+若函数 f ( x ) f(x) f ( x ) L − L i p s c h i t z L-Lipschitz L − L i p sc hi t z x , y x,y x , y
+
+∥ f ( x ) − f ( y ) ∥ 2 ≤ L ∥ x − y ∥ 2 \begin{equation}
+\|f(x)-f(y)\|_2 \le L\|x-y\|_2
+\end{equation}
+ ∥ f ( x ) − f ( y ) ∥ 2 ≤ L ∥ x − y ∥ 2
+根据微分中值定理，对于任意 x ≤ y x \le y x ≤ y c ∈ [ x , y ] c \in [x,y] c ∈ [ x , y ]
+∥ f ( x ) − f ( y ) ∥ 2 = ∥ f ′ ( c ) ∥ 2 ∥ x − y ∥ 2 \begin{equation}
+\|f(x)-f(y)\|_2 = \|f'(c)\|_2\|x-y\|_2
+\end{equation}
+ ∥ f ( x ) − f ( y ) ∥ 2 = ∥ f ′ ( c ) ∥ 2 ∥ x − y ∥ 2
+不妨令 x → y x \rightarrow y x → y c → y c \rightarrow y c → y f ( y ) f(y) f ( y )
+∥ f ′ ( y ) ∥ 2 = ∥ lim x → y f ( x ) − f ( y ) x − y ∥ 2 = lim x → y ∥ f ( x ) − f ( y ) ∥ 2 ∥ x − y ∥ 2 ≤ lim x → y L = L \begin{equation}
+\|f'(y)\|_2 = \|\lim_{x \rightarrow y}\frac{f(x)-f(y)}{x-y}\|_2 = \lim_{x \rightarrow y}\frac{\|f(x)-f(y)\|_2}{\|x-y\|_2} \le \lim_{x \rightarrow y} L = L
+\end{equation}
+ ∥ f ′ ( y ) ∥ 2 = ∥ x → y lim x − y f ( x ) − f ( y ) ∥ 2 = x → y lim ∥ x − y ∥ 2 ∥ f ( x ) − f ( y ) ∥ 2 ≤ x → y lim L = L
+因为 y y y
+连续性关注函数图像中跳跃或中断的缺失，而 Lipschitz 连续性关注函数的变化速度。因此，Lipschitz 连续性是比连续性更严格的条件。一个连续函数不一定是 Lipschitz 连续的，因为连续性不要求函数变化速度有界。然而，一个 Lipschitz 连续的函数必然是连续的，因为 Lipschitz 连续性蕴含连续性。
+Lipschitz 连续性的性质在数学的各个领域中广泛应用，如分析、优化和微分方程研究。它在保证某些数学问题的解的存在性、唯一性和稳定性方面起着关键作用。
+光滑性
+在数学分析中，函数的光滑性（smoothness）通过函数在某个域（称为可微性类）上的连续导数的数量来衡量。最基本的情况下，如果一个函数在每个点上都可导（因此连续），则可以认为它是光滑的。
+一方面，光滑性确保了梯度下降等优化算法能够更快收敛，并减少可能遇到的梯度震荡或发散的情况。
+另一方面，光滑性提供了函数曲率的信息，从而帮助设计更有效的优化算法，如加速梯度下降法或牛顿法。
+在优化理论中，L L L L L L L L L x , y ∈ R n x,y \in \mathbb{R}^n x , y ∈ R n L > 0 L \gt 0 L > 0
+∥ ∇ f ( x ) − ∇ f ( y ) ∥ 2 ≤ L ∥ x − y ∥ 2 \begin{equation}
+\|\nabla f(x) - \nabla f(y)\|_2 \leq L \|x - y\|_2
+\end{equation}
+ ∥∇ f ( x ) − ∇ f ( y ) ∥ 2 ≤ L ∥ x − y ∥ 2
+或者等价地，
+∥ ∇ 2 f ( x ) ∥ 2 ≤ L \begin{equation}
+\|\nabla^2 f(x)\|_2 \leq L
+\end{equation}
+ ∥ ∇ 2 f ( x ) ∥ 2 ≤ L
+或者等价地，
+f ( y ) ≤ f ( x ) + ⟨ ∇ f ( x ) , y − x ⟩ + L 2 ∥ y − x ∥ 2 2 \begin{equation}
+f(y) \leq f(x) + \langle \nabla f(x), y - x \rangle + \frac{L}{2}\|y - x\|_2^2
+\end{equation}
+ f ( y ) ≤ f ( x ) + ⟨ ∇ f ( x ) , y − x ⟩ + 2 L ∥ y − x ∥ 2 2
+以上三种定义方式是等价的，且 L L L
+接下来我们证明这些定义的等价性。首先，我们证明定义1可以推导出定义2。
+考虑函数 f f f ∇ f ( x ) \nabla f(x) ∇ f ( x )
+∇ f ( y ) = ∇ f ( x ) + ∇ 2 f ( ξ ) ( y − x ) \begin{equation}
+\nabla f(y) = \nabla f(x) + \nabla^2 f(\xi)(y - x)
+\end{equation}
+ ∇ f ( y ) = ∇ f ( x ) + ∇ 2 f ( ξ ) ( y − x )
+其中 ξ \xi ξ x x x y y y ∇ 2 f ( ξ ) \nabla^2 f(\xi) ∇ 2 f ( ξ ) ξ \xi ξ
+根据 L L L
+∥ ∇ f ( y ) − ∇ f ( x ) ∥ 2 ≤ L ∥ y − x ∥ 2 \begin{equation}
+\|\nabla f(y) - \nabla f(x)\|_2 \leq L \|y - x\|_2
+\end{equation}
+ ∥∇ f ( y ) − ∇ f ( x ) ∥ 2 ≤ L ∥ y − x ∥ 2
+将二阶泰勒展开的结果代入其中：
+∥ ∇ 2 f ( ξ ) ( y − x ) ∥ 2 ≤ L ∥ y − x ∥ 2 \begin{equation}
+\|\nabla^2 f(\xi)(y - x)\|_2 \leq L \|y - x\|_2
+\end{equation}
+ ∥ ∇ 2 f ( ξ ) ( y − x ) ∥ 2 ≤ L ∥ y − x ∥ 2
+对于任意的非零向量 v = y − x v = y - x v = y − x
+v ′ = v ∥ v ∥ 2 \begin{equation}
+v' = \frac{v}{\|v\|_2}
+\end{equation}
+ v ′ = ∥ v ∥ 2 v
+我们得到：
+∥ ∇ 2 f ( ξ ) v ′ ∥ 2 ≤ L \begin{equation}
+\|\nabla^2 f(\xi) v'\|_2 \leq L
+\end{equation}
+ ∥ ∇ 2 f ( ξ ) v ′ ∥ 2 ≤ L
+由于 v ′ v' v ′ ∇ 2 f ( ξ ) \nabla^2 f(\xi) ∇ 2 f ( ξ ) L L L
+∥ ∇ 2 f ( ξ ) ∥ 2 ≤ L \begin{equation}
+\|\nabla^2 f(\xi)\|_2 \leq L
+\end{equation}
+ ∥ ∇ 2 f ( ξ ) ∥ 2 ≤ L
+其中，由于 ξ \xi ξ x x x y y y
+接下来我们证明定义2可以推导出定义3。由定义2，给定 f f f L L L x , y ∈ R n x, y \in \mathbb{R}^n x , y ∈ R n
+f ( y ) ≤ f ( x ) + ⟨ ∇ f ( x ) , y − x ⟩ + L 2 ∥ y − x ∥ 2 2 \begin{equation}
+f(y) \leq f(x) + \langle \nabla f(x), y - x \rangle + \frac{L}{2} \|y - x\|_2^2
+\end{equation}
+ f ( y ) ≤ f ( x ) + ⟨ ∇ f ( x ) , y − x ⟩ + 2 L ∥ y − x ∥ 2 2
+将定义中的 x x x y y y
+f ( x ) ≤ f ( y ) + ⟨ ∇ f ( y ) , x − y ⟩ + L 2 ∥ x − y ∥ 2 2 \begin{equation}
+f(x) \leq f(y) + \langle \nabla f(y), x - y \rangle + \frac{L}{2} \|x - y\|_2^2
+\end{equation}
+ f ( x ) ≤ f ( y ) + ⟨ ∇ f ( y ) , x − y ⟩ + 2 L ∥ x − y ∥ 2 2
+将两个不等式相加可得：
+⟨ ∇ f ( x ) − ∇ f ( y ) , x − y ⟩ ≤ L ∥ x − y ∥ 2 2 \begin{equation}
+\langle \nabla f(x) - \nabla f(y), x - y \rangle \leq L \|x - y\|_2^2
+\end{equation}
+ ⟨ ∇ f ( x ) − ∇ f ( y ) , x − y ⟩ ≤ L ∥ x − y ∥ 2 2
+注意到不等式左侧的内积无论如何取值，该不等式均成立。
+根据 Cauchy-Schwarz 不等式，当 y − x y - x y − x ∇ f ( x ) − ∇ f ( y ) \nabla f(x) - \nabla f(y) ∇ f ( x ) − ∇ f ( y ) ∥ ∇ f ( x ) − ∇ f ( y ) ∥ 2 ∥ x − y ∥ 2 \|\nabla f(x) - \nabla f(y)\|_2 \|x - y\|_2 ∥∇ f ( x ) − ∇ f ( y ) ∥ 2 ∥ x − y ∥ 2
+∥ ∇ f ( x ) − ∇ f ( y ) ∥ 2 ∥ x − y ∥ 2 ≤ L ∥ x − y ∥ 2 2 \begin{equation}
+\|\nabla f(x) - \nabla f(y)\|_2 \|x - y\|_2 \leq L \|x - y\|_2^2
+\end{equation}
+ ∥∇ f ( x ) − ∇ f ( y ) ∥ 2 ∥ x − y ∥ 2 ≤ L ∥ x − y ∥ 2 2
+化简后即得证。
+这里对光滑性和 L i p s c h i t z Lipschitz L i p sc hi t z
+
+L i p s c h i t z Lipschitz L i p sc hi t z L i p s c h i t z Lipschitz L i p sc hi t z
+次梯度
+次梯度（subgradient）是凸函数导数的推广形式。某些凸函数在特定区域内可能不存在导数，但我们依旧可以用次梯度来表示该区域内函数变化率的下界。形式上，对于凸函数 f ( x ) f(x) f ( x ) x 0 x_0 x 0 c c c
+f ( x ) − f ( x 0 ) ≥ c ( x − x 0 ) \begin{equation}
+f(x) - f(x_0) \geq c(x - x_0)
+\end{equation}
+ f ( x ) − f ( x 0 ) ≥ c ( x − x 0 )
+根据微分中值定理的逆命题，c c c [ a , b ] [a,b] [ a , b ] a , b a,b a , b f ( x ) f(x) f ( x ) x 0 x_0 x 0
+a = lim x → x 0 − f ( x ) − f ( x 0 ) x − x 0 , b = lim x → x 0 + f ( x ) − f ( x 0 ) x − x 0 \begin{equation}
+a = \lim_{x \rightarrow x_0^-}\frac{f(x) - f(x_0)}{x - x_0},\ b = \lim_{x \rightarrow x_0^+}\frac{f(x) - f(x_0)}{x - x_0}
+\end{equation}
+ a = x → x 0 − lim x − x 0 f ( x ) − f ( x 0 ) , b = x → x 0 + lim x − x 0 f ( x ) − f ( x 0 )
+此时，次梯度 c c c [ a , b ] [a,b] [ a , b ] ∂ f ( x 0 ) \partial f(x_0) ∂ f ( x 0 ) a = b a = b a = b c c c
+次梯度在机器学习领域广泛应用，特别是在训练支持向量机（SVM）和其他具有非可微损失函数的模型中。它们还构成了随机次梯度方法的基础，这些方法在处理大规模机器学习问题时非常有效。
+对偶空间
+线性泛函（linear functional）是指从向量空间 V V V k k k x , y ∈ V x,y \in V x , y ∈ V α ∈ k \alpha \in k α ∈ k
+f ( x + y ) = f ( x ) + f ( y ) f ( α x ) = α f ( x ) \begin{equation}
+\begin{align*}
+&f(x+y) = f(x) + f(y) \\
+&f(\alpha x) = \alpha f(x)
+\end{align*}
+\end{equation}
+ f ( x + y ) = f ( x ) + f ( y ) f ( αx ) = α f ( x )
+所有从 V V V k k k V V V V ∗ = Hom k ( V , k ) V^* = \text{Hom}_k(V,k) V ∗ = Hom k ( V , k )
+Legendre变换
+将函数转换为另一种函数，常用于改变其定义域和属性，使问题更简单或更易分析。Legendre 变换（Legendre transform）常用于将一组独立变量转换为另一组独立变量，特别是在经典力学和热力学中。以下是 Legendre 变换的基本概念和步骤：
+
+定义函数 ：假设有一个凸函数 f ( x ) f(x) f ( x ) x x x 定义共轭变量 ：定义新的变量 p p p f ( x ) f(x) f ( x ) p = d f ( x ) d x p = \frac{d f(x)}{dx} p = d x df ( x ) 定义共轭函数 ：定义新的函数 g ( p ) g(p) g ( p ) g ( p ) = x ⋅ p − f ( x ) g(p) = x \cdot p - f(x) g ( p ) = x ⋅ p − f ( x ) x x x f ( x ) f(x) f ( x ) g ( p ) g(p) g ( p ) 变换关系 ：通过 Legendre 变换，从原来的函数 f ( x ) f(x) f ( x ) g ( p ) g(p) g ( p ) g ( p ) g(p) g ( p ) p p p
+共轭函数
+凸共轭（convex conjugate）是 Legendre 变换的一种推广，因此也被称为 Legendre-Fenchel 变换（Legendre-Fenchel transform）。通过凸共轭变换，原函数可以转换为凸函数，从而利用凸函数的性质来解决原问题。
+形式上，对于函数 f ( x ) f(x) f ( x ) f ∗ ( y ) f^*(y) f ∗ ( y )
+f ∗ ( y ) = sup x ∈ dom ( f ) ( y T x − f ( x ) ) \begin{equation}
+f^*(y) = \sup_{x \in \text{dom}(f)}(y^T x - f(x))
+\end{equation}
+ f ∗ ( y ) = x ∈ dom ( f ) sup ( y T x − f ( x ))
+其中，dom ( f ) \text{dom}(f) dom ( f ) f ( x ) f(x) f ( x )
+共轭函数具有以下一些有用的性质：
+
+凸性 ：函数 f ( x ) f(x) f ( x ) f ∗ ( y ) f^*(y) f ∗ ( y )
+f ∗ ( λ y 1 + ( 1 − λ ) y 2 ) = sup x ∈ dom ( f ) { x T ( λ y 1 + ( 1 − λ ) y 2 ) − f ( x ) } ≤ λ sup x ∈ dom ( f ) { x T y 1 − f ( x ) } + ( 1 − λ ) sup x ∈ dom ( f ) { x T y 2 − f ( x ) } = λ f ∗ ( y 1 ) + ( 1 − λ ) f ∗ ( y 2 ) \begin{equation}
+\begin{align*}
+f^*(\lambda y_1+(1-\lambda)y_2) &= \sup_{x\in \text{dom}(f)}\{x^T(\lambda y_1+(1-\lambda)y_2)-f(x)\}\\
+&\leq \lambda \sup_{x\in \text{dom}(f)}\{x^T y_1 - f(x)\} + (1-\lambda)\sup_{x\in \text{dom}(f)}\{x^T y_2 - f(x)\}\\
+&= \lambda f^*(y_1) + (1-\lambda)f^*(y_2)
+\end{align*}
+\end{equation}
+ f ∗ ( λ y 1 + ( 1 − λ ) y 2 ) = x ∈ dom ( f ) sup { x T ( λ y 1 + ( 1 − λ ) y 2 ) − f ( x )} ≤ λ x ∈ dom ( f ) sup { x T y 1 − f ( x )} + ( 1 − λ ) x ∈ dom ( f ) sup { x T y 2 − f ( x )} = λ f ∗ ( y 1 ) + ( 1 − λ ) f ∗ ( y 2 )
+其中的不等式利用了凸性的性质。
+
+逆序性 ：对于定义域中所有元素 x x x f ( x ) ≤ g ( x ) f(x) \leq g(x) f ( x ) ≤ g ( x ) f ∗ ( y ) ≥ g ∗ ( y ) f^*(y) \geq g^*(y) f ∗ ( y ) ≥ g ∗ ( y )
+由于 f ( x ) ≤ g ( x ) f(x) \leq g(x) f ( x ) ≤ g ( x ) x T y − f ( x ) ≥ x T y − g ( x ) x^T y - f(x) \geq x^T y - g(x) x T y − f ( x ) ≥ x T y − g ( x )
+f ∗ ( y ) = sup x ∈ dom ( f ) { x T y − f ( x ) } ≥ sup x ∈ dom ( f ) { x T y − g ( x ) } = g ∗ ( y ) \begin{equation}
+f^*(y) = \sup_{x\in \text{dom}(f)}\{x^T y - f(x)\} \geq \sup_{x\in \text{dom}(f)}\{x^T y - g(x)\} = g^*(y)
+\end{equation}
+ f ∗ ( y ) = x ∈ dom ( f ) sup { x T y − f ( x )} ≥ x ∈ dom ( f ) sup { x T y − g ( x )} = g ∗ ( y )
+
+极值变换 ：若 f f f ∀ y \forall y ∀ y
+f ∗ ( y ) ≤ f ∗ ( ∇ f ( x ) ) = ∇ f ∗ ( x ) T x − f ( x ) = − [ f ( x ) + ∇ f ( x ) T ( 0 − x ) ] \begin{equation}
+f^*(y) \leq f^*(\nabla f(x)) = \nabla f^*(x)^T x - f(x) = -[f(x) + \nabla f(x)^T(0 - x)]
+\end{equation}
+ f ∗ ( y ) ≤ f ∗ ( ∇ f ( x )) = ∇ f ∗ ( x ) T x − f ( x ) = − [ f ( x ) + ∇ f ( x ) T ( 0 − x )]
+此性质即书中的（1.10），完整证明如下：
+为了在 f ∗ f^* f ∗ x x x
+d d x ( x T y − f ( x ) ) = y − ∇ f ( x ) = 0 \begin{equation}
+\frac{d}{dx}(x^T y − f(x)) = y − \nabla f(x) = 0
+\end{equation}
+ d x d ( x T y − f ( x )) = y − ∇ f ( x ) = 0
+此时有 y = ∇ f ( x ) y = \nabla f(x) y = ∇ f ( x )
+σ-代数
+σ-代数（或 σ-域）是测度论和概率论中的一个重要概念。σ-代数是一个满足特定封闭性质的集合族，使我们能够对这些集合定义一致的测度（如概率）。具体来说，σ-代数是一个集合族，满足以下三个性质：
+
+包含全集 ：如果 F \mathcal{F} F X X X X X X F \mathcal{F} F X ∈ F X \in \mathcal{F} X ∈ F 对补集封闭 ：如果 A A A F \mathcal{F} F X ∖ A X \setminus A X ∖ A F \mathcal{F} F A ∈ F ⟹ X ∖ A ∈ F A \in \mathcal{F} \implies X \setminus A \in \mathcal{F} A ∈ F ⟹ X ∖ A ∈ F 对可数并封闭 ：如果 A 1 , A 2 , A 3 , … A_1, A_2, A_3, \ldots A 1 , A 2 , A 3 , … F \mathcal{F} F ⋃ i = 1 ∞ A i \bigcup_{i=1}^{\infty} A_i ⋃ i = 1 ∞ A i F \mathcal{F} F A i ∈ F A_i \in \mathcal{F} A i ∈ F i ∈ N i \in \mathbb{N} i ∈ N ⋃ i = 1 ∞ A i ∈ F \bigcup_{i=1}^{\infty} A_i \in \mathcal{F} ⋃ i = 1 ∞ A i ∈ F
+σ-代数在测度论中尤为重要，因为它为定义测度提供了必要的框架。测度是定义在 σ-代数上的集合函数，用于度量集合的“大小”。在概率论中，σ-代数用于定义事件空间，从而定义概率测度。
+过滤
+σ-代数 F \mathcal{F} F { F t } t ∈ T \{\mathcal{F}_t\}_{t \in T} { F t } t ∈ T
+
+每个 F t \mathcal{F}_t F t ：对于每个时刻 t t t F t \mathcal{F}_t F t X X X 单调性 ：对于任意的 t 1 ≤ t 2 t_1 \leq t_2 t 1 ≤ t 2 F t 1 ⊆ F t 2 \mathcal{F}_{t_1} \subseteq \mathcal{F}_{t_2} F t 1 ⊆ F t 2
+鞅
+鞅（Martingale）是概率论中的一个重要概念，用于描述某些类型的随机过程。鞅过程的特点是，其未来期望值在已知当前信息的条件下等于当前值。
+形式化定义
+设 { X t } \{X_t\} { X t } { F t } \{\mathcal{F}_t\} { F t } t t t { X t } \{X_t\} { X t }
+
+适应性（Adaptedness） ：对于每一个 t t t X t X_t X t F t \mathcal{F}_t F t X t X_t X t t t t 积分性（Integrability） ：对于所有 t t t E [ ∣ X t ∣ ] < ∞ \mathbb{E}[|X_t|] \lt \infty E [ ∣ X t ∣ ] < ∞ 鞅性质（Martingale Property） ：对于所有 t t t s ≥ t s \geq t s ≥ t E [ X s ∣ F t ] = X t \mathbb{E}[X_s \mid \mathcal{F}_t] = X_t E [ X s ∣ F t ] = X t t t t F t \mathcal{F}_t F t s s s t t t
+直观解释
+鞅的定义保证了在已知当前信息的条件下，未来值的期望等于当前值，这反映了一种“无偏性”。因此，鞅过程可以被看作是一种“公平游戏”。设想一个赌徒在赌场中进行赌博，如果这个赌徒的资金变化形成一个鞅过程，那么在任何时刻，给定当前的资金情况，未来资金的期望值都是当前的资金，表示没有系统性的赢或输的趋势。
+举例说明
+考虑一个简单的随机游走过程，其中 X t + 1 = X t + Z t + 1 X_{t+1} = X_t + Z_{t+1} X t + 1 = X t + Z t + 1 Z t + 1 Z_{t+1} Z t + 1 + 1 +1 + 1 − 1 -1 − 1 50 % 50\% 50% X 0 = 0 X_0 = 0 X 0 = 0 { X t } \{X_t\} { X t }
+鞅的类型
+除了标准的鞅，还有两个相关的概念：
+
+超鞅（Submartingale） ：若对于所有 t t t s ≥ t s \geq t s ≥ t E [ X s ∣ F t ] ≥ X t \mathbb{E}[X_s \mid \mathcal{F}_t] \geq X_t E [ X s ∣ F t ] ≥ X t { X t } \{X_t\} { X t } 亚鞅（Supermartingale） ：若对于所有 t t t s ≥ t s \geq t s ≥ t E [ X s ∣ F t ] ≤ X t \mathbb{E}[X_s \mid \mathcal{F}_t] \leq X_t E [ X s ∣ F t ] ≤ X t { X t } \{X_t\} { X t }
+一个区分超鞅和亚鞅的记忆方法是：“生活是一个超鞅：随着时间的推进，期望降低。”
+鞅差序列
+鞅差 D t D_t D t D t = X t − X t − 1 D_t = X_t - X_{t-1} D t = X t − X t − 1 { D t } \{D_t\} { D t }
+
+适应性（Adaptedness） ：对于每一个 t t t D t D_t D t F t \mathcal{F}_t F t 零条件期望（Zero Conditional Expectation） ：对于所有 t t t E [ D t ∣ F t − 1 ] = 0 \mathbb{E}[D_t \mid \mathcal{F}_{t-1}] = 0 E [ D t ∣ F t − 1 ] = 0 F t − 1 \mathcal{F}_{t-1} F t − 1 D t D_t D t
+虽然鞅差序列中的每个元素的条件期望为零，但这并不意味着这些元素是独立的。相反，它们可以有复杂的依赖关系。鞅差序列的关键性质是每个元素在条件期望下为零，这使得它在分析鞅和集中不等式（如 Bernstein 不等式）中非常有用。
+KL 散度
+KL 散度（Kullback-Leibler 散度），也称为相对熵，是一种用于衡量两个概率分布之间差异的非对称度量，在信息论和统计学中广泛应用。KL 散度衡量的是在使用近似分布时，相比于使用真实分布，所增加的“信息损失”或“不确定性”。
+定义
+假设有两个概率分布 P P P Q Q Q P P P Q Q Q D K L ( P ∥ Q ) D_{KL}(P \| Q) D K L ( P ∥ Q )
+D K L ( P ∥ Q ) = ∑ x P ( x ) ln P ( x ) Q ( x ) \begin{equation}
+D_{KL}(P \| Q) = \sum_{x} P(x) \ln \frac{P(x)}{Q(x)}
+\end{equation}
+ D K L ( P ∥ Q ) = x ∑ P ( x ) ln Q ( x ) P ( x )
+对于连续分布：
+D K L ( P ∥ Q ) = ∫ − ∞ + ∞ p ( x ) ln p ( x ) q ( x ) d x \begin{equation}
+D_{KL}(P \| Q) = \int_{-\infty}^{+\infty} p(x) \ln \frac{p(x)}{q(x)} \, dx
+\end{equation}
+ D K L ( P ∥ Q ) = ∫ − ∞ + ∞ p ( x ) ln q ( x ) p ( x ) d x
+其中，P ( x ) P(x) P ( x ) Q ( x ) Q(x) Q ( x ) P P P Q Q Q x x x
+性质
+
+非负性 ：KL 散度总是非负的，即 D K L ( P ∥ Q ) ≥ 0 D_{KL}(P \| Q) \geq 0 D K L ( P ∥ Q ) ≥ 0 P P P Q Q Q
+非负性的证明
+KL 散度的非负性可以通过 Jensen 不等式来证明。首先，考虑离散情况下的 KL 散度定义：
+D K L ( P ∥ Q ) = ∑ x P ( x ) ln P ( x ) Q ( x ) \begin{equation}
+D_{KL}(P \| Q) = \sum_{x} P(x) \ln \frac{P(x)}{Q(x)}
+\end{equation}
+ D K L ( P ∥ Q ) = x ∑ P ( x ) ln Q ( x ) P ( x )
+由于对数函数是一个凹函数，可以应用 Jensen 不等式。对于凹函数 f f f X X X
+f ( E [ X ] ) ≥ E [ f ( X ) ] \begin{equation}
+f(\mathbb{E}[X]) \geq \mathbb{E}[f(X)]
+\end{equation}
+ f ( E [ X ]) ≥ E [ f ( X )]
+将 f ( x ) = ln ( x ) f(x) = \ln(x) f ( x ) = ln ( x ) X = Q ( x ) P ( x ) X = \frac{Q(x)}{P(x)} X = P ( x ) Q ( x )
+ln ( E [ Q ( x ) P ( x ) ] ) ≥ E [ ln ( Q ( x ) P ( x ) ) ] \begin{equation}
+\ln(\mathbb{E}[\frac{Q(x)}{P(x)}]) \geq \mathbb{E}[\ln(\frac{Q(x)}{P(x)})]
+\end{equation}
+ ln ( E [ P ( x ) Q ( x ) ]) ≥ E [ ln ( P ( x ) Q ( x ) )]
+因为 ∑ x P ( x ) = 1 \sum_{x} P(x) = 1 ∑ x P ( x ) = 1 Q ( x ) ≥ 0 Q(x) \geq 0 Q ( x ) ≥ 0
+E [ Q ( x ) P ( x ) ] = ∑ x P ( x ) Q ( x ) P ( x ) = ∑ x Q ( x ) = 1 \begin{equation}
+\mathbb{E}[\frac{Q(x)}{P(x)}] = \sum_{x} P(x) \frac{Q(x)}{P(x)} = \sum_{x} Q(x) = 1
+\end{equation}
+ E [ P ( x ) Q ( x ) ] = x ∑ P ( x ) P ( x ) Q ( x ) = x ∑ Q ( x ) = 1
+于是，有：
+0 = ln ( 1 ) ≥ ∑ x P ( x ) ln ( Q ( x ) P ( x ) ) \begin{equation}
+0 = \ln(1) \geq \sum_{x} P(x) \ln(\frac{Q(x)}{P(x)})
+\end{equation}
+ 0 = ln ( 1 ) ≥ x ∑ P ( x ) ln ( P ( x ) Q ( x ) )
+即：
+D K L ( P ∥ Q ) = ∑ x P ( x ) ln ( P ( x ) Q ( x ) ) ≥ 0 \begin{equation}
+D_{KL}(P \| Q) = \sum_{x} P(x) \ln(\frac{P(x)}{Q(x)}) \geq 0
+\end{equation}
+ D K L ( P ∥ Q ) = x ∑ P ( x ) ln ( Q ( x ) P ( x ) ) ≥ 0
+
+非对称性 ：D K L ( P ∥ Q ) ≠ D K L ( Q ∥ P ) D_{KL}(P \| Q) \neq D_{KL}(Q \| P) D K L ( P ∥ Q ) = D K L ( Q ∥ P ) P P P Q Q Q
+应用
+
+机器学习 ：在训练过程中，KL 散度常用于优化目标函数，例如变分自编码器（VAE）和生成对抗网络（GAN）。通过最小化 KL 散度，可以使近似分布 Q Q Q P P P 信息论 ：用于测量编码方案的效率，评估数据压缩方案等。统计学 ：用于假设检验和模型选择。
+先验和后验
+先验（Prior）和后验（Posterior）是贝叶斯统计中的两个核心概念，用于描述不确定性和信息更新的过程。
+先验概率（Prior Probability）
+定义 ：先验概率是指在获得新数据之前，根据已有的知识或经验对某一事件或参数的初始估计。先验概率反映了在观察到新数据之前，我们对某一事件或参数的不确定性。
+表示方法 ：用 P ( θ ) P(\theta) P ( θ ) θ \theta θ
+作用 ：先验概率提供了一个起点，在进行贝叶斯推断时，它与新的数据结合，更新我们的认知。
+后验概率（Posterior Probability）
+定义 ：后验概率是指在获得新数据之后，根据贝叶斯定理更新的某一事件或参数的概率分布。后验概率反映了在观察到新数据之后，我们对某一事件或参数的不确定性。
+表示方法 ：用 P ( θ ∣ D ) P(\theta \mid D) P ( θ ∣ D ) θ \theta θ D D D
+计算方法 ：根据贝叶斯定理，后验概率可以通过先验概率、似然函数和边际似然计算得到：
+P ( θ ∣ D ) = P ( D ∣ θ ) P ( θ ) P ( D ) \begin{equation}
+P(\theta \mid D) = \frac{P(D \mid \theta) P(\theta)}{P(D)}
+\end{equation}
+ P ( θ ∣ D ) = P ( D ) P ( D ∣ θ ) P ( θ )
+其中：
+
+P ( θ ∣ D ) P(\theta \mid D) P ( θ ∣ D ) P ( D ∣ θ ) P(D \mid \theta) P ( D ∣ θ ) θ \theta θ D D D P ( θ ) P(\theta) P ( θ ) P ( D ) P(D) P ( D ) D D D
+拓扑向量空间
+拓扑向量空间（Topological Vector Space，简称 TVS）是一个定义在拓扑域 K \mathbb{K} K ⋅ + ⋅ : X × X → X \cdot\, + \,\cdot\; : X \times X \to X ⋅ + ⋅ : X × X → X ⋅ : K × X → X \cdot : \mathbb{K} \times X \to X ⋅ : K × X → X X X X 向量拓扑 或TVS 拓扑 。
+拓扑向量空间是数学分析和函数空间理论中的重要概念，它们将向量空间的代数结构与拓扑空间的结构相结合，从而使我们能够更好地理解向量空间中的连续性和收敛性。
+超平面
+超平面（Hyperplane）是指一个比所在拓扑向量空间少一维的平滑仿射子空间。
+假设有一个超平面，其由以下方程定义：
+n ⋅ x = c \begin{equation}
+\mathbf{n} \cdot \mathbf{x} = c
+\end{equation}
+ n ⋅ x = c
+其中，n \mathbf{n} n x \mathbf{x} x c c c
+两个半空间分别由以下不等式定义：
+n ⋅ x ≥ c \begin{equation}
+\mathbf{n} \cdot \mathbf{x} \geq c
+\end{equation}
+ n ⋅ x ≥ c
+和
+n ⋅ x ≤ c \begin{equation}
+\mathbf{n} \cdot \mathbf{x} \leq c
+\end{equation}
+ n ⋅ x ≤ c
+这些不等式中的每一个代表了超平面两侧的一个半空间，满足其中一个不等式的点位于相应的半空间中。
+紧空间
+紧空间（Compact Space）在数学中是一种具有特殊性质的空间，即它在某种意义上表现得像“有限的”，即使它可能看起来非常大，甚至是无限的。
+一个空间被称为紧致的，如果可以用有限数量的小而重叠的片段完全覆盖整个空间。换句话说，即使这个空间本身可能非常大或无限大，但紧致性意味着总能用有限数量的部分来描述它的全貌。
+紧空间可以理解为一种“有限”或“被包含”的空间。这种空间不会让你“无限延伸”，而是会将你限制在某个范围内。想象你在一个小岛上，无论你走到哪里，总会遇到岛的边缘——你不能无限制地前进，总有一个尽头。这类似于紧空间。
+相反地，如果你在一片无边无际的沙漠中，可以一直走下去而永远不会到达尽头，这类似于非紧空间。在紧空间中，总有一种“有限”的感觉，而在非紧空间中，感觉像是没有尽头的延伸。
+Taylor展开
+Taylor展开 （Taylor Expansion）是用多项式来近似一个函数的工具。它表示一个函数在某一点附近的值为该函数在该点的导数信息的线性组合，从而通过简单的多项式来逼近复杂的函数。
+定义：
+给定一个在某点 a a a f ( x ) f(x) f ( x ) Taylor 展开 在点 a a a
+f ( x ) = f ( a ) + f ′ ( a ) ( x − a ) + f ′ ′ ( a ) 2 ! ( x − a ) 2 + f ( 3 ) ( a ) 3 ! ( x − a ) 3 + ⋯ + f ( n ) ( a ) n ! ( x − a ) n + R n ( x ) \begin{equation}
+f(x) = f(a) + f'(a)(x - a) + \frac{f''(a)}{2!}(x - a)^2 + \frac{f^{(3)}(a)}{3!}(x - a)^3 + \dots + \frac{f^{(n)}(a)}{n!}(x - a)^n + R_n(x)
+\end{equation}
+ f ( x ) = f ( a ) + f ′ ( a ) ( x − a ) + 2 ! f ′′ ( a ) ( x − a ) 2 + 3 ! f ( 3 ) ( a ) ( x − a ) 3 + ⋯ + n ! f ( n ) ( a ) ( x − a ) n + R n ( x )
+其中：
+
+f ( n ) ( a ) f^{(n)}(a) f ( n ) ( a ) f ( x ) f(x) f ( x ) a a a n n n R n ( x ) R_n(x) R n ( x )
+当 x x x a a a
+特殊情况：麦克劳林（Maclaurin）展开
+当 a = 0 a = 0 a = 0 麦克劳林展开 ，形式为：
+f ( x ) = f ( 0 ) + f ′ ( 0 ) x + f ′ ′ ( 0 ) 2 ! x 2 + f ( 3 ) ( 0 ) 3 ! x 3 + … \begin{equation}
+f(x) = f(0) + f'(0)x + \frac{f''(0)}{2!}x^2 + \frac{f^{(3)}(0)}{3!}x^3 + \dots
+\end{equation}
+ f ( x ) = f ( 0 ) + f ′ ( 0 ) x + 2 ! f ′′ ( 0 ) x 2 + 3 ! f ( 3 ) ( 0 ) x 3 + …
+例子：
+
+
+指数函数的 Taylor 展开 （以 a = 0 a = 0 a = 0
+e x = 1 + x + x 2 2 ! + x 3 3 ! + … \begin{equation}
+e^x = 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \dots
+\end{equation}
+ e x = 1 + x + 2 ! x 2 + 3 ! x 3 + …
+
+
+正弦函数的 Taylor 展开 （在 a = 0 a = 0 a = 0
+sin ( x ) = x − x 3 3 ! + x 5 5 ! − … \begin{equation}
+\sin(x) = x - \frac{x^3}{3!} + \frac{x^5}{5!} - \dots
+\end{equation}
+ sin ( x ) = x − 3 ! x 3 + 5 ! x 5 − …
+
+
+通过 Taylor 展开，我们可以在某个点附近用有限项多项式来近似复杂的函数。这在数值计算和分析中非常有用。
+参考文献
+
+Abernethy, Jacob, et al. "Optimal strategies and minimax lower bounds for online convex games." Proceedings of the 21st annual conference on learning theory. 2008.
+
+
+Auer, Peter. "Using confidence bounds for exploitation-exploration trade-offs." Journal of Machine Learning Research 3.Nov (2002): 397-422.
+
+
+Bouneffouf, Djallel. "Finite-time analysis of the multi-armed bandit problem with known trend." 2016 IEEE Congress on Evolutionary Computation (CEC). IEEE, 2016.
+
+
+Bubeck, Sébastien, Ronen Eldan, and Yin Tat Lee. "Kernel-based methods for bandit convex optimization." Journal of the ACM (JACM) 68.4 (2021): 1-35.
+
+
+Boyd, Stephen, and Lieven Vandenberghe. Convex optimization. Cambridge university press, 2004.
+
+
+Devroye, Luc, László Györfi, and Gábor Lugosi. A probabilistic theory of pattern recognition. Vol. 31. Springer Science & Business Media, 2013.
+
+
+Feller, William. "An introduction to probability theory and its applications." (1971).
+
+
+Flaxman, Abraham D., Adam Tauman Kalai, and H. Brendan McMahan. "Online convex optimization in the bandit setting: gradient descent without a gradient." arXiv preprint cs/0408007 (2004).
+
+
+Hazan, Elad, Amit Agarwal, and Satyen Kale. "Logarithmic regret algorithms for online convex optimization." Machine Learning 69.2 (2007): 169-192.
+
+
+Kearns, Michael J., and Umesh Vazirani. An introduction to computational learning theory. MIT press, 1994.
+
+
+Lai, Tze Leung, and Herbert Robbins. "Asymptotically efficient adaptive allocation rules." Advances in applied mathematics 6.1 (1985): 4-22.
+
+
+McAllester, David A. "PAC-Bayesian stochastic model selection." Machine Learning 51.1 (2003): 5-21.
+
+
+Mohri, Mehryar. "Foundations of machine learning." (2018).
+
+
+Nakkiran, Preetum, et al. "Deep double descent: Where bigger models and more data hurt." Journal of Statistical Mechanics: Theory and Experiment 2021.12 (2021): 124003.
+
+
+Penot, Jean-Paul. "On regularity conditions in mathematical programming." Optimality and Stability in Mathematical Programming (1982): 167-199.
+
+
+Robbins, Herbert. "Some aspects of the sequential design of experiments." (1952): 527-535.
+
+
+Thompson, William R. "On the likelihood that one unknown probability exceeds another in view of the evidence of two samples." Biometrika 25.3-4 (1933): 285-294.
+
+
+Wainwright, Martin J. High-dimensional statistics: A non-asymptotic viewpoint. Vol. 48. Cambridge university press, 2019.
+
+
+Wang, Guanghui, Shiyin Lu, and Lijun Zhang. "Adaptivity and optimality: A universal algorithm for online convex optimization." Uncertainty in Artificial Intelligence. PMLR, 2020.
+
+
+Zhang, Lijun, Shiyin Lu, and Zhi-Hua Zhou. "Adaptive online learning in dynamic environments." Advances in neural information processing systems 31 (2018)
+
+
+Zhang, Lijun, Tie-Yan Liu, and Zhi-Hua Zhou. "Adaptive regret of convex and smooth functions." International Conference on Machine Learning. PMLR, 2019.
+
+
+Zinkevich, Martin. "Online convex programming and generalized infinitesimal gradient ascent." Proceedings of the 20th international conference on machine learning (icml-03). 2003.
+
+
+
+
+
+
\ No newline at end of file
diff --git a/releases/preview.md b/releases/preview.md
new file mode 100644
index 0000000..43f3e4b
--- /dev/null
+++ b/releases/preview.md
@@ -0,0 +1,4871 @@
+# 序言
+
+*编辑：詹好，赵志民，王茂霖*
+
+---
+
+## 关于《机器学习理论导引》
+
+近年来，机器学习领域发展迅猛，相关的课程与教材层出不穷。国内的经典教材如周志华的 **[《机器学习》](https://book.douban.com/subject/26708119)** 和李航的 **[《统计学习方法》](https://book.douban.com/subject/33437381)**，为许多学子提供了机器学习的入门指引。而在国外，Mitchell 的 *Machine Learning*、Duda 等人的 *Pattern Classification*、Alpaydin 的 *Introduction to Machine Learning* 等书籍则提供了更为系统的学习路径。对于希望深入学习的读者，Bishop 的 *Pattern Recognition and Machine Learning*、Murphy 的 *Machine Learning - A Probabilistic Perspective*、Hastie 等人的 *The Elements of Statistical Learning* 等著作也能提供详尽的理论指导。这些书籍无论在国内外，都成为了学习机器学习的重要资源。
+
+然而，从**机器学习理论**的角度来看，现有的学习材料仍存在不足之处。相比于聚焦机器学习算法的著作，专注于机器学习理论的书籍未得到足够的重视。尽管上述一些经典著作中涉及到理论探讨，但篇幅有限，往往仅以独立章节或片段呈现，难以满足深入研究的需求。
+
+以往的机器学习理论经典教材大多为英文撰写。上世纪末围绕统计学习理论展开的讨论，催生了诸如 Vapnik 的 *The Nature of Statistical Learning Theory* 和 *Statistical Learning Theory*，以及 Devroye 等人的 *A Probabilistic Theory of Pattern Recognition* 等经典文献。近年来，Shalev-Shwartz 和 Ben-David 的 *Understanding Machine Learning*，以及 Mohri 等人的 *Foundations of Machine Learning* 进一步推进了这一领域的发展。虽然部分经典著作已有高质量的中文译本，但由中文作者撰写的机器学习理论入门书籍仍显不足。
+
+如今，周志华、王魏、高尉、张利军等老师合著的 **[《机器学习理论导引》](https://book.douban.com/subject/35074844)**（以下简称《导引》）填补了这一空白。该书以通俗易懂的语言，为有志于学习和研究机器学习理论的读者提供了良好的入门指引。全书涵盖了 **可学性、假设空间复杂度、泛化界、稳定性、一致性、收敛率、遗憾界** 七个重要的概念和理论工具。
+
+尽管学习机器学习理论可能不像学习算法那样能够立即应用，但只要持之以恒，深入探究，必将能够领悟到机器学习中的重要思想，并体会其中的深邃奥妙。
+
+-- *詹好*
+
+## 关于《机器学习理论导引》讲解笔记
+
+《导引》的讲解笔记在团队内部被亲切地称为《钥匙书》。“钥匙”寓意着帮助读者开启知识之门，解答学习中的疑惑。
+
+《导引》作为一本理论性较强的著作，涵盖了大量数学定理和证明。尽管作者团队已尽力降低学习难度，但由于机器学习理论本身的复杂性，读者仍需具备较高的数学基础。这可能导致部分读者在学习过程中感到困惑，影响学习效果。此外，由于篇幅限制，书中对某些概念和理论的实例说明不足，也增加了理解的难度。
+
+基于以上原因，我们决定编辑这本《钥匙书》作为参考笔记，对《导引》进行深入的注解和补充。其目的是帮助读者更快理解并掌握书中内容，同时记录我们在学习过程中的思考和心得。
+
+《钥匙书》主要包含以下四个部分：
+
+1. **概念解释**：介绍书中涉及但未详细阐释的相关概念。
+2. **证明补充**：详细解释部分证明的思路，并补充书中省略的证明过程。
+3. **案例分享**：增加相关实例，帮助读者加深对抽象概念的理解。
+
+鉴于《导引》第一章的内容简明易懂，《钥匙书》从第二章开始详细展开。
+
+对我个人而言，《机器学习理论导引》与*Understanding Machine Learning*和*Foundations of Machine Learning*一样，都是既“无用”又“有用”的书籍。“无用”在于目前的经典机器学习理论尚难全面解释深度学习，尤其是现代生成式大模型的惊人表现。然而，我坚信未来的理论突破将基于现有研究成果，开创新的篇章。因此，分析结论可能并非最重要，真正宝贵的是其中蕴含的思想和分析思路。数学作为一种强有力的工具，能够帮助我们更深入地理解和探索。我期望未来的深度学习能够拥有更多坚实的理论支撑，从而更好地指导实践。正如费曼所言：“What I cannot create, I do not understand.”——“凡我不能创造，我就不能理解。”希望大家能从这些理论中获得启发，创造出更有意义的成果。
+
+另一方面，这本书也让我认识到自身的不足。不同于传统的机器学习算法教材，本书要求读者具备良好的数学功底，通过数学工具从更抽象的角度分析机器学习算法的性质，而非算法本身。学习之路或许漫长，但正如《牧羊少年的奇幻漂流》中所言：“每个人的寻梦过程都是以‘新手的运气’为开端，又总是以‘对远征者的考验’收尾。”希望大家能坚持经历考验，最终实现自己的梦想。
+
+自《钥匙书》v1.0 版本发布以来，受到了众多学习者的关注。我们也收到了许多关于教材内容的疑问。为进一步深入理解相关知识，并记录团队对机器学习理论相关书籍的学习过程，我们将持续对《钥匙书》进行不定期更新，期待大家的关注。
+
+-- 王茂霖
+
+## 关于机器学习理论与实践
+
+随着机器学习的蓬勃发展，**SOTA（State-of-the-art，最先进技术）**几乎成了评判算法优劣的唯一标准。这种对表面表现的单一追求，常常忽视了支撑其背后的基础理论。正如硅谷投资人吴军曾指出的，最顶尖的科学家通过理论设定学科的边界，赋予未来研究者方向和框架。1936年，图灵在其著名的论文中为可计算性理论奠定了基础，定义了哪些问题可以通过算法解决。同样，机器学习领域的研究者只有具备深厚的理论根基，才能在实践中面对瓶颈时不至于迷失，而是继续探索，甚至开拓新的领域。
+
+**没有免费午餐定理（No Free Lunch Theorem）**便是一个鲜明的例子。该定理告诉我们，不存在一种能够应对所有问题的通用算法。尽管许多算法在特定领域或时间点看似“无敌”，如神经网络的兴起，但每个算法的优势往往局限于特定的任务和环境。因此，过度依赖某一种算法的短期成功，可能导致长期陷入困境。通过理论学习，研究者能够意识到这种局限，并避免在实践中过分追逐SOTA，而忽视更为长远的技术路线。
+
+当然，理论和实践之间的差距依然存在。许多理论假设在现实应用中并不完全成立，尤其是在面对大数据和复杂模型时，理论的指导可能显得力不从心。但这并不意味着理论无用，恰恰相反，这正是学科发展的驱动力。正如机器学习的发展史所示，当实践进展遇到瓶颈时，往往是理论创新引领了新的突破。例如，在早期，受限于数据和算力，机器学习中的理论研究主导了整个领域的发展；而到了互联网时代，随着数据量的指数级增长和计算资源的提升，实践逐渐超越了理论。如今，面对数据、能源和算力等问题的挑战，理论又重新成为了优化模型效率和算法性能的焦点。
+
+一个鲜明的例子是，近期在 ICLR 2024 大会上，斯隆奖得主马腾宇及其团队通过数学方法证明了Transformer 模型具备模拟任意多项式规模数字电路的能力。这一成果表明，随着**思维链（Chain of Thought, CoT）**的不断延展，Transformer能够有效地处理更为复杂的问题。 这项研究不仅展示了理论在推动前沿技术进步中的重要性，还让我们认识到，尽管外界对数据质量不足、模型的算力需求以及能源消耗提出了诸多质疑，但这些问题并非不可逾越。通过深入学习机器学习理论，我们可以更好地理解这些挑战，意识到它们实际上是迈向**通用人工智能（AGI）**过程中必须面对和解决的关键节点。
+
+不仅如此，理论学习还有助于我们建立对算法泛化能力的深刻理解。通过对机器学习理论的深入研究，我们能够推导出在不同假设条件下，算法的性能极限。比如，我们可以评估某一算法的收敛速度，预测其在不同数据量和模型复杂度下的表现。这些理论工具不仅提高了研究的严谨性，还为实际应用提供了有力的指导。例如，正是通过理论推导，我们能够理解大规模语言模型的训练为何需要如此庞大的数据集，同时又能预见在某些任务上微调模型的效果。
+
+最后，掌握机器学习理论不仅能够为初学者奠定坚实的基础，增强他们的信心，还能帮助他们在面对外界质疑时保持理性和清醒的判断。无论是在研究中追求算法的提升，还是在实践中应对现实的挑战，理论的力量都不可或缺。在本书的编撰中，我们特别对部分证明进行了必要的诠释和展开，主要集中在原书中存在流畅性不足的内容，或那些虽提供了参考文献但证明篇幅不超过5页的论述。对于超出5页的文献，我们建议读者直接参阅原文，以便进行更深入的探究；此类情况在本书中出现频率较低，约不超过五处。
+
+-- 赵志民
+
+## 项目成员贡献与特别鸣谢
+
+[詹好](https://github.com/zhanhao93)负责了项目的初期规划与统筹，并参与了第一版的编辑和审核；[赵志民](https://github.com/zhimin-z)主导了项目二期的更新与维护，并负责全书最终编辑和校验；[李一飞](https://github.com/leafy-lee)参与了第1-5章内容的编辑；[王茂霖](https://github.com/mlw67)参与了第2-6章内容的编辑。
+
+另外，特别鸣谢了[谢文睿](https://github.com/Sm1les)和[杨昱文](https://github.com/youngfish42)，他们共同提供了本书的在线阅读功能；[张雨](https://github.com/Drizzle-Zhang)对第2章的早期内容进行了修订，各成员的协作确保了本书高质量的编写和顺利完成。
+
+
+# 主要符号表
+
+$x$ 标量
+$x$ 向量
+$A$ 矩阵
+$I$ 单位阵
+$\mathcal{X}$ 样本空间或状态空间
+$\mathcal{H}$ 假设空间
+$\mathcal{D}$ 概率分布
+$D$ 数据样本(数据集)
+$\mathbb{R}$ 实数集
+$\mathbb{R}^+$ 正实数集
+$\mathfrak{L}$ 学习算法
+$(·,·,·)$ 行向量
+$(;,;,)$ 列向量
+$(·)^T$ 向量或矩阵转置
+${\cdots}$ 集合
+$[m]$ 集合 $\{1,\dots,m\}$
+$|{\cdots}|$ 集合 ${\cdots}$ 中元素的个数
+$\|·\|_p$ 范数, $p$ 缺省时为 $L_2$ 范数
+$P()$, $P(·|·)$ 概率质量函数, 条件概率质量函数
+$p(·)$, $p(·|·)$ 概率密度函数, 条件概率密度函数
+$E_{.~\mathcal{D}}[f(·)]$ 函数 $f(·)$ 对 $·$ 在分布 $D$ 下的数学期望, 意义明确时将省略 $D$ 和(或)$·$
+$\sup(·)$ 上确界
+$\inf(·)$ 下确界
+$\mathbb{I}(·)$ 指示函数, 在 $·$ 为真和假时分别取值为 $1, 0$
+$\text{sign}(·)$ 符号函数, 在 $·<0,=0,>0$ 时分别取值为 $-1, 0, 1$
+
+
+# 第1章：预备定理
+
+*编辑：赵志民, 李一飞*
+
+------
+
+本章将对书中出现或用到的重要定理进行回顾，并简要解释其证明和应用场景。对于可能不熟悉相关基础知识的读者，建议参考附录中的基础知识部分。通过这些定理的阐述，希望帮助读者更好地理解数学推导的核心原理，并为后续章节的学习打下坚实基础。大数定律（Law of Large Numbers）和集中不等式（Concentration Inequality）密切相关，二者共同揭示了随机变量偏离其期望值的行为。大数定律说明，当样本量足够大时，样本均值会以概率收敛于总体的期望值，反映了长期平均结果的稳定性。而集中不等式（定理 1.8 至 1.18）则更进一步，为随机变量在有限样本量下偏离其期望值的可能性提供了精确的上界。这些不等式描述了随机变量偏离期望值的程度有多大，通过对概率的约束，确保这种偏离发生的概率较小，从而为各种随机现象提供了更细致的控制。集中不等式在大数定律的基础上提供了有力的工具，用于分析有限样本中的波动。
+
+## 1.1 Jensen 不等式
+
+对于任意凸函数 $f$，则有：
+$$
+\begin{equation}
+f(\mathbb{E}[X]) \leq \mathbb{E}[f(X)]
+\end{equation}
+$$
+成立。
+
+### 证明
+
+设 $p(x)$ 为 $X$ 的概率密度函数。由 Taylor 展开式及 $f$ 的凸性，可知 $\exists \xi$ 使得：
+$$
+\begin{equation}
+\begin{align*}
+f(x) &= f(\mathbb{E}[X]) + f^{\prime}(\mathbb{E}[X])(x-\mathbb{E}[X]) + \frac{f^{\prime \prime}(\xi)}{2}(x-\mathbb{E}[X])^{2} \\
+& \geq f(\mathbb{E}[X]) + f^{\prime}(\mathbb{E}[X])(x-\mathbb{E}[X])
+\end{align*}
+\end{equation}
+$$
+对上式取期望，得到：
+$$
+\begin{equation}
+\begin{align*}
+\mathbb{E}[f(X)] &= \int p(x) f(x) \,dx \\
+&\geq f(\mathbb{E}[X]) \int p(x) \,dx + f^{\prime}(\mathbb{E}[X]) \int p(x)(x-\mathbb{E}[X]) \,dx \\
+&= f(\mathbb{E}[X])
+\end{align*}
+\end{equation}
+$$
+因此，原不等式得证。
+
+如果 $f$ 是凹函数，则 Jensen 不等式变为：
+$$
+\begin{equation}
+f(\mathbb{E}[X]) \geq \mathbb{E}[f(X)]
+\end{equation}
+$$
+这一结论可以通过将上述证明中的 $f$ 替换为 $-f$ 得到。$\square$
+
+
+
+## 1.2 Hölder 不等式
+
+对于任意 $p, q \in \mathbb{R}^{+}$，且满足 $\frac{1}{p} + \frac{1}{q} = 1$，则有：
+$$
+\begin{equation}
+\mathbb{E}[|XY|] \leq (\mathbb{E}[|X|^p])^{\frac{1}{p}} (\mathbb{E}[|Y|^q])^{\frac{1}{q}}
+\end{equation}
+$$
+成立。
+
+### 证明
+
+设 $f(x)$ 和 $g(y)$ 分别为 $X$ 和 $Y$ 的概率密度函数，定义：
+$$
+\begin{equation}
+M = \frac{|x|}{(\int_X |x|^p f(x) \,dx)^{\frac{1}{p}}}, \quad N = \frac{|y|}{(\int_Y |y|^q g(y) \,dy)^{\frac{1}{q}}}
+\end{equation}
+$$
+代入 Young 不等式：
+$$
+\begin{equation}
+MN \leq \frac{1}{p}M^p + \frac{1}{q}N^q
+\end{equation}
+$$
+对该不等式两边同时取期望：
+$$
+\begin{equation}
+\begin{align*}
+\frac{\mathbb{E}[|XY|]}{(\mathbb{E}[|X|^p])^{\frac{1}{p}} (\mathbb{E}[|Y|^q])^{\frac{1}{q}}} &= \frac{\int_{XY} |xy| f(x)g(y) \,dx\,dy}{(\int_X |x|^p f(x) \,dx)^{\frac{1}{p}} (\int_Y |y|^q g(y) \,dy)^{\frac{1}{q}}} \\
+&\leq \frac{\int_X |x|^p f(x) \,dx}{p \int_X |x|^p f(x) \,dx} + \frac{\int_Y |y|^q g(y) \,dy}{q \int_Y |y|^q g(y) \,dy} \\
+&= \frac{1}{p} + \frac{1}{q} \\
+&= 1
+\end{align*}
+\end{equation}
+$$
+因此，Hölder 不等式得证。$\square$
+
+
+
+## 1.3 Cauchy-Schwarz 不等式
+
+当 $p = q = 2$ 时，Hölder 不等式退化为 Cauchy-Schwarz 不等式：
+$$
+\begin{equation}
+\mathbb{E}[|XY|] \leq \sqrt{\mathbb{E}[X^{2}] \cdot \mathbb{E}[Y^{2}]}
+\end{equation}
+$$
+
+
+
+## 1.4 Lyapunov 不等式
+
+对于任意 $0 \lt r \leq s$，有：
+$$
+\begin{equation}
+\sqrt[r]{\mathbb{E}[|X|^{r}]} \leq \sqrt[s]{\mathbb{E}[|X|^{s}]}
+\end{equation}
+$$
+
+### 证明
+
+由 Hölder 不等式：
+对任意 $p \geq 1$，有：
+$$
+\begin{equation}
+\begin{align*}
+\mathbb{E}[|X|^{r}] &= \mathbb{E}[|X \cdot 1|^{r}] \\
+&\leq (\mathbb{E}[|X|^{rp}])^{\frac{1}{p}} \cdot (\mathbb{E}[1^q])^{\frac{1}{q}} \\
+&= (\mathbb{E}[|X|^{rp}])^{\frac{1}{p}}
+\end{align*}
+\end{equation}
+$$
+记 $s = rp \geq r$，则：
+$$
+\begin{equation}
+\mathbb{E}[|X|^{r}] \leq (\mathbb{E}[|X|^{s}])^{\frac{r}{s}}
+\end{equation}
+$$
+因此，原不等式得证。$\square$
+
+
+
+## 1.5 Minkowski 不等式
+
+对于任意 $p \geq 1$，有：
+$$
+\begin{equation}
+\sqrt[p]{\mathbb{E}[|X+Y|^p]} \leq \sqrt[p]{\mathbb{E}[|X|^p]} + \sqrt[p]{\mathbb{E}[|Y|^p]}
+\end{equation}
+$$
+
+### 证明
+
+由三角不等式和 Hölder 不等式，可得：
+$$
+\begin{equation}
+\begin{align*}
+\mathbb{E}[|X+Y|^p] &\leq \mathbb{E}[(|X|+|Y|)|X+Y|^{p-1}] \\
+&= \mathbb{E}[|X\|X+Y|^{p-1}] + \mathbb{E}[|Y\|X+Y|^{p-1}] \\
+&\leq (\mathbb{E}[|X|^p])^{\frac{1}{p}} (\mathbb{E}[|X+Y|^{(p-1)q}])^{\frac{1}{q}} + (\mathbb{E}[|Y|^p])^{\frac{1}{p}} (\mathbb{E}[|X+Y|^{(p-1)q}])^{\frac{1}{q}} \\
+&= [(\mathbb{E}[|X|^p])^{\frac{1}{p}} + (\mathbb{E}[|Y|^p])^{\frac{1}{p}}] \cdot \frac{\mathbb{E}[|X+Y|^p]}{(\mathbb{E}[|X+Y|^p])^{\frac{1}{p}}}
+\end{align*}
+\end{equation}
+$$
+化简后即得证。$\square$
+
+
+
+## 1.6 Bhatia-Davis 不等式
+
+对 $X \in [a,b]$，有：
+$$
+\begin{equation}
+\mathbb{V}[X] \leq (b - \mathbb{E}[X])(\mathbb{E}[X] - a) \leq \frac{(b-a)^2}{4}
+\end{equation}
+$$
+
+### 证明
+
+因为 $a \leq X \leq b$，所以有：
+$$
+\begin{equation}
+\begin{align*}
+0 &\leq \mathbb{E}[(b-X)(X-a)] \\
+&= -\mathbb{E}[X^2] - ab + (a+b)\mathbb{E}[X]
+\end{align*}
+\end{equation}
+$$
+因此，
+$$
+\begin{equation}
+\begin{align*}
+\mathbb{V}[X] &= \mathbb{E}[X^2] - \mathbb{E}[X]^2 \\
+&\leq -ab + (a+b)\mathbb{E}[X] - \mathbb{E}[X^2] \\
+&= (b - \mathbb{E}[X])(\mathbb{E}[X] - a)
+\end{align*}
+\end{equation}
+$$
+
+考虑 AM-GM 不等式：
+$$
+\begin{equation}
+xy \leq (\frac{x+y}{2})^2
+\end{equation}
+$$
+将 $x = b - \mathbb{E}[X]$ 和 $y = \mathbb{E}[X] - a$ 带入并化简即得证。$\square$
+
+
+
+## 1.7 Union Bound（Boole's）不等式
+
+对于任意事件 $X$ 和 $Y$，有：
+$$
+\begin{equation}
+P(X \cup Y) \leq P(X) + P(Y)
+\end{equation}
+$$
+
+### 证明
+
+根据概率的加法公式：
+$$
+\begin{equation}
+P(X \cup Y) = P(X) + P(Y) - P(X \cap Y) \leq P(X) + P(Y)
+\end{equation}
+$$
+由于 $P(X \cap Y) \geq 0$，因此不等式得证。$\square$
+
+
+
+## 1.8 Markov 不等式
+
+若 $X \geq 0$，则对于任意 $\varepsilon \gt 0$，有：
+$$
+\begin{equation}
+P(X \geq \varepsilon) \leq \frac{\mathbb{E}[X]}{\varepsilon}
+\end{equation}
+$$
+
+### 证明
+
+由定义可得：
+$$
+\begin{equation}
+\mathbb{E}[X] = \int_{0}^{\infty} x p(x) \,dx \geq \int_{\varepsilon}^{\infty} x p(x) \,dx \geq \varepsilon \int_{\varepsilon}^{\infty} p(x) \,dx = \varepsilon P(X \geq \varepsilon)
+\end{equation}
+$$
+因此，原不等式得证。$\square$
+
+
+
+## 1.9 Chebyshev 不等式
+
+对于任意 $\varepsilon \gt 0$，有：
+$$
+\begin{equation}
+P(|X-\mathbb{E}[X]| \geq \varepsilon) \leq \frac{\mathbb{V}[X]}{\varepsilon^{2}}
+\end{equation}
+$$
+
+### 证明
+
+利用 Markov 不等式，得到：
+$$
+\begin{equation}
+P(|X-\mathbb{E}[X]| \geq \varepsilon) = P((X-\mathbb{E}[X])^2 \geq \varepsilon^{2}) \leq \frac{\mathbb{E}[(X-\mathbb{E}[X])^2]}{\varepsilon^{2}} = \frac{\mathbb{V}[X]}{\varepsilon^{2}}
+\end{equation}
+$$
+因此，Chebyshev 不等式得证。$\square$
+
+
+
+## 1.10 Cantelli 不等式
+
+对于任意 $\varepsilon \gt 0$，有：
+$$
+\begin{equation}
+P(X-\mathbb{E}[X] \geq \varepsilon) \leq \frac{\mathbb{V}[X]}{\mathbb{V}[X]+\varepsilon^{2}}
+\end{equation}
+$$
+
+### 证明
+
+设 $Y = X - \mathbb{E}[X]$，则对于任意 $\lambda \geq 0$，有：
+$$
+\begin{equation}
+\begin{align*}
+P(X-\mathbb{E}[X] \geq \varepsilon) &= P(Y \geq \varepsilon) \\
+&= P(Y+\lambda \geq \varepsilon+\lambda) \\
+&= P((Y+\lambda)^{2} \geq (\varepsilon+\lambda)^{2}) \\
+&\leq \frac{\mathbb{E}[(Y+\lambda)^{2}]}{(\varepsilon+\lambda)^{2}} = \frac{\mathbb{V}[X]+\lambda^{2}}{(\varepsilon+\lambda)^{2}}
+\end{align*}
+\end{equation}
+$$
+通过对 $\lambda$ 求导，得右端在 $\lambda = \frac{\mathbb{V}[X]}{\varepsilon}$ 时取得最小值 $\frac{\mathbb{V}[X]}{\mathbb{V}[X]+\varepsilon^{2}}$，因此：
+$$
+\begin{equation}
+P(X-\mathbb{E}[X] \geq \varepsilon) \leq \frac{\mathbb{V}[X]}{\mathbb{V}[X]+\varepsilon^{2}}
+\end{equation}
+$$
+原不等式得证。$\square$
+
+值得注意的是，Cantelli 不等式是 Chebyshev 不等式的加强版，也称为单边 Chebyshev 不等式。通过类似的构造方法，可以推导出比 Cantelli 不等式更严格的上界。
+
+
+
+## 1.11 Chernoff 界（Chernoff-Cramér 界）
+
+对于任意 $\lambda \gt 0, \varepsilon \gt 0$，有：
+$$
+\begin{equation}
+P(X \geq \varepsilon) \leq \min_{\lambda \gt 0} \frac{\mathbb{E}[e^{\lambda X}]}{e^{\lambda \varepsilon}}
+\end{equation}
+$$
+对于任意 $\lambda \lt 0, \varepsilon \gt 0$，有：
+$$
+\begin{equation}
+P(X \leq \varepsilon) \leq \min_{\lambda \lt 0} \frac{\mathbb{E}[e^{\lambda X}]}{e^{\lambda \varepsilon}}
+\end{equation}
+$$
+
+### 证明
+
+应用 Markov 不等式，有：
+$$
+\begin{equation}
+P(X \geq \varepsilon) = P(e^{\lambda X} \geq e^{\lambda \varepsilon}) \leq \frac{\mathbb{E}[e^{\lambda X}]}{e^{\lambda \varepsilon}}, \quad \lambda \gt 0, \varepsilon \gt 0
+\end{equation}
+$$
+同理，
+$$
+\begin{equation}
+P(X \leq \varepsilon) = P(e^{\lambda X} \leq e^{\lambda \varepsilon}) \leq \frac{\mathbb{E}[e^{\lambda X}]}{e^{\lambda \varepsilon}}, \quad \lambda \lt 0, \varepsilon \gt 0
+\end{equation}
+$$
+因此，Chernoff 界得证。$\square$
+
+基于上述 Chernoff 界的技术，我们可以进一步定义次高斯性：
+
+**定义 1** (随机变量的次高斯性)：若一个期望为零的随机变量 $X$ 的矩母函数满足 $\forall \lambda \in \mathbb{R}^+$：
+$$
+\begin{equation}
+\mathbb{E}[e^{\lambda X}] \leq \exp(\frac{\sigma^2\lambda^2}{2})
+\end{equation}
+$$
+则称 $X$ 服从参数为 $\sigma$ 的次高斯分布。
+
+实际上，Hoeffding 引理中的随机变量 $X$ 服从 $\frac{(b-a)}{2}$ 的次高斯分布。Hoeffding 引理也是次高斯分布的直接体现。次高斯性还有一系列等价定义，这里不作详细讨论。
+
+次高斯分布有一个直接的性质：假设两个独立的随机变量 $X_1, X_2$ 都是次高斯分布的，分别服从参数 $\sigma_1, \sigma_2$，那么 $X_1 + X_2$ 就是服从参数为 $\sqrt{\sigma_1^2 + \sigma_2^2}$ 的次高斯分布。这个结果的证明可以直接利用定义来完成。
+
+显然，并非所有常见的随机变量都是次高斯的，例如指数分布。为此可以扩大定义：
+
+**定义 2** (随机变量的次指数性)：若非负的随机变量 $X$ 的矩母函数满足 $\forall \lambda \in (0,a)$：
+$$
+\begin{equation}
+\mathbb{E}[e^{\lambda X}] \leq \frac{a}{a - \lambda}
+\end{equation}
+$$
+则称 $X$ 服从参数为 $(\mathbb{V}[X], 1/a)$ 的次指数分布。
+
+同样地，次指数性也有一系列等价定义。一种不直观但更常用的定义如下：存在 $(\sigma^2, b)$，使得 $\forall |s| \lt 1/b$：
+$$
+\begin{equation}
+\mathbb{E}[e^{s(X−\mathbb{E}[X])}] \leq \exp ( \frac{s^2\sigma^2}{2} )
+\end{equation}
+$$
+
+常见的次指数分布包括：指数分布，Gamma 分布，以及**任何有界随机变量**。
+
+类似地，次指数分布对于加法也是封闭的：如果 $X_1, X_2$ 分别是服从 $(\sigma_1^2, b_1)$ 和 $(\sigma_2^2, b_2)$ 的次指数分布，那么 $X_1 + X_2$ 是服从 $(\sigma_1^2 + \sigma_2^2, \max(b_1, b_2))$ 的次指数分布。在高维统计问题中，次高斯分布和次指数分布的尾端控制能得到一些重要的结论。
+
+
+
+## 1.12 Chernoff 不等式（乘积形式）
+
+对于 $m$ 个独立同分布的随机变量 $x_i \in [0, 1], i \in [m]$，设 $X = \sum_{i=1}^m X_i$，$\mu \gt 0$ 且 $r \leq 1$。若对所有 $i \leq m$ 都有 $\mathbb{E}[x_i] \leq \mu$，则：
+$$
+\begin{equation}
+\begin{align*}
+P(X \geq (1+r)\mu m) \leq e^{-\frac{r^2 \mu m}{3}}, \quad r \geq 0 \\
+P(X \leq (1-r)\mu m) \leq e^{-\frac{r^2 \mu m}{2}}, \quad r \geq 0
+\end{align*}
+\end{equation}
+$$
+
+### 证明
+
+应用 Markov 不等式，有：
+$$
+\begin{equation}
+P(X \geq (1+r)\mu m) = P((1+r)^X \geq (1+r)^{(1+r)\mu m}) \leq \frac{\mathbb{E}[(1+r)^X]}{(1+r)^{(1+r)\mu m}}
+\end{equation}
+$$
+由于 $x_i$ 之间是独立的，可得：
+$$
+\begin{equation}
+\mathbb{E}[(1+r)^X] = \prod_{i=1}^m \mathbb{E}[(1+r)^{x_i}] \leq \prod_{i=1}^m \mathbb{E}[1+rx_i] \leq \prod_{i=1}^m (1+r\mu) \leq e^{r\mu m}
+\end{equation}
+$$
+其中，第二步使用了 $\forall x \in [0,1]$ 都有 $(1+r)^x \leq 1+rx$，第三步使用了 $\mathbb{E}[x_i] \leq \mu$，第四步使用了 $\forall x \in [0,1]$ 都有 $1+x \leq e^x$。
+
+又由于 $\forall r \in [0,1]$，有 $\frac{e^r}{(1+r)^{1+r}} \leq e^{-\frac{r^2}{3}}$，综上所述：
+$$
+\begin{equation}
+P(X \geq (1+r)\mu m) \leq (\frac{e^r}{(1+r)^{(1+r)}})^{\mu m} \leq e^{-\frac{r^2 \mu m}{3}}
+\end{equation}
+$$
+
+当我们将 $r$ 替换为 $-r$ 时，根据之前的推导，并利用 $\forall r \in [0,1]$ 有 $\frac{e^r}{(1-r)^{1-r}} \leq e^{-\frac{r^2}{2}}$，可得第二个不等式的证明。$\square$
+
+
+
+## 1.13 最优 Chernoff 界
+
+如果 $X$ 是一个随机变量，并且 $\mathbb{E}[e^{\lambda(X-\mathbb{E}X)}] \leq e^{\phi(\lambda)}$ 对于所有 $\lambda \geq 0$ 成立，则有以下结论：
+$$
+\begin{equation}
+P(X - \mathbb{E}X \geq \varepsilon) \leq e^{-\phi^*(\varepsilon)}, \quad \varepsilon \geq 0
+\end{equation}
+$$
+或
+$$
+\begin{equation}
+P(X - \mathbb{E}X \leq (\phi^*)^{-1}(\ln(1/\delta))) \geq 1 - \delta, \quad \delta \in [0,1]
+\end{equation}
+$$
+其中，$\phi^*$ 是 $\phi$ 的凸共轭函数，即 $\phi^*(x) = \sup_{\lambda \geq 0}(\lambda x - \phi(\lambda))$。
+
+### 证明
+
+根据 Chernoff 不等式，有：
+$$
+\begin{equation}
+\begin{align*}
+P(X - \mathbb{E}X \geq \varepsilon) &\leq \inf_{\lambda \geq 0} e^{-\lambda \varepsilon} \mathbb{E}[e^{\lambda(X-\mathbb{E}X)}] \\
+&\leq \inf_{\lambda \geq 0} e^{\phi(\lambda) - \lambda \varepsilon} \\
+&= e^{-\sup_{\lambda \geq 0}(\lambda \varepsilon - \phi(\lambda))} \\
+&= e^{-\phi^*(\varepsilon)}
+\end{align*}
+\end{equation}
+$$
+因此，最优 Chernoff 界得证。$\square$
+
+
+
+## 1.14 Hoeffding 不等式
+
+设有 $m$ 个独立随机变量 $X_{i} \in [a_{i}, b_{i}]$，令 $\bar{X}$ 为 $X_{i}$ 的均值。Hoeffding 不等式表示：
+
+$$
+\begin{equation}
+P(\bar{X} - \mathbb{E}[\bar{X}] \geq \varepsilon) \leq \exp (-\frac{2 m^{2} \varepsilon^{2}}{\sum_{i=1}^{m}(b_{i} - a_{i})^{2}})
+\end{equation}
+$$
+
+### 证明
+
+首先，我们引入一个引理 (Hoeffding 定理)：
+
+对于 $\mathbb{E}[X] = 0$ 且 $X \in [a, b]$ 的随机变量，对于任意 $\lambda \in \mathbb{R}$，有：
+
+$$
+\begin{equation}
+\mathbb{E}[e^{\lambda X}] \leq \exp( \frac{\lambda^2(b-a)^2}{8} )
+\end{equation}
+$$
+
+由于 $e^x$ 是凸函数，对于任意 $x \in [a, b]$，可以写为：
+
+$$
+\begin{equation}
+e^{\lambda x} \leq \frac{b-x}{b-a}e^{\lambda a} + \frac{x-a}{b-a}e^{\lambda b}
+\end{equation}
+$$
+
+对上式取期望，得到：
+
+$$
+\begin{equation}
+\mathbb{E}[e^{\lambda X}] \leq \frac{b-\mathbb{E}[X]}{b-a}e^{\lambda a} + \frac{\mathbb{E}[X]-a}{b-a}e^{\lambda b} = \frac{be^{\lambda a} - ae^{\lambda b}}{b - a}
+\end{equation}
+$$
+
+记 $\theta = -\frac{a}{b-a}$，$h = \lambda(b-a)$，则：
+
+$$
+\begin{equation}
+\frac{be^{\lambda a} - ae^{\lambda b}}{b - a} = [1-\theta + \theta e^{h}]e^{-\theta h} = e^{\ln(1-\theta + \theta e^{h})}e^{-\theta h} = e^{\ln(1-\theta + \theta e^{h}) -\theta h}
+\end{equation}
+$$
+
+定义函数 $\varphi(\theta, h) = \ln(1-\theta + \theta e^{h}) -\theta h$。注意到 $\theta$ 实际上与 $h$ 无关。对 $h$ 求偏导数：
+
+$$
+\begin{equation}
+\frac{\partial \varphi}{\partial h} = \frac{\theta e^h}{1 - \theta + \theta e^h} - \theta
+\end{equation}
+$$
+
+显然有 $\frac{\partial \varphi}{\partial h}\big|_{h=0^+} = 0$。同理，利用链式法则可得：
+
+$$
+\begin{equation}
+\frac{\partial^2 \varphi}{\partial h^2} = \frac{\theta e^h(1 - \theta + \theta e^h) - \theta^2e^{2h}}{(1 - \theta + \theta e^h)^2} = \frac{\theta e^h}{1 - \theta + \theta e^h}(1- \frac{\theta e^h}{1 - \theta + \theta e^h}) \leq \frac{1}{4}
+\end{equation}
+$$
+
+根据泰勒展开式，可以得到：
+
+$$
+\begin{equation}
+\varphi(\theta, h) \leq \frac{h^2}{8} = \frac{\lambda^2(b-a)^2}{8}
+\end{equation}
+$$
+
+由 Markov 不等式可知，对于任意 $\lambda \gt 0$：
+
+$$
+\begin{equation}
+P(\bar{X} - \mathbb{E}[\bar{X}] \geq \varepsilon) = P(e^{\lambda(\bar{X} - \mathbb{E}[\bar{X}])} \geq e^{\lambda \varepsilon}) \leq \frac{\mathbb{E}[e^{\lambda(\bar{X} - \mathbb{E}[\bar{X}])}]}{e^{\lambda \varepsilon}}
+\end{equation}
+$$
+
+利用随机变量的独立性及 Hoeffding 引理，有：
+
+$$
+\begin{equation}
+\frac{\mathbb{E}[e^{\lambda(\bar{X} - \mathbb{E}[\bar{X}]})]}{e^{\lambda \varepsilon}} = e^{-\lambda \varepsilon} \prod_{i=1}^{m} \mathbb{E}[e^{\lambda(X_{i} - \mathbb{E}[X_{i}]) / m}] \leq e^{-\lambda \varepsilon} \prod_{i=1}^{m} \exp (\frac{\lambda^{2}(b_{i} - a_{i})^{2}}{8 m^{2}})
+\end{equation}
+$$
+
+考虑二次函数 $g(\lambda) = -\lambda \varepsilon + \frac{\lambda^{2}}{8 m^{2}} \sum_{i=1}^{m}(b_{i} - a_{i})^{2}$，其最小值为 $-\frac{2 m^{2} \varepsilon^{2}}{\sum_{i=1}^{m}(b_{i} - a_{i})^{2}}$。
+
+因此可以得到：
+
+$$
+\begin{equation}
+P(\bar{X} - \mathbb{E}[\bar{X}] \geq \varepsilon) \leq \exp (-\frac{2 m^{2} \varepsilon^{2}}{\sum_{i=1}^{m}(b_{i} - a_{i})^{2}})
+\end{equation}
+$$
+$\square$
+
+注意，这里并未要求随机变量同分布，因此Hoeffding 不等式常用来解释集成学习的基本原理。
+
+
+
+## 1.15 McDiarmid 不等式
+
+对于 $m$ 个独立随机变量 $X_{i} \in \mathcal{X}$，若函数 $f$ 是差有界的，则对于任意 $\varepsilon \gt 0$，有：
+$$
+\begin{equation}
+P(f(X_{1}, \cdots, X_{m})-\mathbb{E}[f(X_{1}, \cdots, X_{m})] \geq \varepsilon) \leq \exp (-\frac{\varepsilon^{2}}{2 \sum_{i=1}^{m} c_{i}^{2}})
+\end{equation}
+$$
+
+### 证明
+
+构造一个鞅差序列：
+$$
+\begin{equation}
+D_j = \mathbb{E}[f(X) \mid X_1, \cdots, X_j] - \mathbb{E}[f(X) \mid X_1, \cdots, X_{j-1}]
+\end{equation}
+$$
+容易验证：
+$$
+\begin{equation}
+f(X) - \mathbb{E}[f(X)] = \sum_{i=1}^m D_i
+\end{equation}
+$$
+由于 $f$ 是差有界的，因此满足 Azuma-Hoeffding 引理。代入后可得：
+$$
+\begin{equation}
+P(f(X_1, \cdots, X_m) - \mathbb{E}[f(X_1, \cdots, X_m)] \geq \varepsilon) \leq \exp( -\frac{\varepsilon^2}{2\sum_{i=1}^m c_i^2} )
+\end{equation}
+$$
+原不等式得证。$\square$
+
+
+
+## 1.16 Bennett 不等式
+
+对于 $m$ 个独立随机变量 $X_{i}$，令 $\bar{X}$ 为 $X_{i}$ 的均值，若存在 $b \gt 0$，使得 $|X_i-\mathbb{E}[X_i]| \lt b$，则有：
+$$
+\begin{equation}
+P(\bar{X}-\mathbb{E}[\bar{X}] \geq \varepsilon) \leq \exp (-\frac{m \varepsilon^{2}}{2(\sum_{i=1}^{m} \mathbb{V}[X_{i}] / m + b \varepsilon / 3)})
+\end{equation}
+$$
+
+### 证明
+
+首先，Bennett 不等式是 Hoeffding 不等式的一个加强版，对于独立随机变量的条件可以放宽为弱独立条件，结论仍然成立。
+
+这些 Bernstein 类的集中不等式更多地反映了在非渐近观点下的大数定律表现，即它们刻画了样本均值如何集中在总体均值附近。
+
+如果将样本均值看作是样本（数据点的函数），即令 $f(X_{1}, \cdots, X_{m}) = \sum_{i=1}^{m} X_{i} / m$，那么 Bernstein 类不等式刻画了如下的概率：
+$$
+\begin{equation}
+P(f(X_{1}, \cdots, X_{m}) - \mathbb{E}[f(X_{1}, \cdots, X_{m})] \geq \varepsilon)
+\end{equation}
+$$
+为了在某些泛函上也具有类似 Bernstein 类的集中不等式形式，显然 $f$ 需要满足某些特定性质。差有界性是一种常见的约束条件。
+
+### 定义 3: 差有界性
+
+函数 $f: \mathcal{X}^{m} \rightarrow \mathbb{R}$ 满足对于每个 $i$，存在常数 $c_{i} \lt \infty$，使得：
+$$
+\begin{equation}
+|f(x_{1}, \cdots, x_{i}, \cdots, x_{m})-f(x_{1}, \cdots, x_{i}^{\prime}, \cdots, x_{m})| \leq c_{i}
+\end{equation}
+$$
+则称 $f$ 是差有界的。
+
+为了证明这些结果，需要引入一些新的数学工具。
+
+### 定义 4: 离散鞅
+
+若离散随机变量序列（随机过程）$Z_m$ 满足：
+
+1. $\mathbb{E}[|Z_{i}|] \lt \infty$
+2. $\mathbb{E}[Z_{m+1} \mid Z_{1}, \cdots, Z_{m}] = \mathbb{E}[Z_{m+1} \mid \mathcal{F}_{m}] = Z_{m}$
+
+则称序列 $Z_i$ 为离散鞅。
+
+### 引理 2: Azuma-Hoeffding 定理
+
+对于鞅 $Z_{i}$，若 $\mathbb{E}[Z_{i}] = \mu, Z_{1} = \mu_{\circ}$，则构造鞅差序列 $X_{i} = Z_{i} - Z_{i-1}$，且 $|X_{i}| \leq c_{i}$，则对于任意 $\varepsilon \gt 0$，有：
+$$
+\begin{equation}
+P(Z_{m}-\mu \geq \varepsilon) = P(\sum_{i=1}^{m} X_{i} \geq \varepsilon) \leq \exp (-\frac{\varepsilon^{2}}{2 \sum_{i=1}^{m} c_{i}^{2}})
+\end{equation}
+$$
+
+### 证明
+
+首先，若 $\mathbb{E}[X \mid Y] = 0$，则有 $\forall \lambda \gt 0$：
+$$
+\begin{equation}
+\mathbb{E}[e^{\lambda X} \mid Y] \leq \mathbb{E}[e^{\lambda X}]
+\end{equation}
+$$
+因此，由恒等式 $\mathbb{E}[\mathbb{E}[X \mid Y]] = \mathbb{E}[X]$ 及 Chernoff 一般性技巧，对于任意 $\lambda \gt 0$：
+$$
+\begin{equation}
+\begin{align*}
+P(Z_{m}-\mu \geq \varepsilon) &\geq e^{-\lambda \varepsilon} \mathbb{E}[e^{\lambda(Z_{m}-\mu)}] \\
+& = e^{-\lambda \varepsilon} \mathbb{E}[\mathbb{E}[e^{\lambda(Z_{m}-\mu)} \mid \mathcal{F}_{m-1}]] \\
+& = e^{-\lambda \varepsilon} \mathbb{E}[e^{\lambda(Z_{m-1}-\mu)}\mathbb{E}[e^{\lambda (Z_{m}-Z_{m-1})} \mid \mathcal{F}_{m-1}]]
+\end{align*}
+\end{equation}
+$$
+
+由于 $\{X_{i}\}$ 是鞅差序列，因此 $\mathbb{E}[X_{m} \mid \mathcal{F}_{m-1}] = 0, \mathbb{E}[X_{i}] = 0$。再结合不等式 $\mathbb{E}[e^{\lambda X} \mid Y] \leq \mathbb{E}[e^{\lambda X}]$ 及 Hoeffding 引理，有：
+$$
+\begin{equation}
+\begin{align*}
+P(Z_{m}-\mu \geq \varepsilon) & \leq e^{-\lambda \varepsilon} \mathbb{E}[e^{\lambda(Z_{m-1}-\mu)}] \mathbb{E}[e^{\lambda X_{n}}] \\
+& \leq e^{-\lambda \varepsilon} \mathbb{E}[e^{\lambda(Z_{m-1}-\mu)}] \exp (\frac{\lambda^{2} c_{m}^{2}}{2})
+\end{align*}
+\end{equation}
+$$
+迭代上不等式可得：
+$$
+\begin{equation}
+P(Z_{m}-\mu \geq \varepsilon) \leq e^{-\lambda \varepsilon} \prod_{i=1}^{m} \exp (\frac{\lambda^{2} c_{i}^{2}}{2})
+\end{equation}
+$$
+当 $\lambda = \frac{\varepsilon}{\sum_{i=1}^{m} c_{i}^{2}}$ 时，上式右端取得极小值：
+$$
+\begin{equation}
+P(Z_{m}-\mu \geq \varepsilon) \leq \exp (-\frac{\varepsilon^{2}}{2 \sum_{i=1}^{m} c_{i}^{2}})
+\end{equation}
+$$
+原不等式得证。$\square$
+
+
+
+## 1.17 Bernstein 不等式
+
+考虑 $m$ 个独立同分布的随机变量 $X_i, i \in [m]$。令 $\bar{X} = \frac{\sum_{i=1}^{m} X_i}{m}$。若存在常数 $b > 0$，使得对所有 $k \geq 2$，第 $k$ 阶矩满足 $\mathbb{E}[|X_i|^k] \leq \frac{k! b^{k-2}}{2} \mathbb{V}[X_1]$，则该不等式成立：
+
+$$
+\begin{equation}
+\mathbb{P}(\bar{X} \geq \mathbb{E}[\bar{X}] + \epsilon) \leq \exp\left(\frac{-m\epsilon^2}{2 \mathbb{V}[X_1] + 2b\epsilon}\right)
+\end{equation}
+$$
+
+### 证明
+
+首先，我们需要将**矩条件**（moment condition）转换为**亚指数条件**（sub-exponential condition），以便进一步推导，即：
+
+- **矩条件：**
+ 对于随机变量 $X$，其 $k$-阶中心矩 满足如下条件：
+ $$
+ \begin{equation}
+ \mathbb{E}\left[|X - \mathbb{E}[X]|^k\right] \leq \frac{k! \, b^{k-2}}{2} \, \mathbb{V}[X], \quad \forall k \geq 2
+ \end{equation}
+ $$
+ 其中：
+ 1. **中心矩**：随机变量 $X$ 的 $k$ 阶中心矩为 $\mathbb{E}\left[|X - \mathbb{E}[X]|^k\right]$，表示 $X$ 偏离其期望值的 $k$ 次幂的期望值。中心矩用于衡量随机变量的分布形状，尤其是描述其尾部行为。当 $k = 2$ 时，中心矩即为随机变量的方差。
+ 2. $\frac{k!}{2}$ 是阶乘项，随着 $k$ 增大迅速增长。
+ 3. $b^{k-2}$ 是一个修正因子，其中 $b$ 为常数，用以控制高阶矩的增长速率。
+ 4. $\mathbb{V}[X]$ 表示随机变量 $X$ 的方差，它作为标准的离散度量来标定中心矩的大小。
+
+- **亚指数条件**：
+ 给定随机变量 $X$，其均值为 $\mathbb{E}[X]$，方差为 $\mathbb{V}[X]$，则其偏离均值的随机变量 $X - \mathbb{E}[X]$ 的矩母函数（MGF）满足如下不等式：
+ $$
+ \begin{equation}
+ \mathbb{E}\left[e^{\lambda (X - \mathbb{E}[X])}\right] \leq \exp\left(\frac{\mathbb{V}[X] \lambda^2}{2(1 - b\lambda)}\right), \quad \forall \lambda \in \left[0, \frac{1}{b}\right)
+ \end{equation}
+ $$
+ 其中：
+ 1. **矩母函数**：这是一个重要的工具，用于控制随机变量的尾部概率。矩母函数的形式是 $\mathbb{E}[e^{\lambda X}]$，它通过调整 $\lambda$ 来捕捉不同程度的偏差行为。
+ 2. **方差主导项**：不等式右边的表达式包含一个方差主导的项 $\frac{\mathbb{V}[X] \lambda^2}{2}$，类似于高斯分布的尾部特性，表明当 $\lambda$ 较小时，$X$ 的偏差行为主要由其方差控制，尾部概率呈现指数衰减。
+ 3. **修正项 $(1 - b\lambda)$**：该项显示，当 $\lambda$ 接近 $\frac{1}{b}$ 时，尾部偏差的控制变得更加复杂。这种形式通常出现在亚指数条件中，意味着随机变量的尾部行为介于高斯分布和重尾分布之间，尾部衰减较慢但仍比重尾分布快。
+
+---
+
+- **步骤 1：中心化随机变量**
+
+设：
+$$
+\begin{equation}
+Y = X - \mathbb{E}[X]
+\end{equation}
+$$
+
+我们的目标是对 $Y$ 的矩母函数（MGF）进行上界：
+$$
+\begin{equation}
+\mathbb{E}\left[e^{\lambda Y}\right]
+\end{equation}
+$$
+
+---
+
+- **步骤 2：展开指数矩**
+
+将 MGF 展开为幂级数（Taylor展开）：
+$$
+\begin{equation}
+\mathbb{E}\left[e^{\lambda Y}\right] = \mathbb{E}\left[\sum_{k=0}^\infty \frac{(\lambda Y)^k}{k!}\right] = \sum_{k=0}^\infty \frac{\lambda^k}{k!} \mathbb{E}[Y^k]
+\end{equation}
+$$
+
+由于 $\mathbb{E}[Y] = 0$，故 $k = 1$ 项消失：
+$$
+\begin{equation}
+\mathbb{E}\left[e^{\lambda Y}\right] = 1 + \sum_{k=2}^\infty \frac{\lambda^k}{k!} \mathbb{E}[Y^k]
+\end{equation}
+$$
+
+---
+
+- **步骤 3：使用矩条件对中心矩进行上界**
+
+根据矩条件：
+$$
+\begin{equation}
+\mathbb{E}\left[|Y|^k\right] \leq \frac{k! \, b^{k-2}}{2} \, \mathbb{V}[X]
+\end{equation}
+$$
+
+因此：
+$$
+\begin{equation}
+|\mathbb{E}[Y^k]| \leq \mathbb{E}\left[|Y|^k\right] \leq \frac{k! \, b^{k-2}}{2} \, \mathbb{V}[X]
+\end{equation}
+$$
+
+---
+
+- **步骤 4：代入 MGF 展开式**
+
+将上界代入 MGF 展开式：
+$$
+\begin{equation}
+\mathbb{E}\left[e^{\lambda Y}\right] \leq 1 + \sum_{k=2}^\infty \frac{\lambda^k}{k!} \cdot \frac{k! \, b^{k-2}}{2} \, \mathbb{V}[X] = 1 + \frac{\mathbb{V}[X]}{2} \sum_{k=2}^\infty (b\lambda)^{k-2} \lambda^2
+\end{equation}
+$$
+
+通过令 $j = k - 2$ 进行简化：
+$$
+\begin{equation}
+\mathbb{E}\left[e^{\lambda Y}\right] \leq 1 + \frac{\mathbb{V}[X] \lambda^2}{2} \sum_{j=0}^\infty (b\lambda)^j
+\end{equation}
+$$
+
+---
+
+- **步骤 5：求解几何级数的和**
+
+当 $b\lambda < 1$ 时，几何级数收敛：
+$$
+\begin{equation}
+\sum_{j=0}^\infty (b\lambda)^j = \frac{1}{1 - b\lambda}
+\end{equation}
+$$
+
+因此：
+$$
+\begin{equation}
+\mathbb{E}\left[e^{\lambda Y}\right] \leq 1 + \frac{\mathbb{V}[X] \lambda^2}{2(1 - b\lambda)}
+\end{equation}
+$$
+
+---
+
+- **步骤 6：应用指数不等式**
+
+使用不等式 $1 + x \leq e^{x}$ 对所有实数 $x$ 成立：
+$$
+\begin{equation}
+\mathbb{E}\left[e^{\lambda Y}\right] \leq \exp\left(\frac{\mathbb{V}[X] \lambda^2}{2(1 - b\lambda)}\right)
+\end{equation}
+$$
+
+这与**亚指数条件**相符：
+$$
+\begin{equation}
+\mathbb{E}\left[e^{\lambda Y}\right] \leq \exp\left(\frac{\mathbb{V}[X] \lambda^2}{2(1 - b\lambda)}\right), \quad \forall \lambda \in \left[0, \frac{1}{b}\right)
+\end{equation}
+$$
+
+---
+
+接下来我们完成在给定矩条件下的**Bernstein 不等式**的证明，即：
+
+**陈述：**
+
+给定 $m$ 个独立同分布的随机变量 $X_i, i \in [m]$，令 $\bar{X} = \frac{1}{m}\sum_{i=1}^{m} X_i$。若存在常数 $b > 0$，使得对所有 $k \geq 2$，
+$$
+\begin{equation}
+\mathbb{E}\left[|X_i - \mathbb{E}[X_i]|^k\right] \leq \frac{k! \, b^{k-2}}{2} \, \mathbb{V}[X_1],
+\end{equation}
+$$
+
+则对于任意 $\epsilon > 0$，
+$$
+\begin{equation}
+\mathbb{P}\left(\bar{X} \geq \mathbb{E}[\bar{X}] + \epsilon\right) \leq \exp\left(\frac{-m\epsilon^2}{2 \mathbb{V}[X_1] + 2b\epsilon}\right)
+\end{equation}
+$$
+
+---
+
+- **步骤 1：定义单侧 Bernstein 条件**
+
+首先，回顾对于参数 $b > 0$ 的**单侧 Bernstein 条件**：
+$$
+\begin{equation}
+\mathbb{E}\left[e^{\lambda(Y)}\right] \leq \exp\left(\frac{\mathbb{V}[Y] \lambda^2 / 2}{1 - b\lambda}\right), \quad \forall \lambda \in \left[0, \frac{1}{b}\right)
+\end{equation}
+$$
+其中 $Y = X - \mathbb{E}[X]$。
+
+根据**矩条件**，我们已经证明 $Y$ 满足**亚指数条件**：
+$$
+\begin{equation}
+\mathbb{E}\left[e^{\lambda Y}\right] \leq \exp\left(\frac{\mathbb{V}[Y] \lambda^2}{2(1 - b\lambda)}\right), \quad \forall \lambda \in \left[0, \frac{1}{b}\right)
+\end{equation}
+$$
+
+因此，$Y$ 满足**单侧 Bernstein 条件**，且 $\mathbb{V}[Y] = \mathbb{V}[X]$。
+
+- **步骤 2：应用 Chernoff 界**
+
+考虑 $m$ 个独立同分布随机变量 $Y_i = X_i - \mathbb{E}[X_i]$ 的和：
+$$
+\begin{equation}
+S_m = \sum_{i=1}^{m} Y_i = m(\bar{X} - \mathbb{E}[\bar{X}])
+\end{equation}
+$$
+
+我们的目标是对概率 $\mathbb{P}(S_m \geq m\epsilon)$ 进行上界，这等价于 $\mathbb{P}(\bar{X} \geq \mathbb{E}[\bar{X}] + \epsilon)$。
+
+使用**Chernoff 界**：
+$$
+\begin{equation}
+\mathbb{P}(S_m \geq m\epsilon) \leq \inf_{\lambda > 0} \exp(-\lambda m \epsilon) \mathbb{E}\left[e^{\lambda S_m}\right]
+\end{equation}
+$$
+
+- **步骤 3：对和的矩母函数进行上界**
+
+由于 $Y_i$ 是独立的：
+$$
+\begin{equation}
+\mathbb{E}\left[e^{\lambda S_m}\right] = \prod_{i=1}^{m} \mathbb{E}\left[e^{\lambda Y_i}\right] \leq \left[\exp\left(\frac{\mathbb{V}[Y_i] \lambda^2}{2(1 - b\lambda)}\right)\right]^m = \exp\left(\frac{m \mathbb{V}[Y] \lambda^2}{2(1 - b\lambda)}\right)
+\end{equation}
+$$
+
+因此：
+$$
+\begin{equation}
+\mathbb{P}(S_m \geq m\epsilon) \leq \inf_{\lambda > 0} \exp\left(-\lambda m \epsilon + \frac{m \mathbb{V}[Y] \lambda^2}{2(1 - b\lambda)}\right)
+\end{equation}
+$$
+
+- **步骤 4：对 $\lambda$ 进行优化**
+
+为了找到最紧的界，我们需要对 $\lambda$ 进行优化。最优的 $\lambda$ 是使指数最小的值：
+$$
+\begin{equation}
+-\lambda m \epsilon + \frac{m \mathbb{V}[Y] \lambda^2}{2(1 - b\lambda)}
+\end{equation}
+$$
+
+对 $\lambda$ 求导并令其为零：
+$$
+\begin{equation}
+-\epsilon + \frac{\mathbb{V}[Y] \lambda}{1 - b\lambda} + \frac{\mathbb{V}[Y] \lambda^2 b}{2(1 - b\lambda)^2} = 0
+\end{equation}
+$$
+
+然而，直接求解该方程较为复杂。我们可以选择：
+$$
+\begin{equation}
+\lambda = \frac{\epsilon}{\mathbb{V}[Y] + b\epsilon}
+\end{equation}
+$$
+
+此时 $\lambda$ 满足 $\left[0, \frac{1}{b}\right)$ 的范围，因为：
+$$
+\begin{equation}
+\lambda b = \frac{b\epsilon}{\mathbb{V}[Y] + b\epsilon} < 1
+\end{equation}
+$$
+
+- **步骤 5：将最优的 $\lambda$ 代入界中**
+
+将 $\lambda = \frac{\epsilon}{\mathbb{V}[Y] + b\epsilon}$ 代入指数中：
+$$
+\begin{equation}
+-\lambda m \epsilon + \frac{m \mathbb{V}[Y] \lambda^2}{2(1 - b\lambda)} = -\frac{m \epsilon^2}{\mathbb{V}[Y] + b\epsilon} + \frac{m \mathbb{V}[Y] \left(\frac{\epsilon}{\mathbb{V}[Y] + b\epsilon}\right)^2}{2\left(1 - \frac{b\epsilon}{\mathbb{V}[Y] + b\epsilon}\right)}
+\end{equation}
+$$
+
+在第二项中简化分母：
+$$
+\begin{equation}
+1 - b\lambda = 1 - \frac{b\epsilon}{\mathbb{V}[Y] + b\epsilon} = \frac{\mathbb{V}[Y]}{\mathbb{V}[Y] + b\epsilon}
+\end{equation}
+$$
+
+现在，代入回去：
+$$
+\begin{equation}
+-\frac{m \epsilon^2}{\mathbb{V}[Y] + b\epsilon} + \frac{m \epsilon^2}{2(\mathbb{V}[Y] + b\epsilon)} = -\frac{m \epsilon^2}{2(\mathbb{V}[Y] + b\epsilon)}
+\end{equation}
+$$
+
+因此：
+$$
+\begin{equation}
+\mathbb{P}(S_m \geq m\epsilon) \leq \exp\left(-\frac{m \epsilon^2}{2(\mathbb{V}[Y] + b\epsilon)}\right)
+\end{equation}
+$$
+
+- **步骤 6：回到样本均值**
+
+回忆：
+$$
+\begin{equation}
+S_m = m(\bar{X} - \mathbb{E}[\bar{X}])
+\end{equation}
+$$
+
+因此：
+$$
+\begin{equation}
+\mathbb{P}\left(\bar{X} - \mathbb{E}[\bar{X}] \geq \epsilon\right) = \mathbb{P}(S_m \geq m\epsilon) \leq \exp\left(-\frac{m \epsilon^2}{2(\mathbb{V}[Y] + b\epsilon)}\right)
+\end{equation}
+$$
+
+由于 $\mathbb{V}[Y] = \mathbb{V}[X]$，我们得到：
+$$
+\begin{equation}
+\mathbb{P}\left(\bar{X} \geq \mathbb{E}[\bar{X}] + \epsilon\right) \leq \exp\left(-\frac{m \epsilon^2}{2(\mathbb{V}[X] + b\epsilon)}\right)
+\end{equation}
+$$
+$\square$
+
+
+
+## 1.18 Azuma–Hoeffding（Azuma）不等式
+
+对于均值为 $Z_0 = \mu$ 的鞅差序列 $\{Z_m, m \geq 1\}$，若 $|Z_i - Z_{i-1}| \leq c_i$，其中$c_i \gt 0$为已知常数，则对于任意 $\varepsilon \gt 0$，有：
+$$
+\begin{equation}
+\begin{align*}
+P(Z_{m} - \mu \geq \varepsilon) &\leq \exp(-\frac{\varepsilon^{2}}{2\sum_{i=1}^{m} c_{i}^{2}}) \\
+P(Z_{m} - \mu \leq -\varepsilon) &\leq \exp(-\frac{\varepsilon^{2}}{2\sum_{i=1}^{m} c_{i}^{2}})
+\end{align*}
+\end{equation}
+$$
+
+### 证明
+
+1. **构造指数鞅**
+
+ 考虑参数 $s \gt 0$，构造如下的指数鞅：
+
+ $$
+ \begin{equation}
+ M_m = \exp(s(Z_m - \mu) - \frac{s^2}{2}\sum_{i=1}^{m} c_i^2)
+ \end{equation}
+ $$
+
+ 我们需要证明 $\{M_m\}_{m \geq 0}$ 是一个超鞅。
+
+2. **验证鞅性质**
+
+ 对于任意 $m \geq 1$，有
+
+ $$
+ \begin{equation}
+ \mathbb{E}[M_m \mid \mathcal{F}_{m-1}] = \mathbb{E}[\exp(s(Z_m - Z_{m-1})) \mid \mathcal{F}_{m-1}] \cdot \exp(s(Z_{m-1} - \mu) - \frac{s^2}{2}\sum_{i=1}^{m} c_i^2)
+ \end{equation}
+ $$
+
+ 由于 $|Z_m - Z_{m-1}| \leq c_m$，并且 $\mathbb{E}[Z_m - Z_{m-1} \mid \mathcal{F}_{m-1}] = 0$（鞅性质），可以应用 Hoeffding 引理得到：
+
+ $$
+ \begin{equation}
+ \mathbb{E}[\exp(s(Z_m - Z_{m-1})) \mid \mathcal{F}_{m-1}] \leq \exp(s\mathbb{E}[Z_m - Z_{m-1} \mid \mathcal{F}_{m-1}] + \frac{s^2(c_m-(-c_m))^2}{8}) = \exp(\frac{s^2 c_m^2}{2})
+ \end{equation}
+ $$
+
+ 因此，
+
+ $$
+ \begin{equation}
+ \mathbb{E}[M_m \mid \mathcal{F}_{m-1}] \leq \exp(\frac{s^2 c_m^2}{2}) \cdot \exp(s(Z_{m-1} - \mu) - \frac{s^2}{2}\sum_{i=1}^{m} c_i^2) = M_{m-1}
+ \end{equation}
+ $$
+
+ 这表明 $\{M_m\}$ 是一个超鞅。
+
+3. **应用鞅不等式**
+
+ 由于 $\{M_m\}$ 是一个超鞅，且 $M_0 = \exp(0) = 1$，根据超鞅的性质，有
+
+ $$
+ \begin{equation}
+ \mathbb{E}[M_m] \le M_0 = 1
+ \end{equation}
+ $$
+
+ 对于事件 $\{Z_m - \mu \geq \varepsilon\}$，有
+
+ $$
+ \begin{equation}
+ M_m = \exp(s(Z_m - \mu) - \frac{s^2}{2}\sum_{i=1}^{m} c_i^2) \geq \exp(s \varepsilon - \frac{s^2}{2}\sum_{i=1}^{m} c_i^2)
+ \end{equation}
+ $$
+
+ 我们令 $a = \exp\left(s \varepsilon - \frac{s^2}{2}\sum_{i=1}^{m} c_i^2\right)$，由于 $\{Z_m - \mu \geq \varepsilon\}$ 蕴含了 $\{M_m \geq a\}$，所以：
+
+ $$
+ \begin{equation}
+ P\left(Z_m - \mu \geq \varepsilon\right) \leq P\left(M_m \geq a\right)
+ \end{equation}
+ $$
+
+ 结合已知的 $\mathbb{E}[M_m] \leq 1$，应用 Markov 不等式可得：
+
+ $$
+ \begin{equation}
+ P\left(M_m \geq a\right) \leq \frac{1}{a} = \exp\left(-s \varepsilon + \frac{s^2}{2}\sum_{i=1}^{m} c_i^2\right)
+ \end{equation}
+ $$
+
+ 因此，我们得到：
+
+ $$
+ \begin{equation}
+ P\left(Z_m - \mu \geq \varepsilon\right) \leq \exp\left(-s \varepsilon + \frac{s^2}{2}\sum_{i=1}^{m} c_i^2\right)
+ \end{equation}
+ $$
+
+4. **优化参数 $s$**
+
+ 为了得到最优的上界，选择 $s$ 使得表达式 $-s \varepsilon + \frac{s^2}{2}\sum c_i^2$ 最小化。对 $s$ 求导并取零：
+
+ $$
+ \begin{equation}
+ -\varepsilon + s \sum_{i=1}^{m} c_i^2 = 0 \quad \Rightarrow \quad s = \frac{\varepsilon}{\sum_{i=1}^{m} c_i^2}
+ \end{equation}
+ $$
+
+ 代入得：
+
+ $$
+ \begin{equation}
+ P(Z_m - \mu \geq \varepsilon) \leq \exp(-\frac{\varepsilon^2}{2\sum_{i=1}^{m} c_i^2})
+ \end{equation}
+ $$
+
+ 这即是 Azuma 不等式的上侧不等式。
+
+5. **下侧不等式的证明**
+
+ 对于下侧不等式，可以类似地考虑 $-Z_m$ 作为鞅，应用相同的方法得到：
+
+ $$
+ \begin{equation}
+ P(Z_m - \mu \leq -\varepsilon) \leq \exp(-\frac{\varepsilon^2}{2\sum_{i=1}^{m} c_i^2})
+ \end{equation}
+ $$
+
+ 因此，Azuma 不等式得证。$\square$
+
+
+
+## 1.19 Slud 不等式
+
+若 $X \sim B(m,p)$，则有：
+$$
+\begin{equation}
+P(\frac{X}{m} \geq \frac{1}{2}) \geq \frac{1}{2}[1 - \sqrt{1-\exp(-\frac{m\varepsilon^{2}}{1-\varepsilon^{2}})}]
+\end{equation}
+$$
+其中 $p = \frac{1-\varepsilon}{2}$。
+
+### 证明
+
+二项随机变量 $X$ 表示在 $m$ 次独立伯努利试验中成功的次数，成功概率为 $p$。对于大的 $m$，二项分布 $B(m,p)$ 可以近似为均值 $\mu=mp$ 和方差 $\sigma^2=mp(1-p)$ 的正态分布：
+$$
+\begin{equation}
+\begin{align*}
+\mu &= \frac{m(1-\varepsilon)}{2} \\
+\sigma^2 &= \frac{m(1-\varepsilon^2)}{4}
+\end{align*}
+\end{equation}
+$$
+令 $Z=\frac{X-\mu}{\sigma}$，代入 $\mu$ 和 $\sigma$，有：
+$$
+\begin{equation}
+P[\frac{X}{m} \geq \frac{1}{2}] = P[Z \geq \frac{\frac{m}{2}-\mu}{\sigma}] = P[Z \geq \frac{\varepsilon\sqrt{m}}{\sqrt{1-\varepsilon^2}}]
+\end{equation}
+$$
+根据正态分布不等式（定理 21），有：
+$$
+\begin{equation}
+P[Z \geq x] \geq \frac{1}{2}[1 - \sqrt{1-\exp(-\frac{2x^2}{\pi})}] \geq \frac{1}{2}[1 - \sqrt{1-\exp(-x^2)}]
+\end{equation}
+$$
+代入可得：
+$$
+\begin{equation}
+P[Z \geq \frac{\varepsilon\sqrt{m}}{\sqrt{1-\varepsilon^2}}] \geq \frac{1}{2}[1 - \sqrt{1-\exp(-\frac{m\varepsilon^2}{1-\varepsilon^2})}]
+\end{equation}
+$$
+$\square$
+
+
+
+## 1.20 上界不等式之加性公式
+
+若 $\sup(f)$ 和 $\sup(g)$ 分别为函数 $f$ 和 $g$ 的上界，则有：
+$$
+\begin{equation}
+\sup(f+g) \leq \sup(f) + \sup(g)
+\end{equation}
+$$
+
+### 证明
+
+假设 $f,g$ 分别有相同的定义域 $D_f,D_g$。根据上确界的定义，对于每一个 $x \in D_f \cap D_g$，我们有
+$$
+\begin{equation}
+g(x) \leq \sup_{y \in D_g} g(y),
+\end{equation}
+$$
+从而
+$$
+\begin{equation}
+f(x) + g(x) \leq f(x) + \sup_{y \in D_g} g(y).
+\end{equation}
+$$
+因为这对于每一个 $x \in D_f \cap D_g$ 都成立，我们可以在不等式的两边取上确界，得到：
+$$
+\begin{equation}
+\sup_{x \in D_f \cap D_g}(f(x) + g(x)) \leq \sup_{x \in D_f \cap D_g} f(x) + \sup_{y \in D_g} g(y) \leq \sup_{z \in D_f} f(z) + \sup_{y \in D_g} g(y).
+\end{equation}
+$$
+这里我们使用了 $\sup_{x \in D_f \cap D_g} f(x) \leq \sup_{z \in D_f} f(z)$，因为 $D_f \cap D_g \subset D_f$。$\square$
+
+值得注意的是，该不等式在（4.33）中利用过两次，且原推导并没有用到 Jensen 不等式的任何性质。
+
+另外，加性公式有几个常见的变形，例如：
+$$
+\begin{equation}
+\sup(f-g) - \sup(f-k) \leq \sup(k-g)
+\end{equation}
+$$
+该不等式在（4.29）中出现过。
+
+
+
+## 1.21 正态分布不等式
+
+若 $X$ 是一个服从标准正态分布的随机变量，那么对于任意 $u \geq 0$，有：
+$$
+\begin{equation}
+\mathbb{P}[X \leq u] \leq \frac{1}{2}\sqrt{1-e^{-\frac{2}{\pi}u^2}}
+\end{equation}
+$$
+
+### 证明
+
+令 $G(u)=\mathbb{P}[X \leq u]$，则有：
+$$
+\begin{equation}
+2G(u) = \int_{-u}^u(2\pi)^{-1/2}e^{-x^2/2}\,dx = \int_{-u}^u(2\pi)^{-1/2}e^{-y^2/2}\,dy
+\end{equation}
+$$
+因此：
+$$
+\begin{equation}
+2\pi[2G(u)]^2 = \int_{-u}^u \int_{-u}^u e^{-(x^2+y^2)/2}\,dx\,dy
+\end{equation}
+$$
+让我们考虑更一般的积分形式：
+$$
+\begin{equation}
+2\pi[2G(u)]^2 = \iint_R e^{-(x^2+y^2)/2}\,dx\,dy
+\end{equation}
+$$
+此时 $R$ 为任意面积为 $4u^2$ 的区域。通过反证法可以证明，只有当 $R$ 为以原点为中心的圆形区域 $R_0$ 时，积分值最大：
+$$
+\begin{equation}
+R_0 = \{(x,y):\pi(x^2+y^2)\leq 4u^2\}
+\end{equation}
+$$
+此时，有：
+$$
+\begin{equation}
+\begin{align*}
+2\pi[2G(u)]^2 &\leq \iint_{R_0} e^{-(x^2+y^2)/2}\,dx\,dy \\
+&=\int_0^{2\pi}\int_0^{2u\pi^{-1/2}} e^{-r^2/2}r\,dr\,d\varphi \\
+&= 2\pi(1-e^{-2u^2/\pi})
+\end{align*}
+\end{equation}
+$$
+因此，有：
+$$
+\begin{equation}
+G(u) = \mathbb{P}[X \leq u] \leq \frac{1}{2}\sqrt{1-e^{-\frac{2}{\pi}u^2}}
+\end{equation}
+$$
+进一步，我们可以得到：
+$$
+\begin{equation}
+\mathbb{P}[X \geq u] \geq \frac{1}{2}(1-\sqrt{1-e^{-\frac{2}{\pi}u^2}})
+\end{equation}
+$$
+$\square$
+
+
+
+## 1.22 AM-GM 不等式
+
+算术平均数和几何平均数的不等式，简称 AM-GM 不等式。该不等式指出非负实数序列的算术平均数大于等于该序列的几何平均数，当且仅当序列中的每个数相同时，等号成立。形式上，对于非负实数序列 $\{x_n\}$，其算术平均值定义为：
+$$
+\begin{equation}
+A_n=\frac{1}{n}\sum_{i=1}^n x_i
+\end{equation}
+$$
+其几何平均值定义为：
+$$
+\begin{equation}
+G_n=\sqrt[n]{\prod_{i=1}^n x_i}
+\end{equation}
+$$
+则 AM-GM 不等式成立：
+$$
+\begin{equation}
+A_n \geq G_n
+\end{equation}
+$$
+
+### 证明
+
+我们可以通过 Jensen 不等式来证明 AM-GM 不等式。首先，我们考虑函数 $f(x)=-\ln x$，该函数是凸函数，因此有：
+$$
+\begin{equation}
+\frac{1}{n}\sum_{i=1}^n -\ln x_i \geq -\ln(\frac{1}{n}\sum_{i=1}^n x_i)
+\end{equation}
+$$
+即：
+$$
+\begin{equation}
+\begin{align*}
+\ln(\frac{1}{n}\sum_{i=1}^n x_i) &\geq \frac{1}{n}\sum_{i=1}^n \ln x_i = \ln(\sqrt[n]{\prod_{i=1}^n x_i}) \\
+\Rightarrow \frac{1}{n}\sum_{i=1}^n x_i &\geq \sqrt[n]{\prod_{i=1}^n x_i}
+\end{align*}
+\end{equation}
+$$
+当取 $x_1 = x_2 = \cdots = x_n$ 时，等号成立。特别地，当 $n=2$ 时，我们有：
+$$
+\begin{equation}
+\frac{x_1 + x_2}{2} \geq \sqrt{x_1 x_2}
+\end{equation}
+$$
+$\square$
+
+
+
+## 1.23 Young 不等式
+
+对于任意 $a, b \geq 0$ 且 $p, q \gt 1$，若 $\frac{1}{p} + \frac{1}{q} = 1$，则有：
+$$
+\begin{equation}
+ab \leq \frac{a^p}{p} + \frac{b^q}{q}
+\end{equation}
+$$
+当且仅当 $a^p = b^q$ 时，等号成立。
+
+### 证明
+
+我们可以通过 Jensen 不等式来证明 Young 不等式。首先，当 $ab = 0$ 时，该不等式显然成立。当 $a, b \gt 0$ 时，我们令 $t = 1/p, 1-t = 1/q$，根据 $\ln(x)$ 的凹性，我们有：
+$$
+\begin{equation}
+\begin{align*}
+\ln(t a^p + (1-t) b^q) &\geq t\ln(a^p) + (1-t)\ln(b^q) \\
+&= \ln(a) + \ln(b) \\
+&= \ln(ab)
+\end{align*}
+\end{equation}
+$$
+当且仅当 $a^p = b^q$ 时，等号成立。$\square$
+
+
+
+## 1.24 Bayes 定理
+
+贝叶斯定理是概率论中的一个重要定理，它描述了在已知某些条件下更新事件概率的数学方法。贝叶斯定理的公式为：
+$$
+\begin{equation}
+P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)}
+\end{equation}
+$$
+其中：
+- $P(A|B)$ 是在事件 B 发生的情况下事件 A 发生的后验概率。
+- $P(B|A)$ 是在事件 A 发生的情况下事件 B 发生的似然函数。
+- $P(A)$ 是事件 A 的先验概率。
+- $P(B)$ 是事件 B 的边缘概率。
+
+### 证明
+
+根据条件概率的定义，事件 A 在事件 B 发生下的条件概率 $P(A|B)$ 表示为：
+$$
+\begin{equation}
+P(A|B) = \frac{P(A \cap B)}{P(B)}
+\end{equation}
+$$
+
+同样地，事件 B 在事件 A 发生下的条件概率 $P(B|A)$ 表示为：
+$$
+\begin{equation}
+P(B|A) = \frac{P(A \cap B)}{P(A)}
+\end{equation}
+$$
+
+通过这两个公式可以得到联合概率 $P(A \cap B)$ 的两种表示方式：
+$$
+\begin{equation}
+P(A \cap B) = P(A|B) \cdot P(B)
+\end{equation}
+$$
+
+以及：
+$$
+\begin{equation}
+P(A \cap B) = P(B|A) \cdot P(A)
+\end{equation}
+$$
+
+由于联合概率的性质，我们可以将上述两个等式等同：
+$$
+\begin{equation}
+P(A|B) \cdot P(B) = P(B|A) \cdot P(A)
+\end{equation}
+$$
+
+将上述等式两边同时除以 $P(B)$，得到贝叶斯定理：
+$$
+\begin{equation}
+P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)}
+\end{equation}
+$$
+$\square$
+
+通过先验和后验的更新过程，贝叶斯统计提供了一种动态的、不断修正认知的不确定性量化方法。
+
+
+
+## 1.25 广义二项式定理
+
+广义二项式定理（Generalized Binomial Theorem）是二项式定理的扩展：
+$$
+\begin{equation}
+(x + y)^r = \sum_{k=0}^{\infty} \binom{r}{k} x^{r-k} y^k, \quad |x| \lt |y|, \quad k \in \mathbb{N}, \quad r \in \mathbb{R}
+\end{equation}
+$$
+其中我们令 $\binom{r}{k} := \frac{(r)_k}{k!}$，$(r)_k = r(r-1) \cdots (r-k+1)$ 为递降阶乘（falling factorial）。
+
+### 证明
+
+首先代入定义，易证：
+$$
+\begin{equation}
+(r-k) \binom{r}{k} + (r-(k-1)) \binom{r}{k-1} = r \binom{r}{k}
+\end{equation}
+$$
+
+我们从特殊情况 $y = 1$ 开始。首先我们证明只要 $|x| \lt 1$，后者级数就会收敛。
+
+通过使用幂级数收敛半径的商式来证明这一点，由于绝对值的连续性使我们可以先在绝对值内部计算极限，可得：
+$$
+\begin{equation}
+\lim_{k \to \infty} \frac{|a_k|}{|a_{k+1}|} = \lim_{k \to \infty} | \frac{k+1}{r-k} | = |-1| = 1
+\end{equation}
+$$
+因此我们有一个为 1 的收敛半径。这种收敛使我们能够在 $|x| \lt 1$ 的收敛区域内应用逐项求导，得到：
+$$
+\begin{equation}
+\frac{d}{dx} \sum_{k=0}^\infty \binom{r}{k} x^k = \sum_{k=1}^\infty (r-(k-1)) \binom{r}{k-1} x^{k-1}
+\end{equation}
+$$
+如果我们将我们正在考虑的级数定义的函数记为 $g(x)$，我们得到：
+$$
+\begin{equation}
+\begin{align*}
+(1 + x) \frac{d}{dx} g(x) &= \sum_{k=1}^\infty (r-(k-1)) \binom{r}{k-1} x^{k-1} + \sum_{k=1}^\infty (r-(k-1)) \binom{r}{k-1} x^k \\
+&= r + \sum_{k=1}^\infty ( (r-k) \binom{r}{k} + (r-(k-1)) \binom{r}{k-1} ) x^k \\
+&= r + r \sum_{k=1}^\infty \binom{r}{k} x^k \\
+&= r g(x),
+\end{align*}
+\end{equation}
+$$
+上式的推导使用了前述引理。
+
+现在定义 $f(x) = (1 + x)^r$，我们通过通常的求导规则得到：
+$$
+\begin{equation}
+\frac{d}{dx} ( \frac{g(x)}{f(x)} ) = \frac{g'(x) f(x) - f'(x) g(x)}{f(x)^2} = \frac{r\frac{g(x)}{x+1}(1+x)^r - rg(x)(1 + x)^{r-1}}{f(x)^2} = 0
+\end{equation}
+$$
+$|x| \lt 1$ 意味着 $f(x) \neq 0$，因此 $g/f$ 为常数。又 $f(0) = g(0) = 1$ 可得 $f(x) = g(x)$。
+
+对于一般的 $x, y \in \mathbb{R}$ 且 $|x| \lt |y|$，我们有：
+$$
+\begin{equation}
+\frac{(x + y)^r}{y^r} = (\frac{x}{y} + 1)^r = \sum_{k=0}^\infty \binom{r}{k} (\frac{x}{y})^k;
+\end{equation}
+$$
+收敛性由假设 $|x/y| \lt 1$ 保证。为了得到原定理的形式，我们只需乘以 $y^r$ 即可。$\square$
+
+
+
+## 1.26 Stirling 公式
+
+Stirling 公式是用于近似计算阶乘的一种公式，即使在 $n$ 很小时也有很高的精度。Stirling 公式的一种形式为：
+$$
+\begin{equation}
+n! = \sqrt{2\pi} n^{n+1/2} e^{-n} e^{r_n}
+\end{equation}
+$$
+其中，$\frac{1}{12n + 1} \lt r_n \lt \frac{1}{12n}$。
+
+### 证明
+
+我们令：
+$$
+\begin{equation}
+S_n = \ln(n!) = \sum_{p=1}^{n-1} \ln(p+1)
+\end{equation}
+$$
+且
+$$
+\begin{equation}
+\ln(p+1) = A_p + b_p - \varepsilon_p
+\end{equation}
+$$
+其中：
+$$
+\begin{equation}
+\begin{align*}
+A_p &= \int_{p}^{p+1} \ln x \, dx \\
+b_p &= \frac{1}{2} [\ln(p+1) - \ln(p)] \\
+\varepsilon_p &= \int_{p}^{p+1} \ln x \, dx - \frac{1}{2} [\ln(p+1) + \ln(p)]
+\end{align*}
+\end{equation}
+$$
+此时：
+$$
+\begin{equation}
+S_n = \sum_{p=1}^{n-1} (A_p + b_p - \varepsilon_p)
+= \int_{1}^{n} \ln x \, dx + \frac{1}{2} \ln n - \sum_{p=1}^{n-1} \varepsilon_p
+\end{equation}
+$$
+易证 $\int \ln x \, dx = x \ln x - x + C, \, C \in \mathbb{R}$，故：
+$$
+\begin{equation}
+S_n = (n+1/2)\ln n - n + 1 - \sum_{p=1}^{n-1} \varepsilon_p
+\end{equation}
+$$
+此时：
+$$
+\begin{equation}
+\varepsilon_p = \frac{2p+1}{2} \ln(\frac{p+1}{p}) - 1
+\end{equation}
+$$
+
+接下来我们对 $\ln(\frac{p+1}{p})$ 进行级数展开，根据广义二项式定理，即：
+
+令 $a = -1, \, t = \frac{1}{p}, \, t \in (-1, 1)$，则有：
+$$
+\begin{equation}
+\frac{1}{1 + t} = 1 - t + t^2 - t^3 + t^4 - \cdots
+\end{equation}
+$$
+对上式两边同时进行积分，我们有：
+$$
+\begin{equation}
+\ln(1 + t) = t - \frac{1}{2} t^2 + \frac{1}{3} t^3 - \frac{1}{4} t^4 + \cdots
+\end{equation}
+$$
+如果我们令 $-t$ 来代替 $t$，则有：
+$$
+\begin{equation}
+\ln \frac{1}{1 - t} = t + \frac{1}{2} t^2 + \frac{1}{3} t^3 + \frac{1}{4} t^4 + \cdots
+\end{equation}
+$$
+将两式相加，我们有：
+$$
+\begin{equation}
+\frac{1}{2} \ln \frac{1 + t}{1 - t} = t + \frac{1}{3} t^3 + \frac{1}{5} t^5 + \cdots
+\end{equation}
+$$
+
+回到我们的问题，我们令 $t = (2p + 1)^{-1} \in (0, 1)$，如此才满足 $\frac{1+t}{1-t} = \frac{p+1}{p}$，带入前式：
+$$
+\begin{equation}
+\varepsilon_p = \frac{1}{3(2p+1)^2} + \frac{1}{5(2p+1)^4} + \frac{1}{7(2p+1)^6} + \cdots
+\end{equation}
+$$
+因此：
+$$
+\begin{equation}
+\varepsilon_p \lt \frac{1}{3(2p+1)^2} \sum_{i=0}^{\infty} \frac{1}{(2p+1)^{2i}}
+= \frac{1}{3(2p+1)^2} \frac{1}{1 - \frac{1}{(2p+1)^2}}
+= \frac{1}{3[(2p+1)^2 - 1]}
+= \frac{1}{12} (\frac{1}{p} - \frac{1}{p+1})
+\end{equation}
+$$
+且
+$$
+\begin{equation}
+\varepsilon_p \gt \frac{1}{3(2p+1)^2} \sum_{i=0}^{\infty} \frac{1}{[3(2p+1)^2]^{i}}
+= \frac{1}{3(2p+1)^2} \frac{1}{1 - \frac{1}{3(2p+1)^2}}
+= \frac{1}{3(2p+1)^2 - 1}
+\end{equation}
+$$
+易证
+$$
+\begin{equation}
+(p+\frac{1}{12})(p+1+\frac{1}{12})
+= p^2 + \frac{7}{6}p + \frac{13}{144}
+\gt p^2 + p + \frac{1}{6}
+= \frac{1}{12} [3(2p+1)^2 - 1], \quad p \in \mathbb{N}^+
+\end{equation}
+$$
+因此：
+$$
+\begin{equation}
+\varepsilon_p \gt \frac{1}{12} (\frac{1}{p+\frac{1}{12}} - \frac{1}{p+1+\frac{1}{12}})
+\end{equation}
+$$
+我们令：
+$$
+\begin{equation}
+B = \sum_{p=1}^{\infty} \varepsilon_p, \quad r_n = \sum_{p=n}^{\infty} \varepsilon_p
+\end{equation}
+$$
+那么易得：
+$$
+\begin{equation}
+\frac{1}{13} \lt B \lt \frac{1}{12}, \quad \frac{1}{12(n+1)} \lt r_n \lt \frac{1}{12n}
+\end{equation}
+$$
+带入 $S_n$ 的表达式：
+$$
+\begin{equation}
+S_n = (n+\frac{1}{2})\ln n - n + 1 - B + r_n
+\end{equation}
+$$
+可得：
+$$
+\begin{equation}
+n! = e^{1-B} n^{n+1/2} e^{-n} e^{r_n}
+\end{equation}
+$$
+令 $C = e^{1-B}$，我们可知常数 $C$ 的取值范围为 $(e^{11/12}, e^{12/13})$，此处我们取 $C = \sqrt{2\pi}$，该公式得证。$\square$
+
+
+
+## 1.27 散度定理
+
+散度定理（Divergence Theorem），也称为高斯定理（Gauss's Theorem），是向量分析中的重要定理，它将体积积分和曲面积分联系起来。
+
+具体而言，如果考虑一个 $n$-维球体（$n$-ball）$B^n$ 的体积为 $V$，其表面为 $S^{n-1}$，对于一个位于 $n$-维空间中的光滑向量场 $\mathbf{F}$，则有：
+
+$$
+\int_{B^n} (\nabla \cdot \mathbf{F}) \, dV = \oint_{S^{n-1}} \mathbf{F} \cdot \mathbf{n} \, dS
+$$
+
+其中：
+- $\nabla \cdot \mathbf{F}$ 是向量场 $\mathbf{F}$ 的散度。
+- $dV$ 是体积元素。
+- $dS$ 是边界表面的面积元素。
+- $\mathbf{n}$ 是边界的单位外法向量。
+
+体积积分计算的是在 $n$-球内的散度，而表面积分计算的是在 $n-1$ 维球面上的通量。
+这种形式的散度定理在物理学和工程学中广泛应用，比如电磁学中的高斯定理、流体力学中的质量守恒等。
+
+
+
+## 1.28 分离超平面定理
+
+如果有两个不相交的非空凸集，则存在一个超平面能够将它们完全分隔开，这个超平面叫做分离超平面（Separating Hyperplane）。形式上，设 $A$ 和 $B$ 是 $\mathbb{R}^n$ 中的两个不相交的非空凸集，那么存在一个非零向量 $v$ 和一个实数 $c$，使得：
+$$
+\begin{equation}\langle x, v \rangle \geq c \, \text{且} \, \langle y, v \rangle \leq c\end{equation}
+$$
+对所有 $x \in A$ 和 $y \in B$ 都成立。即超平面 $\langle \cdot, v \rangle = c$ 以 $v$ 作为分离轴（Separating Axis），将 $A$ 和 $B$ 分开。
+
+进一步，如果这两个集合都是闭集，并且至少其中一个是紧致的，那么这种分离可以是严格的，即存在 $c_1 \gt c_2$ 使得：
+$$
+\begin{equation}\langle x, v \rangle \gt c_1 \, \text{且} \, \langle y, v \rangle \lt c_2\end{equation}
+$$
+
+在不同情况下，我们可以通过调整 $v$ 和 $c$ 来使得分离超平面的边界更加清晰。
+
+| A | B | $\langle x, v \rangle$ | $\langle y, v \rangle$ |
+|---------------|--------------|---------------------------|---------------------------|
+| 闭紧集 | 闭集 | $\gt c_1$ | $\lt c_2$ 且 $c_2 \lt c_1$ |
+| 闭集 | 闭紧集 | $\gt c_1$ | $\lt c_2$ 且 $c_2 \lt c_1$ |
+| 开集 | 闭集 | $\gt c$ | $\leq c$ |
+| 开集 | 开集 | $\gt c$ | $\lt c$ |
+
+在支持向量机的背景下，最佳分离超平面（或最大边缘超平面）是分离两个点凸包并且与两者等距的超平面。
+
+### 证明
+
+证明基于以下引理：
+
+设 $A$ 和 $B$ 是 $\mathbb{R}^n$ 中两个不相交的闭集，且假设 $A$ 是紧致的。则存在点 $a_0 \in A$ 和 $b_0 \in B$ 使得 $\|a - b\|$ 在 $a \in A$ 和 $b \in B$ 之间取最小值。
+
+我们给出引理的证明：
+
+令 $a \in A$ 和 $b \in B$ 是任意一对点，并令 $r_1 = \|b - a\|$。由于 $A$ 是紧致的，它被包含在以 $a$ 为中心的一些球中，设该球的半径为 $r_2$。令 $S = B \cap \overline{B_{r_1 + r_2}(a)}$ 为 $B$ 与以 $a$ 为中心、半径为 $r_1 + r_2$ 的闭球的交集。那么 $S$ 是紧致且非空的，因为它包含 $b$。由于距离函数是连续的，存在点 $a_0$ 和 $b_0$ 使得 $\|a_0 - b_0\|$ 在所有 $A \times S$ 的点对中取最小值。现在要证明 $a_0$ 和 $b_0$ 实际上在所有 $A \times B$ 的点对中具有最小距离。假设存在点 $a'$ 和 $b'$ 使得 $\|a' - b'\| \lt \|a_0 - b_0\|$。则特别地，$\|a' - b'\| \lt r_1$，并且根据三角不等式，$\|a - b'\| \leq \|a - a'\| + \|a' - b'\| \lt r_1 + r_2$。因此 $b'$ 包含在 $S$ 中，这与 $a_0$ 和 $b_0$ 在 $A \times S$ 中的最小距离相矛盾。
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+