前言

因为第一节矩阵计算与优化课就暴毙要听不懂了，所以不得不着手准备写点自己的笔记来进行一个梳理。

在我写了一点以后，发现使我搞懂的不是我把这份文章编得多好，而是我编辑这份文章的过程给了我一个静下心慢慢去一页一页看ppt加上ai辅助我理解的机会。

这里暂时挖个坑，因为课太多了，等有点时间就写一点，所以没写完很正常。

Lesson 01 距离与范数

距离和距离空间

定义

非空集合，对中任意两元素，按某一法则对应唯一的实数，满足:

1.（当仅时取”“）

则称为与之间的距离，并称是以为距离的距离空间，记作。

例

是一个离散距离空间。

距离

对，（也就是维向量），有:（下两个同理）

（沿等坐标轴走的那种直角折线）

距离

（两点之间的直接直线距离，维推广）

距离

（沿等坐标轴走的最长单条折线）

空间

对，记（无穷数列，每项p次方和为有限数）

对

则是距离空间。

空间

记（sup：上确界）（每一项都是有限数，不会随数列无限而无上界）

对，，定义

则是距离空间.

极限与收敛

设是距离空间中点列，是中确定的点。若对任何给定的正数，总存在自然数，当时成立则称点列 收敛于 ，或者说是的极限，记作

$或者$

（简单可过）

Cauchy列与完备

定义

设是距离空间中点列 （当成数列），若对任何，都存在，使得当时有则称为 Cauchy 列。(两个点之间在很后面的时候逐渐挤到一起，但是不需要知道收敛于的特定值)

如果中任何 Cauchy 列都在中收敛，则称是完备的。

例

在有理数空间里，数列是 Cauchy 列，但它的极限不在里，所以在中这个 Cauchy 列不收敛。

是不完备的（上面那个就是一个不收敛的Cauchy列例子），是完备的。

范数和赋范线性空间

直接定义

设是复数域上线性空间，为的零元素，若对中每一个元素，按照一个法则 （输入元素输出实数）对应一个实数满足：（注意是实数！）

且当且仅当；
（）；（三角不等式，毕竟x+y类似矢量加）
（），

则称为的范数，称为以为范数的赋范线性空间。

碎碎念

范数相当于给线性空间定义了长度/大小这个概念。

你最好还记得线性空间不是专指矩阵空间、向量空间之类的概念。它是一个极为抽象的概念，满足一定条件 ~~（希望你没忘记你的线性代数）~~ 就可以被叫做线性空间。

范数的值是实数。一个线性空间有了范数，就可以试着类比着被当做经典三维空间来看了。

Banach空间

对于赋范线性空间，通过公式可以定义元素之间的距离，容易验证满足距离的三个条件，因而是一个距离空间。（将范数视为距离空间的距离的距离空间）

完备的赋范线性空间称为 Banach 空间。（它是泛函分析的核心研究对象）

例

与（）分别在以下范数下是赋范线性空间，而且是 Banach 空间：

（含义其实就是直线距离的求法，每项平方加起来开根）

（其实就是复数域的n维线性空间。在上面已经提到过，范数也是上面的距离。）

范数的强于和等价

定义

设是一线性空间，和是上两个范数，

如果则称强于；

如果则称 等价于 。

其他判定

若存在常数，使得对所有 $ x X $，有$ m|x|_2≤|x|_1≤M|x|_2$，（不等式判别） 则两个范数等价。
对于 一般的有限维线性空间 ，与是上定义的两个范数，则与等价。

（相应地，空间就不符合这一条。）

赋范线性空间的性质

设是赋范线性空间，，若，则是有界数列。（收敛点列的范数数列有界）
设是定义在上的赋范线性空间，为中点列，满足则
- ，
- 。 （人话就是加法、数乘对极限是连续的。）

向量范数

定义

对于（实或复欧几里得空间 （就是一般几何上的那种） ）中的向量与，

既可以用的欧几里得(Euclid) 长度 （就是一般的直线长度） 来描述与之间的距离，

也可以用的范数来描述它们之间的距离。

例

设，规定如下：

（其实有证明，但是实在不想看了。真想看的话写在这里也不如自己去找ppt看）

1-范数

(每个分量绝对值之和，折线样子的那个曼哈顿距离)

2-范数

（经典几何直线距离，的H上标表示共轭转置，也就是矩阵/向量转置后对复元素取共轭。这里使用是列出用向量的模表示2-范数的写法）

-范数

（最大的那一个分量的绝对值）

p-范数

()

注：

（可以认为是广义上的平均长度，但我还没想通。）

矩阵范数与酉矩阵

矩阵范数定义

如果上的一个实函数满足以下条件：

，且当且仅当（非负性）；
对，（齐次性）；
（三角不等式）；
（相容性 (矩阵范数相对于向量范数独占)），

（矩阵相乘本来就可以理解为加以变换，相容性可以理解为复合变换的 “放大倍数” 不超过两个变换各自 “放大倍数” 的乘积，本质我认为还是类三角不等式的思想，复合不如分别简单的和/积）

则称为一个矩阵范数，而为上矩阵的范数。

例

设，规定:(n*n的复矩阵)

范数

（拉平后取向量1-范数，也就是矩阵里所有元素的绝对值和）

范数

（拉平后取向量-范数，也就是矩阵里绝对值最大的元素后，乘n来满足相容性）

范数（Frobenius 范数）

（拉平后取向量2-范数，也就是对矩阵每个元素的平方求和再开根，tr表示迹，也就是对角线元素和，此处每个对角线上的元素都是该元素所在列的所有元素的平方的和）

酉矩阵定义

设，若满足，则称为酉矩阵。

(介绍过是共轭转置（Hermitian 转置），而在实矩阵时与一般转置相同，故实空间的酉矩阵就是正交矩阵的概念)

酉矩阵性质

设。

若是酉矩阵，则均为酉矩阵；（逆、共轭转置、转置、共轭、幂次，仍然是酉矩阵）
若是酉矩阵，则也是酉矩阵；（乘法封闭）
若是酉矩阵，则；（由定义取模可得）
是酉矩阵的充要条件是的个列向量是标准正交向量组；
是酉矩阵的充要条件是的个行向量是标准正交向量组；
是酉矩阵的充要条件是对任意，有

（酉变换是等距变换：。）

（特别地，令得，即酉变换保持向量的 2 - 范数不变。）

若是酉矩阵，为的特征值，则。（令可得）

酉不变性

对酉矩阵，有

（对这条，理解成类比可逆矩阵那样左乘右乘都不改变矩阵的秩的那种形状就可以了，这里是左乘或右乘酉矩阵都不改变矩阵的F范数）

矩阵范数的相似不变性定理

设是上一个矩阵范数，是一个可逆矩阵，则是矩阵范数。

（可以理解成相似变换不会破坏范数的公理结构，只是对原范数做了一个 “坐标变换” 后的版本。）

算子范数

定义

设是上的向量范数，定义上的函数是上的矩阵范数：

（||x||是某个向量范数，根据情况看。max||Ax||可以理解为被A作用后拉伸得最长的单位向量的范数。）

称该矩阵范数为 算子范数（或由向量范数诱导的矩阵范数）。

定理：

相容性：对所有和成立；
单位范数：对单位矩阵，。（因为单位矩阵怎么作用于单位向量，其范数都不变）

常用算子范数例

极大列和范数

对矩阵的每一列，计算该列所有元素绝对值的和，然后取这些列和中的最大值。
对应向量 1-范数诱导的算子范数。

谱范数

（其中为 的最大特征值）

等于矩阵的最大奇异值（即 最大特征值的平方根）。
对应向量 2-范数诱导的算子范数，具有酉不变性 （见F范数）。

极大行和范数

，

对矩阵的每一行，计算该行所有元素绝对值的和，然后取这些行和中的最大值。
对应向量 -范数诱导的算子范数。

Hermite矩阵和正规矩阵

定义

设，则：

Hermite 矩阵：若，则称为 Hermite 矩阵。
反 Hermite 矩阵：若，则称为 反 Hermite 矩阵。
正规矩阵：若，则称为 正规矩阵。

性质

Hermite 矩阵：主对角线元素全为实数。
反 Hermite 矩阵：主对角线元素全为零或纯虚数。
实对称矩阵（）是 Hermite 矩阵的特例。
实反对称矩阵（）是反 Hermite 矩阵的特例。（记的时候从这俩入手就好）

正规矩阵的包含关系

以下矩阵都是正规矩阵：

对角矩阵
实对称矩阵、实反对称矩阵
Hermite 矩阵、反 Hermite 矩阵
正交矩阵、酉矩阵

谱范数相关

谱范数的性质

定义回顾：（其中为 的最大特征值）

设为酉矩阵。

; （上面提到过的酉不变性）
若是正规矩阵 （务必注意前提条件！），且是的个特征值，则

另外还有：

（共轭转置矩阵和原矩阵的范数、范数、F范数、极大行和范数、极大列和范数、谱范数都相等。）

例题展示

设是酉矩阵，，试计算 $_{|x|_1=4} |Ax|1 $及$ {|Ux|_2=3} |Ax|_2.$

解：

首先设，则

其次设，则

而是 Hermite 矩阵，其特征值为。所以

矩阵范数与向量范数的相容性

To be continued…（PDF到Lesson1 范数空间01 的 117/135页（PDF页码，右下角是44/50））