线性代数基础笔记

标量，向量，矩阵与张量

标量：一个单独的数（零维数组）

向量：多个标量组成的有序序列（一维数组，标量的扩展）

矩阵：将向量中的标量替换为向量（二维数组，维度扩展）

张量：更高阶的矩阵（三维或更高维的数组，更复杂，直观性更差）

范数与内积

范数

范数（Norm）：对单个向量大小的度量

L_p范数

通用的 L_p范数定义为： $L_p(\vec{x}) = ||\vec{x}||_p = (\sum\limits^{n}_{i=1}|x_i|^p)^\frac{1}{p}$

$L_0$范数： $||\vec{x}||_0 = \sum\limits^{n}_{i=1}[x_i\ne0]$，即所有 x_i中不等于零的个数。

$L_1$范数： $||\vec{x}||_1 = \sum\limits^{n}_{i=1}|x_i|$，即向量各分量绝对值之和，又称曼哈顿距离。

$L_2$范数： $||\vec{x}||_2 = \sqrt{\sum\limits^{n}_{i=1}|x_i|^2}$，即欧式距离。

$L_{\infty}$范数： $||\vec{x}|| = \lim\limits_{p\rarr+\infty}(\sum\limits^{n}_{i=1}|x_i|^p)^\frac{1}{p} = \max\limits_{i}|x_i|$，即无穷范数或最大范数，向量中所有元素的绝对值取最大，又称切比雪夫距离。

内积

内积（inner product）：对两个向量之间关系的描述

两个相同维度向量的内积： $\langle x,y\rangle = \sum\limits^{n}_{i=1}x_i\cdot y_i$

特殊情况：内积为0，在二维空间内两个向量垂直。在更高维空间上，称为两个向量正交。如果两个向量正交，说明他们线性无关。

线性空间

如果有一个集合，它的元素都是具有相同维数的向量（可以是有限个或无限个）， 并且定义了加法和数乘等结构化的运算，这样的集合就被称为线性空间（linear space），定义了内积运算的线性空间则被称为内积空间（inner product space）。

在线性空间中，任意一个向量代表的都是 n 维空间中的一个点；反过来， 空间中的任意点也都可以唯一地用一个向量表示。

正交基

在内积空间中，一组两两正交的向量构成这个空间的正交基（orthogonal basis），假若正交基中基向量的L_2范数都是单位长度 1，这组正交基就是标准正交基（orthonormal basis）。

描述内积空间的正交基并不唯一。对二维空间来说，平面直角坐标系和极坐标系就对应了两组不同的正交基，也代表了两种实用的描述方式。