线性空间到底是什么?

我们在学习线性代数的时候,通常见到的线性空间是由以下八个条件共同定义的:

KK是一个数域,VV是一个非空集合,同时还定义了:

  • 向量加法:+:V×VV+: V \times V \rightarrow V
  • 标量乘法::K×VV\cdot: K \times V \rightarrow V\cdot也可省略)

且两种运算满足以下八条:

则成VV是定义在KK上的线性空间,又称向量空间。

  1. 向量加法单位元存在:存在θK\theta \in K使得α+θ=α,αV\alpha + \theta = \alpha, \quad \alpha \in V,称θ\thetaKK的零元素,即向量加法的单位元。
  2. 向量加法逆元存在:存在αV,βV\forall \alpha \in V, \exists \beta \in V使得α+β=θ\alpha + \beta = \theta,称β\betaVV的负元素,即向量加法的逆元。
  3. 向量加法结合律:(α+β)+γ=α+(β+γ),α,β,γV(\alpha + \beta) + \gamma = \alpha + (\beta + \gamma), \quad \alpha, \beta, \gamma \in V
  4. 向量加法交换律:α+β=β+α,α,βV\alpha + \beta = \beta + \alpha, \quad \alpha, \beta \in V
  5. 标量乘法单位元存在:存在1K1 \in K使得1α=α,αV1 \cdot \alpha = \alpha, \quad \alpha \in V,称11KK的单位元,即标量乘法的单位元。
  6. 标量乘法对向量加法的分配律: c(α+β)=cα+cβ,cK,α,βVc \cdot (\alpha + \beta) = c \cdot \alpha + c \cdot \beta, \quad c \in K, \alpha, \beta \in V
  7. 标量乘法对域加法的分配律:(c1+c2)α=c1α+c2α,c1,c2K,αV(c_1 + c_2) \cdot \alpha = c_1 \cdot \alpha + c_2 \cdot \alpha, \quad c_1, c_2 \in K, \alpha \in V
  8. 标量乘法与域乘法的结合律:(c1c2)α=c1(c2α),c1,c2K,αV(c_1 c_2) \cdot \alpha = c_1 (c_2 \cdot \alpha), \quad c_1, c_2 \in K, \alpha \in V

整整八条,实在劝退,有没有更简单的方式来表达这些呢?

维基百科上对线性空间的概括定义是

(K,+,×)(K, +, \times)是一个域,且VV是一个KK-模。

本文将从八个条件出发,根据抽象代数中域和模的定义,来解释这一句话。前半部分亦可作为抽象代数中基本概念的速览。

群、环、域、模

群是指一个集合GG,和一个运算:G×GG\circ: G \times G \rightarrow G(封闭性),满足以下条件:

  1. 结合律:a,b,cG,(ab)c=a(bc)\forall a, b, c \in G, (a \circ b) \circ c = a \circ (b \circ c)
  2. 单位元:存在eGe \in G,使得aG,ea=a\forall a \in G, e \circ a = a,称ee为群的单位元(Identity),又称幺元
  3. 逆元:对任意aGa \in G,存在a1Ga^{-1} \in G,使得a1a=ea^{-1} \circ a = e,称a1a^{-1}aa逆元(Inverse)

就称(G,)(G, \circ)为一个群(Group)。需要注意的是,群不一定满足交换律,在群的定义的基础上,由满足交换律ab=baa \circ b = b \circ a的群称为交换群,又叫Abel群

群的例子:

  1. (Z,+)(\mathbb{Z}, +),整数关于加法满足结合律、单位元00存在、逆元a-a存在,构成一个群,不仅如此,这还是一个交换群。
  2. (R{0},×)(\mathbb{R}-\{0\}, \times),去掉零的实数关于乘法满足结合律、单位元11存在、逆元a1a^{-1}存在,构成一个群,也是一个交换群。
  3. 非交换群的一个例子:六阶二面体群

我们可以看出,线性空间定义的前4条,现在可以用一句话概括:

(V,+)(V, +)是一个交换群。

比群更简单的结构

上面群的定义可以概括成封闭性、结合律、单位元、逆元四个条件,可以进一步分解为:

  • 满足封闭性就可以称为原群(Magma)
  • 满足封闭性、结合律就可以称为半群(Semigroup)
  • 满足封闭性、结合律、单位元就可以称为幺半群(Monoid)

不同地方对环的定义存在分歧,最常见的定义是以下这种

(R,+,×)(R, +, \times)满足:

  1. (R,+)(R, +)是一个交换群
  2. (R,×)(R, \times)是一个幺半群
  3. 左分配律:a(b+c)=ab+aca(b + c) = ab + ac
  4. 右分配律:(b+c)a=ba+ca(b + c)a = ba + ca

则称(R,+,×)(R, +, \times)为一个环(Ring)

环不一定满足乘法交换律,满足乘法交换律的环叫做交换环

环的例子:

  1. (Z,+,×)(\mathbb{Z}, +, \times),是环。
  2. 实系数矩阵Mn(R)M_n(\mathbb{R})是环。
  3. 有理系数多项式Q[x]\mathbb{Q}[x]是环。

除环

如果任何环中的非零元都存在乘法逆元,即:

aR\{0},a1R\{0}\forall a \in R\backslash\{0\}, \exists a^{-1} \in R\backslash\{0\},使得a1a=1a^{-1} \cdot a = 1,则称(R,+,×)(R, +, \times)为一个除环

交换的除环就是域(Field)

Q\mathbb{Q}R\mathbb{R}C\mathbb{C}都是域。但是Z\mathbb{Z}不是域,因为Z\mathbb{Z}中只有1,11, -1两个元素存在乘法逆元。

RR是一个环,1R1_R是环的幺元,(M,+)(M, +)构成一个交换群,且有一个运算:R×MM\cdot: R \times M \rightarrow M,称为标量乘法。

若这个标量乘法对所有r,sRr, s \in R, x,yMx, y \in M,满足:

  1. (rs)x=r(sx)(r \cdot s) \cdot x = r \cdot (s \cdot x)
  2. r(x+y)=rx+ryr \cdot (x + y) = r \cdot x + r \cdot y
  3. (r+s)x=rx+sx(r + s) \cdot x = r \cdot x + s \cdot x
  4. 1Rx=x1_R \cdot x = x

则称MM是一个左RR-模。

若基于上面的定义,但交换标量乘法的运算顺序,则称MM是一个右RR-模。

线性空间的定义

到模这一步就已经很抽象了,恭喜你坚持到了这里,现在我们终于可以定义线性空间了:

(K,+,×)(K, +, \times)是一个域,且VV是一个KK-模。

线性空间的八条定义里,前四条实际上规定了(V,+)(V, +)是一个交换群,而后四条正好就是模的定义中的四条。因此说VV是一个KK-模,这就是定义的后半句话。

那么,这个定义中的前半句话可不可以去掉呢?模的定义里已经要求KK是一个环了,但是线性空间这里,把环的这个条件加强到了域,这有必要吗?

为什么线性空间要定义在域上?

我们这里不去讨论这样定义的历史原因,而是去讨论其合理性。

这非常有必要,因为这个条件保证了线性空间存在。熟悉线性代数的朋友都应该非常清楚,基是线性代数中非常重要的概念,没有了基,线性代数中很多定理都无法成立。线性空间优良的性质也不存在了。

要理解这个定义,我们首先要证明这个定义下,线性空间一定有基,而且这个证明需要用到KK是一个域的这个条件。

证明线性空间一定有基

我们学习线性代数的时候,通常讨论的是有限维线性空间,证明有限维线性空间存在基比较简单,并且不需要用到Zorn引理,此处为了证明的泛用性,我们的证明将涵盖无穷维线性空间。

Hamel基

基有多种不同的定义,此处指的是最常用的Hamel基。Hamel基的定义如下:

VV为一向量空间,Hamel基是指一组向量组HVH \subset V,满足:

  1. HH线性无关,即:
    任取HH有限个向量α1,α2,,αnH\alpha_1, \alpha_2, \cdots, \alpha_n \in H,则i=1nciαi=0\sum_{i=1}^n c_i \alpha_i = 0当且仅当c1=c2==cn=0c_1 = c_2 = \cdots = c_n = 0
    (注意此处加粗的“有限个”很重要)

  2. HH可以张成整个VVspanH=V\mathop{\mathrm{span}} H = V,即:
    V={ciαi:ciK,αiH}V = \left\{ \sum c_i \alpha_i : c_i \in K, \, \alpha_i\in H \right\}

存在性证明

定理:任何线性空间都有Hamel基

或者更进一步的,任何线性无关向量组都可以扩展出一组基:

定义:设SS是线性空间VV中的线性无关向量组,则存在Hamel基HSH \supset S

证明需要用到Zorn引理:

Zorn引理:设S\mathscr{S}为一非空偏序集,若S\mathscr{S}中任意全序集都在S\mathscr{S}中存在上界,则S\mathscr{S}中必有极大元。

S\mathscr{S}VV中所有包含SS的线性无关向量组的集合,(S,)(\mathscr{S}, \subset)构成一偏序集,显然S\mathscr{S}非空,设S0S\mathscr{S}_0 \in \mathscr{S}为一全序子集,则令X=SiS0SiX = \bigcup_{S_i \in \mathscr{S}_0} S_i,有:

  1. XXS0\mathscr{S}_0的上界:显然。
  2. XSX \in \mathscr{S},只需证明XX线性无关。

下证XX线性无关:

SiS_i构成全序集,知可以令S1S2S3S_1 \subset S_2 \subset S_3 \subset \cdots

任取有限个向量α1,α2,,αnX\alpha_1, \alpha_2, \cdots, \alpha_n \in X,则由于X=SiS0SiX = \bigcup_{S_i \in \mathscr{S}_0} S_i,对任意αi\alpha_i,存在jij_iαiSji\alpha_i \in S_{j_i}。令j=max{j1,j2,,jn}j = \max\{j_1, j_2, \cdots, j_n\},则i,αiSj\forall i, \alpha_i \in S_j。又因为αiSjS\alpha_i \in S_j \in \mathscr{S}αi\alpha_i构成的向量组线性无关。αi\alpha_i可以任取,由线性无关定义,XX线性无关,XSX \subset \mathscr{S}

XXS0\mathscr{S}_0的上界和XSX \subset \mathscr{S},应用佐恩引理,S\mathscr{S}中必有极大元,设HH为一极大元,则HSH \supset SHH线性无关。

考察Hamel基的定义,线性无关已满足,还需证明HH可以张成VV。任取xVx \in V,则H{x}H \cup \{x\}一定线性相关。因为若线性无关,设H=H{x}H' = H \cup \{x\},则HHH' \supset HHSH' \in \mathscr{S},这与HH是极大元矛盾。

HH线性无关,HH'也线性无关,知存在不全为零的c1,c2,,cnc_1, c_2, \cdots, c_n,和cn+10c_{n+1} \neq 0,使得c1α1+c2α2++cnαn+cn+1x=0c_1 \alpha_1 + c_2 \alpha_2 + \cdots + c_n \alpha_n + c_{n+1} x = 0

x=cn+11(c1α1+c2α2++cnαn)x = c_{n+1}^{-1} (c_1 \alpha_1 + c_2 \alpha_2 + \cdots + c_n \alpha_n),即任意xVx \in V均可被HH线性表示,spanH=V\mathop{\mathrm{span}} H = V

综上得证。

模不一定有基

回到我们原来的问题来,为什么线性空间一定要定义在域上?这是因为一般的模不一定存在基,存在基的模叫做自由模(Free Basis)我们有:

除环上的模必为自由模。

考察我们上面的证明,最后一部中用到了cn+11c_{n+1}^{-1},这一步就要求了KK中存在乘法逆元,而模并不能保证这一点。

为了方便理解,下面举一个不存在基的模的例子。这个模就是Z\mathbb{Z}-Q\mathbb{Q}

证明Z\mathbb{Z}-Q\mathbb{Q}不存在基:

设这个模为MM。首先,我们有任意两个非零元素都线性相关,p,qQ\{0}\forall p, q \in \mathbb{Q}\backslash \{0\},存在x,yZx, y \in \mathbb{Z},使得xp+yq=0xp + yq = 0,这是显然的。

因此如果MM有基BB,一定有B=1|B| = 1,设一个基为B={f},fQ\{0}B = \{f\}, f \in \mathbb{Q}\backslash\{0\},则spanB={0,±f,±2f,}\mathop{\mathrm{span}} B = \{0, \pm f, \pm 2 f, \cdots\}。显然f/2Mf/2spanBf / 2 \in M,f / 2 \notin \mathop{\mathrm{span}} B。故这个基不能张成MM,矛盾。

基在线性空间中的作用

想到哪写到哪,早就偏题了,思绪比较混乱,望谅解。

为什么基这么重要,因为对于任何一个数学结构,只要能够证明他是一个线性空间,那么就可以取一组基,然后你就获得了整个线性代数,可以使用线性代数中熟悉的概念。而在群/环/模论中,不同的群/环/模可能有截然不同的性质,没办法这样通用地去研究。

例如在Hilbert空间里,傅里叶变换就是将函数变换到一组特殊的正交基上

定义内积

α,β=limT1TT/2+T/2α(t)β(t)dt\langle\alpha, \beta\rangle = \lim_{T \to \infty} \frac{1}{T} \int_{-T/2}^{+T/2} \alpha(t) \overline{\beta}(t) \mathrm{d}t

选取正交基ei2πfte^{i 2 \pi f t}

不难发现这组基是正交的:

ei2πf1t,ei2πf2t={1f1=f20f1f2\langle e^{i 2 \pi f_1 t}, e^{i 2 \pi f_2 t}\rangle = \begin{cases} 1 & f_1 = f_2 \\ 0 & f_1 \neq f_2 \end{cases}

在此基础上我们就可以推出傅里叶变换:

把信号x(t)x(t)用正交基ei2πfnte^{i 2 \pi f_n t}表示为:

x(t)=limTn=x,ei2πfntei2πfnt=limTn=1TT/2+T/2x(t)ei2πfntdtei2πfnt\begin{align*} x(t) &= \lim_{T \to \infty} \sum_{n = -\infty}^{\infty} \langle x, e^{i 2 \pi f_n t} \rangle e^{i 2 \pi f_n t}\\ &= \lim_{T \to \infty} \sum_{n = -\infty}^{\infty} \frac{1}{T} \int_{-T/2}^{+T/2} x(t) e^{-i 2 \pi f_n t}\mathrm{d}t \cdot e^{i 2 \pi f_n t}\\ \end{align*}

其中fn=nTf_n = \frac{n}{T}Δf=1T\Delta f = \frac{1}{T},所以上式可以写成:

x(t)=limTn=ΔfT/2+T/2x(t)ei2πfntdtei2πfnt=x(t)ei2πftdtei2πftdf\begin{align*} x(t) &= \lim_{T \to \infty} \sum_{n = -\infty}^{\infty} \Delta f \int_{-T/2}^{+T/2} x(t) e^{-i 2 \pi f_n t}\mathrm{d}t \cdot e^{i 2 \pi f_n t}\\ &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} x(t) e^{-i 2 \pi f t} \mathrm{d}t \cdot e^{i 2 \pi f t} \mathrm{d}f\\ \end{align*}

由积分的定义可以将求和化为积分。

这个二重积分有着美妙的对称性,而且这里面就蕴含了傅里叶变换:

F(x)(f)=x^(f)=x(t)ei2πftdt\mathcal{F}(x)(f) = \hat x(f) = \int_{-\infty}^{\infty} x(t) e^{-i 2 \pi f t} \mathrm{d}t

及其逆变换:

F1(x^)(t)=x(t)=x^(f)ei2πftdf\mathcal{F}^{-1}(\hat x)(t) = x(t) = \int_{-\infty}^{\infty} \hat x(f) e^{i 2 \pi f t} \mathrm{d}f

这种定义的傅里叶变换F\mathcal{F}可以看作一个线性变换,F\mathcal{F}F1\mathcal{F}^{-1}互为逆变换F1F=id\mathcal{F}^{-1} \circ \mathcal{F} = \mathrm{id}

而我们熟悉的Parseval定理,其实也只是勾股定理的推广,这里说的是在不同的正交基下,向量的模长都等于坐标的平方和:

x(t)2dt=x^(f)2df\int_{-\infty}^{\infty} |x(t)|^2 \mathrm{d}t = \int_{-\infty}^{\infty} |\hat x(f)|^2 \mathrm{d}f\\

参考链接

https://zh.wikipedia.org/wiki/%E7%BE%A4
https://zh.wikipedia.org/wiki/%E7%8E%AF_(%E4%BB%A3%E6%95%B0)
https://zh.wikipedia.org/wiki/%E6%A8%A1
https://www.bananaspace.org/wiki/%E8%AE%B2%E4%B9%89:%E7%BA%BF%E6%80%A7%E4%BB%A3%E6%95%B0%EF%BC%88infi%EF%BC%89/%E4%BB%BB%E6%84%8F%E7%8E%AF%E5%92%8C%E5%9F%9F%E4%B8%8A%E7%9A%84%E7%BA%BF%E6%80%A7%E4%BB%A3%E6%95%B0/%E7%8E%AF%E3%80%81%E5%9F%9F%E3%80%81%E6%A8%A1%E3%80%81%E5%90%91%E9%87%8F%E7%A9%BA%E9%97%B4%E5%92%8C%E4%BB%A3%E6%95%B0
https://zhuanlan.zhihu.com/p/331823781
https://brezezee.github.io/2019/09/02/ML/Fourier%20transform/
https://zh.wikipedia.org/wiki/%E5%82%85%E9%87%8C%E5%8F%B6%E5%8F%98%E6%8D%A2