1/8线性代数与向量微积分1.向量与空间1.1什么是向量向量：具有大小和方向的量向量a1a1向量的模1.2向量运算+:a+b=c―►―：c一a=bx：|aiicI-cos0=：方向相同，模相等向量没有除法。为什么没有除法？1.3内积/范数/夹角范数：向量的二范数：Norm2)卜||+||y||沖+y||。三角不等式||X二1单位向量向量的一范数：IHx=|X+|x2|+|Xn向量的无穷范数：||x||二max|Xi向量的P范数:丄|国|=(|XJp+|叮+|x|p)Pp12n(1
0；当且仅当X丰0,[X,X]〉0；[X,y]2<[X-X][y-y]2.从向量空间到矩阵2.1向量组，向量空间①线性组合：a,a,a,…,a对于任意的实数,k，…,k,向量ka+ka+...+ka123m12m1122mm称为向量组的一个线性组合。②线性表示：b，存在ki,k2，…,km，丄吧，b能被A线性表示。i=1③线性相关:存在不全为零的数,k,…,k，使得Kkd=0，称A线性相关，否12miii=1则线性无关。即当且仅当k全为o时，Kkd=0成立。iiii=12.2向量空间与基定义1：V为n维向量的集合，如果集合V非空，且集合V对加法及数乘两种运算封闭，那么称集合V为向量空间。①gV，険V，Q+0）GV②圧wV，XSGV定义2：a,b,c,d0=arccos[X,y]MM3/8子空间：V]V2为向量空间，若vGV，则V]是V2的子空间。定义3：V是向量空间，如果r个向量氛Q，…®GV12r且a,U，…d线性无关12rV中任一向量可由d,a，…®线性表示12r那么称a,a，…a为V的一组基，r称为向量空间V的维数，即r维向量空12r间。2.3欧氏空间V是实数域上的线性空间，对于V中任意两个向量，，定义一个二元实函数，记为（，），满足若（，），0，，yGV，VkGR，①（,）=（,）对称性②（k,）=k（,）数乘③（+,y）=（,y）+（,y）可加性④（，）＞0o当且仅当=0,（，）=o正交性称（，）为内积运算，并称定义了这种内积的实数域R上的线性空间V为欧氏空间。3.矩阵3.1矩阵的运算（+x,数乘）det.T.-1.矩阵的相似，特征值，特征向量1、A+BAxB（不满足交换律）A—bAT（AB）T=BTAT（转置）A-1B=A\B（左除）AB-i=A/B（右除）2、逆矩阵（方阵才有逆矩阵）。AA-i=I（则A为满秩），则称A-i为A的逆矩阵。3、detA的物理意义：aabiiiaab2222S=S+S-S-SOACBOEDBCDBAEDAEDC=ab一ab12213.2矩阵的轶最大线性无关组（向量组）A：&，i二12…m，如果，3r，满足i①&,i二12・・・r，线性无关i②任意r+1个向量都线性相关则称向量组®是向量组A的一个最大线性无关组，包含的向量个数称1r为向量组A的轶，记为RA矩阵的轶等于行向量组的轶，也等于列向量组的轶。（三秩和一）3.3特征值（向量）定义：设A是n阶矩阵，若存在数入和非零向量X,使AX=XX,成立，则称数九为A的特征值。并称X为矩阵A的属于特征值九的特征向量。特征向量的物理意义：如果将矩阵A视为一个线性变换，线性变换作用在向量X上相当于对向量X进行了线性拉伸。特征向量的应用：PCA中主成分方向就是协方差矩阵的特征向量的方向。参考《EigenproblemsinPatternRecognition》。3.4相似矩阵定义：设A、B是n阶方阵，若存在n阶可逆矩阵P,使得P-iAP=B,贝I」称A与B相似，B称为A相似矩阵。例：A有n个特征向量P1,P2，…，Pn。则AP=P4/85/81)1(%,b2,b3)=(i2，3）P'P*B（旧基到新基）2）坐标变旧基为（y2,y3）新基为（z.z2,z3）,则九00…00九0…0取二..2...•••••000…九n」・・.P-iAP=,A与相似3.5矩阵逆的物理意义基变换与坐标变换，R3为例,为一组基，b,b,b为一组新基23123mAx=0齐次Ax=b非齐次方程6/83.6线性方程组的物理意义ax+ax+ax=b,01111221nnax+ax+axml1m22为x&=biii=1Ax=0的解空间RS=n—rR(A)=rVn方程组有一个含n—r个向量的基础解系S1，S2，…，Sn」x="kiSi为方程组的解。ki引申：子空间方法的物理意义4.向量微积分4.1Jacobian矩阵y=9(x)y是mxl维矩阵x是nxl维矩阵na1am•n1dydxQymdx1M即厂Mndymdxn.•y=Xwxxiikkk=1i=wdxijmx1mxnnx1dy=WTdxnxm)2+1Xj=1=argmin||y-x+X|||L=(y-x)T(y-x)+州||2222(GRp,xGRnxp...
