鄞晟趙妙芙 2019-11-18

對於第三題：你可以畫圖看，比較直觀！首先，對於最近鄰，就是測試樣本（0，0）離所有9個訓練樣本中最近的樣本點，所對應的類別即為其分類。顯然對於（0，0），離它最近距離（這裡是歐式距離，即為d=（x1-x2）^2+（y1-y2）^2，在圖上看就是我們理解的普通的兩點之間的距離）的點是（-1，0），距離為1，所以（0，0）應該是第一類w1的。K=5近鄰，即為（0，0）離所有9個訓練樣本中最近的前5個樣本中，看屬於w1的點多，還是屬於w2的點多，哪個多就屬於哪類。由圖很顯然看出，離（0，0）最近距離的5個訓練樣本點的先後順序是w1的（-1，0），w2的（1，1），w2的（1，-1），w1的（-2，0），w2的（2，0），顯然屬於w2的多，那麼（0，0）就屬於w2類。對於第5題的KL變換，其實就是PCA主元分析，從圖上可以清晰的看出，這四個點的主元方向就是x1-x2=0這條線。如果我們按步驟計算可以如下：1。將四個點組成一個矩陣X=［-1

2

1

-2；1

2

-1

-2］這是一個2×4的矩陣，即每個列是一個樣本點。每列求平均值，再用X的每個列減去求得的平均值得到新的矩陣X=［-1

0

1

0；1

0

-1

0］，即所謂的零均值化，目的是使得最大化誤差近似，否則求得結果就是均方誤差最小化近似。2。作S=X*X‘，即求協方差矩陣，當然忽略係數了。顯然，S是一個2×2的矩陣。S=［2

-2；-2

2］。3。顯然S的秩為1，求其特徵值只有一個，為，D=4，其對應的特徵向量為P=［-0。707；0。707］，它是一個2×1的向量。4。P就是降維得到的向量，可以看出它就是x1=x2這條直線。對於第4題比較容易求，可以參加張學工那本模式識別書裡面Fisher線性判別那張的類間Sb和類內Sw矩陣定義式對於Sb的計算，先求所有6個樣本的矩陣向量u=［1/3；1/6］；再求第一類的均值u1=［4/3；1/3］；再求第二類的均值u2=［-2/3；0］；然後Sb=（u-u1）*（u-u2）’，這是一個2×2的矩陣，可求。對於Sw的計算，先求第一類的類內離散度，將第一類的3個點拼成x1=［1

2

1；0

0

1］，2×3的矩陣，S1=（x1-u1）*（x1-u1）‘，再求第二類的S2=（x2-u2）*（x2-u2）’，然後S2=S1+S2