人腦神經網絡的知識存儲容量很大。在神經網絡中，知識與信息的存儲表現為神經元之間分布式的物理聯系，分散地表示和存儲于整個網絡內的各神經元及其連線上。每個神經元及其連線只表示一部分信息，而不是一個完整的具體概念，只有通過各神經元的分布式綜合效果才能表達出特定的概念和知識。

由于人腦神經網絡中神經元個數眾多以及整個網絡存儲信息容量巨大，使得它具有很強的不確定性信息的處理能力，即使輸入信息不完全、不準確或模糊不清，神經網絡仍然能夠通過聯想思維得到存在于記憶中事物的完整圖象，只要輸入的模式接近于訓練樣本，系統就能給出正確的推理結論。

下圖中的x1、x2、x3等表示輸入值，構成第一層L1，組成輸入層；中間的圓形成L2、 L3 、L4等多個層次，組成隱層；神經元經過多層的調整、評估和分析計算處理后得出hw,b(x)的結果作為神經元的輸出值，構成輸出層，組成人們常說的人工神經網絡。

神經網絡神經元結構示意圖（摘自互聯網）

上圖中的橙色圓都是用來計算hw,b(x)的，縱向我們叫做層（Layer），每一層都以前一層的結果做為輸入，經過處理得到輸出結果傳遞給下一層

如果我們把神經網絡看做一個黑盒子，那么最左邊的x1、x2、x3等是這個黑盒子的輸入X，最右邊的hw,b(x)是這個黑盒的輸出Y，可以通過一個數學模型進行擬合，通過大量數據來訓練這個模型，之后就可以通過訓練好的模型預估新的樣本X應該能得出什么樣的結果Y。

以上簡單說明神經網絡的結構，通過較深的多個層次來模擬真實情況，從而構造出最能表達真實世界的模型，它的運作成本就是海量的訓練數據和巨大的計算處理工作量。

正是因為人腦神經網絡的結構特點和其信息存儲的分布式特點，使得它相對于其它的判斷識別系統，如專家系統、層次分析系統等，具有顯著的穩健性優點。生物神經網絡不會因為個別神經元的損失而失去對原有模式的記憶，最有力的證明是，當一個人的大腦因意外事故受輕微損傷之后，并不會失去原有事物的全部記憶。神經網絡也有類似的情況。因某些原因，無論是網絡的硬件實現還是軟件實現中的某個或某些神經元失效時，整個網絡仍然能繼續工作。

人工神經網絡是一種非線性的處理單元。只有當神經元對所有的輸入信號的綜合處理結果超過某一門限值后才輸出一個信號，因此神經網絡是一種具有高度非線性的超大規模連續時間動力學系統，突破了傳統的以線性處理為基礎的計算機的局限性，標志著人們智能信息處理能力和模擬人腦智能行為能力的一大飛躍。

神經網絡經過多年的研究和發展，已經形成了幾十種類型不同并各具特點的神經網絡模型，分析處理算法也各具特點，所以下面只簡單的介紹幾種典型的常用神經網絡。

1．多層感知網絡。它是一類具有三層或三層以上的階層型神經網絡。典型的多層感知網絡是三層、前饋型的階層網絡，即含有輸入層、隱層(也稱中間層、隱含層)和輸出層。相鄰層之間的各神經元實現全連接，即下一層的每一個神經元與上一層的每個神經元都實現全連接，而且每層各神經元之間無連接。但它并非十分完善，存在以下一些主要缺陷：學習收斂速度慢、網絡的學習記憶具有不穩定性，當給一個訓練好的網提供新的學習記憶模式時，將使已有的連接權值被打亂，導致已記憶的學習模式的信息的消失。

2．競爭神經網絡。它是基于人的視網膜及大腦皮層對剌激的反應而引出的一類神經網絡。神經生物學的研究結果顯示生物視網膜中有許多特定的細胞，對特定的輸入模式如圖形比較敏感，并使得大腦皮層中的特定細胞產生大的興奮，而其相鄰的神經細胞的興奮程度被抑制。對于某一個輸入模式，通過競爭在輸出層中只激活一個相應的輸出神經元。許多輸入模式，在輸出層中將激活許多個神經元，從而形成一個反映輸入數據的“特征圖形”。競爭神經網絡是一種以無教師方式進行網絡訓練的網絡，通過自身訓練，自動對輸入模式進行分類。競爭型神經網絡及其學習規則與其它類型的神經網絡和學習規則相比，有其自己的鮮明特點。在網絡結構上，它既不象階層型神經網絡那樣各層神經元之間只有單向連接，也不象全連接型網絡那樣在網絡結構上沒有明顯的層次界限。它一般是由輸入層(模擬視網膜神經元)和競爭層(模擬大腦皮層神經元，也叫輸出層)構成的兩層網絡。兩層之間的各神經元實現雙向全連接，而且網絡中沒有隱含層，有時競爭層各神經元之間存在橫向連接。競爭神經網絡的基本思想是網絡競爭層各神經元競爭對輸入模式的響應機會，最后僅有一個神經元成為競爭的勝利者，并且只將與獲勝神經元有關的各連接權值進行修正，使之朝著更有利于它競爭的方向調整。神經網絡工作時，對于某一輸入模式，網絡中與該模式最相近的學習輸入模式相對應的競爭層神經元將有最大的輸出值，即以競爭層獲勝神經元來表示分類結果。這是通過競爭得以實現的，實際上也就是網絡回憶聯想的過程。

競爭型神經網絡的缺點和不足之處在于它僅以輸出層中的單個神經元代表某一類模式，所以一旦輸出層中的某個輸出神經元損壞，則導致該神經元所代表的該模式信息全部丟失。

3．霍普菲爾網絡（Hopfield network，HN）。它是一個由非線性元件構成的全連接型單層反饋系統。網絡中的每一個神經元都將自己的輸出通過連接權傳送給所有其它神經元，同時又都接收所有其它神經元傳遞過來的信息，即網絡中的神經元t時刻的輸出狀態實際上間接地與自己的t-1時刻的輸出狀態有關。所以，霍普菲爾神經網絡是一個反饋型的網絡，狀態變化可以用差分方程來表征。反饋型網絡的一個重要特點就是它具有穩定狀態。當網絡達到穩定狀態的時候，也就是它的能量函數達到最小的時候。這里的能量函數不是物理意義上的能量函數，而是在表達形式上與物理意義上的能量概念一致，表征網絡狀態的變化趨勢，并可以依據霍普菲爾工作運行規則不斷進行狀態變化，最終能夠達到的某個極小值的目標函數。網絡收斂就是指能量函數達到極小值。如果把一個最優化問題的目標函數轉換成網絡的能量函數，把問題的變量對應于網絡的狀態，那么霍普菲爾神經網絡就能夠用于解決優化組合問題。

霍普菲爾神經網絡的能量函數是朝著梯度減小的方向變化，但它仍然存在一個問題，那就是一旦能量函數陷入到局部極小值，它將不能自動跳出局部極小點，到達全局最小點，因而無法求得網絡的整體最優解

4. BP(back propagation)神經網絡。它有一種按照誤差逆向傳播訓練的算法、以此增強網絡的分類和識別能力、解決非線性問題而采用多層前饋網絡，即在輸入層和輸出層之間加上隱層，構成多層前饋感知器網絡，是一種對非線性可微分函數進行權值訓練的多層網絡。BP神經網絡算法就是以網絡誤差平方為目標函數、采用梯度下降法來計算目標函數的最小值。

BP神經網絡是目前應用最廣泛的神經網絡，這里將對其算法進行一些進一步的介紹。

BP神經網絡算法是一種有監督式的學習算法，由輸入層、中間層、輸出層組成的多階層神經網絡，中間層可擴展為多層。相鄰層之間各神經元進行全連接，而每層各神經元之間無連接。網絡按有教師示教的方式進行學習，當一對學習模式提供給網絡后，各神經元獲得網絡的輸入響應產生連接權值，然后按減小希望輸出與實際輸出誤差的方向，從輸出層經各中間層逐層修正各連接權，使用反向傳播算法對網絡的權值和偏差進行反復的調整訓練，使輸出的向量與期望向量盡可能的接近。此過程反復交替進行，直至網絡的全局誤差趨向給定的極小值，即完成學習的過程。當網絡輸出層的誤差平方和小于指定的誤差時訓練完成，保存網絡的權值和偏差。粗略的計算步驟如下：

（1）初始化，隨機給定各連接加權值[wij]，[vjt]及閾值θi，rt；

（2）根據給定的輸入輸出模式，經計算隱層、輸出層各單元的輸出結果為：

bj=f（?wijai-θj）， ct=f（?vjtbj－rt）；

式中bj為隱層第j個神經元的實際輸出；ct為輸出層第t個神經元的實際輸出；wij為輸入層至隱層的連接權；vjt為隱層至輸出層的連接權；

（3）選取下一個輸入模式，返回第2步反復訓練，直到網絡的輸出誤差達到要求時結束訓練。

傳統的BP算法，實質上是把一組樣本輸入/輸出問題轉化為一個非線性優化問題，并通過梯度下降算法，利用迭代運算求解權值問題的一種學習方法，但其收斂速度慢且容易陷入局部極小，可用高斯消元法進行改進。欲了解更詳細的算法，可參考其他有關文獻。

BP神經網絡最主要的優點是具有極強的非線性映射能力。理論上，對于一個三層和三層以上的BP網絡，只要隱層神經元數目足夠多，該網絡就能以任意精度逼近一個非線性函數。其次，BP神經網絡具有對外界刺激和輸入信息進行聯想記憶的能力。這是因為它采用了分布并行的信息處理方式，對信息的提取必須采用聯想的方式，才能將相關神經元全部調動起來。這種能力使其在圖像復原、語言處理、模式識別等方面具有重要應用。再次，BP神經網絡對外界輸入樣本有很強的識別與分類能力。由于它具有強大的非線性處理能力，因此可以較好地進行非線性分類,解決了神經網絡發展史上的非線性分類難題，使其具有優化計算的能力。BP神經網絡本質上是一個非線性優化問題,它可以在已知的約束條件下，尋找一組參數組合，使該組合確定的目標函數達到最小。不過，其優化計算存在局部極小問題，必須通過改進才能進一步完善。

多層神經網絡可以應用于線性系統和非線性系統中，對于任意函數模擬逼近。當然，感知器和線性神經網絡能夠解決這類網絡問題。但是，雖然理論上是可行的，但實際上BP網絡并不一定總能有解。

對于非線性系統，選擇合適的學習率是一個重要問題。在線性網絡中，學習率過大會導致訓練過程不穩定；相反，學習率過小又會造成訓練時間過長。和線性網絡不同，對于非線性多層網絡很難選擇很好的學習率。

非線性網絡的誤差面比線性網絡的誤差面復雜得多，問題在于多層網絡中非線性傳遞函數有多個局部最優解。尋優的過程與初始點的選擇關系很大，初始點如果更靠近局部最優點，而不是全局最優點，就不會得到正確的結果，這也是多層網絡無法得到最優解的一個原因。為了解決這個問題，在實際訓練過程中，應重復選取多個初始點進行訓練，以保證訓練結果的全局最優性。網絡隱層神經元的數目也對網絡有一定的影響。神經元數目太少會造成網絡的不適性，而神經元數目太多又會引起網絡的過適性。

BP神經網絡無論在網絡理論還是在性能方面都已比較成熟，突出優點就是具有很強的非線性映射能力和柔性的網絡結構。網絡的中間層數、各層的神經元個數可根據具體情況任意設定，并且隨著結構的差異其性能也有所不同。但BP神經網絡也存在缺陷，主要表現在學習速度慢，容易陷入局部極小值，網絡層數、神經元個數的選擇還缺少相應的理論指導。

人工神經網絡能較好的模擬人的形象思維,對信息具有很好的隱藏性,還具有容錯性強、穩健性強和自學習性強等特點,是一個大規模自組織、自適應且具有高度并行協同處理能力的非線性動力系統。人工神經網絡理論的應用已經滲透到多個領域，諸如信息處理、自動化、工程應用、經濟發展評價和輔助決策及醫學領域中的檢測數據分析和醫學專家系統等。

總起來看，神經網絡模型與傳統計算模型不同。從計算方式上講，神經元網絡計算把一些簡單的、大量的計算單元連接在一起，形成網絡計算，代替只用一個計算單元進行計算的傳統模式，也就是用分布式、并行計算代替集中式、串行計算；從模型構建上講，傳統的計算方法采用從上到下的方式預先構建數學模型，在神經元網絡中，系統通過采集數據并進行學習的方法在計算過程中構建數據模型，進而建立網絡結構；綜合講來，神經元網絡適應性較強，并行計算處理速度較快，對經驗知識要求較少。

一般來講，神經網絡在規模比較小時效果不錯。規模可用三個指標來衡量：特征數量(通常在二三百個左右)、訓練樣本數(通常由幾千到幾萬)和分類數(通常有幾十個)。當問題規模變大時，比如特征數過千、訓練樣本數達到了幾萬甚至幾十萬，特別是分類數達到幾百、上千，這時的神經元網絡計算可能會出現一些問題。

人工神經網絡特有的非線性適應性信息處理能力，克服了傳統人工智能方法對于直覺，如模式、語音識別、非結構化信息處理方面的缺陷，使之在神經專家系統、模式識別、智能控制、組合優化、預測等領域得到成功應用。人工神經網絡與其它傳統方法相結合，將推動人工智能和信息處理技術不斷發展。近年來，人工神經網絡正向模擬人類認知的道路上更加深入發展，與模糊系統、遺傳算法、進化機制等結合，形成計算智能，成為人工智能的一個重要的研究方向，將會在實際應用中得到進一步發展，將信息集合應用于人工神經網絡研究，為人工神經網絡的理論研究開辟了新的途徑。

神經元網絡計算越來越受到人們的關注，為解決大型復雜度高的問題提供了一種相對來說比較簡單的有效算法，能較容易地解決具有上百個參數的分類和回歸計算中一些常見的問題。

機器學習計算

機器學習(Machine Learning)，人工智能的核心，是使計算機具有智能的根本途徑，其應用遍及人工智能的各個領域，主要使用歸納、綜合而不是演繹的方法研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能。機器學習是一門多領域的交叉學科，涉及到概率論、統計學、逼近論、凸分析、算法復雜度理論和計算機科學等諸多學科。

機器學習（摘自互聯網）

機器學習計算(Machine Learning Computing)主要設計和分析一些讓計算機可以自動“學習”的算法，是一類從數據中自動分析獲得規律、利用規律，對未來數據進行分類、聚類和預測等的一類算法。因為機器學習計算中涉及了大量的統計學理論，機器學習與統計推斷的聯系尤為密切，也被稱為統計學習理論。算法設計方面，機器學習計算關注可以實現的、行之有效的學習算法，很多推論問題具有無程序可循的難度，所以部分的機器學習研究是開發簡單、處理容易的近似算法。

機器學習已經得到了十分廣泛的應用，如數據挖掘、計算機視覺、自然語言處理、生物特征識別、搜索引擎、醫學診斷、檢測信用卡、證券市場分析、DNA序列測序、語音和手寫識別、戰略游戲和機器人運用等。

從更廣泛的意義上來看，機器學習是人工智能的一個子集。人工智能旨在使計算機更加智能化，而機器學習已經證明如何做到這一點。簡而言之，機器學習是人工智能的應用，通過應用從數據中反復學習得到算法，可以改進計算機的功能，而無需進行明確的編程。

在給出機器學習計算各種算法之前，最好是先研究一下什么是機器學習和如何對機器學習進行分類，才能更好的理解和掌握一些具體的機器學習算法并將其用于實際問題的計算和處理。

學習是人類具有的一種重要智能行為，但究竟什么是學習，長期以來卻眾說紛紜。社會學家、邏輯學家和心理學家都各有自己不同的看法和說法。比如，有人定義機器學習是一門人工智能的科學，該領域的主要研究對象是人工智能，特別是如何從經驗學習中改善具體算法的性能，也有人認為機器學習是對能通過經驗自動改進計算機算法的研究，還有人認為機器學習是用數據或以往的經驗，以此優化計算機程序的性能標準等等。盡管如此，為了便于進行討論和推進機器學習學科的進展，有必要對機器學習給出定義，即使這種定義是不完全、不完整和不充分的并存在諸多爭議的。

顧名思義，機器學習是研究如何使用機器來模擬人類學習活動的一門學科。稍為嚴格的提法是：機器學習是一門研究機器獲取新知識、新技能并識別現有知識的學問。這里所說的“機器”，當然指的是計算機；現在是電子計算機，將來還可能是中子計算機、光子計算機或神經網絡計算機。

計算機能否象人類一樣能具有學習的能力，特別是機器的學習能力是否能超過人類，確有許多不同的想法和看法，爭議頗多。持否定意見人的一個主要論據是：機器是人造的，其性能和動作完全是由設計者規定的，因此無論如何其能力也不會超過設計者本人。這種意見對不具備學習能力的計算機來說的確是對的，可是對具備了學習能力的計算機就值得考慮了，因為這種計算機的能力通過學習和實際應用會不斷提高和增強，過了一段時間之后，設計者本人也不知它的能力達到了什么水平、是否超過了自己。

對機器學習可按照不同的標準和方法進行分類，下面簡單介紹兩種常見的分類方法。

（1）基于學習策略的分類  學習策略是指學習過程中系統所采用的推理策略。一個學習系統總是由學習和環境兩部分組成。由環境（如書本或教師）提供信息，學習部分則實現信息轉換，用能夠理解的形式記憶下來，并從中獲取有用的信息。學習策略的分類標準就是根據學生實現信息轉換所需的推理多少和難易程度來分類的，依照從簡到繁、從少到多的次序分為以下六種基本類型：

1）機械學習    學習者無需任何推理或其它的知識轉換，直接吸取環境所提供的信息，主要考慮如何索引存貯知識并加以利用。系統的學習方法是直接通過事先編好、構造好的程序來學習，學習者不作任何工作，或者是通過直接接收既定的事實和數據進行學習，對輸入信息不作任何的推理。

2）示教學習    學生從環境中獲取信息，把知識轉換成內部可使用的表示形式，并將新的知識和原有知識有機地結合為一體。所以要求學生有一定程度的推理能力，但環境仍要做大量的工作。教師以某種形式提出和組織知識，以使學生擁有的知識可以不斷的增加。這種學習方法和人類社會的學校教學方式有點相似，學習的任務就是建立一個系統，使它能接受教導和建議，并有效地存貯和應用學到的知識。目前，不少專家系統在建立知識庫時就使用這種方法以實現知識獲取。

3）演繹學習    學生所用的推理形式為演繹推理，從公理出發，經過邏輯變換推導出結論。這種推理是”保真”變換和特化的過程，使學生在推理過程中可以獲取有用的知識。這種學習方法包含宏操作學習、知識編輯和組塊技術。

4）類比學習    利用源域和目標域二個不同領域中的知識相似性，通過類比從源域的知識推導出目標域的相應知識，從而實現學習。類比學習系統可以使一個已有的計算機應用系統轉變為適應于新的領域，來完成原先沒有設計出來的類似功能。類比學習需要比上述三種學習方式更多的推理，一般要求先從知識源中檢索出可用的知識，再將其轉換成新的形式，用到新的狀態中去。

5）解釋學習    學生根據教師提供的目標概念、該概念的一個例子、領域理論及可操作準則，首先構造一個解釋來說明為什么該例子滿足目標概念，然后將解釋推廣為目標概念的一個滿足可操作準則的充分條件。

6）歸納學習    歸納學習是由教師或環境提供某些概念的一些實例或反例，讓學生通過歸納推理得出該概念的一般描述。這種學習的推理工作量遠多于示教學習和演繹學習，因為環境并不提供一般性概念描述。歸納學習是最基本的、發展較為成熟的一類學習方法，在人工智能領域中已經得到廣泛的研究和應用。

（2）基于學習方式的分類   機器學習算法按照學習方式的不同可以分為五種類型：有監督學習、無監督學習、半監督學習、強化學習和深度學習。

1）有監督學習    輸入的數據為訓練數據，并且每一個數據都會帶有標簽或類別。通過訓練過程建模，模型需要作出預測，如果預測出錯會被修正，直到模型輸出準確的訓練結果，訓練過程會一直持續。常用于解決的問題有分類和回歸，常用的算法包括分類、邏輯回歸和BP神經網絡。

2）無監督學習    輸入數據沒有標簽或類別，輸出沒有標準答案，就是一系列的樣本。無監督學習通過推斷輸入數據中的結構建模，可能是提取一般規律，可以是通過數學處理系統以減少冗雜，或者根據相似性組織數據。常用于解決的問題有聚類，降維和關聯規則的學習。常用的算法包括了Apriori算法和K均值算法等。

3）半監督學習    半監督學習可以看做無監督學習的延伸，介于有監督學習和無監督學習二者之間，其輸入數據包含標簽和不帶標簽的樣本。常用于解決的問題是分類和回歸，常用的算法是對所有的無標簽的數據建模進行的預測算法。

4）強化學習    強化學習是一個連續決策的過程，每次預測都有一定形式的反饋，但是沒有精確的標簽或者錯誤信息。

5) 深度學習    深度學習并不是一種獨立的學習方法，其本身也會用到有監督和無監督的學習，由于近幾年該領域發展迅猛，一些特有的學習手段和算法相繼提出，因此將其看作一種單獨的學習方法。

深度學習是機器學習研究中的一個新的領域，目的在于建立、模擬人腦進行分析學習的神經網絡，模仿人腦的機制來解釋數據，如圖像、聲音和文本等多媒體數據。深度學習是無監督學習的一種，其概念源于人工神經網絡的研究，含有多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示其屬性類別或特征，以發現數據的分布式特征。基于深信度網絡提出非監督逐層訓練算法，為解決深層結構相關的優化難題帶來了希望，隨后提出多層自動編碼器深層結構。此外提出的卷積神經網絡是第一個真正多層結構學習算法，它利用空間相對關系減少參數數目以提高訓練性能。

目前，機器學習領域的研究工作主要圍繞在以下三個方面：

1）任務研析   對一組預定任務的學習系統進行研究，改進執行性能并提高其有效性；

2）模型研發   研究人類學習過程并進行計算機模擬和分析，改進現有模型，提出新的更加有效的模型；

3）理論分析   從理論上探索各種可能的機器學習方法，給出獨立于應用領域的高效算法。

機器學習算法的功能可粗略的分為四大類，即分類、聚類、預測和降維，可用的機器學習算法不下數百種，包括回歸分析、判別分析、聚類分析、因子分析和主成分分析、貝葉斯分類、決策樹、支持向量機、EM、Adaboost、人工神經網絡及它們之間的一些集成算法等。其中的回歸分析、判別分析、聚類分析等已在統計計算里進行了介紹，神經網絡計算也在上一篇文章中進行了較多的討論，下面僅對機器學習中最常用的一些特有算法，如決策樹算法、支持向量機算法、樸素貝葉斯算法、最大期望算法、KNN算法和K均值算法等，進行一些思考性、原理性的簡單介紹。

1）決策樹（Decision Trees）算法

決策樹是一個預測模型，代表的是對象屬性與對象值之間的一種映射關系。樹中每個節點表示某個對象，而每個分叉路徑則代表的某個可能的屬性值，而每個葉結點則對應從根節點到該葉節點所經歷的路徑所表示的對象的值。決策樹僅有單一輸出，若想有多個輸出，可以建立獨立的決策樹以處理不同輸出。

一個決策樹包含三種類型的節點，即決策節點，機會節點和終結點。這里，每個決策樹都表述了一種樹型結構，由它的分支來對該類型的對象依靠屬性進行分類。每個決策樹可以依靠對源數據庫的分割進行數據測試。這個過程可以遞歸式的對樹進行修剪。當不能再進行分割或一個單獨的類可以被應用于某一分支時，遞歸過程完成。

決策樹算法根據數據的屬性采用樹狀結構建立決策模型，常常用來解決分類和預測問題。常見的算法有分類及回歸樹，ID3，C4.5，隨機森林，多元樣條回歸等實際可用的一些算法。

2）支持向量機（Support Vector Machine，SVM）算法

SVM是一種監督式學習算法，廣泛用于統計分類以及預測分析計算中。

SVM屬于一般化線性分類器。這類分類器的特點是他們能夠同時最小化經驗誤差與最大化幾何邊緣區，因此支持向量機也被稱為最大邊緣區分類器。

SVM的主要思想可以概括為兩點：① 針對線性可分情況進行分析，對于線性不可分的情況，通過使用非線性映射算法將低維輸入空間線性不可分的樣本轉化為高維特征空間使其線性可分，從而使得高維特征空間采用線性算法對樣本的非線性特征進行線性分析成為可能；② 基于結構風險最小化理論，在特征空間中建構最優分割超平面，使得學習器得到全局最優化，并且在整個樣本空間的期望風險以某個概率滿足一定的上界。

3）樸素貝葉斯分類(Na?ve Bayesian classification)算法

樸素貝葉斯是一種基于貝葉斯定理與特征條件獨立假設的概率分類算法，通過對象的先驗概率，利用貝葉斯公式

其中P（A|B）是后驗概率，P（B|A）是似然概率，P（A）是先驗概率，P（B）是預測先驗概率。

根據上述公式計算出其后驗概率，即該對象屬于某一類的概率，選擇具有最大后驗概率的類別作為該對象所屬的類別。樸素貝葉斯算法簡單，快速，具有較小的出錯率，對結果解釋容易理解。

4）最大期望(Expectation–Maximization，EM)算法

在統計計算中，最大期望算法是在概率模型中尋找參數最大似然估計的算法，其中概率模型依賴于無法觀測的隱藏變量，經常用在機器學習和計算機視覺的數據集聚領域。最大期望算法經過兩個步驟交替進行計算，第一步是計算期望（E），也就是將隱藏變量象能夠觀測到的一樣包含在內從而計算最大似然的期望值；第二步是最大化（M），也就是最大化在E步上找到的最大似然的期望值從而計算參數的最大似然估計。M步上找到的參數然后用于另外一個E步計算，這個過程不斷交替進行，進行改進，以尋求漸近最優結果。

5）K最近鄰(k-Nearest Neighbor，KNN)分類算法

KNN分類算法，是一個理論上比較成熟的方法，也是最簡單的機器學習算法之一。該方法的思路是：如果一個樣本在特征空間中的k個最相似的樣本中的大多數屬于某一個類別，則該樣本也屬于這個類別。KNN算法中，所選擇的鄰居都是已經正確分類的對象。該方法在定類決策上只依據最鄰近的一個或者幾個樣本的類別來決定待分樣本所屬的類別。

KNN方法雖然從原理上依賴于極限定理，但在類別決策時，只與極少量的相鄰樣本有關。由于KNN方法主要靠周圍有限的鄰近的樣本，而不是靠判別類域的方法來確定所屬類別的，因此對于類域的交叉或重疊較多的待分樣本集來說，KNN方法較其他方法更為適合。

KNN算法不僅可以用于分類，還可以用于回歸。通過找出一個樣本的k個最近鄰居，將這些鄰居的屬性的平均值賦給該樣本，就可以得到該樣本的屬性。

K-近鄰算法的思想如下：首先，計算新樣本與訓練樣本之間的距離，找到距離最近的K個鄰居；然后，根據這些鄰居所屬的類別來判定新樣本的類別，如果它們都屬于同一個類別，那么新樣本也屬于這個類；否則，對每個后選類別進行評分，按照某種規則確定新樣本的類別。