《數學之美》讀書筆記

當看完一本著作後，你有什麼總結呢？這時最關鍵的讀書筆記不能忘了哦。可是讀書筆記怎麼寫才合適呢？下面是小編收集整理的《數學之美》讀書筆記，供大家參考借鑑，希望可以幫助到有需要的朋友。

《數學之美》是一本領域相關的數學概念書，生動形象地講解了關於數據挖掘、文本檢索等方面的基礎知識，可以作為數據挖掘、文本檢索的入門普及書。另外，就像作者吳軍老師提到的，關鍵是要從中學到道————解決問題的方法，而不僅僅是術。書中也啟發式的引導讀者形成自己解決問題的道。

下面記錄一下自己讀這本書的一些感想：

第一章《文字和語言vs數字和信息》：文字和語言中天然藴藏着一些數學思想，數學可能不僅僅的是一門非常理科的知識，也是一種藝術。另外，遇到一個複雜的問題時，可能生活中的一些常識，一些簡單的思想會？給你帶來解決問題的靈感。

第二章《自然語言處理————從規則到統計》：試圖模擬人腦處理語言的模式，基於語法規則，詞性等進行語法分析、語義分析的自然語言處理有着很大的複雜度，而基於統計的語言模型很好的解決了自然語言處理的諸多難題。人們認識這個過程，找到統計的方法經歷了20多年，非常慶幸我們的前輩已經幫我們找到了正確的方法，不用我們再去苦苦摸索。另外，這也説明在發現真理的過程中是充滿坎坷的，感謝那些曾經奉獻了青春的科學家。自己以後遇到問題也不能輕易放棄，真正的成長是在解決問題的過程中。事情不可能一帆風順的，這是自然界的普遍真理吧！

第三章《統計語言模型》：自然語言的處理找到了一種合適的方法———基於統計的模型，概率論的知識開始發揮作用。二元模型、三元模型、多元模型，模型元數越多，計算量越大，簡單實用就是最好的。對於某些不出現或出現次數很少的詞，會有零概率問題，這是就要找到一數學方法給它一個很小的概率。以前學概率論的時候覺的沒什麼用，現在開始發現這些知識可能就是你以後解決問題的利器。最後引用作者本章的最後一句話：數學的魅力就在於將複雜的問題簡單化。

第四章《談談中文分詞》：中文分詞是將一句話分成一些詞，這是以後進一步處理的基礎。從開始的查字典到後來基於統計語言模型的分詞，如今的中文分詞算是一個已經解決的問題。然而，針對不同的系統、不同的要求，分詞的粒度和方法也不盡相同，還是針對具體的問題，提出針對該問題最好的方法。沒有什麼是絕對的，掌握其中的道才是核心。

第五章《隱馬爾科夫模型》：隱馬爾科夫模型和概率論裏面的馬爾科夫鏈相似，就是該時刻的狀態僅與前面某幾個時刻的狀態有關。基於大量數據訓練出相應的隱馬爾科夫模型，就可以解決好多機器學習的問題，訓練中會涉及到一些經典的算法（維特比算法等）。關於這個模型，沒有實際實現過，所以感覺好陌生，只是知道了些概率論講過的原理而已。

第六章《信息的度量和作用》：信息論給出了信息的度量，它是基於概率的，概率越小，其不確定性越大，信息量就越大。引入信息量就可以消除系統的不確定性，同理自然語言處理的大量問題就是找相關的信息。信息熵的物理含義是對一個信息系統不確定性的度量，這一點與熱力學中的熵概念相同，看似不同的學科之間也會有着很強的相似性。事務之間是存在聯繫的，要學會借鑑其他知識。

第七章《賈里尼克和現代語言處理》：賈里尼克是為世界級的大師，不僅在於他的學術成就，更在於他的風範。賈里尼克教授少年坎坷，也並非開始就投身到自然語言方面的研究，關鍵是他的思想和他的道。賈裏克尼教授治學嚴謹、用心對待自己的學生，對於學生的教導，教授告訴你最多的是“什麼方法不好”，這很像聽到的一句話“我不贊同你，但我支持你”。賈裏克尼教授一生專注學習，最後在辦公桌前過世了。讀了這章我總結出的一句話是“思想決定一個人的高度”。在這章中對於少年時的教育，以下幾點值得借鑑：1、少年時期其實沒有必要花那麼多時間讀書，他們的社會經驗、生活能力以及在那時樹立起的志向將幫助他們一生。2、中學時花大量時間學會的內容，在大學用非常短的時間就可以讀完，因為在大學階段，人的理解力要強很多。3、學習（和教育）是一個人一輩子的過程。4、書本的內容可以早學，也可以晚學，但是錯過了成長階段卻是無法補回來的。

第八章《簡單之美————布爾代數和搜索引擎的索引》：布爾是19世紀英國的一位中學教師，但他的公開身份是啤酒商，提出好的思想的人不一定是大師。簡單的建立索引可以根據一個詞是否在一個網頁中出現而設置為0和1，為了適應索引訪問的速度、附加的信息、更新要快速，改進了索引的建立，但原理上依然簡單，等價於布爾運算。牛頓的一句話“（人們）發覺真理在形式上從來是簡單的，而不是複雜和含混的”。做好搜索，最基本的要求是每天分析10—20個不好的搜索結果，積累一段時間才有感覺。有時候，學習、處理問題，可以從不好的方面入手，效果可能更好。

第九章《圖論和網絡爬蟲》：圖的遍歷分為“廣度優先搜索（Breadth—First Search，簡稱BFS）”和“深度優先搜索（Depth—First Search，簡稱DFS）。互聯網上有幾百億的網頁，需要大量的服務器用來下載網頁，需要協調這些服務器的任務，這就是網絡設計和程序設計的藝術了。另外對於簡單的網頁，沒必要下載。還需要存儲一張哈希表來記錄哪些網頁已經存儲過（如果記錄每個網頁的url，數量太多，這裏可以用後面提到的信息指紋，只需要一個很多位的數字即可），避免重複下載。另外，在圖論出現的很長一段時間裏，實際需求的圖只有幾千個節點，那時圖的遍歷很簡單，人們都沒有怎麼專門研究這個問題，隨着互聯網的出現，圖的遍歷一下子有了用武之地，很多數學方法就是這樣，看上去沒有什麼用途，等到具體的應用出來了一下子開始派上大用場了，這可能就是世界上很多人畢生研究數學的原因吧。一個系統看似整體簡單，但裏面的每個東西都可能是一個複雜的東西，需要很好的設計。

第十章《PageRank————Google的民主表決式網頁排名技術》：搜索返回了成千上萬條結果，如何為搜索結果排名？這取決與兩組信息：關於網頁的質量信息以及這個查詢和每個網頁的相關性信息。PageRank算法來衡量一個網頁的質量，該算法的思想是如果一個網頁被很多其他網頁所鏈接，説明它收到普遍的承認和信賴，那麼它的排名就高。谷歌的創始人佩奇和布林提出了該算法並用迭代的方法解決了這個問題。PageRank在Google所有的算法中依然是至關重要的。該算法並不難，可是當時只有佩奇和布林想到了，為什麼呢？

第十一章《如何確定網頁和查詢的相關性》：構建一個搜索引擎的四個方面：如何自動下載網頁、如何建立索引、如何衡量網頁的質量以及確定一個網頁和某個查詢的相關性。搜索關鍵詞權重的科學度量TF—IDF，TF衡量一個詞在一個網頁中的權重，即詞頻。IDF衡量一個詞本身的權重，對主題的預測能力。一個查詢和該網頁的相關性公式由詞頻的簡單求和變成了加權求和，即TF1*IDF1 + TF2*IDF2 + 。。。 + TFN*IDFN。看似複雜的搜索引擎，裏面的原理竟是這麼簡單！

第十二章《地圖和本地搜索的最基本技術——有限狀態機和動態規劃》：地址的解析依靠有限狀態機，當用户輸入的地址不太標準或有錯別字時，希望進行模糊匹配，提出了一種基於概率的有限狀態機。通用的有限狀態機的程序不是很好寫，要求很高，建議直接採用開源的代碼。圖論中的動態規劃問題可以用來解決兩點間的最短路徑問題，可以將一個“尋找全程最短路線”的問題，分解成一個個尋找局部最短路線的小問題。有限狀態機和動態規劃問題需要看相關的算法講解，才能深入理解，目前對其並未完全理解。

第十三章《Google AK—47的設計者——阿米特·辛格博士》：辛格堅持選擇簡單方案的一個原因是容易解釋每一個步驟和方法背後的道理，這樣不僅便於出了問題時查錯，而且容易找到今後改進的目標。辛格要求對於搜索質量的改進方法都要能説清楚理由，説不清楚理由的改進即使看上去有效也不會採用，因為這樣將來可能是個隱患。辛格非常鼓勵年輕人要不怕失敗，大膽嘗試。遵循簡單的哲學。

第十四章《餘弦定理和新聞的分類》：將新聞根據詞的TF—IDF值組成新聞的特徵向量，然後根據向量之間的餘弦距離衡量兩個特徵之間的相似度，將新聞自動聚類。另外根據詞的不同位置，權重應該不同，比如標題的詞權重明顯應該大點。大數據量的餘弦計算也要考慮很多簡化算法。

第十五章《矩陣運算和文本處理中的.兩個分類問題》：將大量的文本表示成文本和詞彙的矩陣，然後對該矩陣進行奇異值SVD分解，可以得到隱含在其中的一些信息。計算餘弦相似度的一次迭代時間和奇異值分解的時間複雜度在一個數量級，但計算餘弦相似度需要多次迭代。另外，奇異值分解的一個問題是存儲量大，而餘弦定理的聚類則不需要。奇異值分解得到的結果略顯粗糙，實際工作中一般先進行奇異值分解得到粗分類結果，在利用餘弦計算得到比較精確地結果。我覺得這章講的SVD有些地方不是很清楚，已向吳軍老師請教了，等待回信。

第十六章《信息指紋及其應用》：信息指紋可以作為信息的唯一標識。有很多信息指紋的產生方法，互聯網加密要使用基於加密的偽隨機數產生器，常用的算法有MD5或者SHA—1等標準。信息指紋可以用來判定集合相同或基本相同。YouTobe就用信息指紋來反盜版。128位的指紋，1。8*10^19次才可能重複一次，所以重複的可能性幾乎為0。判定集合是否相同，從簡單的逐個比對到利用信息指紋，複雜度降低了很多很多。啟發我們有時候要用變通的思想來解決問題。

第十七章《由電視劇《暗算》所想到的——談談密碼學的數學原理》：RSA加密算法，有兩個完全不同的鑰匙，一個用於加密，一個用於解密。該算法裏面藴含着簡單但不好理解的數學思想。信息論在密碼設計中的應用：當密碼之間分佈均勻並且統計獨立時，提供的信息最少。均勻分佈使得敵人無從統計，而統計獨立能保證敵人即使知道了加密算法，也不能破譯另一段密碼。

第十八章《閃光的不一定是金子——談談搜索引擎反作弊問題》：把搜索反作弊看成是通信模型，作弊當做是加入的噪聲，解決噪聲的方法：從信息源出發，增強排序算法的抗干擾能力；過濾掉噪聲，還原信息。只要噪聲不是完全隨機並且前後有相關性，就可以檢測到並消除。作弊者的方法不可能是隨機的，且不可能一天換一種方法，及作弊是時間相關的。因此在蒐集一段時間的作弊信息後，就可以將作弊者抓出來，還原原有的排名。一般作弊都是針對市場份額較大的搜索引擎做的，因此，一個小的搜索引擎作弊少，並不一定是它的反作弊技術好，而是到它那裏作弊的人少。

第十九章《談談數學模型的重要性》：早期的行星運行模型用大圓套小圓的方法，精確地計算出了所有行星運行的軌跡。但其實模型就是簡單的橢圓而已。一個正確的數學模型應該在形式上是簡單的；一個正確的模型可能開始還不如一個精雕細琢過的錯誤模型來的準確，但是，如果我們認定大方向是對的，就應該堅持下去；大量準備的數據對研發很重要；正確的模型可能受到噪聲干擾，而顯得不準確，這是不應該用一種湊合的修正方法來彌補它，要找到噪聲的根源，這也許能通往重大的發現。

第二十章《不要把雞蛋放在一個籃子裏——談談最大熵模型》：對一個隨機事件預測時，當各種情況概率相等時，信息熵達到最大，不確定性最大，預測的風險最小。最大熵模型的訓練非常複雜，需要時查看資料做進一步的理解。

第二十一章《拼音輸入法的數學原理》：輸入法經歷了以自然音節編碼，到偏旁筆畫拆字輸入，再回歸自然音節輸入的過程。任何事物的發展，螺旋式的迴歸不是簡單的重複，而是一種昇華。輸入法的速度取決於編碼的場地*尋找這個鍵的時間。傳統的雙拼，記住編碼太難，尋找每個鍵的時間太長，並且增加了編碼上的歧義。根據香農第一定理可以計算理論上每個漢字的平均最短碼長。全拼不僅編碼平均長度較少，而且根據上下文的語言模型可以很好的解決歧義問題。利用統計語言模型可是實現拼音轉漢字的有效算法，而且可以轉換為動態規劃求最短路徑問題。如今各家輸入法的效率基本在一個量級，進一步提升的關鍵就在於建立更好的語言模型。可以根據每個用户建立個性化的語言模型。輸入的過程本身就是人和計算機的通信，好的輸入法會自覺或者不自覺的的遵循通信的數學模型。要做出最有效的輸入法，應該自覺使用信息論做指導。

第二十二章《自然語言處理的教父馬庫斯和他的優秀弟子們》：將自然語言處理從基於規則到基於統計，貢獻最大的兩個人，一個是前面介紹的賈里尼克教授，他是一個開創性任務；另一個是將這個方法發揚光大的米奇·馬庫斯。馬庫斯的貢獻在於建立了造福全世界研究者的賓夕法尼亞大學LDC語料庫以及他的眾多優秀弟子。馬庫斯的影響力很大程度上是靠他的弟子傳播出去的。馬庫斯教授有很多值得欽佩的地方：給予他的博士研究生自己感興趣的課題的自由，高屋建瓴，給學生關鍵的指導；寬鬆的管理方式，培養各有特點的年輕學者；是一個有着遠見卓識的管理者。他的學生為人做事風格迥異，但都年輕有為，例如追求完美的邁克爾·柯林斯和尋求簡單美的艾克爾·布萊爾。大師之所以能成為大師，肯定有着一些優秀的品質和追求。

第二十三章《布隆過濾器》：判斷一個元素是否在一個集合當中時，用到了布隆過濾器，存儲量小而且計算快速。其原理是：建立一個很長的二進制，將每個元素通過隨機數產生器產生一些信息指紋，再將這些信息指紋映射到一些自然數上，最後在建立的那個很長的二進制上把這些自然數的位置都置為1。布隆過濾器的不足之處是它可能把不在集合中的元素錯判成集合中的元素，但在某些條件下這個概率是很小的，補救措施是可以建立一個小的白名單，存儲那些可能誤判的元素。布隆過濾器背後的數學原理在於完全隨機的數字其衝突的可能性很小，可以用很少的空間存儲大量的信息，並且由於只進行簡單的算術運算，因此速度非常快。《編程珠璣》中第一章的那個例子就是布隆過濾器的思想。開闊思維，尋找更好更簡單的方法。

第二十四章《馬爾科夫鏈的擴展——貝葉斯網絡》：貝葉斯網絡是馬爾科夫鏈的擴展，由簡單的線性鏈式關係擴展為網絡的關係，但貝葉斯網絡仍然假設每一個狀態只與它直接相連的狀態相關。確定貝葉斯網絡的拓撲結構和各個狀態之間相關的概率也需要訓練。在詞分類中，可以建立文章、主題和關鍵詞的貝葉斯網絡，用來得到詞的分類。貝葉斯網絡的訓練包括確定拓撲結構和轉移概率，比較複雜，後者可以參考最大熵訓練的方法。貝葉斯網絡導出的模型是非常複雜的。

第二十五章《條件隨機場和句法分析》：句法分析是分析出一個句子的句子結構，對於不規則的句子，對其進行深入的分析是很複雜的，而淺層的句法分析在很多時候已經可以滿足要求了。條件隨機場就是進行淺層句法分析的有效的數學模型。條件隨機場與貝葉斯網絡很像，不用之處在於，條件隨機場是無向圖，而貝葉斯網絡是有向圖。條件隨機場的訓練很複雜，簡化之後可以參考最大熵訓練的方法。對於條件隨機場的詳細參數及原理還不理解。

第二十六章《維特比和他的維特比算法》：維特比算法是一個動態規劃算法，凡是使用隱馬爾科夫模型描述的問題都可以用它來解碼。維特比算法採用逐步漸進的方法，計算到每步的最短距離，到下步的最短距離只用接着本步的計算即可，相比窮舉法，大大縮短了計算的時間，並且基本可以實現實時的輸出，這看似簡單，但在當時確是很了不起的。維特比並不滿足停留在算法本身，他將算法推廣出去，並應用到了實際中，創立了高通公司，成為了世界上第二富有的數學家。高通公司在第二代移動通信中並不佔很強的市場地位，而其利用CDMA技術霸佔了3G的市場，可見遠見的洞察力是多麼的重要。

第二十七章《再談文本分類問題——期望最大化算法》：該章講的其實就是K均值聚類問題，設置原始聚類中心，然後不斷迭代，直至收斂，將每個點分到一個類中。其實隱馬爾科夫模型的訓練和最大熵的訓練都是期望最大化算法（EM）。首先，根據現有的模型，計算各個觀測數據輸入到模型中的計算結果，這個過程稱為期望值計算過程，或E過程；接下來，重新計算模型參數，以最大化期望值，這個過程稱為最大化的過程，或M過程。優化的目標函數如果是個凸函數，則一定有全局最優解，若不是凸函數，則可能找到的是局部最優解。在以後的一些問題求解過程中，應該考慮其是否是EM問題，也可以考慮參考這種思想，不斷迭代以優化目標的過程。

第二十八章《邏輯迴歸和搜索廣告》：雅虎和百度的競價排名廣告並不比谷歌的根據廣告的預估點擊率來客觀的推送廣告收入多。點擊預估率有很多影響因素，一種有效的方法是邏輯迴歸模型，邏輯迴歸模型是一種將影響概率的不同因素結合在一起的指數模型。其訓練方法和最大熵模型相似。同樣不是很理解其具體內涵。

第二十九章《各個擊破和Google雲計算的基礎》：分而治之，各個擊破是一個很好的方法，Google開發的MapReduce算法就應用了該方法。將一個大任務分成幾個小任務，這個過程叫Map，將小任務的結果合併成最終結果，這個過程叫Reduce，該過程如何調度、協調就是工程上比較複雜的事情了。可見大量用到的、真正有用的方法往往簡單而又樸實。

附錄《計算複雜度》：計算機中複雜度是以O（）來表示的，如果一個算法的計算量不超過N的多項式函數，則稱算法為多項式函數複雜度的（P問題），是可以計算的。若比N的多項式函數還高，則是非多項式問題，實際上是不可計算的。非多項式問題中一種非確定的多項式問題（簡稱NP），是科學家研究的焦點，因為現實中好多問題都是NP問題。另外還有NP—Complete問題（NP問題可以在多項式時間內規約到該問題）和NP—Hard問題，對於這兩種問題，需要簡化找到近似解。

整體上，《數學之美》這本書讓我瞭解了很多文本處理，數據挖掘相關的知識，學到了很多。其中，簡單美以及一些科學家的大師風範讓我印象深刻！書中提到的一些思想（即道）讓我受益匪淺！