?2016-2026 Matools All rights reserved,
粵ICP備17059708號
1. 引言
0x1：人生就是一個馬爾科夫穩(wěn)態(tài)
每一秒我們都在做各種各樣的選擇，要吃青菜還是紅燒肉、看電影還是看書、跑步還是睡覺，咋一看起來，每一個選擇都是隨機(jī)的，而人生又是由無數(shù)個這樣的隨機(jī)選擇組成的結(jié)果。從這個前提往下推導(dǎo)，似乎可以得出一個結(jié)論，即人生是無常的，未來是不可預(yù)測的。但事實(shí)真的是如此嗎？
以前的老人流行說一句話，三歲看小，七歲看老。這似乎是一句充滿迷信主義色彩的俗語，但其實(shí)其中暗含了非常質(zhì)樸而經(jīng)典的理論依據(jù)，即隨機(jī)過程不管其轉(zhuǎn)移概率分布如何，隨著時序的增大，最終會收斂在某個穩(wěn)態(tài)上。用人話說就是：人在七歲時，其核心性格會定型，在今后的一生中，不管其經(jīng)歷了什么，最終都會殊途同歸，到達(dá)同一個人生結(jié)局。
現(xiàn)在很流行一句話叫，性格決定命運(yùn)。這句話從很多不同的學(xué)科中可以得到不同的解釋，例如現(xiàn)代心理學(xué)會說性格的本質(zhì)就是潛意識，而潛意識影響所有的思想和行為，進(jìn)而影響了命運(yùn)。社會行為學(xué)會說性格決定了你的人際網(wǎng)絡(luò)拓樸結(jié)構(gòu)與網(wǎng)絡(luò)信息交互率等因素，而成功的人往往是那種同時占據(jù)了多個重要結(jié)構(gòu)洞的關(guān)鍵人物，例如國家領(lǐng)導(dǎo)人或者公司高層。用信息論馬爾柯夫隨機(jī)過程的理論來解釋就說，每個人的概率轉(zhuǎn)移函數(shù)在很小的時候就會基本定型，對于每個人來說，出生、天賦這些都不是至關(guān)重要的因素，而相反，決定一個人最終能得到多少成就的決定因素是你的n，也即你能在多大程度上延伸生命的長度，生命周期n越長，就越容易收斂到一個馬爾科夫穩(wěn)態(tài)，而只要你的底層性格（概率轉(zhuǎn)移函數(shù)）足夠優(yōu)秀，這個穩(wěn)態(tài)一般也不會差到哪里去。用現(xiàn)代育兒學(xué)的主流觀點(diǎn)就是，對于小孩的教育，素質(zhì)教育并沒有那么重要，而相反，應(yīng)該更注重性格和人格塑造上的培養(yǎng)。用一句很俗的話來說，就是”起點(diǎn)并不重要，長久的堅持才重要“。
那么這篇文章中，筆者將嘗試從信息論中隨機(jī)過程的相關(guān)討論，來逐步分析和論證一下上述這段人生道（糟）理（粕）的底層邏輯。
0x2：非i.i.d.獨(dú)立同部分情況下隨機(jī)過程的熵如何分布
在之前的文章 <https://www.cnblogs.com/LittleHann/p/11258395.html>
中，我們討論了漸進(jìn)均分性（AEP），AEP表明在平均意義下使用nH(X)比特足以描述n個i.i.d.獨(dú)立同分布的隨機(jī)變量。但是，如果隨機(jī)變量不獨(dú)立，尤其是隨機(jī)變量成為平穩(wěn)過程時，情況又如何呢？
在本文中，我們將證明，對于任意的隨機(jī)過程，熵H(X1，X2，...，Xn
)隨n以速率H(X)（漸進(jìn)地）線性增加（和i.i.d.一樣），這個速率稱為過程的熵率。事實(shí)上，在物理和計算機(jī)科學(xué)中，非i.i.d.才是占主流的現(xiàn)象，很多事物現(xiàn)象的內(nèi)部原子狀態(tài)之間都不是彼此獨(dú)立的，例如語音序列是上下文依賴關(guān)聯(lián)的，文本序列是前后文文法關(guān)聯(lián)的等等。
Relevant Link:?
《信息論基礎(chǔ)》阮吉壽著 - 第四章
??
2. 馬爾可夫鏈
0x1：隨機(jī)過程
馬爾可夫鏈屬于隨機(jī)過程的一種，因此我們先從隨機(jī)過程開始討論起。
1. 隨機(jī)過程的形式化定義
隨機(jī)過程{Xi}是一個帶下標(biāo)的隨機(jī)變量序列。一般允許變量間具有任意的相關(guān)性?？坍嬕粋€過程需要知道所有有限的聯(lián)合概率密度函數(shù)：
例如N次伯努利實(shí)驗(yàn)得到的二項分布序列，就是一個隨機(jī)過程，當(dāng)參數(shù)p確定時，該隨機(jī)過程滿足一個確定的概率分布函數(shù)公式。
2. 平穩(wěn)隨機(jī)過程
如果隨機(jī)變量序列的任何有限子集的聯(lián)合分布關(guān)于時間的下標(biāo)的位移不變，即對于每個n和位移l，以及任意的x1，x2，...，xn∈X，均滿足：
，則稱該隨機(jī)過程是平穩(wěn)的。
平穩(wěn)過程也可以叫做穩(wěn)態(tài)系統(tǒng)，這是一個非常重要的概念，在非常多學(xué)科和交叉學(xué)科中都有相關(guān)的概念和理論涉及：
* 系統(tǒng)科學(xué)：系統(tǒng)或者過程（Process theory）的穩(wěn)態(tài)是指其行為的變數(shù)（稱為狀態(tài)變數(shù)）不隨時間而變化。
* 熱力學(xué)
* 經(jīng)濟(jì)學(xué)：穩(wěn)態(tài)經(jīng)濟(jì)（Steady state
economy）是指一個國家（或城市、區(qū)域或全世界）經(jīng)濟(jì)在一個穩(wěn)定的規(guī)模，可以有穩(wěn)定的人口以及穩(wěn)定的消費(fèi)，而且是在其環(huán)境承載力的范圍內(nèi)。
* 工程學(xué)
* 通信："時不變穩(wěn)態(tài)系統(tǒng)"
對于許多系統(tǒng)，系統(tǒng)啟動后需要一段時間才會進(jìn)入穩(wěn)態(tài)。進(jìn)入穩(wěn)態(tài)前的狀態(tài)稱為暫態(tài)或啟動階段。例如流過管子的流體會呈現(xiàn)穩(wěn)態(tài)，這表示有持續(xù)固定的流體通過，而正在裝水的水槽則是暫態(tài)，因?yàn)樗捏w積仍隨時間而變化。
系統(tǒng)常常是以漸近的方式進(jìn)入穩(wěn)態(tài)。若系統(tǒng)無法進(jìn)入穩(wěn)態(tài)，反而發(fā)散，這稱為不檼定的系統(tǒng)。
3. 馬爾科夫過程：一種非獨(dú)立隨機(jī)過程
一個非獨(dú)立隨機(jī)過程的簡單例子是隨機(jī)序列中的每個隨機(jī)變量僅依賴于它的前一個隨機(jī)變量，而條件獨(dú)立
<https://www.cnblogs.com/LittleHann/p/11258395.html#_lab2_4_0>
于其他更前面的所有隨機(jī)變量，這樣的過程稱為馬爾科夫過程，或馬爾柯夫鏈。
此時，隨機(jī)變量的聯(lián)合概率密度函數(shù)可以寫成：
4. 時不變馬爾科夫過程：一種非獨(dú)立平穩(wěn)隨機(jī)過程
如果條件概率不依賴于n，即對n=1，2，....，有：
，則稱馬爾柯夫鏈?zhǔn)菚r間不變的。
若無特別說明，總假定馬爾柯夫鏈?zhǔn)菚r間不變的，在大多數(shù)應(yīng)用場景中，我們都假定馬爾柯夫鏈?zhǔn)菚r間不變的。
0x2：馬爾柯夫鏈
1. 馬爾柯夫鏈的表征定義
如果{Xi}為馬爾柯夫鏈，則稱Xn為n時刻的狀態(tài)。
一個時間不變的馬爾柯夫鏈完全由其初始狀態(tài)和概率轉(zhuǎn)移矩陣P=[Pij]所表征。其中，i，j∈{1，2，....，m}
2. 馬爾柯夫鏈性質(zhì)
* 若馬爾柯夫鏈可以從任意狀態(tài)經(jīng)過有限步轉(zhuǎn)移到另一個任意狀態(tài)，且其轉(zhuǎn)移概率為正，則稱此馬爾柯夫鏈?zhǔn)遣豢杉s的。
* 如果從一個狀態(tài)轉(zhuǎn)移到它自身的不同路徑長度的最大公因子為1，則稱此馬爾柯夫鏈?zhǔn)欠侵芷诘摹?
3. 平穩(wěn)馬爾柯夫鏈及其收斂性
如果在時刻n，隨機(jī)變量的概率密度函數(shù)為p(xn)，那么在n+1時刻，隨機(jī)變量的概率密度函數(shù)為：
若在n+1時刻，狀態(tài)空間上的分布于在n時刻的分布相同，則稱此分布為平穩(wěn)分布。
如果馬爾科夫鏈的初始狀態(tài)服從平穩(wěn)分布，那么該馬爾柯夫鏈為平穩(wěn)過程。
若有限狀態(tài)馬爾柯夫鏈?zhǔn)遣豢杉s和非周期的，則它的平穩(wěn)分布唯一，從任意的初始分布出發(fā)，當(dāng)n->∞時，Xn的分布必定趨向于此平穩(wěn)分布。
Relevant Link:?
《信息論基礎(chǔ)》阮吉壽著
?
3. 熵率
0x1：熵率形式化定義
如果給定一個長度為n的隨機(jī)變量序列，則該序列隨著n增長而增長的熵的速度，稱為熵率。
當(dāng)如下極限存在時，隨機(jī)過程{Xi}的熵率定義為：
0x2：熵率的形象化舉例理解
熵率是一個純信息論概念，比較抽象，我們這小節(jié)用具體的例子來說明熵率的現(xiàn)實(shí)意義。
以打字機(jī)為例，假定一臺打字機(jī)鍵盤上有m個按鍵，即該打字機(jī)可輸出m個等可能的字母。由此打字機(jī)可產(chǎn)生長度為n的mn個序列，并且都等可能出現(xiàn)。
因此，，熵率為H(X) = logm bit/字符。
直觀上可以這么理解，因?yàn)樽址黹L度 |X| = m，根據(jù)熵的基本性質(zhì)，H(X) <= log|X|，所以該打字機(jī)每打出一個字，至多產(chǎn)生了logm
的不確定性，熵率衡量的是理論上隨機(jī)過程每一步產(chǎn)生的最大熵。
上升到抽象思考模式，將打字機(jī)打出的字符序列看作是一個隨機(jī)變量序列X1，X2，...，Xn，此時有下式：
及打字機(jī)對應(yīng)的隨機(jī)過程的熵率為H(X1)，即打出一個字產(chǎn)生的熵值。
0x3：隨機(jī)過程熵率極限收斂定理
我們定義隨機(jī)過程熵率的兩個公式
*
*
上面二式反映了熵率概念的兩個不同方面，第一個量指的是n個隨機(jī)變量的每個字符熵。第二個量指在已知前面n-1隨機(jī)變量的情況下最后一個隨機(jī)變量的條件熵。
對于平穩(wěn)過程來說，以上兩者的極限均存在且相等，即，我們分別來討論。
1. 隨機(jī)過程條件熵率極限收斂定理
對于平穩(wěn)隨機(jī)過程，隨n遞減且存在極限
證明：
其中：
* 條件作用使熵減小這個性質(zhì)得到不等號，即新信息的加入會引入熵的減少；
* 由隨機(jī)過程平穩(wěn)性得到等號；
因此，是非負(fù)且遞減的數(shù)列，故其極限存在。
2. 隨機(jī)過程熵率收斂于條件熵率定理
上一小節(jié)證明了隨機(jī)過程的條件熵率收斂于某個確定值，現(xiàn)在證明隨機(jī)過程的熵率也收斂于同樣的值。
借助數(shù)學(xué)分析中cesaro均值的定理：
若an -> a，且，則bn -> a。
由于序列{ak}中的大部分項最終趨于a，那么，bn是{ak}的前n項的平均，也將最終趨于a。
基于cesaro均值定理，我們來看隨機(jī)過程的熵率公式，由聯(lián)合熵的鏈?zhǔn)椒▌t有下式：
上式中，隨機(jī)過程的熵率為條件熵的時間平均，如果條件熵趨于極限，則隨機(jī)過程的聯(lián)合熵率也同樣趨近于同樣的極限值，即：
3. 熵率對平穩(wěn)遍歷過程的平均描述長度表征的泛化能力
研究隨機(jī)過程熵率的重要意義體現(xiàn)在平穩(wěn)遍歷過程的AEP，事實(shí)上，對任意的遍歷過程，都有下式：
以概率1收斂，即隨機(jī)過程恒收斂。
我們可以定義典型集，可以證明典型集的概率近似為1，且大約有2nH(X)個長度為n的典型序列，其每個序列出現(xiàn)的概率大約為2-nH(X)。
所以，大約使用nH(X)比特可表示長度為n的典型序列。這體現(xiàn)出熵率可以表征平穩(wěn)遍歷過程的平均描述長度的重要意義。
0x4：馬爾可夫鏈熵率收斂
1. 馬爾柯夫鏈熵率收斂定理形式化描述
對于平穩(wěn)的馬爾柯夫鏈，熵率為
其中的條件熵可以根據(jù)給出的平穩(wěn)分布計算得到，注意到，平穩(wěn)分布μ為下列方程組的解：
下面形式化描述馬爾柯夫鏈熵率收斂定理。
設(shè){Xi}為平穩(wěn)馬爾柯夫鏈，其平穩(wěn)分布為μ，轉(zhuǎn)移矩陣為P，則熵率為：
2. 兩狀態(tài)馬爾柯夫鏈熵率收斂具體例子
考慮兩狀態(tài)的一個馬爾柯夫鏈，其概率轉(zhuǎn)移矩陣為：
如下圖所示：
設(shè)向量μ表示平穩(wěn)分布，其分量分別為狀態(tài)1和狀態(tài)2的概率。通過解方程μP =?μ，即可求得平穩(wěn)概率，或者更簡便地，利用平衡概率的方法求得。
對于平穩(wěn)分布，穿越狀態(tài)轉(zhuǎn)移圖中任意割集的網(wǎng)絡(luò)概率流必為0。將此結(jié)論應(yīng)用于上圖，即可得：
由于μ1+μ2=1，則平穩(wěn)分布為
如果該馬爾柯夫鏈的初始狀態(tài)服從平穩(wěn)分布，則導(dǎo)出的過程是平穩(wěn)的，在n時刻的狀態(tài)Xn的熵為
根據(jù)平穩(wěn)遍歷馬爾柯夫鏈的熵率收斂定理，上式兩狀態(tài)馬爾柯夫鏈的熵率為：
通過這個例子，可以看到：
若馬爾柯夫鏈?zhǔn)遣豢杉s的且非周期的，那么該馬爾柯夫鏈存在狀態(tài)空間誰給你的唯一平穩(wěn)分布，并且給定任意的初始分布，當(dāng)n->∞時，分布必趨向于此平穩(wěn)分布。由于熵率是依據(jù)序列的長期行為定義的，那么在此情形下，即使初始分布不是平穩(wěn)分布，熵率也最終會收斂
。
3. 加權(quán)圖上隨機(jī)游動的熵率：馬爾柯夫鏈熵率收斂的另一個例子
這個小節(jié)，我們繼續(xù)通過一個具體的例子來深入體會馬爾柯夫鏈的漸進(jìn)收斂性，理解什么是穩(wěn)態(tài)隨機(jī)過程。
考慮下面這個連通圖上的隨機(jī)游動：
假定圖有m個標(biāo)記{1，2，....，m}的節(jié)點(diǎn)，其中連接節(jié)點(diǎn) i 和 j 的邊權(quán)重為 Wij >= 0。假定此圖是無向的，若節(jié)點(diǎn) i 和 j
沒有連接邊，則設(shè)Wij?= 0。
現(xiàn)在有一個粒子在圖中由一個節(jié)點(diǎn)到另一個節(jié)點(diǎn)作隨機(jī)游動，設(shè)隨機(jī)游動的軌跡為一個序列 {Xn}，Xn∈{1，2，...，m}，若Xn=i，那么下一個頂點(diǎn) j
只可能是與節(jié)點(diǎn) i 相連的所有節(jié)點(diǎn)中的一個，且轉(zhuǎn)移概率為連接 i 和 j 的邊權(quán)重所占所有與 i 相連的邊的權(quán)重之和的比例。因此
設(shè)
為連接節(jié)點(diǎn) i 的所有邊權(quán)重總和，再設(shè)
為圖中所有的邊權(quán)重總和，所以有
，因?yàn)樵搱D是無向圖，所以左式中所有節(jié)點(diǎn)都被重復(fù)多算了一次。
對于這種情況，平穩(wěn)分布有一個非常簡單的形式，將此馬爾柯夫鏈的平穩(wěn)分布設(shè)定為節(jié)點(diǎn) i 的概率是連接 i
的各邊權(quán)重總和占圖中所有的邊權(quán)重總和的比例，即平穩(wěn)分布為：
通過驗(yàn)證可證實(shí)上述分布確為平穩(wěn)分布，此時有：
因此，狀態(tài) i 的平穩(wěn)概率是連接節(jié)點(diǎn) i 的各邊權(quán)重總和占圖中所有的邊權(quán)重總和的比例。
此平穩(wěn)分布是個局部性質(zhì)：因?yàn)樗鼉H僅依賴于總權(quán)重以及與該節(jié)點(diǎn)相連的所有的邊權(quán)重之和，因而若改變圖中某些部分的權(quán)重，但保持總權(quán)重為常數(shù)，平穩(wěn)分布不會有所改變。
通過計算，熵率為：
熵率的這個答案是如此的簡潔，顯然，這個熵率是平均轉(zhuǎn)移熵。這再次體現(xiàn)了，平穩(wěn)馬爾柯夫鏈的穩(wěn)態(tài)和初始狀態(tài)無關(guān)，而僅僅和概率轉(zhuǎn)移矩陣有關(guān)。
同時希望讀者朋友注意的是，隨機(jī)游動也是非常普適泛化的抽象概念，在工程中大量的實(shí)際現(xiàn)象都可以抽象為一個隨機(jī)游動過程，例如：
* 某個系統(tǒng)指標(biāo)隨時間的不斷變化，其變動的范圍區(qū)間就可以抽象為一個隨機(jī)游動
* 一段文本（例如waf
url檢測），將其看做char或者token序列，其不同char/token之間的轉(zhuǎn)換就可以抽象為一個隨機(jī)游動，也有很多地方直接叫馬爾柯夫鏈
筆者思考：
另一方面也要注意，在實(shí)際工程中應(yīng)用隨機(jī)游動漸進(jìn)收斂理論的時候，要注意考察當(dāng)前面對的問題是否符合”穩(wěn)態(tài)馬爾柯夫過程“這個大前提，即狀態(tài)概率轉(zhuǎn)移矩陣是否隨時間保持不變這個大前提，很多時候，實(shí)際問題是一個復(fù)雜混沌系統(tǒng)，而狀態(tài)轉(zhuǎn)移矩陣也是隨時間不斷變化的，這些都會導(dǎo)致馬爾柯夫鏈的應(yīng)用失敗。很多時候，不是算法和理論錯了，是假設(shè)前提錯了
。
Relevant Link:?
《信息論基礎(chǔ)》阮吉壽著 - 第四章
?
4. 從熱力學(xué)第二定律引出馬爾柯夫鏈中不同狀態(tài)的熵函數(shù)之間的關(guān)系
0x1：從熱力學(xué)第二定律中導(dǎo)出的四條關(guān)于系統(tǒng)熵的結(jié)論
熱力學(xué)第二定律是物理學(xué)中的基本定律之一，表明孤立系統(tǒng)的熵總是不減的。在統(tǒng)計熱力學(xué)中，熵通常定義為物理系統(tǒng)的微觀狀態(tài)數(shù)的對數(shù)值，所有單元狀態(tài)都是等可能發(fā)生的，這與熵的概念是一致的。
我們將物理孤立系統(tǒng)建模為一個馬爾柯夫鏈，其中狀態(tài)的轉(zhuǎn)移規(guī)律由控制該系統(tǒng)的物理定律所決定。對于這樣的系統(tǒng)，我們可以獲得關(guān)于熱力學(xué)第二定律的4種不同解釋。
1. 馬爾柯夫鏈狀態(tài)空間上不同概率分布之間的相對熵隨狀態(tài)n遞減
設(shè)μn和μn'為n時刻時，馬爾柯夫鏈狀態(tài)空間上的兩個概率分布，而μn+1和μn+1'是時刻n+1時的相應(yīng)分布。令對應(yīng)的聯(lián)合概率密度分別記為p和q，于是有
其中表示馬爾柯夫鏈的概率轉(zhuǎn)移函數(shù)。由相對熵的鏈?zhǔn)椒▌t，可得兩種展開方式：
由于p和q都由該馬爾柯夫鏈推導(dǎo)而來，所以條件概率密度函數(shù)和都等于。
于是，此時，利用的非負(fù)性，可得：
或：
因此，對于任何馬爾柯夫鏈，兩個概率密度函數(shù)間的距離隨時間n遞減。
2. 馬爾柯夫鏈n時刻的狀態(tài)分布和平穩(wěn)分布之間的相對熵隨狀態(tài)n遞減
隨著時間的流逝，狀態(tài)分布將會愈來愈接近于每個平穩(wěn)分布。序列為單調(diào)下降的非負(fù)序列，其極限必定存在。
3. 若平穩(wěn)分布是均勻分布，則系統(tǒng)熵不斷增加
熵定理告訴我們，均勻分布是最大熵分布，所以如果馬爾柯夫鏈的穩(wěn)態(tài)是均勻分布，則整個系統(tǒng)將逐漸收斂到這個最大熵分布，在收斂的過程中，整體系統(tǒng)熵也在不斷增大。
如果平穩(wěn)分布為均勻分布，則可以將n狀態(tài)下概率分布和平穩(wěn)分布之間的相對熵表示如下：
此時，相對熵的單調(diào)遞減蘊(yùn)含了整體系統(tǒng)熵的單增性（和max之間的距離逐漸減小，正說明了當(dāng)前值在不斷增大）。這個解釋和統(tǒng)計熱力學(xué)聯(lián)系非常緊密，其中所有微觀狀態(tài)都是等可能發(fā)生的
4. 平穩(wěn)馬爾科夫過程中初始狀態(tài)對當(dāng)前狀態(tài)的條件熵遞增
對于平穩(wěn)的馬爾科夫過程，條件熵H(Xn|X1)隨n遞增。如果馬爾科夫過程是平穩(wěn)的，則未來狀態(tài)的條件不確定性是遞增的。證明過程如下：
0x2：關(guān)于馬爾科夫平穩(wěn)分布和熵增定理的一些延伸思考
筆者思考1：用經(jīng)濟(jì)學(xué)理論來解釋上面的不等式，假定加拿大和英格蘭對于財產(chǎn)重新分配都采用相同的稅收體系。設(shè)μn和μn'
分別代表兩個國家的私人財產(chǎn)分布，那么由上述不等式可得一個結(jié)論，這兩個國家之間的私人財產(chǎn)分布的相對熵距離，將隨時間而遞減。假以時日，加拿大和英格蘭的財產(chǎn)分布情況將愈來愈相似
。
筆者思考2：從博弈論的角度來解釋上面的不等式，在競爭理論中，博弈論告訴我們，追上對手最好的方式就是和對手保持一致，對手做什么，你也做什么。?
一個具體形象化的解釋就是，如果你和你的對手在一個單人帆船比賽中，你和你的對手之間有一段100米的差距，現(xiàn)在你需要找到一種策略，能穩(wěn)定地縮短你和對手之間的距離。最好的策略是這樣的，你需要緊緊盯著你的對手的一舉一動，他做什么你也做什么，他左轉(zhuǎn)你也左轉(zhuǎn)，他右轉(zhuǎn)你也右轉(zhuǎn)，他落水你也落水，只要你100%地保持和他一致，那么你和他之間的距離就會逐漸減少。聽起來很匪夷所思，但實(shí)際是理論合理的。但這其實(shí)只是一種理論策略，在實(shí)際情況中，僅僅追上競爭對手是沒有用的，一味地模仿是無法真正做到行業(yè)老大的，相反，一個好的競爭者需要不斷優(yōu)化自己的概率轉(zhuǎn)移函數(shù)，使自己的概率轉(zhuǎn)移函數(shù)由于你的競爭對手，做到了這一步后，通過n步的收斂后，你最終達(dá)到的穩(wěn)態(tài)才有可能超過你的對手。前面說的模仿策略只適合于一些特殊場景，例如你和對手之間實(shí)力差距過大需要先進(jìn)行模仿，或者說你純粹是為了打壓對手，通過模仿將對手的某一維度（例如創(chuàng)意）的優(yōu)勢磨平，然后通過自己在另一個維度的優(yōu)勢（例如資金）來碾壓對手，例如TX的游戲模仿策略
。
Relevant Link:?
《信息論基礎(chǔ)》阮吉壽著 - 第四章
?
5. 馬爾柯夫鏈的函數(shù)
在之前的文章 <https://www.cnblogs.com/LittleHann/p/7609060.html>
中，我們從概率論的角度討論了HMM（隱馬爾可夫模型），這個章節(jié)，我們重新從信息論中馬爾科夫鏈函數(shù)的角度，重新審視一下HMM的思想原理。
0x1：馬爾柯夫鏈函數(shù)的收斂性討論
設(shè)X1，X2，...，Xn，....為平穩(wěn)馬爾柯夫鏈，是一個隨機(jī)過程，其中每一項均為原馬爾柯夫鏈中對應(yīng)狀態(tài)的函數(shù)。
現(xiàn)在問題來了，此時熵率H(Y)是多少？Y序列的收斂性性和收斂值如何評估和計算？
有一個好的想法是，如果給出上界和下界，且它們分別從上下收斂于同一極限，這樣，當(dāng)上界和下界差別較小時，我們可以中止計算而獲得極限的一個很好的估計。
已知單調(diào)地收斂于H(Y)，對于下界，將使用下面這個引理
證明過程如下：
其中：
* （a）成立是因?yàn)閅1為X1的函數(shù)
* （b）成立可由X的馬爾科夫性得到
* （c）成立由于Yi為Xi的函數(shù)
* （d）成立由于條件作用使熵減小
* （e）成立根據(jù)馬爾柯夫鏈平穩(wěn)性得到
由于對任意的k，不等式都成立，故兩邊取極限不等式亦成立，所以：
下面引理表明，由上述上界和下界所構(gòu)成的區(qū)間長度是遞減的，也即漸進(jìn)收斂。
0x2：隱馬爾可夫模型（HMM）
綜合上面定理和引理，我們有如下定理：
若X1，X2，...，Xn構(gòu)成平穩(wěn)的馬爾柯夫鏈，且，那么
且：
一般地，給定馬爾科夫過程X1，X2，...，Xn，由此定義新過程Y1，Y2，...，Yn，其中每個Yi服從p(yi | xi)，且條件獨(dú)立于其他所有的，即
這樣的過程稱為隱馬爾可夫模型（HMM）。?
Relevant Link:?
《信息論基礎(chǔ)》阮吉壽著 - 第四章
?
熱門工具 換一換