万维百科粤语版

訊息論

Jump to search
喺 2005 年互聯網某一部份嘅地圖;每一個節點代表咗一個 IP 位址,每條線代表咗兩個 IP 之間有傳訊息,條線嘅長度代表咗兩個 IP 之間嘅延遲。

訊息論粵拼seon3 sik1 leon6英文information theory)係一個研究訊息(又叫「資訊」)要點樣量化、儲起同傳達嘅數學理論[1][2]。呢個理論由美國數學家電機工程師克勞迪山農(Claude E. Shannon)喺 1948 年諗出嚟,嗰陣時山農喺度研究訊號處理,跟手出咗佢篇著名論文《A Mathematical Theory of Communication》(粵文通訊嘅數學理論),喺篇文當中提出咗呢個理論[3]。自從嗰時開始,訊息論就有一路發展,仲俾人廣泛噉用落去好多領域嗰度,好似係「啲數據要點壓縮」同埋頻道容量等嘅研究課題都會用到訊息論。包括 CD手機互聯網語言嘅研究、同對黑洞嘅理解等嘅多種技術同理論都係有訊息論先至搞得成嘅[2]

訊息論嘅核心概念係所謂嘅(entropy)[4]。同物理學上所講嘅唔同,訊息論當中嘅「熵」係一個指標,用嚟量度一個有隨機性喺入面嘅變數或者過程當中帶有幾多不確定性(uncertainty)喺入面。舉個例說明,想像家吓掟一個銀仔同擲一粒六面嘅骰仔,假設個銀仔同粒骰仔係冇出千嘅[註 1]

  • 掟銀仔( 表示掟銀仔結果;0 代表公、1 代表字):
  • 擲骰仔( 表示擲到嘅數字):

掟一個銀仔有 2 個可能結果,而擲一粒六面骰有 6 個可能結果。擲骰仔當中有更多可能性喺度,所以不確定性亦都更加大-有更多嘅訊息熵;當一個人知道咗一次掟銀仔或者擲骰仔嘅結果嗰陣,佢會清楚知道結果-訊息熵變成 0。對比兩個情況,「話俾人知掟銀仔嘅結果」俾到嘅訊息-消除嘅訊息熵-少過「話俾人知擲骰仔嘅結果」所俾嘅。由呢個例子可見,訊息論做到將「訊息」呢一個概念量化,令到訊息成為一個喺科學上可以被研究嘅對象[5][6]

訊息論作為一個研究領域處於數學統計學電腦科學物理學[7][8]電子工程神經科學[9]認知科學、同人工智能[10]等領域嘅交界,亦都有俾科學家應用落去做推論統計學自然語言處理[11]密碼學、同生物資訊科學等嘅領域嗰度[12]。而且廿一世紀嘅訊息論仲發展咗多個子領域出嚟,成為咗一個獨立嘅專門領域[13]

定義

山農嘅相
內文: 訊息

訊息論研究訊息(information)嘅傳遞、處理、提取、同運用。抽象啲講,訊息可以定義為「不確定性嘅減少」(reduction of uncertainty),山農喺佢篇論文入面係噉諗嘅:佢提議將「訊息」諗做一個包含咗多種可能性嘅,傳訊息嘅人會用某啲訊號(signal)將訊息經由有雜音嘅管道傳出去;收訊息嗰個人跟手要由收到嘅訊號嗰度按照佢對嗰種訊號嘅理解重新建構返傳訊息嗰個人想表達嘅內容出嚟;同時,管道嘅雜音會搞到收訊息嗰個人唔能夠完完全全肯定佢收到嘅訊號真係完美反映傳訊息嗰個人想表達嘅內容,頂嗮櫳都衹係做到盡力令出錯嘅機率有咁低得咁低[14]

舉個例說明,想像家陣有一個黑盒,個盒裝住啲嘢,A 君唔知個盒裝咗乜(有不確定性),但佢識 B 君,而 B 君睇過個盒嘅內容;而又想像家陣 B 君用口講俾 A 君聽個盒裝咗啲乜,喺呢個過程當中,B 君要將自己嘅所思所想轉化做訊號-講嘢嘅(將訊息用訊號表達),而啲聲會由佢把口傳過去 A 君對耳仔嗰度,A 君個就會由聽到嘅聲嗰度解讀返 B 君想表達嘅內容出嚟(重新建構);假設 B 君係靠得住嘅,A 君就可以透過收佢嘅訊號嚟到判斷嗰個盒嘅內容係乜(不確定性減少)。B 君講嘢向 A 君傳遞咗訊息,但係喺現實裏面,呢種做法好多時都係唔完全靠得住嘅(有雜音),例如可能佢哋兩個周圍嘅環境好嘈,搞到 A 君聽錯[15][16]

同樣嘅概念可以用嚟理解好多領域嘅研究:

  • 喺做通訊嗰陣,傳訊嘅人會以某啲方法(好似係文字訊號或者摩斯碼呀噉)向收訊嘅人傳達訊號(將訊息用訊號表達),收訊嘅人收到訊號之後要按照佢對嗰種訊號嘅認識解讀傳訊嘅人想講嘅嘢(重新建構),並且知道對方想表達啲乜(不確定性減少)[17]
  • 又或者用神經科學嚟做例子,對視網膜上面每一粒感光細胞喺受到外界嘅刺激嗰陣,會向個腦嘅視覺區域射神經訊號,而個訊號嘅物理性質(例如係頻率)會按照佢感覺到嘅光嘅屬性而有所不同-例如係光嘅強度同射訊號嘅頻率成簡單正比,當中 係訊號嘅頻率, 係一個固定嘅常數,而 係光嘅強度(將訊息用訊號表達),呢啲訊號跟住會上腦,話俾個腦知佢睇到啲乜(可能有雜音嘅管道),而個腦本來唔知眼前有啲乜嘅(不確定性),但佢由感光細胞嗰度收到神經訊號,知道 ,再解讀個訊號得知 (重新建構),就知眼前有啲乜嘢(不確定性減少)[18]

訊息量

訊息論建基於統計學,尤其係概率論(probability theory)。作為一個科學理論,訊息論首要做嘅嘢係將「訊息」呢個核心概念量化。首先,如果話一個過程俾出某啲訊息嘅話,噉啲訊息所描述嘅事件一定係帶有隨機性嘅。冇隨機性嘅事性係唔使要訊息嘅,因為呢啲事件嘅或然率等如一,即係話結果係唔使估都知嘅。因為噉,用嚟量度訊息嘅指標都會涉及份訊息所描述嘅事件嘅機會率同機會率分佈:例如頭先提到嘅訊息熵噉,訊息熵量度一個有隨機性喺入面嘅變數當中含有幾多訊息。訊息熵係個隨機變數嘅概率分佈嘅一個特性,限制住由個獨立樣本所產生嘅數據嘅壓縮率可以有幾高,而相互資訊係兩個隨機變數嘅共同概率分佈嘅一個特性,反映喺一個有雜音嘅管道當中可靠溝通嘅最大可能率(詳情睇下文)。呢啲量度訊息嘅指標令到訊息論成為一個嚴謹嘅科學理論[19]

喺以下嘅內容當中, 會按照慣例當做,因為無論對數基數係幾多, 都會成立(詳情睇對數)。

訊息熵

想像家吓掟一個銀仔,幅圖嘅 Y 軸係訊息熵,而 X 軸係「公」嘅機率。由幅圖睇得出,訊息熵喺個銀仔冇出千(公同字機率相同,都係 50%)嗰時會最大化。
內文: 訊息熵

算式

俾是但一個變數,佢會有一啲可能數值,例如「某年某月某日某刻掟某一個銀仔」嘅可能數值大致上有兩個-「公」同「字」。每個數值都會有一定嘅機會率出現,而描述每一個可能數值出現嘅機會率嘅就係所謂嘅概率質量函數(probability mass function)。知道咗某一件事件嘅概率質量函數之後,件事件所帶有嘅訊息熵(information entropy;數學符號係「」)可以用以下呢條式計算[4]