隨著大數(shù)據(jù)和人工智能的發(fā)展,生活中面臨許多選擇,而這些選擇大多又跟概率有關(guān),貝葉斯定理就是概率理論中那一抹燦爛的光,人人都需要。

可能很多人和我開始的感覺一樣,有點(diǎn)絕望,本來從小數(shù)學(xué)就不好,你這么專業(yè)的名詞,還人人都應(yīng)有,我沒有!別著急,先看看下面這些場景。

1

從生活場景認(rèn)識貝葉斯定理

場景1.與陌生人相處:到底什么時(shí)間發(fā)好人牌比較合適

我*次和你見面,不知道你,對你一無所知,我怎么評價(jià)?

對你是不了解,但是我對人類還是有點(diǎn)了解的,經(jīng)驗(yàn)的看法三七開,七分好,三分壞。

跟你交往開始假設(shè)就是三七開,聊了一個(gè)小時(shí)的天感覺你還不錯,加一分,變成了二八開。

接著跟你共事了一年,感覺你人品挺好,做事負(fù)責(zé),就變成一九開了。

場景2:電視劇情:高潮迭起的快樂你不懂

比如前段時(shí)間比較火的電視劇《重生》中,劇情一開始眾多兄弟慘遭誤殺,自己雖撿回一條命,卻不幸失憶,還有陌生人的錄音,讓觀眾以為秦馳就是黑警,后面樸素迷離的劇情,讓人一直無法判斷秦馳的真實(shí)面目,在好人和壞人之間徘徊,直到之后一刻,在意外的又一次重創(chuàng)之后回憶起了所有細(xì)節(jié),*終還了自己一個(gè)清白。

劇情就是信息,新劇情的發(fā)展會對原來的認(rèn)知進(jìn)行修正,只不過在劇情當(dāng)中,有些特殊,是呈現(xiàn)出以下特征:

1.通常是二值分布,在法律的角度要么是犯法要么沒犯法;

2.有些是概率分布,比如對某個(gè)角色的好惡程度,會隨著劇情的發(fā)展而變化,這種好惡程度會給某個(gè)人打分。

看劇更加應(yīng)該關(guān)注過程,也就是新信息的價(jià)值,只有關(guān)注過程,才能有高潮迭起的快感,結(jié)尾只是一個(gè)儀式。

場景3:交友:她到底愛不愛我(行動的價(jià)值)

某男生在分手后向你訴苦:我以為她愛我就不會離開我,誰知道說走就走了。

你閨蜜在她分手后向你求安慰:我以為他愛我就會來找我,結(jié)果,這么狠心。

你面帶鄙視的表情,甩給他們:你以為,你以為有個(gè)屁用!人家愛不愛你,你沒有點(diǎn)*數(shù)嗎,你們過往的點(diǎn)滴難道就不能給你們一點(diǎn)參考嗎,有人說很多的分手都是蓄謀已久,分手前對方的表現(xiàn)難道就沒有什么征兆嗎。

每個(gè)人都抱著“我以為的”的心態(tài),一步步將自己推向死角,愛他就要主動,要什么面子,唯有行動,才能得到反饋,才能證明他在你心中的位置。

過去不會說謊,行動證明現(xiàn)在,未來才不會后悔。

場景4:朋友借錢:看人品借錢

有兩個(gè)人,一個(gè)是你*為信任的朋友,另一個(gè)則口碑不那么好。他們同時(shí)向你借相同的錢,同時(shí)逾期未還。

你不會太擔(dān)心你的朋友,會覺得他只是一時(shí)疏忽了,而另一個(gè)人則不一樣,你會認(rèn)為他是存心不還,想著要不要去催他一下,或者以后再不借錢給他。

你看,在這里我們又對同樣一件事情產(chǎn)生了不同的解釋。

對信任的朋友,我們的先驗(yàn)知識認(rèn)為他借錢不還的概率更小。但是,當(dāng)這樣的事情發(fā)生多次之后,我們也會調(diào)整對他的預(yù)期。

類似的還有征信在銀行風(fēng)控領(lǐng)域的作用,比如從小額消費(fèi)貸到大額的抵押貸、經(jīng)營貸。小額的一般都是信貸,正常信用卡的申請都要查征信,白戶的一般會給一個(gè)基礎(chǔ)分(有的甚至更低),大部分網(wǎng)貸雖然不查、征信,但也會拉一下個(gè)人的大數(shù)據(jù),也會給出一個(gè)基礎(chǔ)分。

然后再參考個(gè)人的資產(chǎn)狀況、職業(yè)、收入,抵押物對這個(gè)基礎(chǔ)分進(jìn)行修正,*終出一個(gè)額度。

等合約到期,續(xù)約或下次申請的時(shí)候會再次查詢征信,再次盡調(diào),根據(jù)過去的履約情況和*的資產(chǎn)收入情況進(jìn)行修正,不斷修正,不斷更新額度。

當(dāng)然,如果一開始你的資質(zhì)就比較差,沒有達(dá)到金融機(jī)構(gòu)的門檻,也就是初始概率比較低,但后來不管是天降橫財(cái)還是事業(yè)走運(yùn),銀行就會對你重新做一個(gè)評估,*終給你發(fā)一張富人卡。

場景5:公司招聘:學(xué)歷很重要,工作表現(xiàn)也重要

一直以來有一個(gè)爭論:企業(yè)招員工該不該看學(xué)校出身。

如果我們站在先驗(yàn)概率的角度,就會覺得企業(yè)招員工認(rèn)學(xué)校很正常:名校的學(xué)生個(gè)人能力強(qiáng)的概率更大,因此他們在企業(yè)對員工能力的認(rèn)知中占據(jù)優(yōu)勢。

非名校的學(xué)生,需要付出更多的努力、表現(xiàn)的更突出,才能夠調(diào)整回企業(yè)對你能力的先驗(yàn)認(rèn)知。

而名校學(xué)生,當(dāng)多次表現(xiàn)不佳之后,企業(yè)也會下調(diào)對你能力的先前認(rèn)知。

從這個(gè)角度來看,先驗(yàn)概率是個(gè)很公平的工具,過去的所有表現(xiàn),都反映在這個(gè)概率之中——做的好一點(diǎn),概率就漲一點(diǎn);做的差一點(diǎn),概率就跌一點(diǎn)。貨真價(jià)實(shí),童叟無欺。

2

貝葉斯定理出現(xiàn)的背景

以上幾個(gè)場景你可能很熟悉。其中提到的理論就是貝葉斯推理,

簡而言之,就是

1.給一個(gè)既有的判斷。

2.獲得新的信息不斷調(diào)整更新。

想要了解貝葉斯推理,我們還要從概率學(xué)派開始說起

在200多年前,傳統(tǒng)的方法叫頻率派。關(guān)于頻率和概率的區(qū)別,很多人不熟悉。簡單的說,概率說的是事情未來發(fā)生的可能性,而頻率說的是對某事情進(jìn)行觀察或者實(shí)驗(yàn),發(fā)生的次數(shù)和總次數(shù)的比值。

概率是事情本身的一個(gè)固有屬性,是一個(gè)固定值,而頻率是變化的,樣本越大,頻率越接近概率。根據(jù)大數(shù)定理,當(dāng)樣本無窮大時(shí),頻率等于概率。

你拋硬幣10次,不見得會正面反面各5次,但是你拋1萬次,那基本是正反各50%。比如那個(gè)黑盒子,你不斷的從里面隨機(jī)的拿球出來,統(tǒng)計(jì)黑球和紅球的比例,次數(shù)“足夠多”時(shí),你得到的那個(gè)頻率,就接近真實(shí)的概率。

這個(gè)方法用了上百年,現(xiàn)在仍然被廣泛使用,比如某某疾病的發(fā)病率,飛機(jī)和火車的出事概率等等 ,都是利用大樣本的統(tǒng)計(jì),逼近真實(shí)概率。

這些都屬于正向概率,在貝葉斯出生之前,人們都已經(jīng)能夠計(jì)算“正向概率”,但為什么會出現(xiàn)貝葉斯學(xué)派呢?

因?yàn)轭l率派的局限

關(guān)于足夠多的樣本:你只有積累了一定數(shù)量的樣本,才能有一個(gè)對概率的初步判斷,你只扔5次,只取10個(gè)球,基于小樣本得出的概率很可能錯的離譜。如果這個(gè)黑盒子夠黑,你連里面總共有多少個(gè)球都沒概念,甚至里面的球的總數(shù)量都是變化的,這時(shí)你就沒法判斷什么叫“足夠多”。

時(shí)代變化太快,新問題越來越多:現(xiàn)實(shí)世界里,我們碰到的大量問題,根本找不到這么多現(xiàn)成的數(shù)據(jù)。還有很多新興事物,壓根沒有先例,一種新發(fā)現(xiàn)的疾病,一個(gè)新的產(chǎn)品,一種新的市場策略,那怎么判斷概率呢?瞎蒙嗎?

也對,也不對。

這就需要貝葉斯學(xué)派了。

貝葉斯學(xué)派的觀點(diǎn)是,概率是個(gè)主觀值,完全就是我們自己的判斷,我可以先估計(jì)一個(gè)初始概率 ,然后每次根據(jù)出現(xiàn)的新情況,掌握的新信息,對這個(gè)初始概率進(jìn)行修正,隨著信息的增多,我就會慢慢逼近真實(shí)的概率。

這個(gè)方法完美的解決了頻率派的兩個(gè)問題,我不用等樣本累積到一定程度,先猜一個(gè)就行動起來了,因?yàn)槲矣行拚蠓?,而且我也不關(guān)心是不是“足夠多”,反正我一直在路上。

貝葉斯學(xué)派誕生兩百多年來,一直倍受爭議,甚至連co-founder拉普拉斯自己都放棄了,因?yàn)榇蠹矣X得這個(gè)摸著石頭過河的方法太扯了,太不科學(xué)了。直到*近幾十年,隨著計(jì)算機(jī)技術(shù)的進(jìn)步才大放異彩,現(xiàn)在的人工智能、圖像識別、機(jī)器翻譯等,背后無不采用了貝葉斯方法。

3

貝葉斯定理經(jīng)典案例:HIV檢測

那我們需要看看,貝葉斯方法究竟是怎么摸著石頭過河的。

這一部分涉及一些數(shù)學(xué)公式和計(jì)算,但說實(shí)話 ,只需要小學(xué)算術(shù)水平就可以了。

【貝葉斯定理如下: A是你要考察的目標(biāo)事件,P(A) 是這個(gè)目標(biāo)事件的先驗(yàn)概率,又叫初始概率,或者基礎(chǔ)概率。B是新出現(xiàn)的一個(gè)新事件。P(A|B) 的意思是當(dāng)B出現(xiàn)時(shí)A的概率,在這里就是我們需要的后驗(yàn)概率。P(B|A) 是當(dāng)A出現(xiàn)時(shí)B的概率。 P(B) 是B出現(xiàn)的概率,在這里具體計(jì)算稍微復(fù)雜一些,指當(dāng)A出現(xiàn)時(shí)B的概率和當(dāng)A不出時(shí)(用A_來表示)時(shí)B的概率的總和,用公式表達(dá)就是 P(B) = P(B|A) * P(A) + P(B|A_) * P(A_)。P(B|A) / P(B) 可以看作一個(gè)修正因子?!?上述解釋你可以忽略,簡化的理解為: 后驗(yàn)概率 = 先驗(yàn)概率 x 修正因子 讓我們再來看一個(gè)復(fù)雜一點(diǎn)的例子,這是一個(gè)經(jīng)典的案例 ,網(wǎng)上隨處都可以找到。 說案例之前,先普及幾個(gè)醫(yī)學(xué)概念: 檢測率:當(dāng)某人確實(shí)患病時(shí)檢測結(jié)果是陽性的概率誤診率:當(dāng)某人沒有患病時(shí)檢測結(jié)果是陽性的概率發(fā)病率:隨機(jī)從一定數(shù)量的人群中抽樣,抽出某人確實(shí)患病的概率,通俗的講就是艾滋病攜帶率或者感染率。 據(jù)資料統(tǒng)計(jì):艾滋病毒(HIV)檢測技術(shù)的*度相當(dāng)驚人,檢測率已經(jīng)達(dá)到99.9%,而誤診率為0.01%,發(fā)病率為0.01%?,F(xiàn)在假設(shè)我們隨便在街頭找一個(gè)人給他做檢查,發(fā)現(xiàn)檢測結(jié)果是HIV陽性,那么請問,這個(gè)人真的攜帶HIV的可能性是多大呢?

【我們使用貝葉斯定理。A表示“這個(gè)人真的攜帶HIV”,B表示“檢測出HIV”,那么根據(jù)現(xiàn)有條件,P(A) = 0.01%,P(B|A) = 99.9%,P(B|A-) = 0.01%,帶入公式,計(jì)算得到P(A|B) = 0.01% * 99.9% * (99.9%*0.01% + 0.01%*99.99%) = 50%!】

答案或許和你的直覺不一致,即使在這么驚人的檢測*度之下,哪怕這個(gè)人真的被檢測到HIV陽性,他真有HIV的可能性也只有50%。

也許就是這一個(gè)錯覺可能就會影響一個(gè)人對生活的希望,尤其是對于潛伏期如此之長的疾病來說.

進(jìn)一步解釋

【其實(shí)*終的檢測結(jié)果還是取決于三個(gè)條件:檢測率、誤診率、感染率。任何一個(gè)概率的變化都會影響*終的結(jié)果。

我們看到,如果是一種*罕見的病毒,人群中只有萬分之一的人感染,在這種情況下即使你的檢測手段(檢測率)再高,也很有可能會冤枉人。

甚至,如誤診率不是0.01%,而是0.1%的話,也就是檢測手段再差一檔,這個(gè)結(jié)果就會瞬間從50%降到9%。

但是,我們也可以反過來想 ,這么罕見的疾病,一旦被檢測出來了,也有50%的概率真的會得,這個(gè)躍遷是從萬分之一,一下子到了50%。

而如果我們假設(shè)這個(gè)病毒的感染率不是萬分之一,而是千分之一,那么在原來的檢測精度下,可能性就從50%升到了90%。】

這其實(shí)可以解釋為什么我們說一葉知秋,為什么說當(dāng)你家發(fā)現(xiàn)了一只蟑螂,那么你家里一定已經(jīng)有很多蟑螂了。

罕見事件,可以對初始概率做出數(shù)量級的改變。同時(shí),這也解釋了我們有時(shí)也不能反應(yīng)過度,有人叛逃到國外了,我們難道需要徹底關(guān)閉海關(guān)嗎?真的需要在墨西哥修建長城嗎?

關(guān)于初始概率,在醫(yī)學(xué)臨床上,有經(jīng)驗(yàn)的醫(yī)生在診斷病人時(shí)會詢問病人雙腳是否浮腫、或毫無征兆的測量脈搏、或看病人的舌苔,而不是直接讓病人再去做一次超聲波心電圖。

檢查只是調(diào)整概率的工具,更重要的是醫(yī)生所擁有的強(qiáng)大先驗(yàn)知識儲備——可稱之為經(jīng)驗(yàn)或者直覺。如果缺乏對先驗(yàn)概率的認(rèn)知,檢測*可能淪成一臺“垃圾進(jìn)”、“垃圾出”的機(jī)器。

除了醫(yī)生以外,其他領(lǐng)域的*之所以被稱為*,就是因?yàn)樗麄兊慕?jīng)驗(yàn)給了他們判斷事物時(shí)的先驗(yàn)概率比正常人要高,經(jīng)驗(yàn)越多,這個(gè)概率就越高,再加上其他技術(shù)手段進(jìn)行修正,得出事物的概率就會更上一層。

4

運(yùn)用貝葉斯定理時(shí)的障礙

或許你會說,搞這么復(fù)雜干嘛,有了新情況,我原來的看法會改變,新情況和自己的預(yù)期一致就強(qiáng)化原來的看法,否則就弱化,這不就是常識嗎,還用得著什么數(shù)學(xué)定理嗎?

很好,的確一針見血。拉普拉斯說過,所謂的概率就是把人們的常識用數(shù)學(xué)表達(dá)出來。也有人說,人腦就是采用貝葉斯方法來工作的。

但是我們?nèi)四X有偏差啊,有誤區(qū)啊,會犯渾啊,比如,在對于貝葉斯定理的運(yùn)用還有很多障礙。

1. 違反天性

生活中運(yùn)用貝葉斯定理,需要我們根據(jù)新的信息,不斷更新已有的觀念和判斷。聽起來人人都應(yīng)該如

此,實(shí)際上是很難做到。

這一定程度上是反本能的,人天生具有不愿改變和封閉自保的慣性。領(lǐng)導(dǎo)做個(gè)決定,他會一直感覺這個(gè)決策是對的,新的事實(shí)出現(xiàn),他會硬拉別的理由解釋這個(gè)事實(shí)。

2. 認(rèn)知障礙

觀點(diǎn)隨新近出現(xiàn)的事實(shí)發(fā)生改變,聽起來簡單,但很多人做不到,很多人的認(rèn)知是陷在兩個(gè)坑里:

1.就是把身邊觀察到的事實(shí),局部,特例,當(dāng)作整個(gè)世界來認(rèn)知。聽說隔壁老王炒股發(fā)達(dá)了,帶上身

家一個(gè)勐子扎進(jìn)去。

3. *,*雜志,實(shí)驗(yàn)室出來的成果就是對的。你怎么知道一定對?可能過去對,現(xiàn)在就不一定對了,貝葉斯的理論是更加優(yōu)化的方法,隨新近的事實(shí)不斷改變。

而恰恰這個(gè)貝葉斯公式讓我們忽然獲得了一個(gè)上帝視角,來審視一下,我們自己究竟是怎么做判斷,做決定的,計(jì)算機(jī)又是怎么模仿并超越我們的,這豈不是很美妙的一件事情 。

5

貝葉斯定理給我們的啟示

既然貝葉斯定理這么神奇,這么有用,能夠讓我們在有限的信息下,幫助我們預(yù)測出概率,那豈不是人人都需要掌握呢,我小學(xué)文化水平能hold住嘛

現(xiàn)實(shí)世界中,我們沒法時(shí)時(shí)刻刻拿出電腦來演算一下公式,但是我們?nèi)匀豢梢酝ㄟ^這個(gè)定理得到一些寶貴的啟示:

1、先行動起來:大膽假設(shè),小心求證。不斷調(diào)整,快速迭代,這就是貝葉斯方法。

當(dāng)信息不完備時(shí),對概率的判斷沒有把握時(shí),當(dāng)然可以選擇以靜制動,但是不行動也是有代價(jià)的,你可能會錯過時(shí)機(jī),你也沒有機(jī)會進(jìn)步。這個(gè)時(shí)候,貝葉斯方法給我們提供了一個(gè)很好的思路,先做一個(gè)預(yù)判,動起來,利用新的信息不斷修正原來的預(yù)判。

2、聽人勸、吃飽飯,但又不能聽風(fēng)就是雨。

當(dāng)我們沒有把握時(shí),我們很容易根據(jù)新信息調(diào)整看法。更大的挑戰(zhàn)是,我們已經(jīng)形成了一個(gè)看法,甚至有了成功經(jīng)驗(yàn)時(shí),當(dāng)新情況出現(xiàn)后,我們能不能也去調(diào)整自己看法。那個(gè)黑盒子,我們摸索了一段時(shí)間,估計(jì)出了里面紅球、黑球的概率,但是我們有沒有想過,這個(gè)黑盒子里的球的比例會變化呢?

有了新信息,我們要對原來的看法做多大程度的修正呢?

這些,不可能有標(biāo)準(zhǔn)答案,但是明白了這個(gè)道理,有助于我們及時(shí)又謹(jǐn)慎的做出調(diào)整。

3、初始概率很重要。

初始概率越*,我們就能越容易、越快速的得到真實(shí)的概率。疑鄰盜斧,以貌取人,會讓我們離真相越來越遠(yuǎn)。而如何獲得相對靠譜的初始概率,是個(gè)硬功夫,它需要你的經(jīng)驗(yàn)、人脈、平時(shí)的深度思考,有時(shí)甚至和底層的價(jià)值觀、思維方式都有關(guān),這也可能是我們成為專業(yè)人士的一個(gè)意義所在吧。

4、對出現(xiàn)的特殊情況要引起足夠的重視。

前面我們已經(jīng)看到了,萬分之一概率的事情,也有可能因?yàn)樘厥馐录幌伦幼兂闪?0%。所以,每當(dāng)出現(xiàn)特殊的、罕見的情況時(shí),我們要保持高度警惕,黑盒子里的球的比例是不是變化了?但同時(shí)我們也看到,如果檢測精度不夠高,即便出現(xiàn)了罕見事件,真實(shí)概率也可能不到10%。所以,具體要怎么采取行動,還需要進(jìn)一步觀察。

5、信息的收集,信息的質(zhì)量,以及對信息的判斷,是提高決策水平的*重要環(huán)節(jié)。

只要有新信息,就可以修正,哪怕初始判斷錯了,新信息足夠多,也能修正過來。但是沒有信息,就沒有修正。所以,在做決定之前,盡可能多的收集信息是必須的。而搜集新信息的能力往往跟語言能力(比如英語)、搜索技術(shù)(在海量信息中找出你想要的的信息)、人脈都有很大很大的關(guān)系。

但是錯誤的信息、低質(zhì)量的信息,會讓你的修正偏離真相越來越遠(yuǎn),你能不能區(qū)分信息來源的可靠性、能不能進(jìn)行交叉驗(yàn)證、邏輯推理,就顯得至關(guān)重要。

寫在*:

要做到這些,甚至某一些,都并不容易,掌握里面的平衡,就更加困難。

如果說先驗(yàn)概率是對過去的認(rèn)知,那么修正因子就是對現(xiàn)在的反映。過去和現(xiàn)在,是通向未來的*向?qū)АH绻愫雎云渲腥魏我粋€(gè),那你都將對未來做出及其荒謬的判斷。

不是嗎?

所謂高手,就是腦袋里裝著貝葉斯定理,也把自己活成了貝葉斯定理。