在大數據之外...「暗數據」藏著更大的秘密 | | 開根好 SquareGood
  • 搜尋
  • 關於

在大數據之外...「暗數據」藏著更大的秘密

Single Articles

Photo by Markus Spiske on Unsplash

#在讀懂這本書之前_千萬別進入股市

現在的世界是個「數據的世界」。
為什麼這樣說?我們的個人資料、購物喜好與瀏覽紀錄,這些你流連在網路世界的所有足跡、世界各地串連起來的商業網路、國與國之間的連結、世界金融經濟的互動運轉,都被大數據偷偷紀錄著。

#人類掌控的數據不過只是冰山一角

在網路的世界裡,理論上誰掌握了數據,誰就能走在時代的尖端,但是世界的複雜度過於龐大,人類真正能掌握的數據大概只有5%。拿冰山來比喻吧,人類所掌握的就像水面上的冰山,但是你看不到的,是藏在水面下的巨量暗數據。但可笑的是,人類自以為掌控了全部的數據,就以為自己能預測未來趨勢,殊不知在暗數據面前人類是無知的。

#數據測不準的原因來自於人性的複雜

相信你有過填寫問卷的經驗吧?也許是走在路上被銷售員請求填個問卷,或是在餐廳用餐後填的客戶意見表,即便你是個坦誠的人,你也不一定希望別人知道你的真實想法,所以你認為銷售員或餐廳收到這些「數據」的可信度會有多高呢?

除了言行不一之外,人類其實對自己的行為也不一定了解。

假設銷售員問你:請問您會買多少個產品呢?你可能說三個,但實際上你可能會買五個,或者一個都不買。所以比較有價值的數據,並不是問卷調查的結果,而是顧客消費的數據和回購次數,只有當顧客真正掏出錢,這筆數據才能算有點價值的數據!

via GIPHY

#暗數據的另一個面向_資訊不對等

回到我文章一開頭所說的,為什麼在讀懂這本《暗數據》之前,你千萬別進入股市呢?金融市場之所以詭譎多變,更多的原因正來自於資訊不對等。金融市場的操縱權掌握在財團手中,一間公司的股價攀升,或是市場出現利多的消息,究竟是真的經濟繁榮,還是被刻意的操控?這些其實我們都不得而知。也許你運氣很好的跟上了趨勢,成為了航海王,但是你無法知道劇情什麼時候會反轉;或許你精於技術分析,但是請別忘了你所掌握的技術指標,只不過是浮在水面上的5%而已。

#善用貝氏概率的思維方式

貝氏概率又稱為貝葉斯定理,這是一種不同於客觀概率的思維邏輯。我們打一個比方,假設我們知道盒子中有1000顆球,分別為600顆黑球和400顆白球,我能輕易得出抽到白球的概率為40%。但假設總球數還是1000顆,我卻不告訴你黑白球的個別數量,你該怎麼計算呢?

然而根據貝葉斯定理的思維方式,先假定白球的初始概率為50%好了,我開始從盒子中抽出樣本,抽中白球,我就把白球概率往上調;反之抽中黑球,我就把概率往下調,只要抽出的樣本數越多,最後得出的概率值就會越準確。所以這是一種能隨時調整的概率模型,隨時根據新的狀況微調概率,這種方式的好處是,結果並不會因為小概率事件而發生大變動,進而能得出更真實的數據。

舉個例吧!像是詐騙電話的檢舉系統,只有被時常檢舉的號碼會被歸類為詐騙,而正常的電話號碼,並不會因為一兩次惡意檢舉就被列黑名單,這就是貝葉斯定理厲害的地方。

貝葉斯的思維方式,能讓我們專注於真正能左右結果的關鍵,不會因為許多不相干的雜訊影響判斷,而且這種思維方式,恰好就是我們在探索新領域的態度,假設一個框架,然後實驗求證,並隨時微調思考方向。

貝葉斯定理,是我們面對未來的正確思維方式。

►延伸閱讀:暗數據、校正回歸和新冠肺炎疫情的關係
►延伸閱讀:新冠肺炎對全球經濟的衝擊到底是黑天鵝效應?還是灰犀牛效應?
►相關書籍:大塊文化《暗數據》,大衛.漢德 

開根好_暗數據_大塊