跳到主要內容

【資料科學微知識】什麼是倖存者偏差?

 倖存者偏差(Survivorship bias)是一種認知偏差,指的是在觀察研究對象時,只關注了「倖存」或「成功」的部分,而忽略了已經「消失」或「失敗」的部分。

這種偏差通常發生在樣本不完整或有遺漏的情況下,而且容易導致對結果做出誤導性的評估或推論。

尤其AI的時代來臨,基石源自於數據,數據相當於燃料,經過一番統計運用之後才能夠聰明的理解我們的需求之後給予最貼近我們需要的答案,資料科學領域中最重視數據的佐證,但往往我們只看到表象而忽略了某些重要的關鍵因素,導致得出非正確的結論,造成偏差。

究竟誰對誰錯呢?

二戰的故事啟發

倖存者偏差最早起源於二戰時期的美國空軍對飛機損傷的研究,當時研究人員只研究了還能飛回來的飛機,並根據這些飛機的損傷部位提出了相應的補強建議。然而,這種研究卻忽略了已經被擊落的飛機,也就是失敗的一方。因此,研究的結果並不能完全代表整個飛機群體的損傷情況,可能會導致錯誤的結論。

研究人員根據戰鬥中回來的飛機進行分析,除了螺旋槳與駕駛艙之外,其它地方都佈滿了彈孔,就些彈孔分布的地方就成為了資料科學中統計的一個數據樣本。

而根據這些樣本,大部分軍方皆一致認為應該針對這些彈著點較多的地方進行加強,畢竟眼見為憑,事實的表象也讓我們直覺的認為應該如此決策,但此時統計學家卻獨排眾議,提出了不同的看法,認為應該要針對彈著點較少的地方進行防護。

那為什麼這會統計專家會得出這樣的結論呢?

從這個故事中我們觀察到,表面的證據並不能直接讓我們進行決策,假若我們單看倖存者而忽略了犧牲者時,便會導致結論偏向不正確的一方,在資料科學中也是如此,機器學習時若樣本數不足,或者未給予反面方的資料,很容易造成統計錯誤,進行推論出錯誤的決策。

結語

在其他領域,倖存者偏差也常常存在。例如,對於成功的企業家或投資者的研究,我們只看到他們的成功案例,卻忽略了那些失敗的案例。這樣容易產生錯誤的結論,認為成功是因為他們的某些特質或策略,而忽略了其他可能的因素。

為了避免倖存者偏差,研究人員應該盡可能獲取全面的數據,包括成功和失敗的案例,從而得出更客觀、全面的結論。在分析數據時,也需要謹慎思考,不僅關注成功的一面,還要考慮失敗的原因和因素,以獲得更完整的視角。

喜歡撰寫文章的你,不妨來了解一下:

Web3.0時代下為創作者、閱讀者打造的專屬共贏平台 - 為什麼要加入?

歡迎加入一起練習寫作,賺取知識!

留言

這個網誌中的熱門文章

java西元民國轉換_各種不同格式

C#資料庫操作(新增、修改、刪除、查詢)