半導體芯片產業發展至今已超過五十年，隨著應用愈來愈廣泛，人類對電子產品的依賴程度也愈來愈深，使得半導體芯片產業的角色日趨重要。英特爾（Intel）共同創辦人高登·摩爾（Gordon Moore）于1965年提出摩爾定律（Moore"s Law），認為制程技術的進步，每12個月就能在相同單位面積的晶圓（wafer）中放入加倍數量的晶體管（transistors）。發展至今，半導體組件不斷地微縮，線寬已經進入16納米，一顆如指甲大小的集成電路（IC）就可以放進超過十億個晶體管，其中的線路比人類頭發的十分之一還要細。
集成電路制造是將設計好的電路，經由反復曝光、顯影、離子植入、蝕刻等幾百道復雜的制造程序，把多達三十層以上的每一層電路，都準確成形于一片片如圓餅般的薄片晶圓上，最后經過后段的封裝測試而成為一顆顆芯片（chips），而這個生產周期時間超過一個月。
芯片制造有賴先進的微影技術、腦力密集的尖端人才以及非常昂貴的精密設備，而芯片產業的供應鏈則有賴于其后臺強大的物流保障體系和上下游供應鏈協作關系。
進入納米制程時代之后，半導體芯片的制程更復雜冗長、影響變量更多、技術門檻愈來愈高，研發成本與產能資本支出形成雙重負擔，生產過程中稍有不慎或異常，就可能造成合格率損失甚至產品報廢。
同時，隨著IC產品的多樣化、生命周期愈來愈短，如何借助大數據分析快速提升納米制程合格率，并通過上下游形成有效的物流供應鏈體系，已成為國際半導體大廠的競爭策略。
1996年新竹清華大學成立了決策分析研究室，應用數據挖掘和決策分析方法來研究如何提升半導體的合格率，并針對低合格率的晶圓進行分類，再挖掘造成低合格率的制程、產品類別、設備、時間等可能原因，結合算法、信息科技與圖形用戶接口，發了“合格率提升系統”。
研究時我們也發現，人們在思考如何提升合格率時，一般只著重解決制程和設備異常的問題，但“合格率”的本質應該是在一片晶圓上產出最多可賣錢的晶粒。因此，我們建立了“綜合晶圓效益”（Overall Wafer Effectiveness， OWE）指標架構，并提出利用數據分析，以改變晶粒排列方式提升晶圓合格率的創新想法。
我們利用數據挖掘整理出了優化晶圓產出的IC尺寸設計指引（gross die advisor），使工程師不論經驗多寡都可以迅速決定晶圓曝光的最佳配置方式，并有效證明可以增加晶粒產出、提升工作效率和設備效益，及減少客戶抱怨，平均效益估計每年可達新臺幣4.25億元，這項技術已經導入臺積電8吋及12吋廠，以服務其下游客戶。
2003年起，筆者在臺積電開始將復雜的實際問題架構成數學模式，建立可以隨時空環境轉換的決策分析模式，并導入數據挖掘降低生產周期時間（cycle time）以提升生產力的方法。
進入消費電子時代之后，半導體芯片產品的價值隨著時間快速折舊，因此上市時間和生產周期時間的縮短極為重要。另外，由于半導體的生產模式相當復雜，所以傳統生產管理理論僅能處理小范圍的工作站。
我們利用半導體制造的巨量數據，分析影響在制品水位和在線等候時間的影響因子，以找出每個工作站在線在制品的理想水位和產出關系，透過宏觀調控機制以維持生產系統的平衡與加工流程的順暢，有效地縮短了生產周期。
臺積電曾把晶圓廠自動化的發展，分為擬人化、無人化、超人化三個階段。首先是用計算機和設備學習人的做法，第二是將機械性的工作自動化以取代人，最后則是發展一個集結眾人智能的制造系統。讓系統不僅能自動化，還能“智能”地知道如何判斷和決策，超越一般人的能力。這不僅是未來趨勢，也是一項極大的挑戰。
半導體納米制程的技術難度和變異有增無減，完全自動化的12吋晶圓廠月產能超過十萬片，在線同時用十幾種制程配方參數（recipe）生產各種產品，每片晶圓要經過數百道到上千道反復循環的制造程序，每個工作站有幾個到幾十個精密的反應室（chamber）可以選擇、生產過程中可以隨著時間讀取幾萬種實時監控數據、近萬個在線抽樣檢測的量測值（metrology），以及幾百種在一片晶圓上不同位置測量的電性測試參數，再加上集成電路復雜的生產模式，使得數據除了具有大數據常見的4V特性，也就是大量（volume）、多樣（variety）、快速變動（velocity）以及真實性（veracity）等之外，還有數據主效應不明顯、數據分布不均衡、前后制程的交互作用復雜等挑戰。
另一方面，隨著半導體制程持續微縮挑戰物理極限，允許誤差也在不斷緊縮，使得即便是資深工程師也很難單憑專業知識和經驗，或傳統的統計分析方法，從大數據中迅速找出制程異常的原因。
盡管商用統計軟件逐漸可以支持大數據分析，但由于缺乏針對半導體產業需求和特性的應用模塊，影響了一般工程師的使用意愿。為此，2011年起，臺積電推動既有的工程數據分析（Engineering Data Analysis）系統升級，并開始“制造智能以協助先進納米制程提升合格率”的產學合作計劃。
半導體芯片大數據的分析難度在于，半導體制造各階段中所產生的數據具有密切關聯性。因此，必須考慮數據的時間性、群集性、連動性，而不是濫用計算機計算能力地作數據捕撈（data dredging）。
目前臺積電與清華大學合作，將數據準備技巧和分析技術結合，透過大數據分析技術將自動累積的大數據轉成有價值的信息，再結合決策者的經驗與能力，成為企業專屬的制造智能，并加入跨領域的生物信息領域人才，加入臺積電大數據分析的相關部門。
研究室通過與臺積電合作開發單位和領域專家的密切合作，結合理論與領域知識作全面性數據分析，以建立對復雜半導體制造系統的了解與掌握，整合大數據分析、數據挖掘、圖形化技術、和決策分析等方法及信息系統，發展適合半導體數據特性之數據挖掘架構與算法，終于成功建立了多變量事故分析和診斷等不同分析技術模塊，以縮短用戶的學習曲線，輔助工程師進行后續的數據分析等專業判斷，大幅提升工程師的決策質量，加速合格率提升。