氣候變遷資料探勘之研究──以SPARK技術為基礎

The Data Mining Research on Climate Change Based on SPARK Technology

近年來，氣象資料的更新頻率日益快速，預報系統必須在短時間內不斷儲存並製作圖像資料，且隨著觀測準確度的提升，資料品質及可描述量皆有顯著的提升，氣象預測領域儼然已符合巨量資料的範疇。在巨量資料的時代，如何從龐大且雜亂的資料中，找出有效的資訊來提升組織營運或是應用的效率是相當重要的。因此本研究提出基於Spark框架模型的建置，並藉由分散式運算的運作整合HDFS、MapReduce等相關技術，使用資料探勘分析工具建構出氣候資訊的模型架構，最後產生淺顯易懂的資訊、報表，提供給使用者作為災害預防之依據及使用，達到快速處理與分析巨量資料之目的。