數據采集系統支持對結構化數據、非結構化數據、網頁互聯網數據的抓取/抽取、清洗、轉換、集成并加載到數據倉庫中進行統一處理，實現從高速、海量、多樣、無序的數據中提取有價值的信息，并發現其主要特征，將數據轉換成后續可用的信息。

　　　產品特點

l 集群化：采用多節點冗余設計，集群服務間自動監視并進行主從備份，支持動態服務節點的添加。

l 跨平臺：支持Linux、windows、unix等主流操作系統，支持國產平臺。

l 高并發：支持將用戶爬蟲任務進行分片，在集群服務進行分片任務處理后進行。

l 多樣化：支持對結構化數據、非結構化數據、網頁互聯網數據的統一處理。