檔案大數據領域的大機遇 @ 帆軟大師兄

一、什麼是檔案大數據

檔案大數據是在檔案方面涉及的資料量規模巨大到無法通過目前主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的信息。

我們通常理解為大量非結構化數據(包含所有格式的辦公文檔、文本、圖片、圖像和音頻/視頻信息等等)和半結構化數據(結構方面缺少統一規律的數據)，這些數據在獲取並用於分析時會花費過多時間和金錢。

檔案大數據技術的戰略意義不在於掌握龐大的數據信息，而在於對這些有較高價值的飽含歷史意義的數據進行專業化處理。如果把大數據比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對數據的「加工能力」，通過「加工」實現數據的「增值」。也就是我們不僅要擁有一座礦山，還要通過各種手段發掘、開採、提煉出高價值的產品。方法和手段不一樣，產出的價值是不同的。

檔案大數據的特點：數據量巨大、數據類型繁多、價值密度低、處理速度快。

數據量巨大：以「十一五末」我國的館藏檔案量已達到近4億卷，以每卷3厘米厚度。我國的館藏檔案能把長江從源頭至入海口碼個來回。根據估算我國檔案正以每5年40%速度遞增。

數據類型繁多：檔案涉及政府機關、集團企業、金融、通信、建築、房產、教育、軍工、法院等行業。這些行業運行不同的業務，產生檔案數據是各不相同的。如文檔、設計圖、照片、錄音材料、視頻、GIS信息、水文氣象信息等。這些不同的文檔又存在一定的關聯性。比如城市建設的平面圖、設計圖可以和GIS數據信息關聯，同時還要關聯政府建設規劃文件、批覆與施工文件等。這些不同類型的數據不同程度上對數據的處理能力提出了更高的要求。

價值密度低：價值密度的高低與數據總量的大小成反比。如保險檔案，我們會把保險單逐一存檔，但發生理賠的概率是極低的。如何通過強大的機器演算法更迅速地完成數據的價值「提純」成為目前大數據背景下亟待解決的難題。

處理速度快：這是大數據區分於傳統數據挖掘的最顯著特徵。在海量的數據面前，處理數據的效率就是企業的生命。檔案大數據也是如此。

檔案大數據與互聯網大數據有著相同的特點，從檔案本身屬性看其特點還表現在一方面可以提供政府企業運行的依據，支持核心生產力與應用，另一方面檔案仍對合規、電子取證、安全、診斷以及其他支持性應用程序有相當大的價值。

二、檔案大數據的產生

過去，檔案檢索主要依靠手工著錄、卡片檢索。隨著信息技術的進步、資料庫技術的發展，計算機輔助檔案管理使檔案管理變得更為快捷和方便。檔案數據主要來源於兩個方面：1、各業務部門通過業務系統產生的業務數據轉為檔案數據;2、檔案部門通過人工填寫、錄入、搜集歸類後轉為檔案數據。

新形勢下業務系統產生的檔案數據具有及時、廣泛、數據量大、內容繁雜的特點。較為智能的業務系統能夠隨時將業務數據輸送至檔案部門存檔，如辦公系統、財務系統，當文件辦畢時，數據(文件)可立刻轉為檔案數據。不同職能的業務部門產生的檔案更具有廣泛性，如法院卷宗、醫院病歷、人事檔案等，不同的立檔部門產生不同的業務檔案。我們的業務系統時刻運行，意味著每時每刻都會產生檔案數據，因此檔案數據量會大得驚人。即便是同一個業務部門產生檔案數據，也會由於檔案門類、信息元不同，形成的檔案數據不同。

檔案部門除了採用業務系統收集檔案數據以外，還採用人工方式生成檔案數據。最常見的是將館藏的實體檔案通過數字化技術轉為檔案數據，如掃描、拍照等。我國的檔案信息化在未來幾年將得到快速發展，信息化將呈幾何級增長，形成真正意義上的檔案大數據。

檔案大數據領域的大機遇

因此，我們應從檔案大數據的源頭充分考慮未來的應用範圍，把握檔案數據「快、廣、大、亂」的特點，把來得「快」的檔案數據及時處理，把產生「廣」的檔案數據各個擊破，把存量「大」的檔案數據化整為零，把內容「亂」的檔案數據有序歸類。

三、檔案大數據的存儲

檔案大數據給傳統數據倉庫架構帶來了一系列的衝擊和挑戰，僅從存儲層面來審視，倉儲的構建者不得不面對來自兩方面的焦慮：一是數據規模急速增長，現有的共享磁碟架構能否適應海量數據的存儲;二是數據結構複雜多樣，現有的基於結構化數據為主體的存儲方案能否兼容無模式的非結構化數據。

面對大數據的挑戰，在技術上航星科技將如何解決大數據的問題呢?從現有資料庫存儲架構來和實踐研究看，一個大而全的存儲架構似乎不能完美的解決大數據的存儲。大部分企業更應該偏向於讓不同種類的數據存儲在最適合他們的存儲系統里，再將不同類型的數據進行融合，最後在融合的數據基礎上做商業分析。

首先，必須有足夠的空間存儲數據。對於大數據，當企業在快速增長數據的背景下要保持數據的一種平衡狀態並實現易擴展，應採用分而治之的思想，即構建分布式存儲系統，方便增加節點實現穩步處理。

其次，兼有多種結構的存儲引擎。大數據的結構複雜多樣使數據倉庫面臨的源數據太過繁雜，此時應改變目前以結構化為主體的單一存儲方案，對非結構化數據採用分布式文件系統進行存儲，對結構鬆散無模式的半結構化數據採用面向文檔的分布式key/value存儲引擎是最適合的解決方案。

最後，航星科技建立連接多種存儲引擎的「連接器」。通過這個「連接」來建立分布式存儲與分布式文件系統之間的關係。我們存儲多元化的數據主要是為了集成分析，而多種結構的孤立存儲顯然不是集成分析的最佳選擇。通過構建連接器，使得非結構化數據在處理成結構化信息後，能快速融通和分布式資料庫中的關係型數據，達到對大數據敏捷分析。

四、檔案大數據的應用

傳統的檔案信息管理一直停留於檔案目錄管理、分類、歸檔、存儲及簡單的統計查詢，檔案大數據的關鍵信息需通過一定的技術方法進行提取，並針對提取出的有效信息根據一定的規律進行挖掘。只有滿足不同檔案用戶的信息需求，數據挖掘技術才會發揮巨大作用。在海量的檔案信息挖掘中主要採用文本數據挖掘技術，這相當於文字分析，一般指文本處理過程中產生高質量的信息。

文本數據挖掘的基礎領域，包括機器學習、數理統計、自然語言處理;在此基礎上是文本數據挖掘的基本技術，包括文本信息抽取、文本分類、文本聚類、文本數據壓縮、文本數據處理;文本挖掘有兩個主要應用領域，信息訪問和知識發現，信息訪問包括信息檢索、信息瀏覽、信息過濾、信息報告，知識發現包括數據分析、數據預測。

檔案大數據領域的大機遇

總之，我們可以把對文本數據的分類、融合、壓縮、摘要以及從文本中抽取發現知識與信息都看作是文本數據挖掘。通過這些技術使得我們在搜索檔案時從大數據範圍變成從小範圍，從而提高其效率和準確度。

在檔案信息化領域，知識管理的發展主要包括認知、信息積累、知識挖掘、知識運用、規範化發展五個步驟。通常結合信息檢索、分析及挖掘技術，將信息進行適當的分類及抽取或形成一組問答序列，並將這些信息進行提取，形成解決某一問題域的數據集市，挖掘出一定的專門知識，作為決策的依據。

檔案知識的輸出和評價還需要高效快速的輔助智能檢索技術。

(1)基於語義檢索。提供計算機可以理解人類語言後的一種搜索模式。

(2)基於音視頻內容檢索。可以直接對音視頻內容進行檢索，自動識別關鍵幀，能夠區分定位出一個視頻中的不同的兩段內容，減輕人工打點的工作量，提高視頻處理的能力。

(3)檔案智能化輔助分類。可從歷史分類中智能提取檔案分類，提高用戶整編效率，實現文獻的自動分類;系統可自主根據已有檔案分類進行學習，促進以後輔助分類的準確度;支持多維度的動態分類;支持用戶自定義分類展示。

因此，檔案大數據系統平台總體架構應按照實際內容應用的流程實現，即從數據的採集、智能處理、數據挖掘與智能搜索應用平台三個層次實現。通過多類型數據採集平台進行數據採集，在智能數據處理平台上對這些非結構化信息、多媒體信息和用戶信息進行分析，最後在應用平台上提供數據挖掘結果的搜索平台和多媒體自動編研平台。

管理檔案大數據較傳統的檔案數據，需要去改變管理流程與文化，很多企業不願意改變傳統的方式。形勢已經來臨，競爭對手可能已捷足先登，保守必將錯失機會。