- Oct 11 Sun 2015 13:00
資料分析領域中最為人稱道的七種降維方法
- Oct 10 Sat 2015 13:36
數據分析師的擇業指南
資料分析師這個職業現在越來越火爆。本文面向那些準備投身於這個行當的年輕人，在選擇怎樣的公司上給出了三條參考標準。
現在確實是屬於資料分析師的天下了。如果你有能力，有經驗，充滿好奇心以及永不倦怠的熱情，作為資料分析師的你可謂前景廣闊，有一大批公司乖乖站在你家門前掛著牌子等著你的挑選。但是在評估到底去哪家公司的平台上施展你的才華的時候，卻是有著很多考量的。即便是一個從業多年的老手也不可能在各種大小規模不一，發展階段不同，擁有各自的企業文化的公司待過。他們也不可能橫跨多個領域，掌握多種技術。但是，在本文中卻給出所有有志於從事資料分析師這個職業的年輕人一些經驗。大體上總結一下就三點內容，憑藉這三點內容，你可以非常理性、客觀地分析出來眼前的這家公司到底是否值得去。
- Sep 26 Sat 2015 19:04
資料分析師的原則
| 面對一大堆看似雜亂的資料，如何進行信息提取與資料加工，從中獲取自己想要的信息，並應用這些信息，有理有據的進行需求的討論、最終設計決策的推進，這是每一個交互設計師必修的課程。 在我看來，資料分析是很難的。利用你當下有限的資料資源（大多數資料往往掌握在產品經理、運營手上）去整理、分析並得出結果。 交互設計師如何培養資料分析的能力呢？ 首先，要有資料收集分析的意識，掌握資料產生的來源； 其次，拿到資料後，在資料間找關聯性，深挖內在含義； 再次，掌握基本的資料分析方法，並在實戰中加以應用； 最後，將分析的結果應用到後續工作中，檢驗分析結果。 如此，循環往複，形成一種職業習慣，一個工作的流程。 從平時的工作中，總結出以下幾點資料分析時要注意的原則，在這裡拋磚引玉，歡迎來拍： 1、明確資料分析的目的 要分析一份資料，首先得先明確自己的目的：為什麼要收集並分析這樣一份資料？只有你的目的明確了之後，才能對接下來你要收集哪些資料、如何收集有一個整體的把握。當然你的目的可以是多個小點，（如：用戶在首頁瀏覽了哪些內容？登錄框在頁面上的重要程度？）只要這些點是一個個切實待解決的問題點，將其羅列下來，一個一個的去收集資料。 你分析的結果可能會改變整個項目，但有了資料的支撐，會讓項目或需求有一個全新的開始或細節的調整。 2、了解資料來源並收集 按照分析的目標中羅列的點，建立一個分析框架，並按照輕重緩急進行資料收集。與此同時，需要對資料是如何產生的，如何獲取這些資料進行相應的了解。在工作中應用到的資料統計工具有：金牌令箭、顯微鏡、CNZZ統計等，通過這些統計工具可以方便的進行資料的收集，同時交互設計師也要與前端保持溝通，了解資料統計的方法，適時添加統計的維度，請前端同學幫忙埋統計代碼。 3、掌握資料分析的方法 作為交互設計師，要掌握幾種基本的資料分析方法：對比分析法、分組分析法、結構分析法、平均分析法、交叉分析法……基於這些分析方法，我們可以對現狀、原因、未來有初步的了解，並進入後續更深入的分析。如：現狀分析適用於對現今站點或頁面的瀏覽點擊情況做一個資料統計與熱點分析，可以得出用戶的瀏覽路徑及關注重點。原因分析則側重於一個問題，深入挖掘答案。未來分析可用於與產品經理溝通時，對後期產品的規划進行資料交流。 4、溝通分析結果 在溝通分析結果前，要注意不要只用手上僅有的資訊作判斷，如果手上的證據不足以完全反應實際狀況的時候，以資料分析結果作為決策就很容易出錯，尤其是單看某一個資料維度時。交互設計師要超前思考，考慮產品經理可能從中提出的問題，並給出回應。讓溝通高效且有意義。 5、騙人的分析結果 資料是會騙人的。其中最有名的例子就是辛普森悖論。一所美國高校的兩個學院，分別是法學院和商學院，開學時，人們以為有性別歧視。 法學院：（女生錄取率高）  商學院：（女生錄取率高）  單從學院資料來看，女生的錄取率都比男生高，但是在總評中，女生的錄取率比男生低。  為了避免這種情況，我們應該適當分組，並且調整某些組別的權重，根據業務來衡量可能會影響關聯關係的一些潛在因素。 6、資料不是萬能的 前期資料可以用來挖掘用戶需求，中期資料可以用來過濾產品功能，後期資料可以用來反映產品成敗。整個過程當中，資料還能舉證，作為產品經理與交互設計師之間的溝通內容。 但是，我們要認清一個事實：資料不是萬能的。它不能反映一切問題：在前期的分析中不一定能找到創新的突破口或者潛在的需求點；在後期的效果驗證中，往往又會顯得很有說服力。我們要懷著客觀的心態來關注資料，從不同的角度出發，與產品經理之間保持有效的溝通。 4500+企業選擇FineReport報表與 BI 商業智慧工具【免費下載】 opensource開發，類excel設計，全方位異質資料庫整合，資料填報、Flash列印、權限控制、行动應用、客制化、交互分析、報表協同作業管理系統。 分享自：阿里媽媽MUX |
- Sep 25 Fri 2015 15:03
優秀的企業級 BI 架構師需要具備的素質
- Sep 24 Thu 2015 13:25
說說到底什麼是資料分析？
之前在微博上發起一個話題，大家一句話向外行說說什麼是資料分析？有100多位同學參與討論和轉發，其中一些有意思的、不錯的說法，大家一起來看看。
最專業的資料分析：
- Sep 23 Wed 2015 15:12
商業智慧的前世今生
今天大家都在談資料，都在用資料，那麼我們就一起看看資料行業的相關發展歷程。
關於資料分析
至今，學術界和企業界對資料分析的概念仍很模糊。在元素看來，資料分析可以從兩方面理解，一是從廣義上理解，資料分析可以視為一種用資料解決問題的方法論，是一套解決問題的思維體系；另一種是從俠義上理解，也就是企業界通常所說的資料分析技術，又可稱之為「商業智慧」資料決策支持系統，如今它又有了一個時髦的名字「巨量資料」。
關於分析，我想說分析的其實是信息，而不是資料，資料只是信息的原材料之一。分析的目的是尋找業務短板，可能是自身的也可能是競爭對手的。在日常經營過程中，分析是指導決策的唯一依據，但我們用什麼來保證分析的正確呢？是不斷的試錯還是考驗我們分析師分析和利用信息的能力，這個過程歸根結底還是對人的分析，一方面是對製作原始信息人的溯源，另一方面則是對人的行為目的的還原。
商業決策流程
商業智慧的發展歷程
《經濟學人》雜誌早在2010年曾報道說:「隨著計算機處理器、存儲器的價格不斷下降和軟體質量的不斷提升，這種被稱為「商業智慧」的技術不再是大公司的專利，逐步成為商界主流。大大小小的公司都收集了前所未有的資料。過去，這些資料被存儲在不同的系統中，如財務系統、人力資源系統和客戶關係管理系統中，老死不相來往。現在，這些系統彼此相連，通過資料挖掘技術，可獲得一幅關於企業運營的完整圖景，被稱之為一致的真相」。
商業智慧的起源伴隨著決策支持系統的誕生而誕生，其誕生代表了從資料到知識的巨大跨越。早期，商業智慧起始於決策支持系統，後來伴隨著計算機的發展、隨機的普及，商業智慧領域也有了長足的發展，硬體的擴充、軟體的更新、資料庫在企業的廣泛應用等，再後來IBM「資料倉庫」概念的提出，使商業智慧真正破繭而出。隨後，在資料倉庫的基礎上，在線聯機分析（OLAP）、資料挖掘技術開始大行其道，使停滯多年的商業智慧如雨後春筍般的蓬勃崛起。
當從資料到知識不再是問題，越來越多的知識充斥著人們的視野，多屏、碎片化的應用場景不斷的消費著人們的注意力，如何充分展現資料知識？讓人們更好的理解接受資料到知識的跨越，於是，資料可視化應運而生。伴隨著機器、人工智慧的進步，帶自適應調整的機器學習將成為商業智慧領域的下一個前沿陣地。商業智慧領域發展過程中的那些突出貢獻者：
1、赫伯特.西蒙
赫伯特.西蒙，人工智慧的創始人之一，《行為組織的決策過程》一書的作者，1975年因為對人工智慧的貢獻獲圖靈獎，1978年因對商務決策過程的出色研究獲諾貝爾經濟學獎。
2、馮.諾伊曼
馮.諾伊曼被稱之為計算機之父，他明確了計算機內部的資料組織形式——二進位，解決了資料在計算機內部的傳遞和理解問題。
3、埃德加.科德
埃德加.科德為IBM研究員，他在1970年提出了關係型資料庫的概念，後來又總結出構建關係型資料庫的「黃金十二定律」。
資料倉庫領域
麻省理工和卡內基梅隆大學一直被視為人工智慧領域的火車頭，此外還有一些企業也在人工智慧行業的發展過程中發揮著巨大的推動作用。
4、1979年，Teradata成立，1983年為國家富國銀行建立了第一個決策支持系統。
5、1988年，IBM的研究員Barry bevlin和Paul Murphy提出了「資料倉庫」的概念。
6、1992年，比爾恩門出版了《資料倉庫之架構》，第一次給出了資料倉庫的清晰定義和操作性很強的實戰法則，比爾恩門也因此被稱之為「資料倉庫之父」。
7、1996年，金博爾出版了《資料倉庫工具》一書，該書強調務實的資料倉庫應該是自下而上的，從部門到企業，並把部門級的資料倉庫稱之為資料集市。
聯機分析（OLAP）——解決靜態的報表與動態的決策需求之間的矛盾
8、1993年，埃德加.科德率先定義了「聯機分析」，並發表了論文《信息技術的必然：給分析用戶提供聯機分析》，提出構建聯機分析的「黃金十二定律」。
9、詹姆斯.格雷，因為在OLAP多維立方體的構建和運算方面的貢獻，1998年獲圖靈獎。
1989年被海外媒體稱之為資料挖掘技術元年
10、1989年，高納德諮詢公司的德納斯給出了「商業智慧」的正式定義。
資料可視化
11、1850年，英國佛羅倫斯.南丁格爾因為創造性的使用了「南丁格爾圖」，而使戰地醫院得以改進，第一次讓人看到了資料視覺化的魅力。
12、1973年，耶律大雪弗朗西斯.安科斯姆《統計分析中的圖形》這一論文提出了關於資料圖形在統計中意義的「安科斯姆四重奏」。
13、1983年，耶律大學愛德華.塔夫特《定量信息的視覺展示》出版，此書被稱為資料可視化領域的開山之作，隨後其《視覺解釋》、《美麗的證據》等書更加驚艷。
4500+企業選擇FineReport報表與 BI 商業智慧工具【免費下載】
opensource開發，類excel設計，全方位異質資料庫整合，資料填報、Flash列印、權限控制、行动應用、客制化、交互分析、報表協同作業管理系統。
分享自：巨量資料時代
- Sep 22 Tue 2015 22:28
巨量資料要牢記的5大經驗教訓
對於企業來說，巨量資料應用有5大經驗教訓需要牢記。
1、 要贏得利益相關者的信任
- Sep 18 Fri 2015 12:24
資料分析師:啥時候說Yes啥時候該說No?
- Sep 17 Thu 2015 22:41
為資料分析瘦身法
越來越多的公司開始倡導『用資料說話』，利用資料分析來幫助公司進行商務運營和制定決策。但如果一個公司試圖對所有可能收集到的資料進行分析或者期望用數字來解決一切問題，那便又陷入了另一個極端，讓自己受到資料分析複雜性的困擾。公司應該利用簡單有效的資料分析方法幫助其在已有的業務認知基礎上更好地作出商務決策。下面我們就結合一些公司的實例來介紹利用簡單的資料分析解決商務問題的三部曲。
第一步，提高資料產生速度
更快的資料＝更快的認知＝更快的結果。通過建立一個可以快速融合巨量資料的混合科技資料服務平台來自動化並加速資料的產生和更新。這樣的環境能夠幫助企業更好地運轉和管理業務，並使大量資料在企業內部更好地流通。實時的資料分析可以幫助公司更快地制定決策並提高服務質量。例如，美國一家銀行採用了這樣一個科技環境來更有效地管理持續大量增長的客戶信息，將分析運行速度提高了幾個小時，更快地得到分析結果並及時向客戶反饋。
第二步，充分利用分析工具
（1）商業智慧和資料可視化
商業智慧的核心就是將資料分析融入公司運營中來優化的決策制定並提高業績。商業智慧通過合適的資料，時機和媒介（例如手機，電腦等），用直觀明了的可視化方式（例如熱點圖，圖表等）向公司決策者展示他們需要的分析結果，幫助他們更好地理解資料分析結果並進一步優化決策分析。例如，一個金融服務公司利用商業智慧和資料可視化來比較不同的風險投資組合。他們分析了關鍵資料並以可視化方式展示了分析結果，成功地找出美國哪些地區有較高拖債率，按照貸款人、貸款目的和貸款渠道等因素更準確地制定資金份額，以及及時有效審查銀行貸款投資組合。同時，用戶可以對分析結果進行交互操作並按需查詢資料，例如選擇不同的日期，信用等級，比較貸方和貸款方式等。利用互動式商業智慧的靈活性和資料探索能力以及可視化方式，決策者可以制定更準確有效地制定策略。目前不少商業智慧工具可以免費下載使用，比如FineReport報表與 BI商業智慧軟體，可以先下載使用之後再做決定選擇哪一款。
（2）資料挖掘
利用資料挖掘技術，公司可以更好地探索出原本不是很明顯的資料變化趨勢，以此來優化商業決策。例如，一個能源公司通過資料挖掘預測了哪些管道有更大的破裂風險，並根據分析結果來優化資源進行管道維護。
（3）資料分析應用程序
利用資料分析應用程序可以讓公司管理者直接有效地進行資料分析，幫助他們更好地按照資料分析結果來作出商業決定。這些應用程序可以針對不同行業，也可以靈活機動地滿足公司內部不同人群的需要－從市場部到財務部，從公司管理層到中層。例如，一個貨物儲存經理可以利用資料分析軟體優化存貨清單，一個市場總監也可以利用分析軟體決定公司的全球市場運營。
（4）機器學習和認知運算
機器學習能夠去除資料建模中的人員影響因素，更直觀地預測客戶行為和企業業績。通過大量的資料和強大的運行能力，智能軟體可以結合資料科學和認知科技幫助機器作出更好的決定。例如，一個零售商利用不同銷售渠道（例如手機、商店、網路等）獲得的實時資料進行機器學習，完善了針對不同用戶的推薦服務，有效地提高了業績。
第三步，認識到每個公司利用資料分析制定決策的道路都是獨特的
商務目的，科技，資料形式，資料來源等很多因素都會影響資料分析，這些因素也在隨時間不斷變化。比如其中一個非常重要的影響因素就是企業文化：這個公司是保守風格還是喜歡風險呢？這個公司是否已經有足夠的資料和分析方法，還是才剛剛嘗試第一個資料分析項目？每一個公司都擁有不同的企業文化和科技特徵，因此其資料探索道路也是獨特的。通常，公司可以按照不同的商業問題的本質採用兩種方法。第一個，如果商業問題很明確而且有已經存在的解決方法（例如，針對市場營銷的用戶分割和偏好模型），公司可以從已有的結果出發（例如，針對已有顧客的交叉銷售），採用以假驗為基礎的方法，用對照組測試結果，然後再進一步將分析結果應用到更大的顧客群中。第二個，如果商業問題很明確，但是沒有已知的應對方法，那麼公司可以採用一些資料挖掘的方法，從資料中尋找規律以及因素之間的關聯性。例如，一個銀行利用資料挖掘方法發現用戶填寫網上表格的速度和詐騙行為有很高的關聯性。當商業問題較多時，公司首先應該關註解決哪個問題能給公司帶來最大的價值，然後按照已有的知識來選擇是假驗法還是挖掘法。
以資料分析結果為導向的運營思路可以幫助公司決策者優化決定，但是過猶不及，紛繁複雜的資料分析也許也會擾亂決策制定。有時候，去繁就簡，才能更好地利用資料，看清海量資料背後隱藏的商業秘密。
分享自：數據工匠
4500+企業選擇FineReport報表與BI 商業智慧工具【免費下載】
opensource開發，類excel設計，全方位異質資料庫整合，資料填報、Flash列印、權限控制、行动應用、客制化、交互分析、報表協同作業管理系統。
- Sep 16 Wed 2015 13:39
貝恩諮詢：巨量資料的三個誤區及危險
是不是有似曾相識的感覺？如果你曾經歷客戶關係管理（CRM）改革時最初那個興奮階段，那麼你一定會有這種感覺。早在20世紀90年代，很多企業對這種技術十分認同，最後的結果就是搞了一堆沒用的資料庫、養成了很多叛逆的銷售團隊，以及資本預算的耗盡。
此後，CRM行業日漸成熟。毫無疑問，現在的CRM解決方案可以為很多機構提供真正的價值。例如，在貝恩諮詢「2015管理工具與趨勢」調查（2015 Management Tools & Trends）中，CRM是排名第六的暢銷業務工具。根據Gartner統計， 2014年，全球的CRM開支總計達到204億美元，此前一年為180億美元。
但CRM的失敗率也很高。C5 Insight在2014年發布的一份報告中稱，有超過30%的CRM應用以失敗告終，同一批公司的第二和第三次CRM應用，其失敗率僅比第一次實施略低。這就是CRM改革之前20年的情況。
我們看到，巨量資料的發展路徑與此類似，都是在客戶影響力和價值創造方面信誓旦旦。Gartner在最新一份報告中預測，到2017年，60%的巨量資料項目過不了試驗期，會被打入冷宮。為什麼歷史會重演？原因不在於興趣、努力或投資的缺乏。相反，這說明從既有客戶、運營和服務資料中創造價值是非常困難的，更不用提社交媒體、移動設備和在線活動所產生的大量非結構化的內外部資料。
各家公司在利用巨量資料和高級分析工具方面面臨的壓力日漸增大，因為客戶希望從與他們打交道的機構中獲取更多信息。競爭在加劇，特別是在金融服務、零售、通信和媒體等成熟行業。以資料為驅動的行業繼續洗牌。包括Progressive、Capital One、亞馬遜、谷歌、優步、Zappos等新舊行業的攪局者已經創造出以資料為驅動的經營模式，並將其應用於定製產品和服務的生產。
以美國汽車保險商Progressive為例，他們利用插件設備，追蹤司機的行為。Progressive利用資料細分客戶群，並確定保費。美國金融服務公司Capital One則在確定客戶風險評分及忠誠度項目中十分倚重先進的資料分析。為此，Capital One開發了多種客戶資料，包括先進的文本和語音分析。與此同時，美國零售業巨擘亞馬遜則對客戶資料深度開發，創造出個性化的在線購物體驗。亞馬遜參照客戶的購買歷史和瀏覽記錄，開發出一種先進的推薦引擎，不同的消費者會看到定製化的網路頁面。在物流領域，亞馬遜在將資料分析應用於優化庫存和減少裝運時間方面也走在了前列。
巨量資料的先行者設定了很高的成功標準。他們聚集了一大批資料分析人才，並創造出很多流程，使這些機構能從高級分析中獲得有用的想法。他們打造技術平台，以發布最新資料以及這些資料何時何地會被用到的洞察。很多公司還基於「測試與學習」（test and learn）方法營造持續創新的文化理念。
那麼你的公司如何才能從巨量資料中獲益呢？第一步就是，學習如何大浪淘金。對巨量資料的持續炒作有賴三個誤區：一、巨量資料技術會自行識別出商機；二、就是掌握的資料越多，自動創造出的價值也越多；三、資料科學家可以幫助任何公司從巨量資料中盈利，無論該公司的組織架構如何。
以下內容是我們認為與上述三個誤區分別有關的危險。
誤區一：巨量資料技術會自行識別商機。
危險：儘管投入了大量的資金和時間，但這種投資所產生的回報非常有限。失敗的技術布局往往是以假想這種新工具會自行產生價值開始。成功利用巨量資料能量的企業往往都是在重金投入巨量資料技術前，先將高級分析應用於少量高價值商業問題的解決。在這個過程中，他們學會了如何有組織地實施解決方案，也獲得了對於運營挑戰的新認識，並漸漸了解其資料和技術的局限性。根據對於他們實際需求的理解，他們可以確定巨量資料技術解決方案的具體要求。（圖1）
例如，一家大型保險公司最近將其資料分析項目聚焦騙保問題。這家公司的騙保率激增，且由此產生了高額的調查成本。這個項目旨在以最低的成本減少騙保行為。為此，這家公司開發了一種可以算出騙保傾向分數的文本挖掘演算法。這種演算法幫助這家公司實現了騙保分數準確性的增加。結果就是，需要調查的騙保案變少，節省了3000萬美元的成本。在證明了高級分析的價值後，這家公司現在加大了對高級分析的技術和能力投資。
誤區二：掌握的資料越多，自動產生的價值也越多。
危險：對於未經證實的資料來源過度投資，忽略了那些有價值的、接近真相的資料來源。
隨著社交媒體和移動設備的爆炸性增長，獲取和利用新資料的誘惑在不斷強化。很多大型機構已經被淹沒在資料的海洋中了，其中多數資料存儲在筒倉內，不能輕易接觸並連接。我們發現，成功的巨量資料之路往往始於充分開發該機構的現有資料。
從分析的角度而言，通常處理歷史資料要比處理全新資料更容易。美國一家大型通信公司就採用了這種方法。這家公司面臨的競爭日趨激烈，因此希望創建一個項目，能系統地增加現有客戶群的價值。為了實現這個目標，該公司從既有的15個營銷、服務和運營資料庫中提取了200多個資料，為所有客戶描繪出「高清晰」畫像。這家公司利用這些畫像開發出有針對性的新員工培訓、交叉銷售和客戶管理專案。
誤區三：好的資料科學家會為你發現價值。
危險：現有組織還沒有做好實現資料價值的準備。為了從巨量資料中持續獲利，你需要打造出一個持續利用巨量資料和高級分析力量的運營模式。基於資料和分析團隊的思考，成功的資料驅動業務可以讓其組織、流程、體制和能力協調化，以做出更好的業務決策。（圖2）
一家通信服務供應商創建了一種涵蓋資料和分析團隊、技術部門和一線職能部門（銷售、市場、客戶運營和產品開發）的合作模式。在這個模式中，BI商業智慧團隊（資料科學家、統計學、資料挖掘工程師）與各業務部門緊密配合，通過對海量的內部資料進行分析來解決具體問題。
結論
巨量資料革命已經擾亂了很多行業。某些資料驅動公司已經從這場革命中獲取到重要價值，但很多傳統公司正在迎頭趕上。但光靠技術是無法彌補這一鴻溝的。
那些能夠實現客戶資料分析承諾的公司通常遵循以下三個規則：
1.在投資巨量資料技術解決方案前，證明你所在的機構可以將高級分析應用於解決一些高價值的業務問題。
2.在向新資料來源擴張前，先利用現有資料創造價值。然後再利用測試-學習的方法，向你的歷史資料注入前瞻性資料
3.將運營模式賦能企業，特別是業務前線，使其快速行動，並對企業高級分析團隊的洞見報有信心。
在巨量資料時代，那些遵守這些規則的企業將更有可能獲得成功。
作者：Eric Almquist和Tom Springer是貝恩諮詢波士頓辦事處合伙人，John Senior是貝恩諮詢悉尼辦事處合伙人。
分享自：中文互聯網數據研究資訊中心
4500+企業選擇FineReport報表與 BI 商業智慧工具【免費下載】
opensource開發，類excel設計，全方位異質資料庫整合，資料填報、Flash列印、權限控制、行动應用、客制化、交互分析、報表協同作業管理系統。
