http://www.supostalweb.com/ 虚拟币交易所排行

虚拟币交易所排行 > 新聞資訊 > 西岐分享:從數據治理中,分析項目最佳實踐

西岐分享:從數據治理中,分析項目最佳實踐

當今數據時代背景下更加強調、重視數據的價值,以數據說話,通過數據為企業提升渠道轉化率、改善企業産品、實現精準運營、構建完整用戶畫像,為企業打造自助模式的數據分析成果。

基于此背景趨勢,從理論上來講,在數據驅動決策中,很多企業應該在數據分析的幫助下高效決策、升級創新。但事實證明很多企業因此陷入了思維局限區,并沒有真正做好企業的數據分析平台。

下面北京虚拟币交易所排行會對參加過的數據治理分析項目,從調研、實施、分析到最佳實踐等内容進行總結為大家提供參考和借鑒。

數據分析存在意義

在技術的推動下,大數據已經成功應用到一些行業之中,并發揮着重要的作用,創造着大量的價值,意義深重。每個公司經營中都會産生大量的業務數據,這些數據表面上毫無關聯,但彼此之間存在深層次的關系,數據價值發揮與否就看是否能将這些數據進行聯動。

對于數據分析,北京虚拟币交易所排行介紹五個方法準則。


1、反應客觀事實:數據分析通過對數據的采集、分析、展現,對事實更加客觀、真實、完整的反應,避免主觀臆斷産生的偏差。

2、預測未來事件:通過預測分析算法,使分析結果具有預測意義,使管理者可以根據分析結果對未來即将發生的事情做出預判。

3、監督管理考核:對企業運營過程中産生的數據進行彙總、統計、分析,對整體和各部門運營狀況進行了解掌控,起到監督考核的作用。

4、支撐決議計劃:經過數據分析,可以根據成果輔助對公司内部各項活動的決議計劃順利開展。

數據分析演變發展

當我們回顧數據分析的發展曆史,可以發現數據分析在很早的時候就已經走進IT技術行列,而不是近幾年随着數據浪潮興起的。

在過去的十年到二十年裡,數據分析一直是非常熱門的詞彙,隻是當時礙于多種原因沒能引起足夠的重視,直到現在數據分析已經經曆了多個階段,從數據分析1.0到數據分析4.0。

1.jpg

數據分析1.0

數據分析1.0也叫商業智能時期,在這個階段數據倉庫概念興起,數據分析多以系統形式出現,代表産品或技術為BI商業智能、ETL工具、數據門戶、數據倉庫技術。

此階段數據主要為企業内部數據、結構化數據,将這些數據存儲整合到數據倉庫中,進行描述性和診斷性分析,對企業業務數據進行全局鑽取、層層穿透,分析當前業務發生的原因,進行綜合、精準的展現,幫助管理者分析當前企業發展情況。在數據分析1.0階段僅限于處理過去及正在發生的事情,不能對未來趨勢進行預測。

數據分析2.0

數據分析2.0也叫大數據分析時期,在這個階段大數據相關理念、技術興起,數據分析多以平台形式出現,代表産品或技術為大數據分析理念、Hadoop、Spark等技術。

此階段數據主要為外部數據、非結構化數據、互聯網/物聯網數據,通過Hadoop、Spark等技術對海量數據進行處理,實現實時數據分析,基于描述性與診斷性分析進行預測性分析,通過對未來趨勢的預測分析,根據算法提供預測能力,抓取數據規律,預測某個具體的結果。

數據分析3.0

數據分析3.0也叫綜合性分析時期,即業務+數據的綜合分析,在這個階段全面開啟大數據分析構建,相關産品、咨詢、服務全面興起,代表産品或技術為數據挖掘、機器學習、分析模型等。

此階段數據涵蓋前兩個階段的數據類型,在數據分析過程中更加注重對數據更好的利用,不隻是數據分析工作,更強調整體業務咨詢、數據質量管理、全面服務等,每個數據分析類項目都會配備專業的數據分析團隊等進行咨詢規劃,幫助企業能夠更好的做數據決策、預測風險。

數據分析4.0

數據分析4.0也叫數據運營期,注重數據資産化、商品化的運營。這個階段的分析類型不僅包括描述性、診斷性、預測性,還包括指導性分析。

在了解過去經營狀況,并利用過去數據研究分析現狀、預見未來的同時,還可以以數據驅動行動,通過模型指導最佳行為,幫助企業對當前、未來發生的事情進行有效的指導。

代表産品或技術為自動化分析概念、人工智能、深度學習等,通過智能系統(機器翻譯、智能機器人等)實現自動化的數據分析。

數據分析建設步驟


數據分析發展部分簡單介紹了每個階段數據分析實現的内容,對于企業來說,在數據分析建設開展之前,需要考慮及明确幾個重要的問題。

第一,數據分析建設的正确順序;

第二,當前業務适合開展哪種數據分析;

第三每個内容的實現需要哪些工具;


圍繞上述問題,北京虚拟币交易所排行将根據項目中的具體實施方法進行解答。

數據分析實現過程中,技術人員首先需要了解客戶的業務背景、實際需求,詳細評估分析需求,之後對構成分析需要的數據進行收集、處理,這些準備完成後基于工具建立分析模型,分析計算後基于配置實現數據分析結果展現。

1 、需求調研

數據分析工作中,需求調研是重要的一環,明确數據分析的目的、需求,才能确保數據分析工作有效的向下開展,為後續數據采集、處理、分析工作提供清晰明确的方向。

此階段需要重點與客戶各部門進行充分溝通、理解業務規則、明确需求痛點、确定分析主題,并通過多種方式讓客戶确認項目的重點實現問題、分析範圍與内容、展現成果等。

在需求調研部分主要明确幾個問題,數據分析的主要業務有哪些、涉及哪些部門的數據、整體從哪些角度分析、采用何種分析邏輯思維、采用哪些分析指标、設定哪些分析主題、具體何種展現形式等,之後根據需求開始功能設計。調研過程中可以結合案例及演示為客戶講解并确認最終要的展示效果,以最直接的方式避免歧義的産生。


2 、數據采集

數據采集主要根據需要分析的主題來對應采集相關的數據,為數據分析提供依據,數據分析的來源具有很多種,包括公司内部的系統數據、手工數據、公司外部的産業上下遊數據、國計民生、社交數據等,根據不同的數據來源需要采用對應的采集工具及手段,保證分析數據的可用性、全面性。

2.jpg

系統數據采集

對于企業内部各系統中已經存在的數據,可以直接通過數據總線在數據分析過程中與對應的系統對接,将現有分析的數據注冊為數據源,根據分析模型的需要配置、拉取、計算、轉換,實現分析模型的數據支撐。

線下數據采集

每個企業信息化建設程度不同,不是所有産生的業務數據均為系統提供,很多時候線下手工數據也是數據分析的數據源之一,通常采用數據填報系統作為管理數據錄入的重要工具,通過填報系統快速配置數據填報表單,實現數據的填寫、修改,查看。

外部數據采集

外部數據也是數據分析中重要的數據源,例如互聯網數據、市場調研數據、國計民生數據等,可以通過爬蟲、網絡抓取、平台合作或購買數據等方式獲取行業、産業等外部渠道的數據,與企業自身進行對标比較,掌握行業的大方向的動态數據。

3、 數據處理

數據處理的過程也相當于對構建數能力藍圖進行完善,是數據分析前必不可少的階段。

數據處理主要包括數據治理/清洗、數據轉化、數據合并等内容,實現将來源不同、類型不同的抽取出來的數據,進行清洗、轉換、合并、存儲等操作,以保證後續數倉建設、數據建模、分析配置、展現等順利實施。


3.jpg


數據清洗

支撐數據分析的業務系統各自為政,由不同系統廠商、機構、業務部門分管使用,不具備完善的數據質量管理機制,在系統中難免出現異常數據。對于異常數據需要進行質量管理,以糾正問題數據,填補缺失數據,完善數據結構,保證數據的統一性、唯一性、準确性,數據清洗方面包括:主數據治理、元數據治理。

主數據治理使用MDM主數據管理工具實現數據分析中所用的主數據的申請、審批、校驗、分發,數據建模、數據清洗、數據管理流程配置、系統管理等操作,通過MDM在整個企業内部制定并執行統一的、符合業務要求的、科學合理的數據标準,通過數據标準的執行使得企業内部的各個業務環境使用的主數據完整統一。主數據治理過程中同樣需要用到ESB或ETL工具完成業務數據同步分發工作。

元數據治理主要是為了方便整個數據倉庫保存信息的管理所做的操作,以實現各類技術術語與流程在企業内部的統一定義,首先制定元數據管理策略與元數據體系架構,之後選擇元數據管理工具,通常數據分析平台中具備一定的元數據管理功能,制定對應的元數據管理治理與标準,實現對級别且通用的概念以及概念之間關系的描述,保證每個元數據元素在信息供應鍊中每個組件的語義上保持一緻。


數據轉換

在數據分析項目中,很多時候采集到的業務數據并不能直接使用于分析配置,因為不是所有數據都能夠達到數據分析模型輸入數據的格式要求,這時需要對這些數據進行一些處理,也叫預處理,使這些數據标準化,常見的解決方式為數據轉換。

一般在數據分析項目中,數據轉化的實現方式有數據标準化,即按照數據比例将數據落在制定的區間内;數據結構構造,即将數據用區間或類别等概念進行替換,重新構造結構;數據加權平均,即将數據權重計算在内的平均算法等,将業務數據按照分析的标準進行計算、轉化實現數據分析的展現。


數據整合

數據整合也叫做數據合并,是指綜合數據表中某幾個字段的信息或不同的記錄數據,組合成一個新字段、新記錄數據,使數據按照不同的業務主題進行重組存儲,完成對分散數據的整合工作,形成企業内部的唯一數據。數據整合工作主要有兩種方式,一種為字段合并,另一種為記錄合并。

字段合并是将某幾個字段合并為一個新字段,簡單來講是将同一個數據框中的不同行或列分别進行合并,形成新的行或列。記錄合并是為将具有共同數據字段,不同數據表的記錄信息,合并到一個新數據表中,簡單來講是将兩個結構相同的數據框合并成為一個數據框。


4 、數據彙聚

數據分析過程中一個重要的步驟就是将企業的業務數據彙聚,是一個數據重整的過程,即構建大數據平台的存儲與計算中心完成數據的彙聚,與企業搭建内部的數據倉庫或數據中心結合,根據數據的不同數據特征,從多樣的大數據計算問題和需求中提煉并建立的各種高層抽象或模型,通過數據分析算法,進行數據統計分析、實時流處理,機器學習和圖計算等。

4.jpg


數據存儲

數據存儲部分通過建立數據倉庫,在數據分析與決策支持等方面為用戶或機器學習提供服務,将采集及處理後生成的數據集持久化到計算機中,然而這裡的數據倉庫技術并不是傳統BI商業智能所用到的簡單的關系型數據庫,而是可以支持大數據量、高實時性的數據分析場景。

項目中對于數據存儲部分會采用高性能、高吞吐率、大容量的基礎設備來提供及時性或近及時性的數據供于分析,對于簡單的結構化數據,一般采用關系數據庫,對于半結構化和非結構化的數據,則會根據實際場景使用Hadoop、列存儲數據庫Cassandra、文檔數據庫MongoDB、圖數據庫Neo4j、K/V存儲Redis等。


數據建模

數據建模即數據分析建模,通過建立數據分析模型,并對之進行配置、分組管理等操作找到潛藏在數據下面的客觀規律,挖掘數據中的真正價值,得到想要的分析結果。

技術上通常需要對立方體和數據集進行配置,立方體配置支持三維、多維立方體,同時立方體與數據集之間可以相互轉換;數據集配置可以根據選擇定義自動生成對應的數據集模型,如:SQL原生數據集、接口定義數據集,Schema&Cube轉換生成數據集等。


計算分析

數據計算即對數據進行處理分析,包括對相關數據集的數據進行排序、歸集,執行機器學習算法、實時流處理、分析預測等。在項目中需要根據用戶具體的業務需求選擇适合的算法,常見的算法包括回歸、分類、聚類、關聯規則挖掘、時間序列、描述性統計、神經網絡等,用于實現對企業内外部數據的深度挖掘、特征提取、行為分析、軌迹預測等。

這些算法一般會預置在項目中使用的分析平台中,以精準營銷為例,劃分消費者群體使用聚類算法;購買額預測使用時間序列算法;滿意度調查使用回歸、聚類算法;實時定位追蹤使用流處理技術;自動化異常分析或檢測預警使用機器學習算法等。


5 、配置展現

配置展現部分主要為相關主題模型的配置以及主題分析效果的展現,即選定分析工具之後,對展現哪些數據、以什麼樣式的圖表形式展現進行實現,選擇分析模型以及相應的數據,與組件結合形成組件實例,實現數據分析。

分析配置

分析配置主要對數據分析整體布局的樣式進行配置,包括導航配置、菜單配置、頁面配置等,通過導航菜單配置對應的導航,每個導航能夠通過選擇主題、配置整體的布局樣式,滿足領導層級與各部門層級的不同的分析需求;通過頁面配置對主題進行管理,包括分析頁面整體樣式、頁面大小、展現方式、背景顔色等,同時可以支持移動端自适應顯示,配置後将計算彙總的結果用圖形化或表格形式展現。

分析展現

通過多維分析技術實現多維度、多角度、全方位的實時在線分析,包括數據的切片、切塊、聚合、鑽取、行列轉置、鑽取聯動、層層穿透等多種分析樣式,幫助管理者全局性掌握公司運營現狀。

在數據的配置及交互方面針對用戶操作方式,模拟用戶分析習慣,提供針對性的交互服務。數據展現部分提供多樣化、豐富化的展現方式,包括但不限于餅圖、柱狀圖、折線圖、氣泡圖、面積圖、省份地圖、詞雲、瀑布圖、漏鬥圖等酷炫圖表。

數據分析最佳實踐

數據分析項目與主數據治理項目都是行業性特點的項目,在具備對應的業務知識外,還需要從企業性質、實施方法、需求引導等多方面進行研究以保證項目順利落地,避免出現需求不清、邏輯混亂、進度滞後等問題,加強數據分析效果的同時保證項目的順利落地。


1 、客戶分析,抓住側重

不同性質的企業對項目的整體要求、效果、配合程度是有差别的,承接項目前需要對客戶性質進行了解,從而事先評估項目過程中會遇到的問題與阻力,制定更好的解決預案。

這裡将企業分為國企與民營,對于民營企業來說更加注重投入後的效果及回報,會對同類标杆案例進行做為參考與借鑒,在調研實施過程中配合力度較高;對于國企來說更加注重項目的整體價值及意義,重注将項目打造成标杆案例,企業中各級員工職責分工明确,調研及溝通相關事宜需要統一預約時間,但對于業務的梳理相對來說較為清晰、明确,很少存職責混亂情況,實施方需要根據特性及側重進行項目的整體規劃、引導。

2 、注重基礎,按需構建

每個企業都想通過大數據分析支撐決策、預測風險、精準營銷,從而換取更多的利益,但大數據分析的建設并不是适合所有企業,而是要根據企業的發展階段、信息化建設程度綜合考慮,對于分析的主題也不是越多越好,而是重在實用與有效。

通常對于數據分析的方案有BI系統構建、數據門戶構建、分析平台構建、大數據平台構建,每種方案對于企業的要求都是不一樣的,信息化建設程度越高(系統完善、基礎平台、數據治理等)越适合大數據分析,反之可以從數據門戶開始,逐步建設。這就要求實施團隊在項目調研過程中準确判斷客戶當下适合以哪種形式構建數據分析,并進行針對性引導,講明緣由及利弊。

3 、明确目的,定位需求

在項目需求調研過程中,一定要做好充足準備、目的明确、知道想要獲得哪些信息、應該如何獲得這些信息等,制定調研計劃開展調研工作。

可以以5W2H法則為宗旨,即:What(用戶要什麼?)Why(為什麼要?)Where(從哪兒得到?)When(什麼時候做?)Who(對誰做?)How much(給多少?)How(怎麼做?)。

通過這些法則與客戶交互、明确需求,在得到需求後第一時間整理,并站在多方立場去考慮客戶的提出的需求原因,以專業角度基于當前業務情況、信息化建設程度、管理水平等情況分析項目可實現的範圍,之後再進行整體架構的規劃,避免偏離項目本質需求,過程中要注重與客戶确認,及時封閉需求。

4、 功能優先,兼顧美觀

任何人都喜歡追求美的事物,提到數據分析的展現,每個企業最終用戶都想要炫酷的展示效果,越美觀越好,這就造成在項目現場比起分析的主題、指标,配置的功能,客戶更多的要求實施人員對展示效果多次調整修改,最後才去關注分析指标及平台功能等一系列問題。

針對這種現象實施方不可完全跟随客戶的思路及要求進行,而是需要以實施計劃為主,全力推進項目進程,切忌在一個問題上無條件及範圍的反複修改,要讓客戶知道比起展示效果更重要的是數據分析的指标及功能的使用、工具的易用性、擴展性,先将整體功能實現之後,再去調整界面UI等相關事宜,過程中可以做出幾版原型供用戶選擇,縮小調整範圍。

5 、加強測試,角色代入

數據治理分析項目不僅是加強系統功能、加載速度、是否滿足需求等方面測試,還要加強對人員配置、權限方面的測試,特别是集團型企業,不同人員角色所能看到的分析數據、界面是不同的,在測試過程中需要着重測試不同角色所看到的分析界面是否對應,是否出現越權現象。

上述測試屬于常規測試範圍,在測試工作中另一個重要的内容是換位思考、角色代入,測試人員從客戶角度出發,測驗平台的配置過程是否快速上手、方便,可能會遇到哪些問題,問題來源于操作還是平台。對于分析展現部分,假設如果自身處在客戶對應角色的位置上,希望看到有哪些分析指标、展現形式如何,以此不斷優化項目成果。

6 、分段上線,強調使用

對于數據治理分析項目的功能上線,不建議采用項目驗收臨近日期,項目成果整體上線的方式。最佳的方式是采用分段上線法,對客戶重點關注的業務指标進行功能實現,在指标配置3-4個後即可推進上線,讓客戶可以真實感覺到項目帶來的效果與價值,便于對項目後續工作的推進與配合。

另一方面分段功能上線也是為了讓客戶先将系統在正式的辦公場合下應用起來,使用的人越多項目的價值越能體現,也是表明實施方實力的有力論證。項目經理需要嚴格把控上線時間,不可過于急迫也不可過于後推,通常在項目實施2個月左右推進為宜,既體現敏捷實施的效率,又保證可以交付真實的成果。

     在北京虚拟币交易所排行看來,技術快速發展的時代,大數據、雲計算、人工智能都是當前企業在信息化建設高級階段所要了解并融入的技術手段,數據分析是各行業企業決策分析、風險管控、精準營銷的必備工作。

所以,做好調研分析、明确數據來源、數據質量管控、工作輔助支撐、個性建模分析一步都不能少。除此之外,還需要不斷的在項目中摸索、總結正确的實施方法論,達到快速實施的效果。

PREVIOUS

上一篇

打造爆款産品 | 數字化營銷和智慧商城的結合

NEXT

下一篇

教育培訓行業面臨業務挑戰

客服1

客服2

關注微信

掃碼關注我們

業務咨詢

回頂部

關閉

+