最近這段時間根據(jù)Gartner相關報告中涉及到了BI系統(tǒng)、數(shù)據(jù)分析的技術趨勢,進行了一些歸納總結,對于某些趨勢點,特意去找了現(xiàn)存的BI產(chǎn)品,站在2021年的開端,讓我們腳踏實地的腦洞一下吧! 1 分析時刻 分析時刻是Gartner定義的一種數(shù)據(jù)分析流程,通過對數(shù)據(jù)進行可視化、探索和應用算法,支持業(yè)務成果的交付,從而做出更好或更快的決策,實現(xiàn)業(yè)務流程的自動化。 隨著數(shù)據(jù)使用門檻逐步降低,自助式、平臺式BI成為趨勢,數(shù)據(jù)分析的主動權會逐步轉移到業(yè)務人員手中,數(shù)據(jù)分析直接由遇到業(yè)務問題的業(yè)務人員發(fā)起,業(yè)務人員可以使用數(shù)據(jù)分析工具/平臺完成數(shù)據(jù)分析內(nèi)容。 舉例: 當一名業(yè)務人員想知道某個商品的線上銷售預測,或者為什么購物車中的商品沒有被某些客戶轉化為購買,在過去,這名業(yè)務人員必須求助于IT部門的專業(yè)數(shù)據(jù)分析師(提取可能相關的數(shù)據(jù),輸出特定分析報告)、數(shù)據(jù)科學家(建立預測模型),但是試想一下,如果BI系統(tǒng)中建立了常用的預測算法模型、歸因分析工具,可以方便的連接數(shù)據(jù)集,業(yè)務人員自主快速完成分析內(nèi)容,他通過自助分析很快就知道了這幾個數(shù)據(jù)結論或者問題原因,從而做出業(yè)務上的反饋。 2 增強分析 增強分析主要是指以機器學習為基礎的數(shù)據(jù)分析和BI功能,通過機器學習、人工智能等技術的應用將常見通用的數(shù)據(jù)分析的場景沉淀為產(chǎn)品功能中,幫助普通用戶在沒有數(shù)據(jù)科學專家或 IT人員協(xié)助的情況下完成數(shù)據(jù)分析。 增強分析的底層理念是“簡單易用”,能夠支撐用戶在沒有專業(yè)知識背景下,完成數(shù)據(jù)的“收集-準備-整合和分析”全過程。 增強分析包含增強數(shù)據(jù)準備、增強機器學習、增強數(shù)據(jù)分析這些模塊。這里主要講在數(shù)據(jù)分析中的應用趨勢。 (1)NLP與NLG的應用
舉例:ThoughtSpot使用搜索和NLP作為訪問數(shù)據(jù)的主要界面,用戶可以通過打字或者語音提出問題。
自然語言轉化成 SQL,再將 SQL 結果集轉化成可視化的圖形,形成了'NL2SQL2Graph'的完整鏈路。 舉例:阿里小蜜(入口:淘寶)
舉例:tableau的explain Data功能,會自動針對所選值提供由 AI 驅動的解釋。此功能會在后臺檢查數(shù)百個可能的解釋,并呈現(xiàn)可能性最大的那些解釋。 這個功能是如何實現(xiàn)的?在tableau的2020.2 new feature網(wǎng)絡研討會上對explain data性能增強的介紹下讓我們可以大概知道運行原理: 當你點擊某個數(shù)據(jù)值進行explain data時,系統(tǒng)會自動對數(shù)據(jù)集的每一個維度、每一個度量都進行交叉計算,判斷需要解釋的數(shù)據(jù)值是高于還是低于預期(均值)。 以高于預期為例,explain data會嘗試做以下幾類解釋: 先去掃描所有的維度信息,看是否有顯著的維度(這個維度的值普遍偏高); 然后去考察記錄數(shù)(數(shù)據(jù)條數(shù)),是否是由于數(shù)據(jù)記錄數(shù)較高導致; 再次,考慮極端值的情況,是否是因為某個極端值造成了偏高。 在新版的explain data中,對計算的維度范圍進行了限制(不再對所有維度進行解析,有一些明顯值過多的維度、包含了平均值的維度都會默認被忽略),這能解決以前數(shù)據(jù)集較大或者維度偏多explain data會比較慢的問題。 (2)自動洞察和自動可視化
自動洞察是指機器自動地從數(shù)據(jù)中發(fā)現(xiàn)潛在信息和價值:發(fā)現(xiàn)數(shù)據(jù)之間的關聯(lián)、發(fā)現(xiàn)數(shù)據(jù)異常、自動進行聚類。 現(xiàn)在大部分的主流 BI 平臺都有自動洞察的相關功能推出。舉例: 微軟的 PowerBI 的Quick Insights 功能能夠自動對于源數(shù)據(jù)做出各種交叉的一階或者多階計算 ( 百分比,排序,同環(huán)比 ),從而挖掘數(shù)據(jù)內(nèi)部各種趨勢。
根據(jù)數(shù)據(jù)結果自動的選擇可視化的方式進行展示,以清晰的展現(xiàn)數(shù)據(jù)分析結果。 有2個方向:
技術上有2種實現(xiàn)思路:
3 嵌入式分析 將特定的數(shù)據(jù)分析方法集成到業(yè)務系統(tǒng)中。 比如,BI系統(tǒng)的頁面可以用于嵌入到其他系統(tǒng)中,這樣對產(chǎn)品未來發(fā)展很有好處:
預測和決策建議 通過大量人工業(yè)務分析總結出的業(yè)務經(jīng)驗、再加上AI和機器學習技術的加持,讓機器一次性完成業(yè)務分析和行動建議。 比如:taobao的生意參謀,數(shù)據(jù)現(xiàn)象后面緊跟著操作建議、業(yè)務技巧。 這種功能如何實現(xiàn)呢?看起來很高大上,其實說起來也有簡單的方法: 首先提煉出數(shù)據(jù)表現(xiàn)背后代表的業(yè)務場景,根據(jù)數(shù)據(jù)表現(xiàn)判斷屬于哪一種業(yè)務場景,再推送出對應的解釋和建議,這種實現(xiàn)方式的特點是,業(yè)務已經(jīng)比較成熟,能夠很好的抽象出業(yè)務上數(shù)據(jù)和策略的關系。實現(xiàn)上使用規(guī)則就可以很好的滿足初期的需求,是的,重點是梳理好對應的規(guī)則庫。 我個人比較推薦這種成本低的決策建議,在項目初始的短期內(nèi)就能夠達到比較好的效果,給未來迭代升級提供很好的ROI支持。 (歡迎大家加入知識星球獲取更多資訊。) 聯(lián)系我們 |
|
來自: weiwarm > 《戰(zhàn)略前沿》