在剛剛過去的Smartbi V9新品發(fā)布會上，多位嘉賓為我們帶來的精彩演講在現(xiàn)場引起了熱烈反響，小麥從本周開始選取一些整理成文，與未能到場的麥粉們一起分享�，F(xiàn)在分享的是Smartbi資深顧問杜健航所作《V9產(chǎn)品挖掘篇 -- 機器學(xué)習(xí)，預(yù)測未來》的演講。

　　如剛才我們的CEO所說，目前智能BI的潮流是不可逆轉(zhuǎn)的，我們公司一直是站在潮頭。去年我在廣州塔那邊跟大家分享了智能助手小麥，那是代表了我們在智能BI自然語言分析這一方向的努力和成果。今天，我想介紹的是我們的另外一個方向：數(shù)據(jù)挖掘。這個詞有點偏技術(shù)，因此，我在開篇準備了兩個故事，這也是我們最近做的兩個項目，將有助于大家對“數(shù)據(jù)挖掘”的了解。

　　【故事】

　　一、銀行客戶流失預(yù)警

　　銀行面臨同質(zhì)化競爭的市場環(huán)境，存款的利息都差不多，客戶忠誠度也不會很高，現(xiàn)在去拉一個新客戶的成本是遠遠高于維護老客戶的成本。因此，很多銀行都對防止客戶流失很重視。這家銀行當時找到我們說，他們有一些歷史數(shù)據(jù)，希望我們能從中預(yù)測出客戶流失的概率。這些歷史數(shù)據(jù)有客戶的固有屬性，如年齡、性別等，有行為屬性，如銀行卡收支情況、銀行APP使用情況，還有其它相關(guān)的屬性。接到這個需求以后，我們把工程師塞進了甲方的小黑屋，一周后他們提交了一個分析模型，這個模型用甲方提供的1000份歷史數(shù)據(jù)測試，準確率達到 86%。然后基于這個模型，為銀行的客戶建立了標簽，分為：流失客戶、動搖客戶、忠誠客戶3類。根據(jù)這3類標簽，銀行可以采取不同的措施。最后銀行針對“動搖客戶”進行二次細分，然后進行針對性關(guān)懷和獎勵，成功挽留了 50%以上的客戶，大大節(jié)省了投入成本。

　　二、違章建筑識別

　　第二個故事與城市管理有關(guān)。大家知道在城市管理中，有一個重要的工作內(nèi)容是違章建筑處理。違建處理首先要去調(diào)查與識別哪個是違建，這是一件工作量大，周期長，且有危險性的工作。當前違章的識別是被動式的，靠舉報然后人工去查證，我們客戶想尋求用技術(shù)手段來提高效率。于是我們又把工程師塞進了小黑屋，這次他們一個月后才走出來，因為這次的難度比上一個需求高了不少。這個模型對圖片的建筑識別率達到了 90%以上，同時該模型還能對建筑范圍進行標定。這里是一個中間結(jié)果圖片，那些被虛線框起來的就是模型所識別的一個個建筑物，深紅色部分就是一個可能違章的建筑，疑似違法擴建。可以看到我們實現(xiàn)了客戶的需求，客戶因此大大節(jié)省了人力，提升了處理速度。原來三四十人的巡查隊，變?yōu)榱宋辶�人的無人機操作與數(shù)據(jù)處理人員。從這個故事可以表明我們具有應(yīng)用高級算法定制客戶專屬的圖像識別能力，也可以應(yīng)用到其它場景如公眾場所人流預(yù)警，商場貨架補貨提醒。

　　三、全新挖掘模塊

　　我剛才提到工程師為客戶需求建立的各種分析模型，就是基于我們的Smartbi V9全新的數(shù)據(jù)挖掘模塊Smartbi Mining。這也是今天我要介紹的主要內(nèi)容。在過去的十多年里，Smartbi的產(chǎn)品團隊在傳統(tǒng)BI、自助BI領(lǐng)域，將強大功能與簡捷易用結(jié)合在一起帶給我們的客戶。今天，我們希望在智能BI、數(shù)據(jù)挖掘領(lǐng)域能給大家?guī)�來同樣的感受�?/p>

　　四、Smartbi Mining的優(yōu)點

　　Smartbi Mining操作起來非常簡單，建模、訓(xùn)練、部署等都是在一個界面完成。業(yè)務(wù)人員可以參與，整個過程很直觀。里面有很多內(nèi)置的模型算法，模型參數(shù)也是默認調(diào)整到最優(yōu)狀態(tài)，大大降低了使用門檻。而且，系統(tǒng)隨時可以擴展，處理海量數(shù)據(jù)也不會出現(xiàn)問題。

　　【功能簡介】

　　一、數(shù)據(jù)源與數(shù)據(jù)處理

　　Smartbi Mining可以輕松接入各種大數(shù)據(jù)場景下的數(shù)據(jù)源，如Hadoop、Spark，也包括阿里云、華為的數(shù)據(jù)源，傳統(tǒng)的Smartbi數(shù)據(jù)源也可以無縫集成。也就是說，無論是結(jié)構(gòu)化數(shù)據(jù)，還是非結(jié)構(gòu)化數(shù)據(jù)，我們都可以拿來進行挖掘。在數(shù)據(jù)處理方面，無論是常規(guī)的要求，還是高級的要求，如One-Hot編碼、特征離散等都能滿足。

　　二、可視化挖掘

　　如果大家有一些挖掘項目經(jīng)驗的話，就會知道經(jīng)歷是比較痛苦的。基本上是純技術(shù)人員的工作，就是敲代碼，業(yè)務(wù)人員是很難參與的，只能最后拿一個結(jié)果。這種做法要么實施周期很長，要么就是得出來的結(jié)果難以理解，要么就是完全訂制調(diào)整不了，這些問題現(xiàn)在都能解決。Smartbi Mining是完全通過拖拉拽建模，整個過程、結(jié)果都可以看得到，業(yè)務(wù)人員是可以參與的。

　　三、內(nèi)置大量經(jīng)典算法

　　Smartbi Mining包含五大類算法，分別是分類算法、回歸算法、聚類算法、文本分析和深度學(xué)習(xí)。更重要的是，這些組件算法是可擴充的，客戶可以根據(jù)應(yīng)用場景去訂制其它的算法。

　　四、算法與模型

　　市面上很多挖掘產(chǎn)品并不能支持企業(yè)級、大團隊開發(fā)，要支持企業(yè)級挖掘應(yīng)該有什么能力?我認為需要具備3點。第一，我們能將模型進行單獨的保存與使用，這樣就能使模型訓(xùn)練調(diào)優(yōu)與模型使用分離，便于大型項目開展;第二，在企業(yè)級開發(fā)會嘗試多種模型，甚至是聯(lián)合使用模型，能使多個模型一起工作;第三，你所做的所有工作都是能一鍵導(dǎo)入、導(dǎo)出，環(huán)境遷移十分簡便。Smartbi Mining具備這些特性，所以才能說是支持企業(yè)級挖掘。

　　五、服務(wù)發(fā)布

　　在挖掘項目中，將模型部署生產(chǎn)是最后一公里，這是一個繁瑣的過程，但在Smartbi Mining中已經(jīng)成為過去。用戶可以一鍵完成部署，將訓(xùn)練好的模型部署成為Web服務(wù)，然后直接通過調(diào)用該API向其發(fā)送數(shù)據(jù)，獲取預(yù)測結(jié)果。Smarbi Mining還能對所有部署的服務(wù)進行統(tǒng)一管理，直接通過界面控制服務(wù)的啟停。也支持修改服務(wù)的配置信息，例如服務(wù)別名、服務(wù)描述，對于管理員十分的簡便。

　　六、小結(jié)

　　從我上面對挖掘功能的介紹中，大家了解到Smartbi這次發(fā)布的是一個一體化的數(shù)據(jù)挖掘模塊，提供從數(shù)據(jù)處理、建模到發(fā)布投產(chǎn)、運維管理的全流程支持，一個界面完成。同時它是一個全能型模塊，能滿足各方面人群的使用需求，無論你是數(shù)據(jù)挖掘?qū)＜�，還是有一定經(jīng)驗的技術(shù)人員，或者是沒有任何經(jīng)驗的業(yè)務(wù)用戶，相信都可以輕松使用，并從中受益。

　　【挖掘?qū)嵺`】

　　產(chǎn)品這么強大又易用，我估計臺下已經(jīng)有客戶在考慮實踐挖掘的項目了，下面我簡單介紹一下一個挖掘項目是如何落地的。

　　一、挖掘?qū)嵤┝鞒?/strong>