文末獲取 PPT

大家好，我是趙宏田～

今天趙宏田分享的主題是用戶畫像場(chǎng)景與技術(shù)實(shí)現(xiàn)方案，主要分 3 部分：

一是常見(jiàn)應(yīng)用場(chǎng)景；

二是畫像產(chǎn)品一些常見(jiàn)的功能；

三是技術(shù)實(shí)現(xiàn)方案。

常見(jiàn)應(yīng)用場(chǎng)景

不同行業(yè)業(yè)務(wù)屬性不同能收集到的數(shù)據(jù)也不同，對(duì)畫像的應(yīng)用場(chǎng)景有不同的需求，下面梳理了互聯(lián)網(wǎng) TOC、電商和安防等行業(yè)的畫像應(yīng)用場(chǎng)景，提供畫像可以應(yīng)用的思路。

除了 360 全息畫像、個(gè)性化內(nèi)容推送等場(chǎng)景外，還可以提供實(shí)時(shí)預(yù)警管控、專項(xiàng)場(chǎng)景分析、個(gè)性化人工運(yùn)營(yíng)服務(wù)等方面支持。

其中，專項(xiàng)的場(chǎng)景分析就是一些常見(jiàn)的數(shù)據(jù)分析模型，比方事件分析、留存分析和漏斗分析，這些分析模型都是基于標(biāo)簽和行為數(shù)據(jù)之后，把數(shù)據(jù)模型產(chǎn)品化后做成一些特定場(chǎng)景的分析，這就是基于用戶畫像的一種應(yīng)用場(chǎng)景。

上面講的比較概念化，接下來(lái)通過(guò)幾個(gè)具體的場(chǎng)景來(lái)認(rèn)識(shí)一下。

1.1.1 互聯(lián)網(wǎng) TOC——微信場(chǎng)景（1）

這兩年企業(yè)微信做的比較好，它是想通過(guò)企業(yè)微信的方式去接入 TOC 微信的一些個(gè)人運(yùn)營(yíng)和營(yíng)銷等。

下面先看幾個(gè)在微信中常見(jiàn)的場(chǎng)景：

1）渠道活碼

用企業(yè)微信沉淀顧客，可以在每個(gè)渠道都附上帶活碼的渠道專屬二維碼，比如可以在自己的公眾號(hào)、朋友圈廣告、企業(yè)官網(wǎng)以及其他物料上都附上二維碼，將前來(lái)咨詢的新老客戶都引進(jìn)到企業(yè)微信，這些客戶會(huì)被隨機(jī)分配給某個(gè)員工，這樣既能保證員工公平，又能避免單個(gè)號(hào)當(dāng)日加人達(dá)到上限的情況。

2）觸發(fā)歡迎語(yǔ)

個(gè)性化推送一人一語(yǔ)。

用戶掃描添加企業(yè)成員后，自動(dòng)推送指定消息，支持同一個(gè)碼不同員工推送回復(fù)不同的內(nèi)容，幫助企業(yè)實(shí)現(xiàn)精細(xì)化運(yùn)營(yíng)，快速轉(zhuǎn)化。

3）SOP 推送

SOP 是（Standard Operating Procedure）三個(gè)英文單詞首字母的組合，翻譯過(guò)來(lái)叫做標(biāo)準(zhǔn)化的運(yùn)營(yíng)流程。

基于給新加用戶打的標(biāo)簽來(lái)實(shí)現(xiàn)定時(shí)推送個(gè)性化消息。

SOP 推送是微信私域運(yùn)營(yíng)的一個(gè)重要工具/手段。給不同類型的客戶在不同時(shí)間段推送不同的內(nèi)容，從而拉動(dòng)用戶的活躍。

1.1.2 互聯(lián)網(wǎng) TOC——微信場(chǎng)景（2）

基于群、基于個(gè)人的個(gè)性化 SOP 推送包括先給人或者給社群打標(biāo)簽。創(chuàng)建任務(wù)給不同標(biāo)簽的人或者社群推送不同的個(gè)性化內(nèi)容。

比方說(shuō)，基于一些標(biāo)簽去創(chuàng)建一些定時(shí)任務(wù)，去給某個(gè)學(xué)習(xí)標(biāo)簽的人或者某一批標(biāo)簽的群去做一些定時(shí)推送，去維護(hù)某個(gè)社群的活躍程度，以及促進(jìn)用戶在不同階段的轉(zhuǎn)化。

這里截圖了某 SCRM 廠商的功能宣傳頁(yè)，我們都知道 CRM 是客戶關(guān)系管理，SCRM 就是 Social CRM。

在國(guó)內(nèi)的話，SCRM 基本上都是基于企業(yè)微信場(chǎng)景去做的功能，常見(jiàn)的場(chǎng)景：渠道活碼、裂變獲客以及抽獎(jiǎng)引流等都是前期的引流工作；

后期的高效溝通，基于標(biāo)簽、基于來(lái)源渠道，去做定制化的高效溝通。因?yàn)楹笈_(tái)的客服人員他們可能不是一對(duì)一，他們有可能是一對(duì) N，這個(gè) N 有可能是幾百/上千，所以說(shuō)它需要通過(guò)標(biāo)簽和場(chǎng)景或者渠道等等標(biāo)志一個(gè)人之后，再去更高效地和運(yùn)營(yíng)溝通以及客服互動(dòng)；

高效溝通完成之后，SCRM 去做一些智能化的定向營(yíng)銷，比如 SOP 的定向營(yíng)銷以及個(gè)性化的群聊配送，個(gè)性化的朋友圈，不同的人能看到不同的朋友圈狀態(tài)，像短信、營(yíng)銷等等一些觸達(dá)渠道；

最后，在不同行業(yè)都去運(yùn)用這種基于微信場(chǎng)景的 SCRM 產(chǎn)品去做一些行業(yè)的東西。

這種 SCRM 也是基于用戶畫像、用戶標(biāo)簽去做的一種應(yīng)用，這種數(shù)據(jù)量級(jí)比較輕，大家可能聽(tīng)到的很多場(chǎng)景都是來(lái)自一些互聯(lián)網(wǎng)大廠或者互聯(lián)網(wǎng)一些 TOC 的 APP，它可能量級(jí)比較大，每天都有幾十萬(wàn)、百萬(wàn)、千萬(wàn)或者上億的日活用戶，它的數(shù)據(jù)量級(jí)可能會(huì)像那種大數(shù)據(jù)集群。

像這種微信場(chǎng)景他們就會(huì)比較輕一些，我們基于單機(jī)的應(yīng)用就可以做后臺(tái)的數(shù)據(jù)處理過(guò)程，當(dāng)然后面也會(huì)講到不止是大數(shù)據(jù)，其實(shí)這種小數(shù)據(jù)也是跨站的一種重要的組成部分，也有廣闊的應(yīng)用場(chǎng)景，我們?nèi)粘Ｊ盏降囊恍┛熹N產(chǎn)品的短信，其實(shí)很多也是基于這種輕量級(jí)的 SCRM 場(chǎng)景去做功能的實(shí)現(xiàn)。

1.1.3 電商場(chǎng)景

電商場(chǎng)景也有很多，大家日常工作中都會(huì)有很多感知。比方說(shuō)短信推送的營(yíng)銷，包括我從京東上買到的一些書的書店或者在線下優(yōu)衣庫(kù)買過(guò)衣服，以及京東上買過(guò)的一些保健產(chǎn)品。

他們都會(huì)定期的做一些推送，像保健產(chǎn)品或者快銷產(chǎn)品都是周期性產(chǎn)品，就是說(shuō)隔幾個(gè)月就會(huì)把這個(gè)東西消耗掉，可能會(huì)再次產(chǎn)生同樣的需求，所以他跟你推送的時(shí)間點(diǎn)，一般都會(huì)算的比較準(zhǔn)。

比方說(shuō)養(yǎng)老保健品兩三個(gè)月就會(huì)是一個(gè)周期，使用完之后基本上隔兩三個(gè)月就會(huì)收到推送短信，告訴我都有什么保健品，號(hào)召我再去購(gòu)買。

像京東、阿里這種廠商他們上面的商家會(huì)自動(dòng)采購(gòu)第三方的一些產(chǎn)品，一些千量級(jí)的產(chǎn)品把自己在京東、天貓上的商務(wù)、商鋪的數(shù)據(jù)接到第三方的 SCRM 上，去做定時(shí)化的營(yíng)銷推送以及郵件推送。

當(dāng)然郵件推送其實(shí)現(xiàn)在用的比較少，因?yàn)榭赡艽蠹椰F(xiàn)在基本上郵件看的比較少，郵件營(yíng)銷其實(shí)也是一個(gè)很重要的場(chǎng)景，比方說(shuō)我買了阿里云服務(wù)，經(jīng)常會(huì)收到阿里云定時(shí)推送的東西。

Push 消息的話，是大家接觸最多的消息，每天打開(kāi)手機(jī)的話，可能滿屏的 Push。Push 的話，有幾個(gè)重要的應(yīng)用場(chǎng)景。

比方說(shuō)促活，它可能是根據(jù)你瀏覽的內(nèi)容，去推送一些商品。因?yàn)榭赡苁悄愀信d趣的，你就會(huì)去看，促進(jìn)你在站內(nèi)的活躍，這有可能會(huì)帶來(lái)其他的一些轉(zhuǎn)化。活躍度高了之后，就可以瀏覽廣告、下單之類的行為。這是基于用戶的瀏覽情況去推送。

剛剛講的是促進(jìn)活躍，還有就是促進(jìn)轉(zhuǎn)化，比方我之前在京東上買過(guò)洗衣液，然后隔段時(shí)間又給我推冰箱、洗衣機(jī)，想把我拉到站內(nèi)再去購(gòu)買。

這是一個(gè)促活、一個(gè)轉(zhuǎn)化。這種促銷渠道大家接觸最頻繁，因?yàn)?Push 的消息在渠道中是免費(fèi)的。但是，像短信、郵件這種營(yíng)銷，都是有渠道成本的。

1.1.4 安防場(chǎng)景

安防場(chǎng)景能采集到的數(shù)據(jù)源非常多，包括物聯(lián)網(wǎng)和信息網(wǎng)的數(shù)據(jù)。

其中，物聯(lián)網(wǎng)主要是人臉識(shí)別數(shù)據(jù)；而信息網(wǎng)范圍更廣泛一些， 主要用途是安防保護(hù)、抓捕壞人，或者說(shuō)預(yù)防潛在的壞人去做一些不好的事情。

比方說(shuō)，我們近期看到的一些新聞 “抓捕轟動(dòng)國(guó)內(nèi)的知名犯罪分子”。他們其實(shí)是基于信息網(wǎng)的人臉識(shí)別，識(shí)別出來(lái)是誰(shuí)，然后再去和后臺(tái)的內(nèi)容預(yù)警管控的名單去做一個(gè)實(shí)時(shí)數(shù)據(jù)的校驗(yàn)。然后當(dāng)比對(duì)相似度大于某個(gè)具體值時(shí)，會(huì)觸發(fā)預(yù)警。接下來(lái)線下人員就會(huì)介入這個(gè)安防的場(chǎng)景。

這個(gè)流程中就是說(shuō)，先是我們這個(gè)視頻的信息流去捕獲這部分?jǐn)?shù)據(jù)，然后傳輸視頻流，解析數(shù)據(jù)，解析完成之后，再和數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行比對(duì)。

達(dá)到預(yù)警之后，再去和潛在管控名單進(jìn)行比對(duì)，比對(duì)上之后再去觸發(fā)實(shí)時(shí)預(yù)警。

當(dāng)然這種案發(fā)場(chǎng)景的話，在我們生活中有很多，比如管控一些不當(dāng)言論，管控一些潛在犯罪分子，以及識(shí)別一些犯罪駕駛的車輛。

當(dāng)然識(shí)別人臉面部的是一塊，基于車牌號(hào)的識(shí)別其實(shí)也是一塊。其實(shí)，都是基于潛在風(fēng)險(xiǎn)的一些身份信息預(yù)警管控。

1）畫像場(chǎng)景總結(jié)來(lái)看，其實(shí)包括：

（1）營(yíng)銷賣貨：短信/郵件/電話/微信等各種渠道的營(yíng)銷來(lái)賣貨；

（2）營(yíng)銷促活：同樣是各種渠道的營(yíng)銷來(lái)把用戶拉/引到平臺(tái)上，促進(jìn)用戶的活躍，因?yàn)橛腥嘶钴S的地方就有流量就有生意；

（3）個(gè)性化服務(wù)：這里不僅指?jìng)€(gè)性化推薦，也包括個(gè)性化的人工客服、個(gè)性化的接口服務(wù)；

（4）用戶分析：基于用戶在平臺(tái)上的行為特征來(lái)分析產(chǎn)品的優(yōu)缺點(diǎn)、做產(chǎn)品迭代，以及分析用戶特征，比如基于用戶人群去做一些分析、基于用戶場(chǎng)景去做一些漏斗分析、事件分析、專題分析等等；

（5）預(yù)警管控：基于不同行業(yè)不同應(yīng)用場(chǎng)景來(lái)設(shè)計(jì)預(yù)警管控的模型，管控的東西不同行業(yè)也不一樣，有的話可能會(huì)識(shí)別一些潛在的風(fēng)險(xiǎn)賬號(hào)，直接將賬號(hào)拉入黑名單；有的直接識(shí)別出來(lái)一些風(fēng)險(xiǎn)用戶去直接做人工的干預(yù)管控。預(yù)警管控的數(shù)據(jù)基本上都是實(shí)時(shí)的數(shù)據(jù)，對(duì)潛在風(fēng)險(xiǎn)去做一個(gè)預(yù)防。

這是畫像場(chǎng)景的總結(jié)。

2）對(duì)數(shù)據(jù)量的總結(jié)，一直在 TOC 類型的互聯(lián)網(wǎng)公司從事大數(shù)據(jù)類的工作，接觸到的用戶量或行為日志數(shù)據(jù)量都是大幾千萬(wàn)、幾億、幾十億、百億規(guī)模的數(shù)據(jù)處理。用到的技術(shù)棧也是 HIVE、SPARK、HBASE、ES、CLICKHOUSE 這些處理大量數(shù)據(jù)的開(kāi)源工具。但不是說(shuō)只有大數(shù)據(jù)才能搞畫像。

3）最近在研究基于微信生態(tài)的 SCRM 類產(chǎn)品時(shí)發(fā)現(xiàn)這類產(chǎn)品處理的數(shù)據(jù)量很小，不需要上那種很重的大數(shù)據(jù)生態(tài)組件，但同樣可以實(shí)現(xiàn)基于特定場(chǎng)景/生態(tài)下的客戶營(yíng)銷管理，同樣有廣闊的應(yīng)用市場(chǎng)。同樣地對(duì)接淘寶、京東等商家后臺(tái)數(shù)據(jù)提供 CRM 功能的廠商也是，在畫像這塊處理的數(shù)據(jù)量有的情況都用不上大數(shù)據(jù)的組件。

4）畫像產(chǎn)品、場(chǎng)景等方面的內(nèi)容常見(jiàn)的形式也就是那些，針對(duì)自己要做的領(lǐng)域如果沒(méi)有思路就看看別家是怎么做的。太陽(yáng)底下無(wú)新鮮事，其實(shí)各家的東西最后都差不多的。原型、功能、流程上的設(shè)計(jì)都那幾個(gè)套路。

畫像產(chǎn)品功能

畫像產(chǎn)品的常見(jiàn)功能，像標(biāo)簽的元數(shù)據(jù)管理，元數(shù)據(jù)管理功能一般包括用戶屬性和用戶行為，但是產(chǎn)品設(shè)計(jì)形態(tài)上各有不同。

在標(biāo)簽的元數(shù)據(jù)管理-詳情頁(yè)，可以查看標(biāo)簽的元數(shù)據(jù)信息，標(biāo)簽每天的產(chǎn)出量，標(biāo)簽在所屬大類下的覆蓋率等。

單用戶畫像，我們基于標(biāo)簽會(huì)給每個(gè)人打上同樣的標(biāo)簽之后，我們通過(guò)接口形式輸入某個(gè)用戶 ID，通過(guò)查詢可以看到這個(gè)人全量的標(biāo)簽。

這部分常見(jiàn)的應(yīng)用場(chǎng)景，一塊是分析場(chǎng)景，分析師/業(yè)務(wù)人員可能需要具體的分析一個(gè)或某幾個(gè) ID 去做查詢分析。還有一塊是客戶端的接口調(diào)用，通過(guò)線上服務(wù)的接口請(qǐng)求的方式，傳入用戶 ID 來(lái)查詢這個(gè)人的全部相似的用戶，或傳入用戶 ID 以及一些標(biāo)簽查詢這些標(biāo)簽相對(duì)應(yīng)的值。

當(dāng)然，剛才講了兩塊：一塊是分析調(diào)用的，一塊是客戶端調(diào)用的。

這兩塊是兩種不同的場(chǎng)景，一塊就是說(shuō)對(duì)于公司內(nèi)部的分析用的，這塊可能類似于一個(gè)公司內(nèi)部的業(yè)務(wù)后臺(tái)作為分析用；還有一塊是 TOC 的客戶端調(diào)用，涉及到高并發(fā)的東西。

這兩塊的數(shù)據(jù)服務(wù)能力是不一樣的，一塊不涉及并發(fā)，一塊涉及高并發(fā)，所以說(shuō)這部分需要單獨(dú)部署兩套。

人群圈選：基于標(biāo)簽或組合標(biāo)簽?；跇?biāo)簽的規(guī)則定義，去篩選出來(lái)指定人群。

1）行為分析模型是基于分析對(duì)數(shù)據(jù)的抽象。例如常見(jiàn)的留存分析、事件分析、分布分析、漏斗分析等等。

本質(zhì)上是基于用戶行為日志 + 用戶屬性數(shù)據(jù)，來(lái)對(duì)用戶從多個(gè)分析維度進(jìn)行分析。直白些說(shuō)就是將分析師常寫的分析 SQL 固化成產(chǎn)品和數(shù)據(jù)模型來(lái)進(jìn)行實(shí)現(xiàn)，省去人工介入的時(shí)間。

2）現(xiàn)階段還沒(méi)有做行為日志的采集，一方面需要把日志這塊缺漏補(bǔ)起來(lái)，另一方面 TOB 的行為分析模型和互聯(lián)網(wǎng) TOC 的這些分析模型也不盡相同，對(duì)于 TOB 經(jīng)常需要做哪些分析還需要分析師整理提煉出來(lái)，再把常用到的分析固化成產(chǎn)品。

基于標(biāo)簽的 SOP 是標(biāo)準(zhǔn)化運(yùn)營(yíng)流程，例如 SOP 在 SCRM 產(chǎn)品的場(chǎng)景中，基于企業(yè)微信給微信用戶打的標(biāo)簽，通過(guò)設(shè)置給這些標(biāo)簽用戶制定的運(yùn)營(yíng)策略來(lái)實(shí)現(xiàn)自動(dòng)推送消息。

技術(shù)實(shí)現(xiàn)方案

畫像系統(tǒng)中最重要的環(huán)節(jié)除了理清應(yīng)用場(chǎng)景外，就是要理清整個(gè)系統(tǒng)的數(shù)據(jù)流向。

業(yè)務(wù)數(shù)據(jù)庫(kù)接入的數(shù)據(jù)、爬蟲(chóng)外部抓取的數(shù)據(jù)都放在數(shù)倉(cāng)的 ODS 層?；?ODS 層數(shù)據(jù)圍繞應(yīng)用場(chǎng)景進(jìn)行數(shù)據(jù)建模后，把數(shù)據(jù)模型結(jié)果寫入到 DWS 層，然后推送到各服務(wù)層需要調(diào)用的數(shù)據(jù)庫(kù)，以備線上 OLAS 分析、接口服務(wù)的調(diào)用。

畫像系統(tǒng)最終上線后，是一套完整的數(shù)據(jù)模型和應(yīng)用流程。后續(xù)新增加的標(biāo)簽或應(yīng)用場(chǎng)景可以在現(xiàn)有的框架內(nèi)增加流轉(zhuǎn)起來(lái)。

標(biāo)簽規(guī)劃：給標(biāo)簽做規(guī)劃。產(chǎn)品經(jīng)理包括業(yè)務(wù)人員基于公司的業(yè)務(wù)場(chǎng)景去把整體體系梳理出來(lái)。

數(shù)據(jù)開(kāi)發(fā)：數(shù)倉(cāng)人員或數(shù)據(jù)開(kāi)發(fā)人員基于處理好的信息去開(kāi)發(fā)對(duì)應(yīng)的標(biāo)簽，去跑離線標(biāo)簽和實(shí)時(shí)標(biāo)簽。

這一塊講一些實(shí)時(shí)和離線標(biāo)簽，大部分標(biāo)簽都是離線標(biāo)簽，以及在離線標(biāo)簽里面也分為基于統(tǒng)計(jì)型的離線標(biāo)簽和基于算法型的離線標(biāo)簽。

大部分或者 90% 的標(biāo)簽都是離線型的統(tǒng)計(jì)標(biāo)簽，像機(jī)器學(xué)習(xí)這樣的算法標(biāo)簽會(huì)很少，一方面它的開(kāi)發(fā)周期會(huì)很長(zhǎng)，另一方面它的效果也是有限。與統(tǒng)計(jì)類規(guī)則的標(biāo)簽相比不能說(shuō)高多少，但是基于某一場(chǎng)景下，我們還是需要使用基于機(jī)器學(xué)習(xí)的標(biāo)簽的比重會(huì)很小。

有時(shí)我們會(huì)有一些實(shí)時(shí)數(shù)據(jù)支持，我們會(huì)通過(guò)實(shí)時(shí)數(shù)據(jù)的方式但不一定經(jīng)過(guò)標(biāo)簽。會(huì)通過(guò)實(shí)時(shí)的數(shù)據(jù)流去給用戶做一個(gè)刻畫，刻畫完成或者說(shuō)做完特征的標(biāo)記之后，我們會(huì)推送到線上的服務(wù)，線上服務(wù)再去查詢、再去供下一個(gè)做調(diào)用。這是離線和實(shí)時(shí)數(shù)據(jù)應(yīng)用情況。

用戶維表：用戶維表有可能是一張大寬表，大寬表基于篩選用戶的屬性或者說(shuō)分析師去分析用戶的時(shí)候用。

ETL 調(diào)度模型包括跑一個(gè)標(biāo)簽的計(jì)算、去做一個(gè)數(shù)據(jù)的校驗(yàn)，以及跑一個(gè)人群的計(jì)算，以及跑一些分析寬表。

剛才講的數(shù)據(jù)模型，比如漏斗分析、事件分析這種模型的分析表。通過(guò)這些模型分析過(guò)之后，再推薦到線上服務(wù)層，線上服務(wù)層有很多，比如說(shuō) Redise、Clickhouse、ES 等等，分到服務(wù)層去做服務(wù)的調(diào)用，服務(wù)的調(diào)用又可能跟站內(nèi)的服務(wù)以及 TOC 的客戶端的調(diào)用，這樣的話我們剛才也提到了場(chǎng)景不一樣。

站內(nèi)服務(wù)的話就是我們公司內(nèi)部人員、分析人員或者說(shuō)產(chǎn)品去做分析、去做營(yíng)銷用。還有一塊客戶端調(diào)用，就是說(shuō) C 端用戶他們?nèi)g覽頁(yè)面、點(diǎn)擊的時(shí)候，去做的一個(gè)請(qǐng)求。

客戶端調(diào)用的時(shí)候就涉及到一個(gè)高并發(fā)的場(chǎng)景。企業(yè)內(nèi)部應(yīng)用的時(shí)候，就是一個(gè)普通的請(qǐng)求。給客戶使用的時(shí)候，就涉及到高并發(fā)，高并發(fā)場(chǎng)景需要單獨(dú)一種服務(wù)。

畫像系統(tǒng)技術(shù)主要包括 大數(shù)據(jù) + 應(yīng)用服務(wù)。