在DT(data technology)時代，網上購物、不雅觀看視頻、聆聽音樂、閱讀新聞等各個領域無不充斥著各種保舉，個性化保舉已經完全融入人們的日常生活傍邊。個性化保舉按照用戶的歷史行為數據進行深層興趣點挖掘，將用戶最感興趣的物品保舉給用戶，從而做到千人千面，不但滿足了用戶素質的信息訴求，也最大化了企業的自身利益，所以個性化保舉蘊含著無限商機。

號稱“保舉系統之王”的電子商務網站亞馬遜曾宣稱，亞馬遜有20%～30%的銷售來自于保舉系統。其最大優勢就在于個性化保舉系統，該系統讓每個用戶都能有一個屬于本身的在線商店，而且在商店中能招到本身最感興趣的商品。美國著名視頻網站Netflix曾舉辦保舉系統角逐，懸賞 100 萬美元，希望能將其保舉算法的預測準確度提升10%。美國最大的視頻網站YouTube曾做過實驗比較個性化保舉和熱門視頻的點擊率，結果顯示個性化保舉的點擊率是后者的兩倍。

達不雅觀數據擁有雄厚的研發保舉系統的技術積累，曾在ACM、CIKM、KDD、Hackathon等國際競賽的獲獎，在內容保舉，文本挖掘、廣告系統等方面申請有超過三十項國家發明專利。本文從數據處理、用戶行為建模到個性化保舉，分享達不雅觀數據在個性化保舉系統方面積累的一些經驗。(達不雅觀數據聯合創始人 于敬)

1.數據收集及預處理

保舉系統的素質其實就是通過必然的方式將用戶和喜歡的物品聯系起來。物品和用戶自身擁有眾多屬性信息進行標識。

1)物品屬性

用戶體現保舉系統的主體，自身屬性包孕人口統計學信息以及從用戶行為數據中挖掘分析得到的偏好等。

3)用戶行為

用戶行為分析

在數據采集的過程中，不免會出現一些臟數據，在使用數據前需要進行清洗。過濾掉關鍵字段為空、數值異常、類型異常等數據;用戶id包孕cookie、手機號、email、注冊id等，需要進行映射得到用戶唯一id;以及數據去重等操作。別的，還有“報答”的臟數據，如作弊、刷單等行為，這些數據也需要清除，不然會嚴重影響后續算法的效果。達不雅觀數據在反作弊方面也做了很多工作，可有效篩選各種行為上的作弊情況。

2.用戶行為建模

基于用戶歷史行為的進行挖掘分析，得到刻畫用戶素質需求的一組屬性集合，即得到用戶模型，個性化保舉的準確性很大程度上依賴于對用戶屬性刻畫的準確性。達不雅觀數據采用了多種方式進行量化，主要包孕顯式用戶偏好分析和隱式用戶興趣點挖掘。

1)顯式用戶偏好分析

除了結合物品信息進行分析計算得到的顯式偏好外，還有一部分隱式興趣點需要挖掘，這部分主要用于細分用戶群體，進行有針對性的進行更有效的保舉。劃分群體的準則要按照具體的業務需求而定，好比是否是高價值用戶、是否價格敏感、是否對大牌情有獨鐘、大神用戶和小白用戶的區分、喜歡熱門流行還是偏小眾的等等。借助機器學習中的分類(如SVM)和聚類(如k-means)算法可有效解決用戶群體的劃分問題，牽涉到的訓練和測試數據需要先按照一些規則粗略得到候選集，在結合人工標記的進行篩選。除了可以從行為數據中抽取特征外，也可以從物品和用戶的屬性數據中抽取特征。經過模型的訓練、預測和后處理，從而將用戶劃分到差別的群體。

3)協同過濾的基石

 相似度計算方法對保舉效果的影響

相似度的計算很多種方法，如余弦相似度、皮爾遜相關度等，曾經使用mahout做過的一個差別相似度度量方法下的對比測試結果，測試中score的計算使用的是絕對差值的平均，越小越好。本次測試結果表白，在基于用戶的協同過濾中，使用皮爾遜相關度的計算方法，保舉效果最好。

其實差別的相似度計算方法有各自的優缺點，適用差別的應用場景，可以通過對比測試進行拔取。在實際業務中，相似度的計算方法都有很多變種，好比是否考慮去除冷門物品和熱門物品的影響。終究過于冷門和過于熱門的物品對衡量用戶間的相似度時區分度欠好，這時就需要進行剪枝。這種基于K近鄰的拔取相似用戶的方法，相似度的閾值設置對結果影響很大，太大的話召回物品過多，準確度會有下降。

4)時間維度上的考量

3.個性化保舉的實踐經驗