前言：本站為你精心整理了深度學習的搜索廣告排序應用范文，希望能為你的創作提供參考價值，我們的客服老師可以幫助你提供個性化的參考范文，歡迎咨詢。

摘要：本文在研究卷積(ConvolutionalNeuralNetworks)與LSTM（LongShortTermMemory)的基礎上，結合兩者優勢，提出了一種混合模型。首先用卷積神經網絡提取關鍵特征，然后依據LSTM神經網絡時序特點進行預測和分類。結果表明：對比淺層或單層網絡，本文提出的組合模型較好地提高了點擊率預估準確度，從而增強了搜索廣告排序應用效果。

關鍵詞：廣告排序；點擊率預測；深度學習；卷積神經網絡；LSTM

眾所周知，廣告預期收益很大程度上取決于搜索廣告排序準則，具體地講，表現在廣告質量度和廣告競價上。業界量化廣告質量度最常用的辦法是通過廣告點擊率。點擊率(CTR,ClickThroughRate)代表著人們點擊廣告的概率，CTR預估是按照已有的廣告信息以及對應的上下文來預估人們瀏覽該廣告的可能性。因此，廣告排序最主要的工序是預估點擊率，因為它關系著搜索引擎業務收入以及是否可以給出更符合用戶心理的信息，更進一步講，CTR還能夠作為廣告進一步投放的參考標準，總之廣告投放效果很大程度上取決于CTR，是實時競價算法(RealTimeBidding，RTB)的重要因素之一。廣告點擊率預測模型經歷了傳統的機器學習模型與深度學習模型的演變。傳統的機器學習方法主要分為單一模型預測與模型組合預測兩部分。在單一模型中，邏輯回歸、決策樹等是較為常見的單一模型。相關文獻使用廣告特征、關鍵字與用戶特征，并結合邏輯回歸模型來預測廣告點擊率，并研究了不同關鍵字對廣告點擊狀況的影響。有關文獻基于充分的歷史廣告點擊數據使用決策樹等模型實現廣告點擊率預測。另外，還有其它一些機器學習模型比如：支持向量機模型等運用于廣告點擊率預測，而且效果較好。然而這些傳統的機器學習模型更依賴人工對特征的處理，在模型使用前期需要大量的人工特征工程。近期，伴隨深度學習的熱潮，越來越多的人們將深度學習應用于廣告點擊率預測中。百度公司研究人員將因子分解機與深度神經網絡相結合用于預估廣告點擊率的FNN模型。谷歌公司研究人員推出Wide&Deep模型以處理點擊率預估問題，在Wide&Deep的Embedding層后加入特征交叉功能形成的PNN網絡效果不錯。本文使用卷積神經網絡提取廣告數據中高影響力的特征，長短期記憶(LSTM,LongShortTermMemory)模型則用于分類，基于此提出了一種基于卷積-LSTM結合的廣告點擊率預測模型與算法。

1相關工作介紹

1.1廣告點擊率預測流程

（1）第一步：特征提取，運用特征處理手段從原始數據中獲取影響力高的特征，并劃分為訓練數據與測試數據兩大部分。（2）第二步：創建模型并輸入訓練集，使用優化方法訓練模型。（3）第三步：將測試數據輸入訓練完成的模型進行預測，平臺按照預測得到的點擊率來排序，從而得出廣告展示區域。廣告點擊率預測流程如圖1所示。

1.2邏輯回歸

邏輯回歸作為一種典型的分類模型，非常適合處理分類問題，比如二分類甚至多分類，內部可能帶有線性或非線性決策函數。

1.3卷積神經網絡

卷積神經網絡(CNN,ConvolutionalNeuralNetworks)被認為是一個經典的前饋神經網絡。除了輸入層、輸出層之間，大部分情況下卷積層可能作為它的隱藏層，甚至包括池化層與全連接層。一般情況下，會有多個卷積層和池化層，并且交替存在。在卷積神經網絡中，特征圖（featuremap）由多個神經元構成，卷積核連接上一層神經元的輸出，從而衍生下一個神經元。卷積核是一個由使用者自由定義大小的權重矩陣，通常作用于同一個圖像差異區域的小范圍感知域上，提取出每個小區域感知域的特征，以此構造出下一層神經元的輸入。卷積層將輸入特征進行卷積。池化層按照指定的池化規則對輸入特征進行再次提取。

1.4長短期記憶神經網絡

長短期記憶網絡作為一個時間遞歸神經網絡。輸入門、輸出門和自由狀態等構成了LSTM神經元，如圖2所示。

2卷積-LSTM混合神經網絡模型

2.1設計思想

卷積-LSTM混合神經網絡一共有三層。輸入層：將原始特征排重、數據清理后開始獨立向量編碼(One-HotEncoder)，讓其映射到t維空間中，t表示編碼后的向量維度，然后獲取索引值生成新的特征。輸出層的作用是將卷積網絡的結果輸入給LSTM，從而可以進行分類和得到預測值，如圖3所示。

2.2算法描述

本文提出了一種模型訓練算法，如表1所示。

3實驗結果分析

3.1數據預處理

本文采用了Kaggle比賽中Avazu公司在2014年公開的開源數據集。從中選出了1百萬條數據作為訓練集。每條數據都有20個維度，包含10個連續性特征，其中有9個是已經脫敏處理的）和9個類別特征。樣本標簽的離散值是0或1，分別代表負向樣本與正向樣本。原始訓練數據中，正樣本比例與抽取數據中正樣本比例較為接近，這樣做的目的是不影響實驗結果。

3.2算法指標

本文采用了兩種算法指標來檢驗分析模型。（1）AUC(AreaUnderCurve)。AUC的大小與ROC(ReceiverOperatingCharacteristics)曲線下的覆蓋面大小有關，ROC曲線的橫軸表示假正率(FalsePositiveRate)，縱軸表示真正率(TruePositiveRate)，按閾值的取值差異可得到不同的ROC曲線。AUC的取值在0到1之間，AUC的值越大，分類效果越佳。（2）對數損失(LogarithmicLoss)。對數損失的值與分類器效果成反比，對數損失值越小，分類器效果越好。

3.3算法初始參數

通常來說，特征空間的大小取決于神經網絡的層數和計算圖中神經元的多少，越多的層和越多的神經元，能夠表達的特征空間也就越大，學習過程也就越復雜，但運行時間和內存消耗也會越大，而且有可能會出現過擬合的問題，因此最優結果很大程度上取決于參數選擇是否合理。為了最優化模型結果，本文做了相當多的參數調節。結果發現，CNN輸出向量的維度大小、LSTM層數、模型學習率的設置、選取的優化方法是否合適等是主要影響因素。輸入不同的參數，反復迭代優化，最終計算得出最優的AUC值，如圖4所示。通過上述實驗比對，卷積-LSTM組合神經網絡模型的核心參數如表2所示。表3展示了單一結構的CNN模型與LSTM模型的參數配置。

3.4結果比較與分析

本文的機器配置如表4所示。在相同的特征處理環境下，將訓練集和測試集按8:1的比例切割，模型每從訓練集中學習完一次，便將測試集輸入做預測和分類，反復迭代30次后取最優AUC值和logloss值，并統計迭代過程使用的總時間。本文一共使用了6種模型進行點擊率預測，分別有深層和淺層模型。運行結果如表5所示。其中邏輯回歸模型用LR表示；FM模型是以矩陣分解為核心的機器學習算法，它的特點是能夠高效地學習特征之間的聯系，擅長分析高維度稀疏數據；NN是一種常規的神經網絡模型；CNN代表一種卷積神經網絡；CNN+LSTM代表本文提出的卷積-LSTM組合的深度學習網絡模型。本文從幾個方面分析了上述實驗結果，分別如下：（1）從模型層數來看，深層模型在預測方面的效果高于以往的淺層模型。淺層模型在第9次迭代之后，AUC值和logloss值趨于收斂，FM模型的預測準確度高于LR模型；與普通NN模型相比，CNN與LSTM的預測效果顯然更好。（2）比較AUC值與logloss值，卷積-LSTM組合神經網絡模型在這兩方面的指標表現都比單一結構的CNN模型與LSTM模型要好。與CNN模型對比，其AUC值提高了1.38%，logloss值降低了0.29%；與LSTM模型對比，其AUC值提高了2.61%，logloss值降低了1.38%。（3）從時間上看，由于卷積-LSTM組合神經網絡模型的層數相對多一點，復雜度比較高，其訓練總共的時長相比單一層次結構的神經網絡模型，會更多一些。

4結束語

本文通過充分研究和比較現有的線上搜索廣告集合，分析得出了互異特征之間相關性強，人工提取特征費時費力等不足，最后分析了若干種淺層預測模型與深層預測模型的優缺點，研究出了一種新的深度學習模型卷積-LSTM混合神經網絡模型。實驗表明：與傳統的廣告點擊率預測模型相比，卷積-LSTM組合神經網絡模型效果更明顯。通過卷積核移動提取關鍵性特征，降低了人力開銷，又較好地提升了模型效率；使用LSTM神經網絡預測廣告點擊率，提升了分類精度。接下來，本文將繼續圍繞特征、模型，從工程化方向做迭代，以期達到更好的提升。

參考文獻

[1]李思琴.基于深度學習的搜索廣告點擊率預測方法研究[D].哈爾濱工業大學,2015.

[2]張志浩.基于深度學習的在線廣告點擊率預估系統的設計與實現[D].南京大學,2015.

[3]劉旭.基于深度學習的互聯網廣告點擊率預估方法研究[D].西安理工大學,2018.

[4]劉夢娟,曾貴川,岳威.面向展示廣告的點擊率預測模型綜述[J].計算機科學,2019(7).

[5]黃立威,江碧濤,呂守業,劉艷博,李德毅.基于深度學習的推薦系統研究綜述[J].計算機學報,2018,41(07):1619-1647.

作者:鐘小勇 單位:攜程計算機技術(上海)有限公司