過去一年,螞蟻智能服務算法團隊在全球各大頂級學術會議/期刊上發表了多篇AI相關的論文,例如:
· NLP基礎算法方面,分別通過對偶領域遷移、數據增強,提升文本分類模型的效果;
· 問答引擎方面,通過知識蒸餾大幅提升答案排序性能,通過強化學習賦予機器人對模糊問題的反問能力;
· 對話系統方面,采用模仿學習和強化學習,構建出主動對話機器人在多個場景應用;
· 服務推薦方面,使用圖算法實現標簽氣泡的序列推薦,通過多實例學習解決問題預測中的特征漂移問題;
· 交互形態方面,通過服務群聊,提升了多人企業服務中的效率。
在此,我們對上述論文做一個簡要介紹,歡迎大家一同探討。
文本分類
一、Dual-View Representation Learning for Adapting Stance Classifiers to New Domains [ECAI 2020](基于雙視圖領域適應學習的文本立場識別方法)
立場分類(Stance Classification) 是情感識別的一個延伸,并且在不同領域下邊文字表述也不相同。例如在“支付寶是否好用”的評論里邊, (1) 應用領域的“在螞蟻森林、莊園可以玩的種類多”, (2) 支付領域的”支持的支付方式多“和(3) 主頁的“圖標有點多”是表達不一樣的用戶體驗含義。(1)(2)是贊成的,(3)是反對的,如何學習出不同領域的相似和不同之處,理解客戶立場和體驗的表達,是一個需要解決的業務話題。
傳統的情感和立場識別方法只能識別出帶有情感傾向詞的主觀情況,很難識別出客觀描述。領域遷移學習(Domain Adaptation)是最近研究界的熱門話題。本論文提出利用對偶領域遷移的方法來全面準確識別主觀和客觀情感立場問題。
論文提出的模型可以用下圖表示:
上圖的解釋為:
1. 標記為s 或 source 的地方表示為遷移學習的源數據,標記為 t或者 target 地方表示領域遷移學習的目標數據。藍色線箭頭表示源數據在模型的流轉方向;紅色線箭頭表示目標數據在模型的流轉方向。
2. Subj表示主觀特征的抽取和表示;obj表示客觀特征的抽取和表述;
3. X表示輸入 x(s)表示源數據的輸入;x(t)表示目標數據的輸入;
4. F表示抽取到的特征,C表示標準分類器;
5. Fusion表示兩者(主觀和客觀)的組合;
6. conf表示adversarial對抗模型,將source和target模型訓練得無法分辨,D是判別式;
7. f是表示模型,得到相應的embedding表示。
具體細節可見論文描述。論文提出的方法在公開數據集SemEval-2016 Task 6 ( on tweet stance classification)上取得了很好的效果。
二、A Systematic Study of Data Augmentation for Multiclass Utterance Classification Tasks [COLING 2020](文本分類領域下的數據增強方法綜述)
文本分類在智能客服系統中都是一個重要的組成部分,但是不同的話題熱度不同,可收集到的用戶訓練數據數量也不同,例如支付相關客服對話數據量遠遠大于賬戶咨詢對話數據。為了緩解這類數據不均衡問題,我們針對文本分類場景的數據增強方法進行了一個全面的調研,整體分為三類:
1. 普通隨機采樣:包括undersampling和oversampling。
2. 詞級別遷移變換:通過遷移變換的方法在一定程度上保留原文的語義特征的同時,又能產生新的句子,包括SR,EDA等。
3. 基于神經網絡的文本生成:采用文本生成模型進行新文本生成。常見的文本生成模型包括RNNLM,GANs,Seq2seq類,VAEs等。Seq2seq模型包括:OpenNMT,MASS等Seq2seq模型,
通過分類實驗,我們發現
1. 簡單隨機采樣中,欠采樣的表現最差,因為從大多數類中刪除數據樣本會導致信息丟失;
2. 詞級別遷移變換中,EDA比SR有效;
3. 基于神經網絡的文本生成中,VAEs類的生成模型表現較優異,其中CVAE表現平平,效果不如SentenceVAE和CVAE-posterior。
由于分類實驗受到樣本量和概念復雜度的影響,因此我們還對比了不同的數據增強方法對于多數/少數類別數據的不同增益表現。
1. 在News數據中(第三排),多數類別數據(police,wellness)有下降的效果;
2. CoQA數據(第一排),McTest為少數類別數據,在大多數分類方法中,該少數類別數據增益最明顯;
3. ICS數據(第二排),數據增強方法對于少數類別(class c)無明顯的增益。
通過上面實驗結果我們推斷:在一個數據集中的不同類別上同時進行過采樣和欠采樣操作可能比嚴格地對所有類別分別進行過采樣或過采樣,使其達到與最小或最大類別相同的數量,獲得更好的性能增益。
問答引擎
三、Query Distillation: BERT-based Distillation for Ensemble Ranking [COLING 2020](融合排序模型的蒸餾:一種基于BERT模型的方法)
最近幾年排序模型(neural ranking networks)不斷發展,帶來了模型參數規模的不斷擴增,又由于model ensemble的應用,在線系統的計算開銷逐漸不堪重負。知識蒸餾(Knowledge Distillation)是解決問題效率問題的重要手段,但是將知識蒸餾應用在排序問題上不是特別適用。我們提出了一種兩階段的針對排序問題的模型蒸餾方法,來解決計算負載問題。第一階段,大規模的teacher ranking results用來pretrain,第二階段,人工標注的數據用來finetune。
同時,我們采用基于BERT模型list-wise排序方式作為我們的student model,不同于傳統的BERT輸入是句對,我們將所有的召回文檔候選集合一次性輸入和排序。每個文檔的打分由一個特殊標記的token輸出。同時,為了更加精確控制bert 的self-attention機制,引入特殊設計的attention mask pattern來幫助query與doc之間的信息交互。
實驗顯示,我們蒸餾之后的小模型,不僅優于單個大模型,同時優于ensemble model。同時,在inference效率方面,時間上也有著明顯的優勢。
四、Interactive Question Clarification in Dialogue via Reinforcement Learning [COLING 2020](基于強化學習的交互式對話消歧)
智能客服QA機器人的主要任務是根據用戶的提問q找到與之最相關的結果,這點與搜索引擎很相似,但與之有區別的是搜索引擎可以給出一長串候選結果,而QA問答機器人考慮到問答的交互形式,返回的結果必須盡可能精簡以滿足一問一答的形式。在這種模式下,我們發現有一類問題的匹配非常差,這類問題的通常表征缺語義要素。舉個例子,用戶經常會直接問:"我要還款!",但我們不知道到底還給誰。此類提問中缺少語義要素,我們統稱為"模糊問題",在QA機器人中占比居30%之多,本文介紹了我們通過強化學習推薦消歧標簽來對模糊問題進行消歧的方法。
我們通過將問題建模為標簽序列推薦問題,從而將問題轉化為強化學習的問題。通過基于Transformer的seq2seq模型對文本到推薦序列進行建模,同時,我們使用了一種基于信息熵增益的reward,結合蒙特卡洛樹搜索方法實現對模型的訓練,最后我們的方法在線上取得良好的消歧效果。
對話系統
五、Two-stage Behavior Cloning for Spoken Dialogue System in Debt Collection [IJCAI 2020](智能逾期提醒中基于兩階段行為克隆的對話系統)
伴隨著互聯網金融的快速發展,小額貸款、消費金融、網絡借貸等新興的借貸模式涌現出來,智能還款提醒機器人應運而生。目前,市場上絕大多數智能語音機器人,都是依賴于對話流程的配置,也就是通過有限狀態機來配置對話流程。在還款提醒的場景下,交互節點可能包含上千個。所有的交互流程配置都依賴于人工,整套維護下來成本非常高、配置復雜且容易出錯。并且基于有限狀態機配置的機器人并不具備持續從人工對話中學習的能力。
因此,在本文中,我們提出了一套基于行為克隆的無流程智能語音機器人框架,稱之為兩階段行為克隆。第一階段,我們根據當前對話狀態,通過多標簽分類模型,來召回可能能應對當前情形的策略;第二階段,我們會對每個策略下若干的話術進行打分,來選擇獲取得分最高的話術作為當前機器人的回復,以TTS或者錄音播報的方式跟用戶進行交互。
本框架能充分利用海量的人工語音對話記錄,無需進行任何模型語料的標注,充分汲取人工的智慧和經驗,將人在逾期提醒工作中大量使用的交互技巧和對話技巧,克隆到機器人身上。我們在離線和在線場景下都做了大量的實驗,結果表明相比流程式對話,在對話準確率指標上,我們框架的機器人相比流程式機器人單輪對話準確率絕對提升5%,多輪對話準確率絕對提升3.1%,整個對話過程更加的流暢、合理和有效。
六、IFDDS: An Anti-fraud Outbound Robot [AAAI 2021 DEMO](智能交互反欺詐對話系統:一種反欺詐外呼機器人)
伴隨數字金融和電子支付的蓬勃發展,金融欺詐也日益猖獗,據統計,2018年全年中國發生的金融詐騙金額高達3513億,占據全年GDP的0.3%。為了防止用戶被詐騙,互聯網金融公司基本都搭建了反欺詐系統,但是大部分系統都是依據有限的信息來進行二分類判斷用戶的風險性。這會導致兩個問題:1. 原本無風險的交易存在誤識別,導致用戶交易被阻斷,影響用戶體驗 2. 有風險的教育可能存在漏網嫌疑,給用戶資產造成損失。
為了解決這樣的問題,我們提出IFDDS反欺詐對話系統,通過機器人通過語音外呼主動和用戶對話交互來挖掘用戶交易可能存在的風險。機器人通過自然流暢的對話,引導用戶講明交易細節,通過交互得到的額外信息進行深挖用戶可能存在被詐騙的類型。如果在對話過程中識別出給定的風險類型,機器人則會進行用戶教育,幫忙用戶辨明欺詐風險,減少資產損失。我們的系統通過模仿學習方式來學習多輪對話策略,并且搭建基于對話文本的風險檢測模塊,在每一輪的時候根據對話狀態來識別風險類型。
系統上線后,在用戶欺詐求助率方面大幅降低25%,同時在成功勸阻有風險交易方面提升135%。項目在公司內部,獲得年度看見項目獎、集團橙點公益榜十強等獎項,極大提升品牌形象和社會影響力。
服務推薦
七、IntelliTag: An Intelligent Cloud Customer Service System Based on Tag Recommendation [ICDE 2021](智能標簽:基于標簽推薦的智能云客服系統)
傳統的智能客服系統,結合其產品和服務本身,可以獲得用戶的畫像資料和行為路徑軌跡等信息,因此不難理解用戶的問題含義和提問意圖。比如,在電商領域,某用戶近幾個星期內僅有一次網購,且在向智能客服提問前先查看了物流情況。根據這些信息,智能客服可以推測出用戶大概率是詢問其購買物品的物流信息。而對于云客服系統,我們則很難觸及商家的用戶數據,這使得理解問題含義和提問意圖變得困難很多。
為了解決這個問題,我們采用了標簽推薦的方式(也稱之為氣泡詞推薦)。上圖為云客服的對話界面,用戶輸入“ETC”之后,最下方對話框的上方會出現我們推薦的標簽列表,當用戶點擊標簽“apply”時,會反饋給用戶兩個預測問題,以及推薦新一輪的標簽。此時,用戶點擊了第一個預測問題,云客服則給出了對應答案。通過給用戶推薦標簽的方式,不斷的揣測用戶的提問意圖,直到用戶確認預測問題進而獲取對應答案。
我們定義標簽為詞語或詞語組成的短語,用來表征一句話的核心語義。我們使用多任務BERT模型在標準問題中提取標簽,并且保存標簽與標準問題的映射關系。
得到標簽后,我們定義三種節點:標簽(T)、標準問題(Q)和租戶(E),并根據包含關系、共現關系構圖。為了更好的分析異質網絡,我們根據業務特性設計了四種元路徑(metapath)。為了得到標簽節點的向量表示,我們先后采用鄰居注意力(neighbor attention)和元路徑注意力(multi-metapath attention)聚合信息,再將得到的向量表示輸入序列模型對點擊標簽序列建模,根據點擊行為序列推薦下一個可能點擊的標簽。
IntelliTag方法在離線指標上全面領先于傳統序列推薦模型,并在線上AB測試中表現更好。實驗還表明,端到端訓練效果優于分步訓練。根據用戶行為,我們可以獲得大量端到端的數據標簽,因此當將圖神經網絡層和時序層映射到同一空間時取得了更好的效果。
八、aDMSCN: A Novel Perspective for User Intent Prediction in Customer Service Bots [CIKM 2020](aDMSCN:換個視角看線上機器人的意圖預測問題)
用戶意圖預測(猜你想問)在支付寶智能客服的很多場景中發揮著重要的作用,承擔著客服流量的大頭。“猜你想問”本質為一個top-k推薦問題,根據用戶的各類特征去推薦相關的item。但在實驗中,許多sota的推薦模型架構都難以在猜問場景取得滿意的效果,甚至連簡單的DNN模型都難以媲美。我們發現,這些模型的“失效”源自于業務數據中存在的“特征漂移”(feature drift)問題,即表征用戶畫像的特征集合隨場景的狀態發生變化,例如新活動引入新的特征,或某些變更導致一些特征被下線。這使得參與表征用戶畫像的特征數量與類型都處于動態變化中。
對于一些對特征數目與順序敏感的(例如涉及了feature-wise interaction)模型,特征漂移作為一種強噪聲會大大降低其效果,從而難以在業務上落地。
為此,我們創新性地構建了一個新的視角,從多實例學習(Multiple instance learing, MIL) 的角度建模該問題,即將一個用戶特征視作一個實例(instance),而所有用戶特征組成的用戶作為一個實例包(bag),并通過帶注意力機制的MIL模型去捕捉一個實例包中最相關的那些實例,并加權出最終包級別的特征。
另一方面,針對業務中嚴重的樣本類別不平衡問題,我們提出了ratio-sensitive loss,與傳統weighted loss根據預測置信度(focal loss)或真實類別(vanilla weighted loss)決定每個樣本的權重不同,ratio-sensitive loss同時關注樣本實際類別與預測類別,并根據二者在數據中的占比的比值來決定該樣本loss的權重,從而讓模型預測的分布更貼合實際分布。該模型在智能客服猜你想問場景上落地,相比之前的線上模型在CTR上取得了5.36%的相對提升。
交互形態
九、ServiceGroup: A Human-Machine Cooperation Solution for Many-to-many Customer Service [SIGIR 2020 DEMO](服務群:多對多服務中的人機協同解決方案)
傳統的客服方案是一對一的,例如工單、熱線電話和在線聊天。這些方案通常只支持一名客戶和一名客服進行溝通,如果需要多名客服合作處理問題,則需要轉接會話。所以這些方案在求助簡單高頻的B2C場景中運作良好,但不適合求助復雜低頻的B2B場景。在當下群聊已經變得非常普遍,用戶向群聊發消息時,所有群成員都能看到。基于群聊,多對多的客服方案可以執行。相較于傳統的一對一方案,群聊可以支持多名客服和客戶在一起溝通協同解決問題。另外,在群聊中客服和客戶可以維持穩定的溝通關系,彼此的了解進一步提升了解決問題的效率。
然而,與一對一服務不同,群聊中會有客戶間的溝通,不需要客服處理。這些消息會降低客服的效率,增加問題的處理時長;此外,客服在群聊中經常要回復類似的問題,回復內容也難以得到重復利用。基于這些問題與機會,我們提出了服務群來提升客服效率。
客戶發送消息時,問題識別模塊首先會識別消息是否是提問或者訴求。如果識別到客戶在提問,問答模塊將在知識庫中查詢最適合回復客戶的知識,根據客戶的提問方式選擇由機器人直接發送給客戶或者推薦給客服來回復客戶。如果客戶消息不是提問,則不做處理。當代理發送消息時,知識抽取模塊將判斷消息的質量,并將高質量的內容存儲到知識庫中,應用于問答模塊。
在算法能力之外,服務群結合釘釘群開發了更多輔助功能,幫助客服進一步提效。試點租戶在使用服務群前后,問題及時答復率得以翻番,并且超過30%的答復使用了服務群的輔助功能。
未來展望
智能服務發展到現在,已再不局限于客服問答的范疇,越來越多地以在線、熱線、虛擬人等形式,應用于客服、助理、營銷、培訓等場景。
未來,螞蟻將在多模態交互、人機協同、可控可解釋、深度推理、環境模擬等方面繼續提升智能能力,持續建設學術研究、業務落地并重的一流算法團隊。同時,我們的實習生校招已經開始,歡迎自薦和推薦。
團隊介紹
我們是螞蟻集團-智能服務團隊,全面負責螞蟻集團在智能服務領域中的算法研究、平臺建設及業務落地工作,提升面向數字生活和金融開放業務背后的服務能力。部門由多名業界頂尖的硅谷科學家及國內資深工程師組成,技術氛圍濃厚、團隊關系融洽、發展空間廣大。
團隊學術研究與業務落地并存,相關技術支持了支付寶、財富、保險、消費金融、網商銀行等多個核心業務,覆蓋億級用戶及千萬級商戶,在多個頂級會議/期刊上均有論文發表。
崗位介紹
1、算法類:自然語言處理、機器學習、數據挖掘等方向,負責語義理解、對話管理、用戶模擬、機器閱讀、知識挖掘、多模態交互、強化學習、遷移學習等算法的研究和應用;
2、研發類:Java、C++、Python等方向,負責螞蟻統一機器人平臺和多個智能服務平臺、產品的開發工作。
工作地點
北京、上海、杭州、成都
聯系郵箱
minghui.ymh@antgroup.com
zujie.wzj@antgroup.com
