蘋果公司的Siri等個人助理通過自然語言命令來完成任務。但是，它們的基礎組件通常依賴于監(jiān)督的機器學習算法，這些算法需要大量的手工注釋訓練數(shù)據(jù)。為了減少收集數(shù)據(jù)的時間和精力，Apple的研究人員開發(fā)了一個框架，該框架利用用戶參與信號自動創(chuàng)建數(shù)據(jù)增強標簽。他們報告說，當使用諸如多任務學習和外部知識庫驗證之類的策略進行合并時，帶注釋的數(shù)據(jù)將大大提高生產(chǎn)深度學習系統(tǒng)的準確性。

“我們相信這是首次使用用戶參與信號來幫助大規(guī)模生成序列標記任務的訓練數(shù)據(jù)，并且可以在實際設置中應用，以在幾乎沒有人工注釋數(shù)據(jù)的情況下加快新功能的部署，”研究人員在預印本上寫道。“此外...用戶參與信號可以通過從自身的錯誤中學習來幫助我們確定數(shù)字助理需要改進的地方。”

研究人員使用了一系列啟發(fā)式方法來識別表明積極參與或消極參與的行為。其中一些功能包括輕按內(nèi)容以使其進一步參與(肯定響應)，長時間聽歌(另一個肯定響應)或打斷智能助手提供的內(nèi)容并手動選擇其他內(nèi)容(否定響應)。這些信號以“保留隱私的方式”被有選擇地收集，以自動產(chǎn)生地面真相注釋，隨后將它們與人類注釋者提供的粗粒度標簽組合在一起。

為了將粗粒度標簽和推斷的細粒度標簽合并到AI模型中，論文的合著者設計了一個多任務學習框架，該框架將粗粒度和細粒度實體標簽視為兩個任務。此外，他們并入了一個由實體及其關系組成的外部知識庫驗證器。給定“某事”作為音樂標題，并將“甲殼蟲”作為音樂藝術家，對查詢“由披頭士演奏某事”進行查詢，驗證器將查找頂部標簽替代項并將其發(fā)送到一個組件，該組件將對預測進行排名，并返回最佳選擇。