1037237增量型編碼器的原理及應(yīng)用上海秉銘

1037237增量型編碼器的原理及應(yīng)用上海秉銘DFS60B-S4CA04000經(jīng)機(jī)器翻譯模型在一些翻譯任務(wù)上已經(jīng)超過了傳統(tǒng)的統(tǒng)計機(jī)器翻譯模型,達(dá)到了SOTA（State-of-the-art）的效果。神經(jīng)機(jī)器翻譯模型翻譯流暢度較高,然而存在著翻譯準(zhǔn)確度不高、易過翻/漏翻、模型可解釋度不高、長句子翻譯困難等問題。在此背景下,越來越多的工作嘗試使用語言學(xué)知識來提高神經(jīng)機(jī)器翻譯模型的性能。研究結(jié)果表明,語言學(xué)知識的融合豐富了神經(jīng)機(jī)器翻譯模型可學(xué)到的翻譯信息,提高了神經(jīng)機(jī)器翻譯模型的性能。然而,語言學(xué)知識作為一種額外的、規(guī)則的、多樣的信息,如何與神經(jīng)機(jī)器翻譯模型進(jìn)行有機(jī)的、高效的融合,成為了神經(jīng)機(jī)器翻譯研究中的一個重要主題。因此,本文針對目前神經(jīng)機(jī)器翻譯模型中語言學(xué)知識引入效率低和引入的方式等問題進(jìn)行了研究。具體研究工作如下。1)針對神經(jīng)機(jī)器翻譯模型準(zhǔn)確度不高、長句子翻譯困難以及現(xiàn)有的語言學(xué)知識融合方式等問題,在編碼器神經(jīng)機(jī)器翻譯模型基礎(chǔ)上,本文提出了基于依存信息監(jiān)督的局部注意力機(jī)制下的神經(jīng)機(jī)器翻譯模型。本模型將語言學(xué)知識中的依存信息與局部注意力機(jī)制結(jié)合,使用語言學(xué)知識來提升注意力機(jī)制,從而將依存語法信息以更準(zhǔn)確更有效地方式融合進(jìn)神經(jīng)機(jī)器翻譯模型中來提升翻譯效果。2)針對語言學(xué)知識利用效率低下、在引用過程中增加額外成本等問題,在編碼器神經(jīng)機(jī)器翻譯模型基礎(chǔ)上,本文提出了基于多層注意力機(jī)制下的神經(jīng)機(jī)器翻譯模型。本模型改變了將語言學(xué)知識作為一種額外的信息機(jī)械的加入神經(jīng)機(jī)器翻譯模型中的方式,轉(zhuǎn)而嘗試將神經(jīng)機(jī)器翻譯模型自身學(xué)到的語言學(xué)知識充分地加以利用。本模型既利用了語言學(xué)知識,又不需要引入額外的語言學(xué)知識,以更有效更快速的方式提高了神經(jīng)機(jī)器翻譯模型.

視覺和模式識別等領(lǐng)域占據(jù)重要地位,圖像分類模型一般由圖像特征抽取、特征變換和增強(qiáng)、分類器訓(xùn)練等步驟組成。為了得到有效的特征表示,早期特征抽取主要采用手工設(shè)計方式,常常依賴于特征設(shè)計者的領(lǐng)域知識。隨著深度學(xué)習(xí)技術(shù)發(fā)展,更多圖像分類模型利用深度網(wǎng)絡(luò)進(jìn)行特征抽取。深度網(wǎng)絡(luò)特征既可以通過端到端訓(xùn)練的方式獲得,也可以利用大規(guī)模圖像庫上訓(xùn)練好的深度網(wǎng)絡(luò)在圖像上直接抽取。前者需要大量訓(xùn)練圖像來擬合網(wǎng)絡(luò)參數(shù),計算代價高;后者由于缺乏監(jiān)督信息的導(dǎo)引,其判別性仍需加強(qiáng)。作為一種有效的特征變換和增強(qiáng)技術(shù),特征編碼在圖像分類中得到快速發(fā)展,但在實際應(yīng)用中仍面臨不少挑戰(zhàn),如圖像類別多但帶標(biāo)簽訓(xùn)練樣本少、同類圖像變化大而非同類圖像區(qū)分度低、待識別類沒有訓(xùn)練樣本、圖像不同層級特征間編碼效率低、特征編碼算法運(yùn)行穩(wěn)定性差等。為應(yīng)對以上挑戰(zhàn),本文利用多種手工與深度網(wǎng)絡(luò)特征表示形式,開展了基于特征編碼的圖像分類技術(shù)研究,主要工作和創(chuàng)新點有:1、提出一種基于多層字典學(xué)習(xí)與特征編碼的圖像分類模型,將原圖像整體級手工或深度網(wǎng)絡(luò)特征轉(zhuǎn)換成深層編碼特征。與基于單層字典學(xué)習(xí)的特征編碼方法相比,所提模型能夠減少原圖像數(shù)據(jù)中噪聲影響,增強(qiáng)字典原子魯棒性,提高含噪圖像的分類效果。通過逐層字典學(xué)習(xí)與特征編碼實現(xiàn)原圖像特征的連續(xù)非線性投影變換,增大了非同類編碼系數(shù)特征的分離性。得益于分類器監(jiān)督訓(xùn)練和多層學(xué)習(xí)整合,充分挖掘了圖像數(shù)據(jù)中復(fù)雜的結(jié)構(gòu)信息,提升原圖像整體級特征的判別性。后,通過利用拉普拉斯圖矩陣來避免編碼特征中值的產(chǎn)生,減少了過擬合風(fēng)險及測試圖像分類誤差。與單層特征編碼方法和深度網(wǎng)絡(luò)模型相比,所提模型兼顧了圖像分類正確率與運(yùn)行效率,在多種基準(zhǔn)圖像庫上的實驗結(jié)果展示了優(yōu)異的分類性能。2、提出一種類稀疏分布編碼特征生成方法,實現(xiàn)了圖像樣本更好的分類。針對圖像分類中編碼特征生成機(jī)制問題,所提方法首先利用訓(xùn)練樣本類標(biāo)簽建立標(biāo)簽信息感知項,通過增強(qiáng)同類樣本編碼系數(shù)值、抑制非同.

1037237增量型編碼器的原理及應(yīng)用上海秉銘DFS60B-S4CA04000碼系數(shù)值,產(chǎn)生具有類一致稀疏分布的編碼特征;其次利用樣本局部結(jié)構(gòu)信息構(gòu)建圖正則化項,與類標(biāo)簽感知項共同作用既能生成更平滑的稀疏編碼特征,又可以學(xué)到魯棒的字典;另外引入支持向量分類器項,實現(xiàn)了非同類編碼特征的大間隔分離。以上各項在學(xué)習(xí)過程中相互作用和強(qiáng)化,終將原圖像特征變換成更適宜分類的類稀疏分布編碼特征。由于構(gòu)建的約束項均采用L2范數(shù),避免了耗時的L0/L1范數(shù)求解過程,使得所提方法能夠滿足圖像實時分類需求。實驗結(jié)果表明,所提方法產(chǎn)生的類稀疏分布編碼特征增強(qiáng)了各類原手工或深度網(wǎng)絡(luò)特征的判別性。3、針對歸納式和直推式零樣本圖像分類場景,分別提出兩種基于堆疊語義自編碼器的分類模型。在歸納式零樣本圖像分類場景中,非可見類測試圖像在訓(xùn)練階段不可獲取,此時如何將可見類數(shù)據(jù)中學(xué)習(xí)的知識遷移至非可見類數(shù)據(jù)中至關(guān)重要。為此,提出一種基于流形配準(zhǔn)的堆疊語義自編碼器模型,可以建立圖像特征空間、語義描述空間和類標(biāo)簽空間之間的緊致關(guān)系,縮小語義鴻溝;通過在模型中融入流形配準(zhǔn)項,有效*了類域鴻溝。與相關(guān)零樣本圖像分類方法相比,模型的泛化能力更強(qiáng),能夠在可見/非可見類數(shù)據(jù)間進(jìn)行高效知識遷移。針對非可見類測試圖像在訓(xùn)練階段可獲取的直推式分類場景,進(jìn)一步提出域感知堆疊語義自編碼器模型,由兩個存在知識交互的并列堆疊自編碼器組成,其中一個基于可見類訓(xùn)練圖像構(gòu)建,另一個用來擬合非可見類測試圖像。實驗結(jié)果顯示所提兩個“編碼—解碼”范式的零樣本圖像分類模型,在傳統(tǒng)和廣義分類效果評價準(zhǔn)則下均取得優(yōu)異性能。