一般智能語(yǔ)音助理或語(yǔ)音機(jī)器人工作原理大致如下:
第一階段:
語(yǔ)音到文本的過(guò)程。信號(hào)源→設(shè)備(捕獲音頻輸入)→增強(qiáng)音頻輸入→檢測(cè)語(yǔ)音→轉(zhuǎn)換為其他形式(如文本)
第二階段:
響應(yīng)過(guò)程。處理文本(如用NLP處理文本,識(shí)別意圖)→操作響應(yīng)。
在檢測(cè)語(yǔ)音過(guò)程中,就包括分辨是否為語(yǔ)音信號(hào),該過(guò)程會(huì)通過(guò)指定的頻率對(duì)模擬信號(hào)進(jìn)行采樣,將模擬聲波轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)。這一過(guò)程很重要,是否成功地識(shí)別語(yǔ)音。如果生成數(shù)字?jǐn)?shù)據(jù)都是錯(cuò)誤的,那么后期的處理響應(yīng)那肯定是錯(cuò)的。這也是影響智能語(yǔ)音助理或語(yǔ)音機(jī)器人識(shí)別率的重要因素。
在這個(gè)過(guò)程,用于語(yǔ)音處理的技術(shù)是語(yǔ)音活性檢測(cè) (Voice activity detection,VAD),目的是檢測(cè)語(yǔ)音信號(hào)是否存在。 VAD技術(shù)主要用于語(yǔ)音編碼和語(yǔ)音識(shí)別。它可以簡(jiǎn)化語(yǔ)音處理,也可用于在音頻會(huì)話期間去除非語(yǔ)音片段:可以在IP電話應(yīng)用中避免對(duì)靜音數(shù)據(jù)包的編碼和傳輸,節(jié)省計(jì)算時(shí)間和帶寬。
文本將與大家分享VAD技術(shù),首先講兩個(gè)概念:
信噪比(縮寫(xiě)為SNR或S / N)是科學(xué)和工程中使用的一種度量,它將所需信號(hào)的電平與背景噪聲電平進(jìn)行比較。
SNR定義為信號(hào)功率與噪聲功率之比,通常以分貝表示。比率高于1:1(大于0 dB)表示信號(hào)多于噪聲。
窗口,研究信號(hào)源,我們將其分成滑動(dòng)窗口或僅窗口。
編輯
能量檢測(cè)器
能量檢測(cè)器對(duì)于高SNR信號(hào)是有效的,但是當(dāng)SNR下降直到它在1以下變得無(wú)效時(shí)失去效率。它也不能將語(yǔ)音與諸如沖擊噪聲(將筆放在桌子上),打字,空調(diào)或任何噪聲之類的噪聲區(qū)分開(kāi)來(lái)。比人聲更響亮或更響亮。
波形和頻譜分析
在波形和頻譜分析中,語(yǔ)音活動(dòng)檢測(cè)利用語(yǔ)音的已知特征。在該方法中應(yīng)用VAD比基于能量的解決方案更加計(jì)算密集,但是能夠更好地檢測(cè)非平穩(wěn)噪聲和低SNR場(chǎng)景中的噪聲。
對(duì)于濁音音素,聲帶的振動(dòng)產(chǎn)生諧波豐富的聲音,具有50到250 Hz之間的明顯音調(diào)。所有元音,但也有一些輔音,表現(xiàn)出這種諧波結(jié)構(gòu),因此是語(yǔ)音的特征。代表諧波結(jié)構(gòu)的特征是語(yǔ)音的可靠指標(biāo)。然而,單獨(dú)使用基于諧度或基于音調(diào)的特征不能預(yù)期無(wú)聲語(yǔ)音部分(例如一些摩擦音)被檢測(cè)到。此外,音樂(lè)或其他諧波噪聲分量可能被誤解為語(yǔ)音。
總的來(lái)說(shuō),對(duì)信號(hào)的倒譜的分析可以揭示信號(hào)能量的來(lái)源。
同樣的,基于該共振峰結(jié)構(gòu),也是語(yǔ)音識(shí)別系統(tǒng)的重要特征。人類聲道中的可變腔允許揚(yáng)聲器形成不同的音素。強(qiáng)調(diào)諧振(或共振峰)頻率,導(dǎo)致頻譜包絡(luò)的特征形狀。
平滑很重要,在一個(gè)對(duì)話中,一個(gè)人只有50%的時(shí)間在說(shuō)話,并且存在大量非活動(dòng)幀。諸如[p] [t] [k] [b]之類的音是靜音,并且靜音部分可能不會(huì)被算法識(shí)別為語(yǔ)音,這將影響自動(dòng)語(yǔ)音識(shí)別系統(tǒng)的性能。
解決方案如下:
要被視為語(yǔ)音,必須至少有3個(gè)連續(xù)的窗口標(biāo)記語(yǔ)音(192ms)。它可以防止短暫的噪音被視為語(yǔ)音。
要被認(rèn)為是沉默,必須至少連續(xù)3個(gè)窗口標(biāo)記為靜音。它可以防止過(guò)多的語(yǔ)音切入影響語(yǔ)音節(jié)奏。
如果窗口被認(rèn)為是語(yǔ)音,則前3個(gè)窗口和3個(gè)窗口被認(rèn)為是語(yǔ)音。它可以防止在句子開(kāi)頭和結(jié)尾丟失信息。
基于統(tǒng)計(jì)分析
MFCC,F(xiàn)BANK,PLP是最常用的語(yǔ)音識(shí)別功能。有數(shù)學(xué)運(yùn)算的連接,旨在通過(guò)保持最相關(guān)的數(shù)據(jù)來(lái)減少和壓縮信息的數(shù)量。
在“信號(hào)源→設(shè)備(捕獲音頻輸入)→增強(qiáng)音頻輸入→檢測(cè)語(yǔ)音”過(guò)程中,語(yǔ)音成功采樣識(shí)別為數(shù)字?jǐn)?shù)據(jù),是后期語(yǔ)言處理的前提,在檢測(cè)中文面臨更大挑戰(zhàn),斷句、語(yǔ)氣、語(yǔ)調(diào)等因素直接影響識(shí)別率。
因此,語(yǔ)音活性檢測(cè)會(huì)影響電話機(jī)器人的識(shí)別率。