IP網絡中的語音處理主要需解決兩個問題：是在保證一定語音質量的前提下盡可能降低編碼比特率；二是在IP網絡環境下保證一定的通話質量。前者主要是語音編碼技術和靜音檢測；后者包括分組丟失補償、消除抖動和回波抵消技術
1、低比特率語音編碼
選擇語音編碼算法需要考慮四個方面的問題：編碼比特率、語音質量、時延和算法復雜度。一般說來這些指標是有矛盾的，比特率越低，線路利用率越高，但語音質量會受到影響；在同樣比特率情況下，算法設計越復雜，語音質量會有所提高，但處理時延將增加。因此，采用什么類型的編碼方案和算法，要根據實際需要在上述四個指標中取得某種折中目前在PSTN中廣泛應用的是PCM語音編碼，采用的是波形編碼技術，PCM語音編碼的比特率為64kbit/s，受波形編碼類型技術的限制，一般說來，這類編碼的最低比特率為32kbit/s，即 ADPCM。若要進一步降低其比特率，特別是要實現低于16kbit/s的低比特率編碼，必須采用新的編碼技術。網絡電話采用參數編碼技術，參數編碼通過模擬人的發聲器官，提取模型參數來降低語音信息編碼率。這種技術很早就提出了，過去由于算法過于復雜而無法實用，直至高性能的數字信號處理(DSP)專用芯片的研制成功才使其得到廣泛的使用。目前網絡電話一般使用ITUT定義的低比特率編碼標準，其比特率為5.3~16kbi/s，均為中、低復雜度編碼算法，語音分組長度在30ms以下，語音質量較好。
目前，主要采用的網絡電話編碼技術有ITUT定義的G.729、G.723(G.723.1)等其中G.729可將經過采樣的64kbit/s語音以幾乎不失真的質量壓縮至8kbit/s，很適合在VoIP系統中使用。G.723.1采用5.3/6.3kbit/s雙速率語音編碼，其語音質量好，但是處理時延較大，它是目前已標準化的最低速率的語音編碼算法
2、靜音檢測
用戶打電話時，并不是總在占用通話信道，雙方都有講話的時間、聽對方講話的時間思考停頓的時間以及在講話過程中的停頓時間。根據傳統電話業務的統計，一方用戶實際占用通話信道的時間不會超過整個通話時間的40%。在網絡電話業務中也存在這個問題。由于網絡電話業務是將語音信號轉化為語音分組發送，在用戶沒有講話時，可以不發送語音分組，從而進一步降低語音比特率。這是通過檢測用戶是否發音來實現的，即當用戶的語音信號能量低于一定門限值時就認為是靜默狀態，不再發送語音分組。在進行靜音檢測時有兩個問題需要注意：一是背景噪聲問題，即如何在較大的背景噪聲中檢測靜音；二是“前后沿剪切”( clipping)問題。所謂前后沿剪切就是還原語音時，由于從用戶開始講話到編碼器檢測到語音信號之間有一定的判斷門限和時延，有時語音波形的開始和結束部分會作為靜音被丟掉，因此需要在突發語音分組前面或后面增加一個語音分組進行平滑以解決這一問題。
在實際使用中，如果出現長時間的靜默，會使用戶感到很不自然。因此實際上發送端常常會在靜音期間發送反映背景噪聲特點的分組，使接收端能生成背景噪聲，即所謂的舒適噪聲。
3、分組丟失補償
IP網絡是按照“盡力傳送”的原則傳送分組，它無法避免由于傳輸時延或網絡擁塞等原因造成分組被丟棄，有時線路誤碼或者網絡路由故障也會導致分組丟失。由于接收端網關的低比特率聲碼器采用線性預測編碼技術，其當前值是通過以前的歷史值線性組合而得，因此在丟失一個語音分組時，可通過內插的方法近似地恢復丟失分組。ITUT定義的標準語音編碼的建議中，已經在解碼器部分中包含了分組丟失補償這功能。但在實際使用中，如果網絡電話語音分組連續丟失兩個以上，則表明此時網絡連接狀態很差，即使使用分組丟失補償功能，通話效果也會比較差，但由于語音通信對分組丟失的容忍度遠比數據通信強，所以一般情況下通話質量仍然可以接受。
4、回波抵消
對于PC到PC的通話來說，由于語音信號的接收和發送經由不同的物理線路，因此不存在回音的問題。如果IP網和PSTN互連，通信雙方至少有一方是二線制電話，涉及有混合線圈的2/4線轉換電路，就會產生回音。其原理如圖1-2-1所示。從理論上說，當混合線圈的阻抗完全平衡時，混合線圈對端間的阻抗應為無窮大，這樣網絡電話發出的語音信號只能送到PSTN電話，不會串到對端?？墒菍嶋H上混合線圈很難做到完全平衡，這樣一部分信號將漏到對端返回網絡電話，如果傳輸時延較長，發話者就會感到明顯的回聲，嚴重干擾通話。由于IP網絡時延較大，因此必須采用回波控制。
回波產生機理
目前回波控制均采用回波抵消方法，即通過自適應方法估計回波信號的大小，然后在接收信號中減去此估計值。這種方法雖然比較復雜，但是已有專用芯片推出，因此得到廣泛的應用。在IP網絡和PSTN互通的情況下，回波抵消功能一般由網關完成。
5、處理語音時延抖動的技術
IP網絡的一個特征就是網絡時延與網絡時延抖動，這可能導致IP電語音質下降。網絡時延是指一個IP包在網絡上傳輸平均所需的時間，網絡時延抖動是指IP包傳輸時間的長短變化。為了消除時延抖動，一般采用抖動緩沖技術，即在接收端設定一個較大的緩沖池緩存接收到的語音包，然后從緩沖池中均勻地取出語音包解壓，播放給受話者。這種緩沖技術可以在一定限度內有效地處理語音時延抖動，并提高音質；但這又會帶來附加的時延。
