故障現(xiàn)象
2022年8月24日,某運(yùn)營商反饋,阜陽A、淮南B、亳州C、宣城D等地市在中興通訊UPF升級(jí)改造后,通過大數(shù)據(jù)統(tǒng)計(jì)VoNR語音上行RTP的丟包率上升。
2022年9月1日,A、D兩地市的用戶反饋在漫游場(chǎng)景下VoNR語音呼叫質(zhì)差。
故障分析
大數(shù)據(jù)分析1.通過大數(shù)據(jù)觀察,在UPF完成升級(jí)改造后的地市,均出現(xiàn)VoNR語音上行RTP丟包率指標(biāo)質(zhì)差現(xiàn)象,質(zhì)差時(shí)間點(diǎn)與UPF升級(jí)改造時(shí)間點(diǎn)相近,平均每次升級(jí)會(huì)有約0.12%左右的上行丟包率增長。而EPSFB的上行RTP丟包率基本無變化。地市B和地市C的RTP丟包率分別如下圖所示。
2.大數(shù)據(jù)對(duì)于VoNR語音上行RTP丟包判斷條件:通過RTP頭攜帶的RTP序號(hào)進(jìn)行丟包分析,正常是連續(xù)的,出現(xiàn)跳變判斷為丟包。
3.現(xiàn)網(wǎng)VoNR的RTP音頻上行存在報(bào)文跳變不連續(xù),因此用戶的語音質(zhì)量感受會(huì)變差。
4.通過收集大數(shù)據(jù)高頻質(zhì)差用戶,進(jìn)行大量的跟蹤分析:a.用戶正常VoNR呼叫RTP上下行報(bào)文均連續(xù),幾乎沒有丟包或亂序跳變。b.用戶僅在切換、切換取消場(chǎng)景有少量跳變丟包,符合切換丟包范圍,非本次惡化關(guān)鍵原因。
用戶場(chǎng)景分析
5.匯總反饋語音呼叫質(zhì)差的用戶,其故障場(chǎng)景均表現(xiàn)為用戶跨市后進(jìn)行VoNR語音呼叫,此時(shí)常會(huì)出現(xiàn)通話質(zhì)量差、雜音大、以及單通等語音質(zhì)差特征。異常用戶在重新附著之后,業(yè)務(wù)恢復(fù)正常。此特征符合VoNR的RTP質(zhì)差惡化現(xiàn)象。
6.VoNR用戶漫游,屬于跨Pool,核心網(wǎng)流程上需要前插IUPF。
7.根據(jù)前述綜合分析,確認(rèn)VoNR用戶在前插IUPF時(shí)易出現(xiàn)故障現(xiàn)象。
8.跟蹤部分經(jīng)常漫游的VoNR語音用戶,確認(rèn)故障場(chǎng)景。
異常用戶信令分析
9.對(duì)跟蹤到的漫游異常呼叫信令進(jìn)行詳細(xì)分析:此用戶由地市C移動(dòng)到地市A后,進(jìn)行VoNR語音呼叫,前插地市A的UPF002做為前插IUPF,地市C的UPF002為AUPF,如下圖所示。
10.完成IUPF前插后,SMF會(huì)收到VoNR專載規(guī)則并準(zhǔn)備下發(fā)給UPF,其中RTP下發(fā)QoS速率為49kbps,RTCP下發(fā)QoS速率為3kbps,如下圖所示。
11.SMF將規(guī)則通過N4接口下發(fā)給UPF,其中RTP、RTCP各建兩個(gè)PDR關(guān)聯(lián)不同的QER限速策略。RTP、RTCP的匹配規(guī)則通過SDF進(jìn)行區(qū)分,如下圖所示。
12.對(duì)IUPF進(jìn)行數(shù)據(jù)跟蹤,發(fā)現(xiàn)上行RTP媒體流序列號(hào)發(fā)送不連續(xù),IUPF在處理時(shí)內(nèi)部丟包,通過內(nèi)部失敗觀察確認(rèn)丟包原因?yàn)樯闲邢匏?。由于限速RTP存在跳變,此時(shí)大數(shù)據(jù)上統(tǒng)計(jì)到的RTP上行丟包數(shù)將會(huì)增長,如下圖所示。
13.對(duì)上行RTP媒體流發(fā)送速率進(jìn)行測(cè)量,發(fā)現(xiàn)RTP發(fā)送速率無法超過3kbps,規(guī)則下發(fā)中RTP的速率為49kbps,說明上行RTP流被錯(cuò)誤的限速,如下圖所示。
14.通過上述信令分析得出結(jié)論:故障原因?yàn)閂oNR的RTP被錯(cuò)誤的限速。根據(jù)發(fā)送速率分析,RTP流限速規(guī)則(49kbps)錯(cuò)誤的關(guān)聯(lián)到RTCP流限速規(guī)則(3kbps)。因此RTP丟包,用戶語音呼叫中會(huì)有嚴(yán)重質(zhì)差感受。同時(shí)大數(shù)據(jù)RTP丟包率也會(huì)增長。根因分析15.VoNR呼叫IUPF、AUPF/UPF均會(huì)收到相同的規(guī)則,而IUPF會(huì)進(jìn)行錯(cuò)誤的限速,對(duì)IUPF與AUPF實(shí)現(xiàn)進(jìn)行詳細(xì)分析,確認(rèn)根因。16.AUPF/UPF作為錨點(diǎn),需要進(jìn)行DPI等深度報(bào)文識(shí)別匹配,因此在媒體流表建立時(shí)采用五元組方式,五元組可以精確識(shí)別媒體流信息,如下圖所示。
17.IUPF做為前插單元進(jìn)行GTP隧道轉(zhuǎn)發(fā),通常不需要對(duì)報(bào)文內(nèi)容進(jìn)行深度識(shí)別,為加快5G流量的高效轉(zhuǎn)發(fā)速率,改造升級(jí)后IUPF在媒體流表建立時(shí)采用了隧道信息建流方式,如修下圖所示。18.對(duì)于隧道建流方式,加速卡上會(huì)生成流表。第一個(gè)匹配上流表的媒體流業(yè)務(wù)會(huì)將規(guī)則信息下發(fā)給加速卡,加速卡對(duì)于后續(xù)匹配流表的媒體流都按此規(guī)則生效。19.通過數(shù)據(jù)信令跟蹤分析,VoNR前插異常會(huì)話均為先收到RTCP流,此時(shí)流表中QER的規(guī)則采用了3kbps限速。后續(xù)收到RTP消息時(shí),由于RTP/RTCP僅五元組發(fā)生變化隧道信息相同,因此RTP匹配相同的流表同樣采用3kbps的限速規(guī)則,如下圖所示。
影響范圍
20.由于VoNR語音業(yè)務(wù)在前插IUPF時(shí),會(huì)區(qū)分目的端口,下發(fā)不同的限速規(guī)則。而改造升級(jí)后UPF在做為IUPF時(shí),流表采用了GTP隧道建流方式,導(dǎo)致IUPF對(duì)RTP流錯(cuò)誤限速。21.經(jīng)分析,當(dāng)前僅會(huì)影響升級(jí)改造UPF區(qū)域,VoNR用戶漫游前插場(chǎng)景,有概率出現(xiàn)限速導(dǎo)致通話語音質(zhì)差。異常用戶在重新使用飛行模式后會(huì)本地接入,問題恢復(fù)。
故障處理
1.UPF執(zhí)行如下命令,關(guān)閉IMS APN的MBR限速功能,不再對(duì)語音業(yè)務(wù)進(jìn)行限流以解決本次問題。ADD QOSPROFILE:NAME="IMS",ULMBRSWITCH="DISABLE",DLMBRSWITCH="DISABLE" SET DNCFG:DNN="ims",QOS="IMS"
2.關(guān)閉IMS的MBR限速開關(guān)優(yōu)點(diǎn):a.可解決本次IUPF對(duì)RTP報(bào)文限速問題。b.IMS并非流量套餐、流量計(jì)費(fèi)業(yè)務(wù),不需要核心網(wǎng)對(duì)音頻流MBR進(jìn)行速率限制。關(guān)閉語音MBR 限制可對(duì)用戶帶來更佳語音感受。
3.中興通訊UPF再后續(xù)版本中需要優(yōu)化IUPF基于SDF實(shí)現(xiàn)流表規(guī)則匹配,以徹底解決此問題。