3D視覺+AI，打破藥盒盲文OCR讀取難題

近年來，隨著醫(yī)藥行業(yè)的快速發(fā)展，上游的制藥裝備行業(yè)也愈來愈受重視，一系列利好政策和相關(guān)標(biāo)準(zhǔn)不斷落地。制藥裝備業(yè)作為醫(yī)藥行業(yè)整體發(fā)展的重要抓手，將在國家醫(yī)藥衛(wèi)生水平整體進(jìn)步的過程中發(fā)揮更重要的作用。前幾年席卷全球的新冠病毒流行，更是助推了國內(nèi)整個制藥裝備行業(yè)將由中低端向高端方向轉(zhuǎn)型，制藥設(shè)備產(chǎn)業(yè)結(jié)構(gòu)升級勢在必行，提升自動化、數(shù)字化、智能化仍是接下來制藥設(shè)備行業(yè)發(fā)展的主要方向。

機(jī)器視覺技術(shù)在醫(yī)藥行業(yè)整體的升級轉(zhuǎn)型中有著不容忽視的地位。機(jī)器視覺技術(shù)在醫(yī)藥行業(yè)具體有哪些應(yīng)用？Teledyne?DALSA在該領(lǐng)域有哪些助力？面對中國機(jī)器視覺網(wǎng)記者的問題，Teledyne?DALSA視覺軟件部門高級技術(shù)工程師黃明進(jìn)行了詳細(xì)解答。

Teledyne?DALSA視覺軟件部門高級技術(shù)工程師黃明

相比于其他行業(yè)，醫(yī)藥及醫(yī)療行業(yè)一直都有著更高的行業(yè)標(biāo)準(zhǔn)，尤其在醫(yī)藥制造業(yè)。一直以來在整個醫(yī)藥制造流程，對醫(yī)藥質(zhì)量控制、跟蹤和追蹤過程都至關(guān)重要，新冠疫情大流行凸顯了疫苗質(zhì)量作為一個全球衛(wèi)生問題的重要性。

在制藥行業(yè)，機(jī)器視覺檢測的典型應(yīng)用與其他行業(yè)大抵相同，但每一項特定任務(wù)都需要制定更加嚴(yán)格的標(biāo)準(zhǔn)和規(guī)范。因此，作為質(zhì)控的一環(huán)，制造商必須確保生產(chǎn)的每一個步驟，從產(chǎn)品密封到膠囊型號再到瓶子印刷的批號，都需要確保在規(guī)定的標(biāo)準(zhǔn)范圍內(nèi)，特別是安全和保障方面的標(biāo)準(zhǔn)規(guī)范。

機(jī)器視覺在整個醫(yī)藥制造的各個環(huán)節(jié)中的應(yīng)用：

1、存在和缺失檢測

存在和缺失檢測旨在檢查某種特定屬性以及視覺系統(tǒng)是否能夠看到該屬性，此類檢測常用于藥品或醫(yī)療器械的包裝。制造商需要確保每件產(chǎn)品包裝妥當(dāng)，每個部件放置到位，無一遺漏。制造過程中就會用到存在和缺失檢測，以確保恰當(dāng)?shù)陌惭b每件產(chǎn)品。檢測可采用圖像匹配方式驗證是否存在訓(xùn)練后目標(biāo)。另一應(yīng)用實例是使用計數(shù)工具清點零件并記錄零件所在位置。

2、缺陷檢測
表面缺陷檢測工具可識別玻璃和金屬等表面的劃痕和裂紋。此類檢測對醫(yī)療器械檢測十分有用，提前發(fā)現(xiàn)缺陷可以節(jié)省生產(chǎn)成本。缺陷可以通過瑕疵形式進(jìn)行識別，例如小瓶或藥瓶中的灰塵或污垢的規(guī)格。

3、驗證—一維碼、二維碼的讀取和OCR（光學(xué)字符辨識）

讀碼與OCR在醫(yī)藥行業(yè)是十分重要的一個角色，由于印刷質(zhì)量差，對于大多數(shù)傳統(tǒng)OCR算法而言，很難保證讀取每個字符的準(zhǔn)確性。OCR讀取屬于人工智能的應(yīng)用場景之一，可以利用工具模型進(jìn)行人工智能推理，基于大量圖像進(jìn)行學(xué)習(xí)優(yōu)化分類、異常檢測、目標(biāo)檢測、分割、降噪等任務(wù)。OCR與人工智能技術(shù)集成后，無需對系統(tǒng)進(jìn)行所有字符的訓(xùn)練，就可圓滿完成檢測任務(wù)。

美國FDA發(fā)布的“條碼標(biāo)簽要求”中要求產(chǎn)品采用國家藥品代碼（NDC）標(biāo)識符編碼所采用的一維條碼進(jìn)行貼標(biāo)。FDA頒布的《藥品供應(yīng)鏈安全法案》中要求藥品采用含產(chǎn)品NDC的一維條碼進(jìn)行標(biāo)記。該法令還要求產(chǎn)品采用帶有NDC、序列號、批號和有效期的數(shù)據(jù)矩陣條碼進(jìn)行標(biāo)記。

為確保這些信息印刷清晰可讀，采用讀取一維條碼和二維碼（例如QR碼）或執(zhí)行OCR的掃描工具讀取標(biāo)簽上的字母和數(shù)字。通常，配備這些工具的機(jī)器是集成視覺解決方案的重要組成部分，可檢測一維碼和二維碼，從而確保有效期正確、印刷清晰、位置正確。這些掃描工具用于制藥行業(yè)的追溯、分類和過程控制，對于產(chǎn)品日期、批次代碼、包裝單元和劑量代碼的驗證以及滿足整個制藥供應(yīng)鏈的跟蹤和追蹤要求并符合FDA制定的《聯(lián)邦規(guī)章典集》第21篇（21 CFR）第11部的規(guī)定均十分重要。

4、測量

幾乎所有行業(yè)都會使用機(jī)器視覺作為質(zhì)量檢測工具，而在制藥行業(yè)中也是各種應(yīng)用均需要進(jìn)行準(zhǔn)確測量，例如測量醫(yī)用針頭或外科手術(shù)刀的尺寸。因此，需要利用機(jī)器視覺來精確測量一個零件的形狀和尺寸。如果任何零件的測量結(jié)果超出規(guī)定范圍，其后果可能危及生命。測量工具也可用于確定藥瓶或疫苗注射器的灌裝液位高度，或者驗證是否存在安全密封。

5、機(jī)器人引導(dǎo)

除了檢測物體外，機(jī)器視覺還可通過機(jī)器人引導(dǎo)對其進(jìn)行定位。這個過程包括定位和驗證機(jī)器人引導(dǎo)抓取應(yīng)用的零件，對裝配線上的零件進(jìn)行定位。在制藥行業(yè)中，定位工具可以對藥瓶瓶蓋進(jìn)行正確對位或正確放置注射器中的橡膠密封圈。

Teledyne DALSA機(jī)器視覺軟硬件，直面醫(yī)藥領(lǐng)域新挑戰(zhàn)

Teledyne DALSA公司有42年以上為機(jī)器視覺行業(yè)提供部件和解決方案的歷史，有著完備的相機(jī)產(chǎn)品線，從智能相機(jī)到視覺軟件，從面陣相機(jī)到線掃相機(jī)。在面陣相機(jī)方面，DALSA主要集中在高端高分辨率的面陣相機(jī)譬如，譬如5G接口，Cameralink接口的高達(dá)86M面陣相機(jī)，分辨率從30w 到8600w 像素。

Teledyne DALSA的線掃描相機(jī)追求更好的圖像質(zhì)量以及更高的相機(jī)分辨率，從1k到32K，從技術(shù)到應(yīng)用屬于全球前列水平，滿足了不同視覺項目的選型。同時在滿足高分辨率的前提下，又要提高相機(jī)的采集頻率，Teledyne DALSA針對不同型號的相機(jī)使用不同的傳輸接口，以滿足更高的傳輸帶寬需求。

黃明說：“視覺軟件在整個視覺項目中更像是人的大腦，負(fù)責(zé)處理圖像，和外設(shè)通訊的作用?！?強(qiáng)大的視覺軟件是所有視覺方案的基石。Teledyne DALSA的iNspect和Sherlock，基于幾十年在工業(yè)自動化各個制造領(lǐng)域的沉淀積累，建立了強(qiáng)大的客戶群體。

iNspect是一款簡單易用的機(jī)器視覺檢測軟件，無需編程與培訓(xùn)，簡單直接的設(shè)置過程讓用戶能夠快速配置和實施應(yīng)用，提供了一整套可隨時應(yīng)用于大批量檢測任務(wù)的工具，例如定位、測量、識別、驗證和瑕疵探測，對于精度計量到醫(yī)藥包裝等多種應(yīng)用領(lǐng)域十分友好。

Sherlock主要針對視覺工程師能夠應(yīng)對更為負(fù)責(zé)的視覺項目，是更強(qiáng)大高級機(jī)器視覺軟件。包含2D圖像的處理工具，3D點云圖像的處理，同時集成了人工智能AI工具來應(yīng)對更負(fù)責(zé)的項目。

3D+AI，打破藥盒盲文OCR讀取難題

藥品容器上印刷質(zhì)量差的藥品說明書可能會讓患者面臨巨大風(fēng)險，比如錯過續(xù)藥日期、吞錯藥片或服用過期藥物。這些風(fēng)險對盲人來說更具挑戰(zhàn)性，他們必須閱讀盲文才能理解處方名稱、劑量說明和其他標(biāo)簽信息等。

從本質(zhì)上來說，盲點很難閱讀。一般的盲文高度只有0.2毫米，在已印刷的字符表面形成凸點，對大多數(shù)視覺技術(shù)來說，檢測盲文質(zhì)量極具挑戰(zhàn)性。此外，在字符背景下讀取盲文使問題更加復(fù)雜。

Teledyne DALSA開發(fā)了一種特殊的盲文視覺檢測系統(tǒng)，該系統(tǒng)使用帶有面掃描攝像頭的VICORE智能視覺系統(tǒng)的形狀陰影技術(shù)，以及Sherlock形狀陰影算法，從背景復(fù)雜的盲文中獲取對比度較高的3D效果圖像。然后，Sherlock應(yīng)用預(yù)處理程序優(yōu)化盲文點的殘缺形狀，從而使OCR算法能夠讀取盲文字符。

隨著3D技術(shù)及AI技術(shù)的深入發(fā)展，Teledyne?DALSA也發(fā)布相關(guān)的人工智能AI軟件及3D相機(jī)，開始應(yīng)用到醫(yī)療的各個應(yīng)用環(huán)節(jié)，比如人工智能AI 利用工具模型進(jìn)行人工智能推理。如分類、異常檢測、目標(biāo)檢測、分割、降噪等任務(wù)都可以基于大量圖像進(jìn)行學(xué)習(xí)優(yōu)化，其中一個應(yīng)用場景是支持OCR讀取。例如，由于印刷質(zhì)量差，對于大多數(shù)傳統(tǒng)OCR算法而言，很難保證讀取每個字符的準(zhǔn)確性。OCR與人工智能技術(shù)集成后，無需對系統(tǒng)進(jìn)行所有字符的訓(xùn)練，就可圓滿完成檢測任務(wù)。

Teledyne DALSA的圖像傳感器、相機(jī)、智能相機(jī)、圖像采集卡、軟件和視覺解決方案是全球多個行業(yè)的數(shù)千個檢測系統(tǒng)的核心。醫(yī)藥行業(yè)在在產(chǎn)品識別、分類和驗證方面，是要求最高的行業(yè)應(yīng)用之一，生產(chǎn)、包裝或?qū)ψ匪莘矫娴馁|(zhì)量檢測錯誤可能會造成人員傷害或死亡。這些都凸顯了使用最佳檢測工具和方法的重要性。