探析微信“圖片大爆炸”背后的圖片文字提取技術(shù)和相關(guān)專利 ?

#本文僅代表作者觀點，不代表IPRdaily立場，未經(jīng)作者許可，禁止轉(zhuǎn)載#

“一文帶你了解微信是如何做到準(zhǔn)確提取圖片文字的。”

來源：IPRdaily中文網(wǎng)（iprdaily.cn）

作者：李文軍

最近，微信在安卓8.0.24正式版更新了新功能，名為“圖片大爆炸”。該功能通過長按圖片，可以提取到圖片上的文字進(jìn)行后續(xù)的復(fù)制粘貼以及搜索等操作，有效地解決了以往用戶在使用過程中經(jīng)常遇到的電話號碼、快遞單號、網(wǎng)址等信息以圖片的形式得到而又無法直接使用、需要手動輸入的窘迫情形。

圖1 微信對話場景

1、使用微信“圖片大爆炸”功能進(jìn)行圖片文字提取

微信圖片文字提取功能的操作及界面如圖2-圖4所示：

點開需要提取文字的圖片，長按屏幕上對應(yīng)該圖片的位置，即可出現(xiàn)文字提取操作選擇界面；

圖2 長按圖片導(dǎo)出“提取文字”操作界面

在彈出對話框中選擇“提取文字”操作圖標(biāo)，即可在屏幕圖片上的文字進(jìn)行識別或進(jìn)一步地進(jìn)行文字涂抹選擇；

圖3 進(jìn)行圖片文字提取

選擇并用手指涂抹想要使用的字段即可供用戶輕松的進(jìn)行“呼叫”、“添加到通訊錄”、“復(fù)制”、“搜一搜”、“轉(zhuǎn)發(fā)”以及“收藏”等操作。

圖4 提取出文字支持進(jìn)一步操作

通過簡單的幾個步驟就可以輕松地實現(xiàn)圖片上文字的提取，不管是字母、數(shù)字，還是文字，都可以輕松識別和提取，進(jìn)行復(fù)制粘貼以及搜索等操作。用戶使用微信時再也不會遇到圖片上的電話號碼、快遞單號、網(wǎng)址等需要手動輸入的窘迫情形。

這一問題的解決大大提高了用戶對微信的使用體驗，隨之而來的是，越來越多的用戶對這項技術(shù)產(chǎn)生興趣。

那么微信是如何做到準(zhǔn)確提取圖片文字的呢？帶著這個問題，筆者對騰訊的圖片文字提取技術(shù)相關(guān)專利進(jìn)行了檢索和分析。

2、騰訊圖片文字提取技術(shù)專利分析

通過對騰訊的圖片文字提取技術(shù)相關(guān)專利檢索發(fā)現(xiàn)，騰訊早在微信“圖片大爆炸”功能推出之前就已經(jīng)布局了大量的專利，從2015年至今共布局了36件發(fā)明專利。從專利年申請量方面來看，近兩年明顯較早期多，從授權(quán)狀況（授權(quán)專利按照申請年統(tǒng)計，若某件專利2016年申請，2017年授權(quán)，該授權(quán)量統(tǒng)計計入2016年）方面來看，騰訊的圖片文字提取技術(shù)相關(guān)專利大部分處于審查狀態(tài)中，2016年授權(quán)率達(dá)到66.67%。較多相關(guān)技術(shù)的積累和專利布局奠定了如今微信“圖片大爆炸”功能的問世。

圖5 騰訊在圖片文字提取技術(shù)領(lǐng)域的專利申請趨勢及授權(quán)狀況（申請量:件）

從專利布局的角度研判企業(yè)的市場重心，騰訊的36件圖片文字提取相關(guān)專利主要布局在中國和中國香港，同時通過PCT途徑申請專利。

圖6 騰訊在圖片文字提取技術(shù)領(lǐng)域的專利布局地域分布（單位：件）

從專利技術(shù)分布的角度研究企業(yè)的優(yōu)勢技術(shù)，騰訊的36件專利涉及24項專利技術(shù)，主要解決識別的準(zhǔn)確性、成本、文本內(nèi)容的私密性以及文本識別過程中文本的翻譯效率四個技術(shù)問題。

圖7 騰訊在圖片文字提取技術(shù)領(lǐng)域的專利技術(shù)功效分布

1) 騰訊聚焦于如何提高圖片文字識別準(zhǔn)確率的技術(shù)問題，申請了20項專利，主要的技術(shù)手段為通過文字檢測技術(shù)手段對圖片中的文字進(jìn)行檢測和分析，以及對文本圖像進(jìn)行圖像優(yōu)化和圖像分割的處理。其中，專利CN108830186B采用圖像優(yōu)化的技術(shù)手段，通過從文本圖像中選取已知背景區(qū)域，對于文本圖像中已知背景區(qū)域以外的剩余區(qū)域，采用插值算法分別計算這些剩余區(qū)域的背景像素值；根據(jù)該區(qū)域的背景像素值確定文本圖像的背景像素值；根據(jù)文本圖像的原始像素值和背景像素值，對文本圖像進(jìn)行背景減除，得到文本圖像的內(nèi)容圖像。這種技術(shù)可以克服陰影、邊角雜質(zhì)、紙張顏色等對提取文本內(nèi)容的影響，使得最終得到的內(nèi)容圖像中的文本內(nèi)容更加準(zhǔn)確、清晰。

圖8 專利CN108830186B文字圖像背景減除過程示意圖

再如專利CN111914825A采用文字檢測的技術(shù)手段，通過獲取包括待識別文字（包括至少一個字符組〔字符組包括至少一個字符〕）的待識別圖像，從待識別圖像中提取圖像特征，并根據(jù)圖像特征確定待識別文字所對應(yīng)候選文字的第一編碼序列以及第一概率；根據(jù)候選文字的第二編碼序列，獲取候選文字對應(yīng)的第二概率；根據(jù)第一概率和第二概率，從各候選文字的第一編碼序列中確定待識別文字對應(yīng)的目標(biāo)編碼序列，并將目標(biāo)編碼序列所表示的候選文字確定為待識別文字的識別結(jié)果。如此，可以有效降低字符組識別出錯的幾率，進(jìn)而降低待識別文字識別出錯的幾率。

圖9 專利CN111914825A中待識別文字組成示意圖

2) 降低成本方面的專利有1項，通過圖像優(yōu)化的技術(shù)手段實現(xiàn)降低成本。

專利CN108304839B，生成目標(biāo)圖像對應(yīng)的單色分量圖像，并根據(jù)每個單色分量圖像中的角點和端點，在目標(biāo)圖像中劃分待識別區(qū)域，并基于分類器，計算每個待識別區(qū)域分別對應(yīng)的文字識別概率，并根據(jù)文字識別概率在待識別區(qū)域中識別文字區(qū)域。由于識別角點和端點的過程和計算文字識別概率的過程均可以在大多數(shù)用戶終端中實現(xiàn)，所以無需部署云端服務(wù)器即可在用戶終端側(cè)完成對文字區(qū)域的準(zhǔn)確識別，從而降低了實現(xiàn)成本，也可避免與云端服務(wù)器進(jìn)行數(shù)據(jù)傳輸，降低網(wǎng)絡(luò)流量的消耗。

圖10 專利CN108304839B文字圖像單色疊加過程示意圖

3) 提高文本內(nèi)容私密性方面的專利有2項，分別通過文字檢測和圖像分割的技術(shù)手段對圖像文字進(jìn)行分類，并加以處理以防范敏感信息的泄露，提高私密性。

例如專利CN111062389A，在通過負(fù)樣本區(qū)域訓(xùn)練得到用于文字識別的第一模型之后，可以在文本區(qū)域中包含敏感信息時直接輸出設(shè)定、輸出信息，進(jìn)而從模型層面避免了識別出文字之后再甄別而造成的敏感信息泄露的風(fēng)險，提高了信息的私密性。

圖11 專利CN111062389A文字識別敏感信息甄別過程示意圖

4) 提高翻譯效率方面的專利有1項，專利CN112183122A采用文字檢測的技術(shù)手段對圖片進(jìn)行文字識別，通過對目標(biāo)圖片進(jìn)行文字識別，得到的文字信息包括至少兩個語種的文字（包括語種不為目標(biāo)語種的文字的情況），對該文字信息中的語種不為目標(biāo)語種的文字進(jìn)行機(jī)器翻譯，得到并顯示目標(biāo)語種的文字信息，達(dá)到了不用手工輸入即可對外文文字進(jìn)行翻譯的目的，從而實現(xiàn)了提高外文文字翻譯效率的技術(shù)效果，進(jìn)而解決了由于現(xiàn)有技術(shù)中翻譯軟件需要人工輸入，造成的外文文字翻譯效率低的技術(shù)問題。

圖12 專利CN112183122A文字識別翻譯示意圖

結(jié)語

騰訊在圖片文字提取技術(shù)領(lǐng)域申請了較多的專利，聚焦于如何提高圖片文字識別準(zhǔn)確率的技術(shù)問題，進(jìn)行了較為全面的技術(shù)研發(fā)和專利布局，具有比較明顯的技術(shù)優(yōu)勢。能在實現(xiàn)圖片文字提取功能的基礎(chǔ)上保持高的圖片文字識別準(zhǔn)確率，使得微信的圖片文字識別功能更貼合用戶的使用需求和體驗。

（原標(biāo)題：探析微信“圖片大爆炸”背后的圖片文字提取技術(shù)和相關(guān)專利）

來源：IPRdaily中文網(wǎng)（iprdaily.cn）

作者：李文軍

編輯：IPRdaily趙甄          校對：IPRdaily縱橫君

注：原文鏈接：探析微信“圖片大爆炸”背后的圖片文字提取技術(shù)和相關(guān)專利 （點擊標(biāo)題查看原文）

「關(guān)于IPRdaily」

IPRdaily是全球領(lǐng)先的知識產(chǎn)權(quán)綜合信息服務(wù)提供商，致力于連接全球知識產(chǎn)權(quán)與科技創(chuàng)新人才。匯聚了來自于中國、美國、歐洲、俄羅斯、以色列、澳大利亞、新加坡、日本、韓國等15個國家和地區(qū)的高科技公司及成長型科技企業(yè)的管理者及科技研發(fā)或知識產(chǎn)權(quán)負(fù)責(zé)人，還有來自政府、律師及代理事務(wù)所、研發(fā)或服務(wù)機(jī)構(gòu)的全球近100萬用戶（國內(nèi)70余萬+海外近30萬），2019年全年全網(wǎng)頁面瀏覽量已經(jīng)突破過億次傳播。

（英文官網(wǎng)：iprdaily.com  中文官網(wǎng)：iprdaily.cn） 

本文來自IPRdaily中文網(wǎng)（iprdaily.cn）并經(jīng)IPRdaily.cn中文網(wǎng)編輯。轉(zhuǎn)載此文章須經(jīng)權(quán)利人同意，并附上出處與作者信息。文章不代表IPRdaily.cn立場，如若轉(zhuǎn)載，請注明出處：“http://islanderfriend.com”