#文章由作者授權(quán)發(fā)布,未經(jīng)作者許可,禁止轉(zhuǎn)載,不代表IPRdaily立場#
原標(biāo)題:適合專利代理師看的神經(jīng)網(wǎng)絡(luò)模型
作為一個(gè)在籃球界深耕近二十年的專利代理師,經(jīng)常和同事吐槽工作中的各種正經(jīng)和不正經(jīng)的事(說到這里是不是以為筆者又要開始不正經(jīng)了),好的,筆者要開始正經(jīng)地扒“神經(jīng)網(wǎng)絡(luò)模型到底是怎么煉成的了”(大牛們看到這里就可以了,此文是專利代理師特供)。
神經(jīng)網(wǎng)絡(luò)模型是什么?
神經(jīng)網(wǎng)絡(luò)模型通常被視為聰明(無所不能)的黑盒子,給它喂什么樣的標(biāo)記樣本,它就能具備識(shí)別同類樣本的能力,但是執(zhí)著、較真、視客戶為上帝(負(fù)責(zé)任)的專利代理師是不會(huì)允許自己撰寫的專利文稿這么淺薄的,都恨不得把黑盒子拆開一個(gè)個(gè)分析其內(nèi)部每一部分的結(jié)構(gòu)、這部分結(jié)構(gòu)所提取的特征、它的權(quán)重是多少,說到這里,專利代理師是不是又要開始問:
神經(jīng)網(wǎng)絡(luò)模型到底是什么?
以神經(jīng)網(wǎng)絡(luò)模型從圖像中識(shí)別大白兔為例,其識(shí)別大白兔的大致過程是:將圖像分割成若干圖像塊,提取每個(gè)圖像塊具有的局部特征,再將這些圖像塊的局部特征匯總成全局特征,進(jìn)而完成大白兔的識(shí)別。整個(gè)過程中,神經(jīng)網(wǎng)絡(luò)模型的工作可以分成如下幾個(gè)主要步驟:
步驟1,卷積層提取特征
例如,上述待識(shí)別圖像大小為7*7,每個(gè)像素點(diǎn)內(nèi)都存儲(chǔ)著圖像的顏色值(如左側(cè)視圖),然后通過一個(gè)卷積核(如中間視圖,相當(dāng)于權(quán)重)從圖像中提取特征,卷積核與數(shù)字矩陣對應(yīng)位相乘再相加,得到卷積層輸出結(jié)果(如右側(cè)視圖)。
上述卷積核每和一個(gè)3*3的圖像塊完成卷積(此圖和上圖的卷積核不同,原諒筆者盜圖o(╯□╰)o)后向右移動(dòng)一個(gè)像素點(diǎn),下圖示出了以步長為1(即每次卷積完后移動(dòng)一個(gè)像素)的完整卷積過程,當(dāng)所有的像素點(diǎn)都至少被覆蓋一次后,就可以產(chǎn)生一個(gè)卷積層的輸出:
神經(jīng)網(wǎng)絡(luò)模型初始時(shí)并不知道要識(shí)別哪些特征,而是通過比較不同卷積核的輸出來確定哪一個(gè)卷積核(該卷積核所識(shí)別的特征即所需的最能表現(xiàn)該圖像的特征),比如要識(shí)別圖像中曲線這一特征,那么某個(gè)卷積核的輸出值越高,就說明該卷積核與曲線這一特征的匹配程度就越高,越能表現(xiàn)該曲線特征。
當(dāng)上述卷積核識(shí)別到大白兔屁股(就是傳說中的曲線)的時(shí)候,卷積核與大白兔屁股區(qū)域數(shù)字矩陣相乘后輸出較大,而在該卷積核識(shí)別大白兔的耳朵的時(shí)候,輸出則可能很小。
此時(shí)就可以將這個(gè)卷積核保存用來識(shí)別曲線特征,采用同樣的方式能找出識(shí)別大白兔其他部位(特征)的卷積核,在此過程中,卷積層在訓(xùn)練時(shí)通過不斷的改變所使用的卷積核,來從中選取出與圖片特征最匹配的卷積核,進(jìn)而在圖片識(shí)別過程中利用這些卷積核的輸出來確定對應(yīng)的圖片特征。
步驟2,池化層處理
卷積層輸出的特征作為池化層的輸入,由于卷積核數(shù)量眾多,輸入的特征維度也很大,為了減少需要訓(xùn)練的參數(shù)數(shù)量和減小過擬合現(xiàn)象(過擬合時(shí)模型會(huì)過多的去注重細(xì)節(jié)特征,而不是共性特征,導(dǎo)致識(shí)別準(zhǔn)確率下降),可以只保留卷積層輸出的特征中有用的特征,而消除其中屬于噪聲的特征,既能減少噪聲傳送,還能降低特征維度。
池化層常見的兩種處理方式是:
最大池化(以步長為2示意):
均值池化:
步驟3,全連接層處理
全連接層(fullyconnected layers,F(xiàn)C)在整個(gè)神經(jīng)網(wǎng)絡(luò)模型中相當(dāng)于“分類器”,通過卷積層和池化層的操作可將原始數(shù)據(jù)映射到隱層特征空間,全連接層將學(xué)到的“分布式特征表示”映射到樣本標(biāo)記空間,即對于卷積層和池化層提取的有用的圖像特征(即局部特征),全連接層利用這些有用的圖像特征進(jìn)行分類,利用激活函數(shù)對匯總的局部特征進(jìn)行一些非線性變換,得到輸出結(jié)果。
說到這里,是不是覺得神經(jīng)網(wǎng)絡(luò)模型不僅僅是在獨(dú)立權(quán)利要求中寫個(gè)黑盒子就完了吧,不要說筆者沒有給出提示哦,對于不同的場景,識(shí)別過程中用到的卷積核、特征、各層的參數(shù)以及訓(xùn)練中卷積核的選擇、參數(shù)的訓(xùn)練、激活函數(shù)的作用都是不同的,利用這些不同可以完美地環(huán)繞在黑盒子周圍,保護(hù)著黑盒子(咳咳,未完待續(xù))。
來源:康信知識(shí)產(chǎn)權(quán)微信平臺(tái)
作者:曾軍
編輯:IPRdaily王穎 校對:IPRdaily縱橫君
推薦閱讀(點(diǎn)擊圖文,閱讀全文)
倒計(jì)時(shí)!2019年“知識(shí)產(chǎn)權(quán)服務(wù)萬里行”四川站,重磅來襲!
開年重磅!尋找40位40歲以下企業(yè)知識(shí)產(chǎn)權(quán)精英(40 Under 40)
“投稿”請投郵箱“iprdaily@163.com”
「關(guān)于IPRdaily」
IPRdaily成立于2014年,是全球影響力的知識(shí)產(chǎn)權(quán)媒體+產(chǎn)業(yè)服務(wù)平臺(tái),致力于連接全球知識(shí)產(chǎn)權(quán)人,用戶匯聚了中國、美國、德國、俄羅斯、以色列、澳大利亞、新加坡、日本、韓國等15個(gè)國家和地區(qū)的高科技公司、成長型科技企業(yè)IP高管、研發(fā)人員、法務(wù)、政府機(jī)構(gòu)、律所、事務(wù)所、科研院校等全球近50多萬產(chǎn)業(yè)用戶(國內(nèi)25萬+海外30萬);同時(shí)擁有近百萬條高質(zhì)量的技術(shù)資源+專利資源,通過媒體構(gòu)建全球知識(shí)產(chǎn)權(quán)資產(chǎn)信息第一入口。2016年獲啟賦資本領(lǐng)投和天使匯跟投的Pre-A輪融資。
(英文官網(wǎng):iprdaily.com 中文官網(wǎng):iprdaily.cn)
本文來自康信知識(shí)產(chǎn)權(quán)微信平臺(tái)并經(jīng)IPRdaily.cn中文網(wǎng)編輯。轉(zhuǎn)載此文章須經(jīng)權(quán)利人同意,并附上出處與作者信息。文章不代表IPRdaily.cn立場,如若轉(zhuǎn)載,請注明出處:“http://islanderfriend.com/”
2019年知識(shí)產(chǎn)權(quán)服務(wù)業(yè)統(tǒng)計(jì)調(diào)查工作開始!
《人民的名義》被訴侵權(quán)案二審,非獨(dú)創(chuàng)表達(dá)不受法律保護(hù)
文章不錯(cuò),犒勞下辛苦的作者吧