面向未知環(huán)境的理鞋機(jī)器人系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

傳統(tǒng)的目標(biāo)檢測(cè)算法一般分為3部分：①采用滑動(dòng)窗口方法或圖像分割技術(shù)生成大量的候選區(qū)域；②對(duì)候選區(qū)域進(jìn)行圖像特征提取（如HOG^[1]， SIFT^[2]和HAAR^[3]等），提取結(jié)果輸入到分類器（如ADABOOST^[4]和RANDOM FOREST^[5]等）中，輸出候選區(qū)域的類別；③合并候選區(qū)域，實(shí)現(xiàn)物體的檢測(cè)．傳統(tǒng)的目標(biāo)檢測(cè)算法主要依賴于模板匹配，利用人工設(shè)計(jì)的描述符^[2，6-7]解決單一目標(biāo)檢測(cè)問(wèn)題．但此類算法存在兩個(gè)缺陷：一是基于滑動(dòng)窗口的區(qū)域選擇策略針對(duì)性不強(qiáng)，復(fù)雜度和冗余都比較高；另一個(gè)是手工設(shè)計(jì)的特征有局限性，不能用于多目標(biāo)檢測(cè)，令檢測(cè)結(jié)果與實(shí)際需求相差較大．

隨著深度學(xué)習(xí)的不斷進(jìn)步，深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域的使用越來(lái)越廣泛，也為目標(biāo)檢測(cè)提供了新的研究方向．基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法可分為基于回歸的目標(biāo)檢測(cè)算法（即單階段目標(biāo)檢測(cè)算法）和基于區(qū)域建議的目標(biāo)檢測(cè)算法（即兩階段目標(biāo)檢測(cè)算法）．單階段目標(biāo)檢測(cè)算法不需要區(qū)域建議階段，而是直接提取特征，只通過(guò)一個(gè)卷積神經(jīng)網(wǎng)絡(luò)得到物體的類別概率和位置坐標(biāo)值，將檢測(cè)簡(jiǎn)化成回歸問(wèn)題．基于回歸的目標(biāo)檢測(cè)算法摒棄了候選區(qū)域的思想，不使用區(qū)域候選網(wǎng)絡(luò)（region proposal network，RPN），直接在一個(gè)網(wǎng)絡(luò)中進(jìn)行回歸和分類，如YOLO^[9]和SSD^[10]．此類算法因網(wǎng)絡(luò)的減少避免了一些重復(fù)計(jì)算，速度得到了提升．

基于區(qū)域建議的目標(biāo)檢測(cè)算法實(shí)現(xiàn)分為兩個(gè)階段：①輸入圖像做處理生成候選區(qū)域；②對(duì)候選區(qū)域進(jìn)行分類和位置回歸并最終完成檢測(cè)． GIRSHICK等提出區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（region CNN， R-CNN）^[11]和fast R-CNN^[12]目標(biāo)檢測(cè)網(wǎng)絡(luò)模型． REN等^[13]提出的faster R-CNN網(wǎng)絡(luò)模型，將特征提取、預(yù)測(cè)、包圍盒回歸和分類整合在一個(gè)網(wǎng)絡(luò)中，極大提升了檢測(cè)速度．HE等^[14]提出的mask R-CNN網(wǎng)絡(luò)模型，則是在特征提取方面采用faster R-CNN網(wǎng)絡(luò)模型的架構(gòu)，再額外添加掩碼預(yù)測(cè)分支，使實(shí)例分割在準(zhǔn)確率及靈活性上都取得很大進(jìn)步．

隨著機(jī)器人自主能力的發(fā)展，智能機(jī)器人的應(yīng)用越來(lái)越多樣化^[15]．抓取是機(jī)器人的基礎(chǔ)操作任務(wù)之一，抓取位姿檢測(cè)是指識(shí)別給定圖像中物體的抓握點(diǎn)或抓握姿態(tài)^[16]，抓取所需基本信息則是抓取器在相機(jī)坐標(biāo)系中的6維（抓取器的3維空間位置和3維旋轉(zhuǎn)角度）抓取位姿．在基于視覺的機(jī)器人抓取中，根據(jù)抓取方式的不同將抓取位姿分為2維平面抓取和3維空間抓取．

針對(duì)抓取問(wèn)題，SAXENA等^[16]提出不需要構(gòu)建物體三維模型，直接根據(jù)圖像預(yù)測(cè)抓取點(diǎn)的三維位置的算法，但算法定義的抓取點(diǎn)只含抓取的位置信息，無(wú)角度信息．JIANG等^[17]利用圖像中的定向矩形表示抓取位置和角度，但算法耗時(shí)較長(zhǎng)．LENZ等^[18]提出具有兩個(gè)深度網(wǎng)絡(luò)的兩步級(jí)聯(lián)系統(tǒng)，可實(shí)現(xiàn)對(duì)大量候選抓取位姿快速且可靠的評(píng)估，有效減少了不太可能的抓取位姿．REDMON等^[19]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確、實(shí)時(shí)的機(jī)器人抓取檢測(cè)方法，通過(guò)對(duì)可抓取的邊界框執(zhí)行單階段回歸，實(shí)現(xiàn)對(duì)目標(biāo)對(duì)象的抓取檢測(cè)．本研究通過(guò)結(jié)合鞋子方向和鞋口檢測(cè)，實(shí)現(xiàn)快速且高效地檢測(cè)抓取位姿．

本研究使用的鞋類圖像數(shù)據(jù)源自兩部分：①網(wǎng)絡(luò)爬取和從鞋類數(shù)據(jù)集中抽?。虎诓捎肒inect2深度相機(jī)采集的真實(shí)環(huán)境下的鞋和鞋架圖像包括原始圖像數(shù)據(jù)200張，以及通過(guò)數(shù)據(jù)增強(qiáng)制作包含原始圖像的1 000張鞋類圖像，這1 000張圖像中900張為訓(xùn)練集（400張?jiān)醋跃W(wǎng)絡(luò)，500張?jiān)醋哉鎸?shí)環(huán)境），100張為測(cè)試集（網(wǎng)絡(luò)圖像和真實(shí)環(huán)境的圖像各50張）．

采用Labelme軟件對(duì)圖像進(jìn)行標(biāo)注，使用不規(guī)則多邊形標(biāo)記鞋、鞋口和鞋架的基本輪廓，結(jié)果如圖1．

圖1 采用Labelme軟件對(duì)鞋和鞋架圖像進(jìn)行數(shù)據(jù)標(biāo)注（a）原圖；（b）標(biāo)注結(jié)果Fig. 1 Use Labelme to annotate shoes and shoes rack images. (a) Original images, (b) annotate images.

為提高模型泛化能力，對(duì)原始圖像分別采用隨機(jī)旋轉(zhuǎn)一定角度、水平翻轉(zhuǎn)、添加高斯噪聲和顏色抖動(dòng)的方式進(jìn)行數(shù)據(jù)增強(qiáng)，如圖2．

圖2 數(shù)據(jù)增強(qiáng)（a）原圖；（b）旋轉(zhuǎn)；（c）翻轉(zhuǎn)；（d）顏色抖動(dòng)；（e）噪聲Fig. 2 Data augmentation. (a) Original image, (b) rotating, (c) flip, (d) color dithering, (e) noise.

圖像分割目的是將物體識(shí)別問(wèn)題轉(zhuǎn)化為圖像分類問(wèn)題．現(xiàn)階段的圖像分割方法思路有兩種：一種是使用不同尺寸的滑動(dòng)窗口遍歷整張圖像，全面分析圖像內(nèi)容，缺點(diǎn)是冗余度高且速度慢；另一種是先將原始圖像分割成不重合的小塊，再通過(guò)CNN獲得特征圖，特征圖的每個(gè)元素對(duì)應(yīng)原始圖像的一個(gè)小塊，最后利用該元素預(yù)測(cè)那些中心點(diǎn)在小塊內(nèi)的目標(biāo)，該方法運(yùn)算量少但準(zhǔn)確率會(huì)下降．實(shí)例分割網(wǎng)絡(luò)mask R-CNN^[15]是當(dāng)前工程界首選的檢測(cè)算法之一，它借鑒特征金字塔網(wǎng)絡(luò)（feature pyramid networks，F(xiàn)PN）^[20]的思想，輸出3個(gè)不同尺度的特征圖，實(shí)現(xiàn)了多尺度的目標(biāo)檢測(cè)，具有結(jié)構(gòu)清晰、實(shí)時(shí)性好和準(zhǔn)確率高的特點(diǎn)．

本研究將機(jī)器人相機(jī)視角下在同一張圖片中捕捉到的鞋和鞋架信息存儲(chǔ)為RGB圖像，再采用mask R-CNN網(wǎng)絡(luò)模型檢測(cè)圖像中需整理的鞋子和擬放置的鞋架．

檢測(cè)模塊包含鞋子檢測(cè)和鞋架檢測(cè)兩部分．先利用mask R-CNN網(wǎng)絡(luò)模型在數(shù)據(jù)增強(qiáng)后的鞋子和鞋架數(shù)據(jù)集上訓(xùn)練網(wǎng)絡(luò)識(shí)別模型，再將場(chǎng)景圖片輸入到訓(xùn)練好的實(shí)例分割網(wǎng)絡(luò)模型中進(jìn)行物體檢測(cè)，如圖3．Mask R-CNN網(wǎng)絡(luò)模型不但能準(zhǔn)確識(shí)別出圖像中被檢測(cè)物體的類別，還可用不同顏色的掩碼和矩形框標(biāo)記出被檢測(cè)物體的區(qū)域、輪廓和位置．

圖3 Mask R-CNN檢測(cè)過(guò)程Fig. 3 Mask R-CNN detection process.

考慮到鞋是長(zhǎng)條形的，本研究采用最小外接矩形（minimum enclosing rectangle，MER）方法替代直邊界矩形框方法，獲得更貼合鞋子的形狀特點(diǎn)的檢測(cè)框，同時(shí)還可獲得鞋子的傾斜角度．圖4給出了一個(gè)矩形檢測(cè)框識(shí)別結(jié)果的示例．其中，白色區(qū)域是圖像中部分像素點(diǎn)的集合．最小外接矩形是指給出一個(gè)凸多邊形的頂點(diǎn)，求出外接該多邊形且面積最小的矩形．通過(guò)計(jì)算可獲得矩形框中心點(diǎn)像素的坐標(biāo)( x，y )和相對(duì)水平線的旋轉(zhuǎn)角度θ．

圖4 矩形檢測(cè)框識(shí)別結(jié)果（a）原圖；（b）直邊界矩形；（c）最小外接矩形Fig. 4 Rectangular detection frame. (a) Original image, (b) straight bounding rectangle, (c) minimum enclosing rectangle.

圖5（b）是采用mask R-CNN進(jìn)行檢測(cè)識(shí)別后的鞋子圖像，不同的顏色區(qū)域表示實(shí)例分割之后的掩碼區(qū)域．從實(shí)例分割的結(jié)果中可提取出鞋子部分像素的掩碼點(diǎn)集信息，進(jìn)而計(jì)算出鞋子的最小外接矩形框，如圖5（c）．其中，shoe和mouth分別表示目標(biāo)分類為鞋子或鞋口；數(shù)值代表對(duì)該檢測(cè)分類的確定程度，其值分布在[ 0，1]內(nèi)，0代表十分不可信， 1代表十分可信．

圖5 鞋子檢測(cè)結(jié)果（a）原圖；（b）直邊界矩形；（c）最小外接矩形Fig. 5 Shoes detection. (a) Original image, (b) straight bounding rectangle, (c) minimum enclosing rectangle.

采用MER方法雖然得到了比較貼合鞋子形狀特點(diǎn)，且與鞋子方向信息關(guān)聯(lián)的旋轉(zhuǎn)θ角度的矩形框，但仍未解決鞋子朝向識(shí)別的問(wèn)題．為此，本研究在標(biāo)記鞋子訓(xùn)練數(shù)據(jù)的同時(shí)，對(duì)每只鞋子的鞋口進(jìn)行標(biāo)記．已訓(xùn)練的網(wǎng)絡(luò)模型檢測(cè)出鞋子和鞋口的掩碼信息后，利用最小外接矩形框可分別計(jì)得鞋子和鞋口的最小外接矩形框的中心點(diǎn)（p₁和p₂）的坐標(biāo)和旋轉(zhuǎn)角度，如圖6．大多數(shù)情況下，p₂指向p₁的方向即為鞋子朝向．但對(duì)于含有多只鞋子的圖片，僅采用mask R-CNN進(jìn)行檢測(cè)并不能準(zhǔn)確判斷鞋口和鞋子的對(duì)應(yīng)關(guān)系，因此還要利用OpenCV計(jì)算p₂是否處于某一只鞋子的最小外接矩形區(qū)域內(nèi)，以此來(lái)判斷鞋口和鞋子的對(duì)應(yīng)關(guān)系．

圖6 鞋子朝向識(shí)別（a）檢測(cè)結(jié)果；（b）朝向識(shí)別結(jié)果Fig. 6 Shoes orientation recognition. (a) Detection result, (b) orientation recognition result.

在鞋子匹配前，需獲取同一圖像中每只鞋子的圖像．在多鞋子圖像中識(shí)別單只鞋子的方法主要有兩種．方法1保留鞋子的原始位置，根據(jù)掩碼檢測(cè)結(jié)果只保留單只鞋子的像素部分，其余部分用黑色背景填充，如圖 11（a）．利用此種方法獲取的單只鞋子圖像進(jìn)行匹配，鞋子的擺放位置和朝向會(huì)對(duì)匹配結(jié)果產(chǎn)生較大影響．方法2先獲取鞋子朝向的角度，將鞋子統(tǒng)一旋轉(zhuǎn)成豎直向上方向，再根據(jù)矩形框?qū)π訄D像進(jìn)行裁剪．最終圖像中所有鞋子朝向一致，且單只鞋子的圖像只保留了鞋子部分的像素，減少了干擾匹配相似度計(jì)算的無(wú)用信息，提高了匹配的準(zhǔn)確率．本研究使用mask R-CNN分割網(wǎng)絡(luò)和鞋子朝向識(shí)別算法識(shí)別出鞋子的朝向和比較貼合鞋子形狀特點(diǎn)的矩形框，同時(shí)根據(jù)鞋子的朝向獲得相應(yīng)的旋轉(zhuǎn)角度，將原圖中的鞋子進(jìn)行裁剪和旋轉(zhuǎn)，全部處理成豎直向上形式，如圖 11（b）．

圖 11 多鞋子圖像中單只鞋子的分離識(shí)別結(jié)果（a）保留單只鞋子原始位置分離方式；（b）統(tǒng)一單只鞋子方向的分離方式Fig. 11 The separation recognition result of single shoe in multi-shoes image. (a) Keep the original position of single shoe method, (b) unify the orientation of single shoe method.

首先利用在 ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)模型提取圖像中每只鞋子的特征，建立包含所有鞋子特征的數(shù)據(jù)庫(kù)，然后利用網(wǎng)絡(luò)提取的特征計(jì)算單只鞋子圖像之間的余弦相似度，最終實(shí)現(xiàn)鞋子匹配．一雙鞋子的匹配流程如圖 12．

圖 12 鞋子的匹配流程Fig. 12 Shoes matching process.

余弦相似度是通過(guò)計(jì)算兩個(gè)向量之間的夾角的余弦值來(lái)評(píng)估他們的相似程度，夾角越小，余弦值越接近1，兩向量的方向越一致，表明向量之間越相似．給定兩個(gè)n維屬性的向量A和B，θ為兩向量之間的夾角，則它們的余弦相似度為其中， A_i和B_i分別為A和B的第i個(gè)分量．cos θ=-1表示兩向量方向相反；cos θ=1表示兩向量方向相同；cos θ=0表示兩向量互相獨(dú)立．cos θ越接近1，表明兩只鞋子提取出的特征越相似，是一對(duì)的可能性越高．

本研究中的模型訓(xùn)練使用2張8 GByte的Quadro M5000顯卡，圖形處理器（graphics processing unit， GPU）每次處理2張圖片，學(xué)習(xí)率為0. 001，迭代次數(shù)為300 epochs．使用1 000張標(biāo)注圖像作為訓(xùn)練集，其中100張作為測(cè)試集．訓(xùn)練模型的損失函數(shù)、邊界框的損失函數(shù)和掩碼的損失函數(shù)皆隨著迭代次數(shù)的增加逐漸收斂．

為量化實(shí)驗(yàn)結(jié)果，采用平均精度（mean average precision，mAP）來(lái)評(píng)定訓(xùn)練模型對(duì)多標(biāo)簽圖像中所有類別進(jìn)行檢測(cè)的效果．表1給出了迭代次數(shù)τ為分別為50、150和300 epochs時(shí)，采用Mask R-CNN模型對(duì)100張測(cè)試圖片進(jìn)行分類檢測(cè)后的mAP值、對(duì)12張總共包含78只鞋子的圖片進(jìn)行朝向識(shí)別的準(zhǔn)確率A_o和模型訓(xùn)練耗時(shí)t．表1表明，隨著迭代次數(shù)的增加，mask R-CNN模型對(duì)鞋子的識(shí)別效果和鞋子朝向識(shí)別的準(zhǔn)確率隨之提升，但相對(duì)地訓(xùn)練耗時(shí)會(huì)增加．

表1 Mask R-CNN模型訓(xùn)練迭代次數(shù)對(duì)識(shí)別性能的影響Table 1 Comparison of model detection and orientation recognition performance

圖 13對(duì)比了訓(xùn)練模型τ分別為50、150和300 epochs時(shí)進(jìn)行目標(biāo)檢測(cè)的結(jié)果．從圖 13可見，隨著迭代次數(shù)的增加，模型識(shí)別效果越來(lái)越準(zhǔn)確，掩碼邊緣識(shí)別效果隨之提升．

采用統(tǒng)一單只鞋子方向的圖像處理方式，對(duì)比只采用余弦相似度和加入VGG16特征提取兩種方法的匹配準(zhǔn)確率，結(jié)果如表2．由表2可見，加入VGG16提取特征后進(jìn)行相似度計(jì)算，可明顯提升算法匹配準(zhǔn)確率．

圖 13 不同訓(xùn)練次數(shù)對(duì)鞋子實(shí)例分割的結(jié)果（a）原圖；（b）檢測(cè)結(jié)果；（c）Ground truth；（d）掩碼結(jié)果（上排為τ=50 epochs，中排為τ=150 epochs，下排為τ=300 epochs） Fig. 13 Comparison of shoes instance segmentation results. (a) Original images, (b) detection images, (c) Ground truth images, (d) mask images. (The images from top to bottom are τ=50，150，300 epochs respectively.)

表2 只采用余弦相似度和加入VGG16特征提取兩種方法匹配準(zhǔn)確率對(duì)比Table 2 Comparison of shoe matching methods of using cosine similarity and VGG16+cosine similarity, respectively.

實(shí)例分割網(wǎng)絡(luò)的作用是檢測(cè)圖像中的可抓取物體，因此，本研究利用機(jī)器人操作系統(tǒng)（robot oper?ating system，ROS）中的機(jī)械臂路徑規(guī)劃算法，探尋機(jī)械臂抓取鞋子目標(biāo)的實(shí)際控制途徑．路徑規(guī)劃算法需要提供一個(gè)在機(jī)器人基座坐標(biāo)系下的3維抓取位置，而本研究的檢測(cè)網(wǎng)絡(luò)只能識(shí)別2維圖像上的抓取位置，因此要進(jìn)行相機(jī)標(biāo)定，將2維圖像的抓取位置轉(zhuǎn)換到相機(jī)坐標(biāo)系空間，再進(jìn)行機(jī)械臂的手眼標(biāo)定將相機(jī)坐標(biāo)系轉(zhuǎn)換到機(jī)器人基座坐標(biāo)系空間，最終得到待抓取物體在機(jī)器人基座坐標(biāo)系中的空間位置．圖 14是機(jī)器人在鞋子整理過(guò)程中的部分視頻幀．每一行幀圖片顯示的是完成1只鞋子的整理任務(wù)，第1列幀圖片是機(jī)器人根據(jù)抓取位姿實(shí)現(xiàn)抓取鞋口的右邊緣，第2列幀圖片是根據(jù)識(shí)別的鞋子朝向?qū)⑿訑[正，第3列幀圖片是機(jī)器人根據(jù)放置位姿將鞋子擺放到鞋架上．機(jī)器人每完成一只鞋子的整理任務(wù)后，根據(jù)鞋子匹配算法對(duì)未整理鞋子進(jìn)行匹配和整理，從而完成一雙鞋子的整理任務(wù)．如此反復(fù)，最終實(shí)現(xiàn)對(duì)所有鞋子的整理．

圖 14 機(jī)器人整理鞋子真機(jī)實(shí)驗(yàn)的部分的視頻幀（左下角為同步的點(diǎn)云） Fig. 14 Part of video frames of real robot experiment of shoes arrangement. (The bottom left corner is the synchronized point cloud.)