康乃爾大學提出RAISR技術，透過機械學習提升照片圖像銳利度
在我們日常生活中，許多數位的圖片檔案都經過縮放處理，無論是照片後製、裁切，還是在顯示時配合螢幕尺寸進行調整，都會改變圖片尺寸。然而要將小圖放大的時候，往往會產生許多鋸斷或模糊等狀況，為了要讓增加圖像的品質，研發團隊利用機械學習改善處理流程，讓放大後的圖像更加清晰銳利。<h2>快又精準地提升圖像品質</h2> <p>RAISR的全名是Rapid and Accurate Image Super-Resolution，意思是「快速、精確的超解析度」技術，其用途為能夠在放大圖像的過程中維持清晰度。該技術由美國康乃爾大學（Cornell University）的Yaniv Romano、John Isidoro、Peyman Milanfar等人提出，完整的論文以從<a href="https://arxiv.org/abs/1606.01299" target="_blank">這邊下載</a>。</p> <p>該篇論文提到，我們都希望能在放大圖片的過程中，讓圖像能夠具有更大的尺寸、更多的像素，以呈現更高的畫質，但如果只是使用一般的濾鏡處理，可能會讓圖像便成充滿馬賽克或是模糊不清。</p> <p>RAISR的做法是提供電腦充足的訓練資料，例如成對的高畫質與低畫質圖片，就能瞭解運用哪些濾鏡的組合，能夠帶來更好的放大品質。在電腦「學會」如何放大圖片之後，就能將成果套用於訓練資料以外的其他圖片。</p> <p>更棒的是根據研發團隊表示，使用RAISR處理圖片的速度，比現今最理想的處理方式約快上10到100倍，而且能夠得到差不多或是更好的圖像品質，也就是說這種技術相當適合應用在智慧型手機、平板電腦等運算效能較低的裝置。</p> <p style="text-align: center;"><img src="https://cdn1-techbang.pixcdn.tw/system/images/372324/original/5a909599e6dbf04dc2c96ba9dc7207e7.jpg?1479376591" alt="" width="610" height="290" /></p> <p style="text-align: center;">▲左圖為使用雙線性（Bilinear）濾鏡，放大後的圖像顯得相當模糊。中央為RAISR在學習階段產生的圖像，右方為學習完成的圖像，可以看到圖像比較清晰。（圖片來源：<a href="https://arxiv.org/abs/1606.01299" target="_blank">RAISR: Rapid and Accurate Image Super Resolution</a>，下同）</p> <p style="text-align: center;"><img src="https://cdn1-techbang.pixcdn.tw/system/images/372325/original/64170b138f3191d953c408574bdc425d.jpg?1479376592" alt="" width="618" height="271" /></p> <p style="text-align: center;">▲圖為另一組範例，左方的圖a為原始圖片，右方圖b為使用雙三線性（Bicubic）放大的圖片。</p> <p style="text-align: center;"><img src="https://cdn2-techbang.pixcdn.tw/system/images/372326/original/9c939742fd6f1f35b3a4e283c662cb4c.jpg?1479376593" alt="" width="618" height="271" /></p> <p style="text-align: center;">▲左方的圖c為使用RAISR、無進行銳化學習，右方圖d為使用RAISR、有進行銳化學習。</p> <p style="text-align: center;"><img src="https://cdn0-techbang.pixcdn.tw/system/images/372327/original/f5e0fc76c23b822fdd0f3932978c9cca.jpg?1479376593" alt="" width="618" height="271" /></p> <p style="text-align: center;">▲左方為混用圖b與c的成果，右方則為混用圖b與d，可以看到放大後的圖像仍能維持銳利、無鋸齒且不模糊的高品質。</p> <h2>2種不同訓練方式</h2> <p>RAISR具有2種不同的學習模式，第一種是直接學習模式，系統會直接在低畫質圖片上套用各種濾鏡，並與高畫質圖片相互比對，看看在什麼樣的組合之下會得到最好的法大品質。</p> <p>至於第二種方式則是間接學習模式，系統會先對低畫質圖片進行效能需求較低的升頻（即放大圖片尺寸），然後在將濾鏡套用至升頻後的圖片，最後才與高畫質圖片進行比對。相較起來，直接模式的處理速度比較快，間接模式雖然比較慢，但是能夠處理非整數倍放大的圖片。</p> <p>無論使用哪種模式，RAISR都會根據圖像中亮暗梯度、色彩梯度、紋理等等邊緣的特徵進行學習，例如邊緣呈現的角度、強度（Strength，銳利的邊緣具有較高的強度）與一致性。</p> <p>RAISR可以在約1小時內，完成10,000組配對圖片的學習，並得知最適合的慮鏡應用組合。相較於使用線性（Linear）、雙三線性（Bicubic）、Lancos等濾鏡放大圖片，RAISR可以保留更多細節並提供更清晰的圖像，有助於在縮放圖片的時候，降低運算效能需求，並提升圖像品質。</p> <p style="text-align: center;"><img src="https://cdn2-techbang.pixcdn.tw/system/images/372328/original/82c171723a1db2ede471026a92fd7f8d.png?1479376594" alt="" width="640" height="258" /></p> <p style="text-align: center;">▲從另一組RAISR範例中可以看到，左方為原始圖像，中央為使用雙三線性濾鏡，圖像較為模糊，右方為使用RAISR，圖像清晰許多。（圖片來源：<a href="https://research.googleblog.com/" target="_blank">Google</a>，下同）</p> <p style="text-align: center;"><img src="https://cdn1-techbang.pixcdn.tw/system/images/372329/original/3d24e272f6f0ac0bbc7aa7f82c68a70c.png?1479376596" alt="" width="640" height="359" /></p> <p style="text-align: center;">▲上方為原始圖像，下方為使用2倍RAISR放大，毛髮細節更加清楚。</p> <p style="text-align: center;"><img src="https://cdn1-techbang.pixcdn.tw/system/images/372330/original/15918396ee928485188deb1e2c2057da.png?1479376598" alt="" width="640" height="627" /></p> <p style="text-align: center;">▲左方為原始圖像，右方為使用3倍RAISR放大，從背景的樹葉可以看出明顯差異。</p> <p style="text-align: center;"><img src="https://cdn2-techbang.pixcdn.tw/system/images/372331/original/5694e7f862d6d67de0072ed823d16159.png?1479376599" alt="" width="640" height="318" /></p> <p style="text-align: center;">▲左方為原始圖像，具有嚴重的<a href="https://zh.wikipedia.org/wiki/%E6%B7%B7%E7%96%8A" target="_blank">混疊</a>（Aliasing），右方使用RAISR處理，能夠消除不正常的紋路。</p><a href="http://www.facebook.com/TKbang">加入T客邦Facebook粉絲團</a><img src="http://feeds.feedburner.com/~r/techbang/~4/KdIURaXRjH0" height="1" width="1" alt=""/>