【臺灣資安新創向全球證明實力】奧義智慧挑戰當紅資安產品評測，技術實力與資安大廠互別苗頭
<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <p>在一個小房間內，幾臺電腦與伺服器就擺放在桌子上方，正進行著一場看似沒有煙硝味的戰鬥，但其實正有駭客入侵的行為發生，只是，一旁挑戰者似乎卻不怎麼擔心被入侵，眼睜睜看著駭客攻擊持續了兩天。</p> <p>這，其實是一項對於端點防護產品偵測能力的考驗，而挑戰者是來自臺灣的資安新創奧義智慧。關於這家公司，相信熟悉臺灣資安領域的人應該都不會陌生，該公司創辦人吳明蔚（Benson）、邱銘彰（Birdman）與叢培侃（PK），其實在駭客領域都是鼎鼎有名的人物。但在這個場合上，對於自己研發的資安產品能否有好的表現，他們仍有著不小的壓力。畢竟厲害的人才跟厲害的產品，未必畫上等號。</p> <p>基本上，這場考驗端點防護能力的實測，並不像傳統只是單純的檢視產品識別惡意程式的能力，而是貨真價實地發動APT攻擊，對方會模擬俄國駭客攻擊組織APT29的技術手法，來檢視資安產品在入侵過程中的偵測能力與覆蓋範圍。只是，飛往美國參加實測的奧義智慧，在第一天就遇到了亂流。</p> <p>「就像在美國大聯盟初登場的投手，一上場卻發現環境怎麼不一樣」邱銘彰說，從評測一開始，他們就發現有狀況，因為這裡的流程跟之前他們所預想的狀況，完全不同，究竟發生了什麼事？吳明蔚透露，這就跟考試現場一樣，你才寫完第一題，老師就說「好，先停下來檢查第一題」，有時還要給一個合理的解釋，然後直接給分，而不是全部寫完才來檢查。也就是說，這項資安產品的挑戰很重視即時性。</p> <p>不僅如此，在第一天測試才進行到第4大關卡（總共20大攻擊步驟，134個小項目）時，他們就遇到亂流。簡單來說，就像是考試遇到有些不會作答的題目一樣，深怕表現不好，叢培侃笑著說，當時邱銘彰可是壓力超大，而邱銘彰也坦承，白天忙著應付測試，晚上還要趕著補交報告，因為這項挑戰，同樣也有重視後端人工支援的戰力。</p> <p><strong><span style="font-size:28px;">這項資安產品評測，前來挑戰的廠商都是國際知名資安業者</span></strong></p> <p>原來，這次的評估測試，是一項利用MITRE ATT&CK的模擬駭客攻擊計畫。</p> <p>MITRE是何方神聖？簡單來說，他們是協助多項資安研究的美國非營利組織，過去曾推動CVE漏洞資料庫，以及定義STIX / TAXII情資格式交換標準，近年他們推出的ATT&CK框架，也備受外界重視，因為它是首個以剖析攻擊面為出發的資料庫。</p> <p>為何考驗資安產品需要這樣的架構？簡單來說，ATT&CK框架已經將各駭客組織用過的技術手法，以更有系統性的方式歸納；後續也發展出一項ATT&CK Evaluation評估計畫，就是利用實際模擬已知駭客組織的攻擊情境，來檢視端點偵測工具的偵測能力，以及幫助企業進行攻防演練，以驗證其防禦有效性。</p> <p>不論你是否懂資安，事實上，這樣的方法論，已經受到相當多資安大廠的推崇與積極參與，已有許多業者的APT研究報告，以及資安產品偵測到的攻擊行為，可以對應到ATT＆CK所定義的攻擊手法，而且，有越來越多業者參與到評估計畫。</p> <p>以這次參與評測的業者而言，共21家廠商，他們的來頭可都不小，包括傳統防毒軟體大廠、大型資安業者，還有不少主打新世代端點防護EDR（Endpoint Detection and Response）的業者。</p> <p>在此當中，多數都是來自美國本土的企業，包括BlackBerry Cylance、CrowdStrike、Elastic、SentinelOne、FireEye、GoSecure、Malwarebytes、McAfee、微軟、Palo Alto Networks、Secureworks、Broadcom（Symantec），VMware Carbon Black等，占了半數以上。</p> <p>還有來自羅馬尼亞、芬蘭、俄羅斯、以色列等國業者，例如Bitdefender、F-Secure，以及Kaspersky、Cybereason，加上臺灣的趨勢科技。</p> <p>不過，還有一些較不知名的業者同樣參與，例如，由中國360集團策略投資的HanSight，也參與MITRE這項如此開放的計畫。而在上述資安業者之外，最特別的是，有兩家不到百人的小公司，也在名單之中，與資安大廠同臺較勁。</p> <p>其中一個是來自歐洲馬爾他，於2014年成立，由學者組成的小公司ReaQta；另一個就是臺灣的資安新創奧義智慧，成立至今僅僅2年半，是這21家業者中最年輕的一間公司。</p> <p><strong><span style="font-size:28px;">印證臺灣技術實力不輸世界，抓住嶄露頭角的重要機會</span></strong></p> <p class="rtecenter"><img alt="" src="https://s4.itho.me/sites/default/files/images/%EF%BC%88%E5%9C%962%EF%BC%89P2-P3%E5%A5%A7%E7%BE%A9%E6%99%BA%E6%85%A7%E5%A6%82%E4%BD%95%E5%9C%A8%E5%9C%8B%E9%9A%9B%E8%AD%89%E6%98%8E%E5%AF%A6%E5%8A%9B_%E5%A5%A7%E7%BE%A9%E6%99%BA%E6%85%A7%E6%8F%90%E4%BE%9B-%E6%94%B9(1).png" style="width: 600px;" /></p> <p><span style="color: rgb(105, 105, 105);">圖片來源／奧義智慧</span></p> <p><strong style="color: rgb(105, 105, 105); font-size: 18px;">臺灣資安新創奧義智慧雖然只成立兩年半，不過他們也將自己的資安產品搬上由MITRE發起的ATT&CK評估計畫，與近20家資安大廠產品同臺比拚產品對於APT攻擊的偵測能力。由於MITRE評測時相當嚴謹現場無法拍照，因此他們在今年RSA大會上，與MITRE ATT&CK的攤位上合照。</strong></p> <p>為何奧義智慧有膽識參加這樣的國際性評測？</p> <p>或許，這樣的回答可能都算是部分原因，但我們認為，對於一家新成立的資安公司而言，這是一個大幅提升市場知名度的絕佳機會。畢竟，這就是完全比拼技術力的實測，吳明蔚也談到，他們曾接觸過Gartner與Forrester等研究機構，他們對於資安廠商的評估，都不實施硬底子的產品測試，多以軟性的客戶訪談為主，並重視市場份額，像是奧義智慧這樣的新創，營收集中在臺灣，研究機構也很難去評估他們的實力。關於參賽的動機，邱銘彰說明有兩大因素，首先，最初在2018年的美國RSA大會參展時，當時不論提供紅隊或藍隊資安產品的人，都在討論ATT＆CK，但臺灣在這方面的消息甚少；其次，端點安全產品已經變得複雜，太多的功能實在不容易搞懂，而臺灣許多企業在採購資安產品時，他們看到大多仍是沿用舊有的方法，例如，只看防毒軟體偵測率，邱銘彰認為，國內的資安觀念與國外還是有很大的鴻溝，因此，他們希望將新的資安觀念帶進臺灣。</p> <p>另一方面，雖然奧義智慧只是一間資安新創，但他們的創辦人其實在過去就有讓資安大廠驚艷的技術實力。舉例來說，邱銘彰過去創辦的資安公司艾克索夫（X-Solve），就被阿碼科技收購，後來他與吳明蔚共同創立的艾斯酷博（Xecure Lab），也因在2013年美國黑帽大會上，與當時在中研院資安研究員的叢培侃，共同揭露APT駭客研究，吸引到美國上市的以色列安全公司Verint（威瑞特）併購。</p> <p>這次他們三人合作創業的奧義智慧，仍聚焦在資安防護最新態勢，並發展出結合AI與端點威脅偵測的產品方案，而他們也在短時間內，就能將市場拓展到日本與新加坡，其實已經有了不小的突破，而這次完成ATT＆CK評估計畫的挑戰，顯然，他們更是讓臺灣新創品牌的資安產品，成為國際矚目的焦點。</p> <p>事實上，MITRE這項評估計畫雖然頗受資安界的重視，但發展時間不久，並且會逐年改進、持續擴大範圍，不論是資安新秀或老將，其實誰也都沒有絕對的把握。但也正因為ATT＆CK在資安圈的火紅，當一家不熟悉且資歷尚淺的資安業者出現在這個評測的名單上，就已經足以吸引到外界的目光。</p> <p>不過，產品的功能可否滿足評估計畫的要求還是很重要。如果只是志在參加，雖然也有可取之處，但也突顯可能對自身產品能力認識不深。所幸，在這次評測結果出爐之後，奧義智慧對於自己的表現感到滿意。</p> <p>儘管MITRE在這項計畫保持中立，沒有提供評分，只是單純展現評測所得的數據，讓各家廠商與外界自行解讀，但從公開的評測結果進一步統計相關數據，奧義智慧確實在一些地方有出色的表現，例如有效偵測並警告的部分，並且不重複關卡警告數量最多；此外，網路上也有在美國國防單位工作的資料分析科學家Jonathan Ticknor，提出自己的一套評分標準，當中也突顯奧義智慧的產品，是21家評測廠商中，表現優異之一。而這樣出色的結果，對新創公司而言，能帶來比傳統出國租攤位行銷更有實質效益的影響力。</p> <p>「只有在臺灣市場經營，就只有接受臺灣的挑戰，但其實，迎接國際的挑戰會促使你更快速地成長。」吳明蔚說。因此，他們也很鼓勵國內資安新創，可以朝向國際大步邁進。他也表示，過去奧義智慧本身接到的客戶，其實都是在臺灣，以及已設立他們子公司的日本與新加坡，而在此後，他們開始接觸到有美國、東南亞的公司寫信來詢問。</p> <p><span style="font-size:28px;"><strong>體認到主辦方完整揭露測試結果、產品畫面，與中立的態度</strong></span></p> <p>到底，在MITRE這樣的攻防評估計畫，與自行模擬有何不同？此次參與的奧義智慧，他們經歷了那些測試要求？</p> <p>簡單來說，MITRE之前已舉辦過一次評測活動，當時是以中國駭客組織APT3的攻擊手法為設想，這次奧義智慧參與的是第二輪的評測，以俄羅斯駭客組織APT29為題。在評測方式上，主辦者事先已公布測試環境，是建置在微軟Azure環境，他們並為每個參與測試的廠商都提供7個主機組成的環境，讓業者可以部署自家的用戶端程式。</p> <p>吳明蔚強調，廠商部署的程式都必須是市售版本，產品版本號碼都要清楚條列，MITRE也都會稽核，這主要是避免業者拿出專門參賽版本的可能性。</p> <p>到了實測當天，現場主要分成三個隊伍，MITRE將派人扮演專門攻擊的紅隊，以及裁判組的白隊，挑戰者扮演的角色就是藍隊。而裁判組的人員同時會負責記錄的工作，也就是在每次攻擊到一個階段，他們就會將藍隊系統上所呈現的偵測結果，做即時的截圖記錄。</p> <p>這一點，奧義智慧認為相當難能可貴。原因在於，MITRE在現場所擷取的系統偵測畫面，都是基於當下的結果，即便之後業者以MSSP人工分析所產出的報告，MITRE也會在偵測結果中，加上MSSP的輔助形容標籤，目的就是希望，讓偵測結果可以更精準的呈現。</p> <p>更重要的是，這樣的結果最後還會放到網站上公開，等於是讓外界所有的人，都能看到各家資安產品的實際樣貌與偵測結果，讓大家能看到原始資料，這種評測上的創舉，令外界敬佩。</p> <p>不僅如此，業者本身也能藉此觀察其他廠商是怎麼做。邱銘彰表示，畢竟有些國外產品可能在臺灣沒有引進，而網站或手冊上所揭露的內容也有限，但在這樣公開的評測方式之下，將能實際看到各家產品在每項攻擊步驟下的表現。</p> <p>還有一點也很關鍵，就是MITRE不會提供主觀的結論，只是單純展現評測所得的數據，讓各家廠商與資安社群自行解讀，以激發出更多討論。而且，現場的MITRE人員也都希望參與挑戰的資安業者，能在測試過程提供更多反餽，以便讓他們持續改善評測過程。</p> <p>對此，邱銘彰分析，其實各家產品設計重點有各自強項，產品的策略也不同，他們看到主辦方，也是盡可能的將評測過程，調整成最理想的方式，而未來還將持續完善與擴大測試內容。</p> <p>至於MITRE的嚴謹與中立度？或許從一些小地方也能看出他們的態度。例如評測過程中，裁判組有時會詢問產品上的問題，不過，只要想跟他們多聊幾句，他們就會變得一板一眼，而且，就連上廁所，也會有對方的人全程跟著。</p> <p>另外，在評測過後的今年RSA大會上，當奧義智慧要在MITRE的攤位上照相時，現場MITRE的人員也會迅速閃避，應該是為避嫌，其實這些就可顯示出MITRE的紀律，以及中立態度上的貫徹，是這項計畫得以持續發展的關鍵。</p> <p>不過，他們也有留意到，「MITRE這些執行攻擊的測試人員，看得出來都很享受工作，感覺比他們（吳明蔚三人）年輕，也很有活力。」吳明蔚說。</p> <p><strong><span style="font-size:28px;">評測準備過程是最大收穫，理想的表現結果也符合他們期待</span></strong></p> <p>至於這項產品資安評估計畫的報名與準備，有些細節是局外人難以想像，奧義智慧也大方說明。例如，在報名過程中，會與MITRE有長達數個月的電子郵件往來，溝通與文件都必須是英文，還有要填寫測試的所有產品與版本，較特別的是，他們還要申請美國出口管制分類號碼（ECCN），同時報名也要付出一筆數目不小的費用。</p> <p>至於準備挑戰的過程，邱銘彰表示，嚴格來說，MITRE公布以APT29為攻擊設想，及其使用的技術手法，已經算是開書考的方式，而他們在看了第一輪的評測後，也成立模擬紅隊的團隊，負責出考題來挑戰自家產品的偵測能力，準備時間大約半年。叢培侃指出，這等於也考驗公司蒐集戰役的情報能力。</p> <p>而就MITRE最終評估結果來看，他們認為模擬有幫助，不過，實際還是有些不同，例如，同一項攻擊技術，MITRE實作的攻擊手法，與奧義智慧自己模擬的攻擊手法就不同。而這也可以看出，產品要偵測到所有攻擊手法有多麼的不易，儘管大家知道這個手法，但MITRE紅隊展示出的實作方法，仍有可能無法偵測，而這也就是無法演練的。</p> <p>最後，關於奧義智慧對於評測有那些不滿意或滿意之處。從MITRE公開的評估結果來看，奧義智慧的產品在一項偵測類型的表現，存在數量過低的問題，該偵測類型為遙測（Telemetry）。該公司也提出他們的意見，奧義智慧認為這方面有很大的解讀差異，他們的產品在多項關卡都已經發出警告，但幾乎都沒有遙測的結果，為何如此？會發出警告當然就表示已經遙測到才對，只是，他們沒有把這樣的狀態秀在介面，而這也是原先產品功能設計上的策略，第一線IT人員不需這些難以閱讀分析的原始資料，只不過，MITRE是採階層式的偵測類別，會將各層面都會納入計算。</p> <p>而奧義智慧產品表現優異的部分，有些也不是其他廠商能輕易做到的，像是攻擊者在橫向移動的過程。例如，在第20.B.1關的一項Pass the Ticket的攻擊技巧，MITRE攻擊所使用的手法，各家業者產品就很難以偵測，而他們能夠偵測得到，並能呈現電腦跟電腦的關係，也就是知道是從哪一臺電腦發動，而不只是單純偵測到單臺電腦上的攻擊。</p> <p>最後，他們也提到，現在MITRE已經將這項評測計畫獨立，成立一家名為MITRE Engenuity的公司專門負責，希望加速未來的評測頻率，而他們也預告，將會繼續參加第三輪的評估計畫，下一次，MITRE將模擬的事專門攻擊金融業的駭客組織，繼續協助考驗各家業者產品的偵測甚至防護能力。</p> <p class="rtecenter"><img alt="" src="https://s4.itho.me/sites/default/files/images/0521-mitre-2.png" style="width: 960px;" /></p> <p><span style="color: rgb(105, 105, 105);">圖片來源／MITRE</span></p> <p><span style="color: rgb(105, 105, 105);"><span style="font-size: 18px;"><strong>關於ATT&CK評估結果</strong></span></span></p> <p><span style="color: rgb(105, 105, 105);"><span style="font-size: 18px;"><strong>在以ATP29為攻擊設想的ATT＆CK評估計畫中，共分20大攻擊步驟，以及140個攻擊過程（其中第19大關取消），MITRE並分成6大偵測類別，因此，使用者可以看出各廠商（圖為奧義智慧評估結果）在不同攻擊環節下，可以偵測到的範圍，以及能夠偵測的程度。例如，左圖中3種綠色的即時偵測類別，代表系統有一定的偵測程度，黃色部分則是透過人工分析的MSSP服務發現。不過偵測結果其實比想像要複雜，若搭配完整報告（中圖）來看，還會看到偵測類別有不同的輔助形容標籤，讓偵測定義更精準。從MITRE公布的奧義智慧產品評測結果中，所有人皆可看到這套解決方案的偵測能力，甚至還有實測當下螢幕擷圖（右圖）。例如，在第20關一項Pass the Ticket的技巧，各家產品就難以偵測到MITRE攻擊所使用的手法，而他們可以達到最好的偵測效果。</strong></span></span></p> <h1 class="rtecenter"><span style="color:#3399ff;"><span style="font-size:28px;"><strong>ATT&CK評估計畫發展時間表</strong></span></span></h1> <p><span style="font-size:20px;"><strong><span style="color:#FFFFFF;"><span style="background-color:#FF8C00;"> 2013年 </span></span> MITRE建立第一個ATT＆CK模型，主要聚焦在Windows平臺環境（後續再延伸出Pre-ATT&CK、Mobile與ICS）</strong></span></p> <p><span style="font-size:20px;"><strong><span style="color:#FFFFFF;"><span style="background-color:#FF8C00;"> 2015年 </span></span> MITRE釋出ATT＆CK計畫於<a href="https://attack.mitre.org" target="_blank">https://attack.mitre.org</a></strong></span></p> <p><span style="font-size:20px;"><strong><span style="color:#FFFFFF;"><span style="background-color:#FF8C00;"> 2017年9月 </span></span> MITRE發出利用ATT＆CK框架模擬APT3攻擊的計畫訊息，目的是透過擬真的攻擊，促進安全測試上的強化。</strong></span></p> <p><span style="font-size:20px;"><strong><span style="color:#FFFFFF;"><span style="background-color:#FF8C00;"> 2018年4月 </span></span> ATT＆CK在RSA大會上受到廣泛討論</strong></span></p> <p><span style="font-size:20px;"><strong><span style="color:#FFFFFF;"><span style="background-color:#FF8C00;"> 2018年11月 </span></span> MITRE發表第一輪評估計畫結果，首次評估是模擬中國駭客組織APT3的攻擊，共有7家業者參與。後續又有5家業者參加此次測試</strong></span></p> <p><span style="font-size:20px;"><strong><span style="color:#FFFFFF;"><span style="background-color:#FF8C00;"> 2019年5月 </span></span> MITRE公布第二輪評估計畫，這次是以模擬俄國駭客組織APT29發動攻擊，並且大幅調整偵測類別</strong></span></p> <p><span style="font-size:20px;"><strong><span style="color:#FFFFFF;"><span style="background-color:#FF8C00;"> 2020年2月20日 </span></span> MITRE公布第三輪評估計畫，這次是模擬鎖定金融業的Carbanak and FIN7駭客組織發動攻擊</strong></span></p> <p><span style="font-size:20px;"><strong><span style="color:#FFFFFF;"><span style="background-color:#FF8C00;"> 2020年4月21日 </span></span> MITRE發表第二輪評估計畫測試結果</strong></span></p> <p><span style="color:#696969;"> 資料來源：MITRE，iThome整理，2020年5月</span></p> </div></div></div>
