大型VLM看得懂圖片還不夠,中研院以Taiwan GBA與G-YOLO強化AI理解世界的能力
作者 蘇文彬全文約 3,125 字
文章摘要
iThome · 文章頁摘要VLM近年快速發展,可根據影像生成文字描述,但中研院資訊科學研究所所長廖弘源認為,AI若要真正進入照護、自駕、機器人等場域,不能只是「看見」,還要理解人類行為與環境關係。中研院近年投入多模態AI基礎能力研發,包括研究Taiwan GBA行為分析器,以理解人類動作行為,還有延伸傳統物件偵測能力的G-YOLO,讓AI從辨識物件進一步理解場景與物件互動關係。

當AI模型開始能「看懂」照片,但是它真的理解眼前發生的事情嗎? 中研院資訊科學研究所所長廖弘源在周三一場活動中分享中研院的多模態AI研究成果,他以目前大型視覺語言模型(Vision Language Model, VLM)的發展為例,現在的大型模型已經具備相當程度的影像描述能力,例如Google D...