千呼萬喚十多年！中研院終於開源釋出國產自動化中文斷詞工具
<div class="field field-name-field-news-column-category field-type-taxonomy-term-reference field-label-hidden"><div class="field-items"><div class="field-item even"><a href="/tags/%E6%96%B0%E8%81%9E">新聞</a></div></div></div><div class="field field-name-body field-type-text-with-summary field-label-hidden"><div class="field-items"><div class="field-item even"> <p>負責中文自然語言處理研究的中研院CKIP Lab中文詞知識庫小組，近日正式<a href="https://github.com/ckiplab/ckiptagger">開源釋出了自行研發多年的一套中文斷詞程式</a>，提供給臺灣從事中文自然語言領域的學術研究者或開發者來使用，這也意謂著，臺灣終於有了一套國產的自動化中文斷詞工具可以拿來用，而且完全開源，目前已放上GitHub平臺上，開放給大家試用。</p> <p>中文NLP研究常用到的自動化中文斷詞工具，實際上，中研院CKIP Lab中文詞知識庫小組自己也有一套國產品，但以前沒有開源，僅提供安裝執行檔，並未提供原始碼，因此，過去使用上一直不如中國開源的中文斷詞工具Jieba（結巴）好用。</p> <p>不過，這次中研院決定將自己的中文斷詞工具開源釋出，並放上程式代管平臺GitHub上，對於臺灣中文NLP開發者或研究者來說，無疑是一大福音。現在使用者已經可以透過該平臺來安裝使用該工具，並可以依據自己需求，來修改原始碼，增加自己想要的新功能或特色。</p> <p>根據該工具的文件說明，這套CkipTagger中文處理工具，不只提供繁體中文斷詞的功能，也加入詞性標注和18類專有名詞的實體辨識（Named entity recognition）等功能，還提供了多達5萬句的ASBC 4.0漢語語料庫測試集，來做為更進一步的語料測試使用。</p> <p>新版本也提供幾大特色，包括了加強斷詞表現，不自動刪／改字，也能夠支援不限長度的句子，除此之外，新版也加入使用者自訂功能，提供參考／強制 詞典的自訂功能。</p> <p>不只開源中文斷詞程式，我們今年初採訪該詞庫小組計畫負責人馬偉雲時，他也提到，接下來，將用4年的時間，將中文維基百科上的百萬詞彙，自動建立其知識圖譜，來打造成為一個具有百萬中文詞庫的知識庫。他更計畫以現有9萬詞彙所建立的知識圖譜架構，發展相關的自然語言處理工具，可以自動建立其知識圖譜。</p> <p> </p> </div></div></div>
