有了這些技術,人類可以跟50年歷史的滑鼠鍵盤說再見了嗎?
Apple Watch 不算運算能力強大的裝置,但它每秒也能夠處理數十億位元的資料。人類大腦有數以百億計的神經元,超過了四萬億次的突觸連接,人腦每秒處理的大量數據,這是我們無法估計的。然而,鍵盤和滑鼠仍然是迄今為止人類強大的大腦與數位世界之間最快的橋樑。在觸摸螢幕和語音識別之後,人機互動的未來是什麼?<p>Apple Watch 比當年阿波羅太空船登月時使用的電腦強 250 倍。電腦的體積從最初佔據整個房間,發展到奈米等級,而鍵盤一直是最可靠和使用最廣泛的人機界面。</p> <p style="text-align: center;"><img style="display: inline-block; margin-left: auto; margin-right: auto;" src="https://pic.36krcnd.com/avatar/201712/07054455/90i03elyhmnxhd3m.jpeg!1200" alt="有了這些技術,人類可以跟50年歷史的滑鼠鍵盤說再見了嗎?" width="600" data-img-size-val="768,587" /><label class="figuresaid" style="width: 600px; display: block; text-align: left; color: #555; line-height: 22px; padding: 0 3px 22px 3px; border-bottom: 2px solid #f0f0f0; margin: -5px auto 1rem auto;"><span style="color: #2382c5; padding-right: 5px;"> ▲ </span>電腦鍵盤的發明可以追溯到 50 多年前</label></p> <h2>人類如何跨越滑鼠和鍵盤?</h2> <p>電腦正在被嵌入到不同的裝置中,而我們無法將鍵盤和滑鼠連接到所有設備上,所以我們需要找到其他互動方式。目前與智慧家居(又稱物聯網)互動的解決方案是通過語音識別,這明顯地有使用上的限制。讓我們來看看目前研究人員和科技公司正在尋求的解決方法。</p> <p>&nbsp;</p> <h3>觸摸</h3> <p>多點觸摸技術和多點觸摸手勢的進步已經使觸摸螢幕成為最受歡迎的界面。 研究人員和初創公司正在努力改善觸摸體驗,觸摸的強度,手指的哪個部分觸摸等等。</p> <p style="text-align: center;"><img style="display: inline-block;" src="https://pic.36krcnd.com/avatar/201712/07054706/1nk5m0b7ap1zcjmp.gif" alt="有了這些技術,人類可以跟50年歷史的滑鼠鍵盤說再見了嗎?" width="600" data-img-size-val="419,234" /><label class="figuresaid" style="width: 600px; display: block; text-align: left; color: #555; line-height: 22px; padding: 0 3px 22px 3px; border-bottom: 2px solid #f0f0f0; margin: -5px auto 1rem auto;"><span style="color: #2382c5; padding-right: 5px;"> ▲ </span>iPhone 的 3D Touch 能夠感應按壓強度</label></p> <p style="text-align: center;"><img style="display: inline-block;" src="https://pic.36krcnd.com/avatar/201712/07055127/e50uhzeuhczbot7d.jpg!1200" alt="有了这些技术,人类可以跟50年历史的鼠标键盘说再见了吗?" width="600" data-img-size-val="509,255" /><label class="figuresaid" style="width: 600px; display: block; text-align: left; color: #555; line-height: 22px; padding: 0 3px 22px 3px; border-bottom: 2px solid #f0f0f0; margin: -5px auto 1rem auto;"><span style="color: #2382c5; padding-right: 5px;"> ▲ </span>Qeexo 瞭解手指的哪一部分觸摸了螢幕</label></p> <h3>語音</h3> <p>美國國防高等研究計畫局在 70 年代就資助了這一領域的研究!但是一直到最近,聲音才開始有用。 由於深度學習,現在我們已經非常擅長語音識別。 現在,語音的最大挑戰不是轉錄,而是基於前後語意的感知意義。</p> <h3>眼睛</h3> <p>在眼球追蹤中,我們用的方法主要是測量凝視(人們正在看的地方),不然就是測量眼睛相對於頭部的運動。 隨著相機和感測器成本的降低,以及虛擬實境眼鏡的日益普及,使得眼球跟蹤的技術變得成熟。</p> <p style="text-align: center;"><img style="display: inline-block;" src="https://pic.36krcnd.com/avatar/201712/07055552/8fytzw7s2vyty36u.jpg!1200" alt="有了這些技術,人類可以跟50年歷史的滑鼠鍵盤說再見了嗎?" width="600" data-img-size-val="601,322" /><label class="figuresaid" style="width: 600px; display: block; text-align: left; color: #555; line-height: 22px; padding: 0 3px 22px 3px; border-bottom: 2px solid #f0f0f0; margin: -5px auto 1rem auto;"><span style="color: #2382c5; padding-right: 5px;"> ▲ </span>Google 收購 的 yefluence 允許用戶通過眼睛來使用虛擬現實</label></p> <p style="text-align: center;"><img style="display: inline-block;" src="https://pic.36krcnd.com/avatar/201712/07055719/yxc5fru8ty8rhkvw.gif" alt="有了這些技術,人類可以跟50年歷史的滑鼠鍵盤說再見了嗎?" width="600" data-img-size-val="760,427" /><label class="figuresaid" style="width: 600px; display: block; text-align: left; color: #555; line-height: 22px; padding: 0 3px 22px 3px; border-bottom: 2px solid #f0f0f0; margin: -5px auto 1rem auto;"><span style="color: #2382c5; padding-right: 5px;"> ▲ </span>2015 年 IPO 的 obii 與消費電子製造商合作,將其眼動追蹤技術嵌入其中</label></p> <h2>手勢</h2> <p>手勢控制是許多人最熟悉的人機界面,用於手勢檢測的技術包括:</p> <h3>慣性測量裝置 (IMU)</h3> <p>加速度計,陀螺儀和指南針(全部或部分)的數據用於檢測手勢。 重新校準和降低對精度的需要是這種方法存在的一些問題。</p> <h3>紅外線+鏡頭(深度感測器)</h3> <p>我們所看到的大多數酷炫的手勢檢測系統都使用了高品質的相機,紅外線照明器和紅外線相機的組合。透過投射到現實場景中的成千上萬的小點,瞭解與對象之間的距離。包括像是: Kinect,英特爾的 RealSense,Leap Motion,Google 的 Tango,都是基於這種技術。</p> <p style="text-align: center;"><img style="display: inline-block;" src="https://pic.36krcnd.com/avatar/201712/07060132/h20xd7283hideibg.gif" alt="有了這些技術,人類可以跟50年歷史的滑鼠鍵盤說再見了嗎?" width="600" data-img-size-val="700,394" /><label class="figuresaid" style="width: 600px; display: block; text-align: left; color: #555; line-height: 22px; padding: 0 3px 22px 3px; border-bottom: 2px solid #f0f0f0; margin: -5px auto 1rem auto;"><span style="color: #2382c5; padding-right: 5px;"> ▲ </span>Leap Motion是手勢控制的消費級設備</label></p> <p style="text-align: center;"><img style="display: inline-block;" src="https://pic.36krcnd.com/avatar/201712/07060253/tf9sskg48xsqnyat.png!1200" alt="有了這些技術,人類可以跟50年歷史的滑鼠鍵盤說再見了嗎?" width="600" data-img-size-val="687,429" /><label class="figuresaid" style="display: block; width: 600px; text-align: left; color: #555; line-height: 22px; padding: 0 3px 22px 3px; border-bottom: 2px solid #f0f0f0; margin: -5px auto 1rem auto;"><span style="color: #2382c5; padding-right: 5px;"> ▲ </span>為了實現&nbsp;FaceID 蘋果已經把這一切都嵌入了 iPhone X 的前置鏡頭中</label></p> <p>&nbsp;</p> <h3>雷達</h3> <p>雷達早已被用於追蹤飛機、輪船和汽車等物體。 谷歌的先進技術和項目(ATAP)組透過將雷達縮小到 8 毫米 &times; 10 毫米的微晶片而取得了令人矚目的成就。這個通用的手勢控制晶片組可以嵌入到智慧手錶,電視機和其他物體中進行手勢追蹤。</p> <p style="text-align: center;"><img style="display: inline-block;" src="https://pic.36krcnd.com/avatar/201712/07060723/bfrn94yi3w76564n.gif" alt="有了這些技術,人類可以跟50年歷史的滑鼠鍵盤說再見了嗎?" width="600" data-img-size-val="418,219" /><label class="figuresaid" style="width: 600px; display: block; text-align: left; color: #555; line-height: 22px; padding: 0 3px 22px 3px; border-bottom: 2px solid #f0f0f0; margin: -5px auto 1rem auto;"><span style="color: #2382c5; padding-right: 5px;"> ▲ </span>Google ATAP 的 Soli 項目</label></p> <h3>生物信號</h3> <p>如果看到這你還覺得沒什麼厲害的,讓我們更進一步,上面提到的所有方法都是圍繞測量和檢測手勢的副產品。</p> <p>透過處理直接來自我們肌肉神經的信號,我們可以更進一步接近大腦。</p> <p>透過將感測器放置在肱二頭肌/三頭肌或前臂上的皮膚上而獲得的表面肌電圖(sEMG),從不同的肌肉運動單元獲得信號。 雖然 sEMG非常嘈雜的信號,還是可以檢測到一些手勢。在理想情況下,一般人願意在手腕上佩戴感測器。 然而手腕中的肌肉是很深的,因此很難獲取可以準確地用於手勢檢測的信號。</p> <p>一家名為 CTRL Labs 的新公司,利用手腕的 sEMG信號進行手勢控制。 CTRL 實驗室的設備測量 sEMG 信號,並且檢測來自該運動背後的大腦的神經的驅動。 這距離大腦更近了一步。利用他們的技術,你可以將手放在口袋裡,然後在手機上打字。</p> <p style="text-align: center;"><img style="display: inline-block;" src="https://pic.36krcnd.com/avatar/201712/08064703/wg0w5rrpb9pzdf4z.jpeg!1200" alt="有了這些技術,人類可以跟50年歷史的滑鼠鍵盤說再見了嗎?" width="600" data-img-size-val="757,384" /><label class="figuresaid" style="width: 600px; display: block; text-align: left; color: #555; line-height: 22px; padding: 0 3px 22px 3px; border-bottom: 2px solid #f0f0f0; margin: -5px auto 1rem auto;"><span style="color: #2382c5; padding-right: 5px;"> ▲ </span>來自 Thalmic 實驗室的肌肉機器接口</label></p> <p style="text-align: center;"><img style="display: inline-block;" src="https://pic.36krcnd.com/avatar/201712/08064858/3c4hcgc5qzh86uc9.gif" alt="有了這些技術,人類可以跟50年歷史的滑鼠鍵盤說再見了嗎?" width="600" data-img-size-val="400,225" /><label class="figuresaid" style="width: 600px; display: block; text-align: left; color: #555; line-height: 22px; padding: 0 3px 22px 3px; border-bottom: 2px solid #f0f0f0; margin: -5px auto 1rem auto;"><span style="color: #2382c5; padding-right: 5px;"> ▲ </span>Thalmic Labs 是第一批開發基於sEMG的消費類設備的公司之一</label></p> <h2>腦機交互</h2> <p>在過去的一年中,這一領域發生了很多事情。 美國國防高等研究計畫局花費 6500萬 美元投資神經接口。 Elon Musk 的 Neuralin 融資 2700 萬美元,Kernel 已經從其創始人 Bryan Johnson 獲得了 1 億美元的資金,Facebook 正在開發腦機界面。目前有兩種非常不同類型的腦機接口:</p> <h3>非侵入式腦機接口</h3> <p>腦電波(EEG),從頭皮上獲取信號。</p> <p>這就像在足球場上面放置一個麥克風。你聽不清每個人在說什麼,但是你可以知道是否進球(來自球場的歡呼和鼓掌)。</p> <p><strong>基於腦電波的界面並不真正讀你的想法。</strong> 例如,最常用的 BCI 範例是 P300 拼寫器。 你想輸入字母「R」; 電腦隨機顯示不同的字符; 一旦你在螢幕上看到「R」,你的大腦會感到驚訝,並發出一個特殊的信號。 這是很聰明的技術,但不會是「讀心術」,因為我們無法察覺對「R」的思考,而是發現了一個有效的技巧。</p> <p>Emotiv,NeuroSky,Neuable 和其他一些公司已經開發出消費級 EEG 頭戴式裝置。 Facebook 宣佈了一項關於用腦打字的計畫,該計畫使用另一種稱為功能近紅外光譜(fNIRS)的腦部感測技術,其目的是達到每分鐘 100 個字的速度。</p> <p style="text-align: center;"><img style="display: inline-block; margin-left: auto; margin-right: auto;" src="https://pic.36krcnd.com/avatar/201712/08065430/rakajj70z1kp83kd.jpg!1200" alt="有了這些技術,人類可以跟50年歷史的滑鼠鍵盤說再見了嗎?" width="600" data-img-size-val="746,420" /><label class="figuresaid" style="width: 600px; display: block; text-align: left; color: #555; line-height: 22px; padding: 0 3px 22px 3px; border-bottom: 2px solid #f0f0f0; margin: -5px auto 1rem auto;"><span style="color: #2382c5; padding-right: 5px;"> ▲ </span>用腦波打字</label></p> <p><strong>侵入式腦機接口</strong></p> <p>這是終極的人機界面,通過將電極放在大腦中工作,然而,還需要克服大量嚴峻的挑戰。</p> <p style="text-align: center;"><img style="display: inline-block; margin-left: auto; margin-right: auto;" src="https://pic.36krcnd.com/avatar/201712/08070041/zfepiem4kuck14mb.jpg!1200" alt="有了這些技術,人類可以跟50年歷史的滑鼠鍵盤說再見了嗎?" width="600" data-img-size-val="640,353" /><label class="figuresaid" style="width: 600px; display: block; text-align: left; color: #555; line-height: 22px; padding: 0 3px 22px 3px; border-bottom: 2px solid #f0f0f0; margin: -5px auto 1rem auto;"><span style="color: #2382c5; padding-right: 5px;"> ▲ </span>通過侵入式腦機接口控制機器手臂</label></p> <p><img style="display: block; margin-left: auto; margin-right: auto;" src="https://pic.36krcnd.com/avatar/201712/08065635/fllxyu0upyq49unm.jpeg!1200" alt="有了這些技術,人類可以跟50年歷史的滑鼠鍵盤說再見了嗎?" width="600" data-img-size-val="784,588" /></p> <h2>挑戰</h2> <p>我們上面提到了各種有趣的技術,為什麼仍然侷限於使用鍵盤和滑鼠。以下是人機交互技術進入大眾市場需要具備的功能。</p> <h3>準確性</h3> <p>如果 10次 使用 只有 7次準確,你會把觸摸螢幕作為主要界面嗎?用作主界面,必需有非常高的準確性。</p> <h3>延遲</h3> <p>想像一下,按下鍵後,一秒鐘後才顯示。 只要一秒鐘就沒人願意用了。超過幾百毫秒的人機界面毫無用處。</p> <h3>訓練</h3> <p>人機界面不應該要求用戶花費大量的時間學習新的手勢。</p> <h3>回饋</h3> <p>鍵盤敲擊聲,手機的震動,語音助手的嘟嘟聲,都是為了完成回饋迴路。回饋迴路路是任何界面設計中最重要的方面之一,用戶往往不會注意到這一點。我們的大腦不斷尋求確認其行動已經完成的成果。</p> <p><img style="display: block; margin-left: auto; margin-right: auto;" src="https://pic.36krcnd.com/avatar/201712/08065841/v91bmt7r9bp5ccav.jpeg!1200" alt="有了這些技術,人類可以跟50年歷史的滑鼠鍵盤說再見了嗎?" width="600" data-img-size-val="761,306" /></p> <h2>人機界面的未來</h2> <p>由於上述挑戰,我們還沒能取代鍵盤,至少現在還沒有。 不過人機界面的未來將是:</p> <ul> <li> <p><strong>多模式:</strong>我們將在不同的場合使用不同的界面。我們仍然可以使用鍵盤打字,繪圖和設計觸摸螢幕,與我們的數位助理進行語音互動,基於雷達的車內手勢控制,基於肌肉的手勢控制遊戲和虛擬現實,以及通過腦機接口選擇最適合你心情的音樂。</p> </li> <li> <p><strong>前後語意感知:</strong>你在電腦上閱讀了關於北加州野火的文章,然後在你在智慧耳機上詢問語音助理「那裡的風有多大?」。它應該理解你問的是火災的發生地點。</p> </li> <li> <p><strong>自動化:</strong>在 AI 的幫助下,電腦能更好地預測你打算做什麼,所以你甚至不需要發指令。 當你醒來的時候就會知道你想播放一些特定的音樂,所以你甚至不需要一個找歌播放。</p> </li> </ul> <p>原文鏈接:<a href="https://medium.com/@tahmaseb/after-50-years-is-it-time-to-say-goodbye-to-the-keyboard-e0d6e6709211">https://medium.com/@tahmaseb/after-50-years-is-it-time-to-say-goodbye-to-the-keyboard-e0d6e6709211</a></p> <ul> <li>本文授權轉載自:<a href="https://36kr.com/p/5106845.html">36kr(36氪)</a></li> </ul><a href="http://www.facebook.com/TKbang">加入T客邦Facebook粉絲團</a><img src="http://feeds.feedburner.com/~r/techbang/~4/cPg41cyf_nA" height="1" width="1" alt=""/>