電機與控制工程系計畫名稱:(子計畫四)動態VR運動復健輔助系統之人機溝通介面及使用者情緒瞭解(III)研究者:張志永經費來源:行政院國家科學委員會關鍵詞:虛擬實境;人臉表情情緒辨識;序列人臉影像處理;人性化溝通管道;抽象式關念表示法在此資訊爆炸時代,許多擬真的儀器與系統被創造出來而且正深入大眾的生活之中,尤其在娛樂、休閒、健身、復健、及訓練性等方面有蓬勃發展;而虛擬實境正是這個趨勢的主導者
一理想的虛擬實境系統,應能隨時掌握操控者的情況與感受,並能讓操控者與系統模擬器做直覺性的溝通,而讓使用者有完全沈浸其中的感受,因此研究發展任何虛擬實境技術時,使用者與機器系統之間的互動與溝通為相當重要的一環
本子計畫將藉電子攝影機隨時紀錄操控者臉部,藉影像處理技偵測出操控者之情緒狀態,並建立操控者與模擬器間的人性化溝通管道,以將操控者的使用感受忠實的告知子計畫一與二進行模擬器的控制變數轉換及後續階層式控制法則之設計,並藉此以改善整個控制迴路及調整參數的方法,而提高了模擬器的真實性,本計畫可視為整個模擬器系統的高階回授單元
虛擬實境系統要做得逼真,人使用之感覺須能傳遞,即回授至機器系統做出適當的模式或控制參數之修正,方可達成;本子計畫將發展出一套即時之人情緒狀態判定系統藉線上拍攝操控者臉部影像序列,由影像處理技術偵測出操控者之臉部變化,進而推敲操控者情緒狀態;人臉表情與情緒相當含糊不明確,而且抽象,由機器辨認相當困難,極有挑戰性,是當今電子資訊之重要課題,如MPEG-4強調人與環境互動,其中包含人臉表情編碼規範
更進一步,本計畫並將測出情緒狀態的程度,如很害怕、有點快樂,以便後級控制迴路設計能很靈敏、漸近、且精緻
但人的感覺屬抽象的概念,並無一實數物理量可對映歸屬程度,本計畫主要研究抽象式觀念之表示法,並設計出一個能與機器系統做感覺溝通與對映之方法
本計畫在這三年中將逐年分別對於跑步機、滑