kinect传感器及其相关应用VIP专享VIP免费

Kinect传感器及其应用宋攀婷3113037013Kinect结构Kinect是微软公司研制的一款体感外设，实际上是一种3D体感摄影机。该设备共有3个摄像头，中间是RGB彩色摄像头，左右两边分别为红外投影机（红外线发射器）和红外摄像头（CMOS红外感应设备）,用于深度探测。Kinect搭配了追焦技术，底座马达会随着对焦物体移动而转动。同时Kinect还内置麦克风阵列，用于语音识别Kinect深度图像产生原理Kinect采用光编码技术，可以直接获取物体和摄像头之间的距离。基本思想是通过连续光（近红外线）对测量空间进行编码，再进过CMOS感应器得到编码的光线，将数据传递给晶片（ps1080系统级芯片SoC）进行运算解码，产生一张具有深度的图像。核心一：结构光技术，激光散斑。核心二：光源标定，参考平面，相关运算。Kinect三角投影法的基本原理001kZZZdfbKinect用于检测和识别手势①肤色分割找到手的位置L*a*b颜色空间，b(23)1）RGB图像→L*a*b颜色空间2）b=2,b=3时转换图像的两个切片3）切片图像转换成二值图像4）两幅二值图像进行”和“操作A:手分割A1：RGB图像A2：深度图像A3：b=2A4：b=3A5：和操作后的肤色图像A6：手分割二值图像②通过K均值聚类分离手如果两只手距离传感器有相同距离，二值图像仅会显示一支手，K=2代表人只有两只手③找到手掌中心手掌比较宽大，可以近似为一个圆，两种选择：最小外接圆和最大内切圆（最佳），最大内切圆的中心近似为手掌中心。B:手指识别①找到凸包：用Graham扫描算法②检测指尖和手指方向方向矢量和等腰三角形中顶角的二等分线平行设置最大阈值AGraham扫描算法寻找凸包首先找到点集P中y坐标最小的点，如果y坐标相等，找出x坐标最小的点p0。以这个点p0为基准，将其他点与之相连，夹角由小到大进行排序，依次为p1,p2…p12。C:手势呈现①手掌中心位置②手指数目③指尖位置④手指方向矢量手势识别应用①剪刀-石头-布游戏②手势拖动屏幕图像：手掌中心决定拖动位置③皮影戏优点①基于廉价深度传感器Kinect②不需要任何辅助工具，数据库和机器学习过程③检测出手掌和指尖位置及手指方向，获得更复杂的手势信息。④实验证明能检测大部分手势，手水平放置或垂直放置⑤当手掌朝向传感器打开时，检测率达到95%。缺点：①手掌未朝向传感器打开时，深度图像中手掌的投影区特别小，不能检测到手的位置。计划方案：使用多个传感器，从多个方向来检测手势②不能很好地区分手部和肘部③手位于身体后方时，不能检测手势改进：利用Kinect提供的骨骼图像，基于深度图像和骨骼图像的一种手势识别算法基于深度图像和骨骼图像来实现动态手势识别两步：a:对手的部位进行追踪，即在视频流中每一帧中准确找到手的位置;b:识别不同的手部动态动作。优点：实时动态手势识别对手的位置没有限制不受照明影响手位于前方身体位于前方动态手势识别的应用在远程操控中，通过手来控制汽车的前进与后退；在讲解PPT时，通过手来控制PPT翻页；在播放音乐时，通过手的深度变化来控制音量大小；医学方面：手术过程中模拟鼠标的各种功能，无需与终端设备接触，方便医生对患者影像资料的查阅。尸体解剖