一种人机交互系统及方法

	一种人机交互系统及方法
	张玺君; 金宏宇; 张祺瑞; 沙科宇; 贾志亮; 李伟; 张秀彤; 李毅辉
	2020-07-10
专利权人	兰州理工大学
公开日期	2020-07-10
授权国家	中国
专利类型	发明申请
摘要	本发明公开了一种人机交互系统及方法，涉及魔镜，其中的一种人机交互系统包括智能语音模块、人脸识别模块、情绪识别模块、室内环境检测预警模块、睡眠质量及时长检测模块、手机终端模块、魔镜控制模块；魔镜控制模块分别链接智能语音模块、人脸识别模块、情绪识别模块、室内环境检测预警模块、睡眠质量及时长检测模块、手机终端模块。本发明结合语音识别技术和讯飞机器人，实现聊天对话；支持手机终端实时查看，省心省力；采用睡眠质量和时长检测及打分系统，高效快捷，保证了充足的睡眠；采用情绪识别判别，及时判断用户此刻的心情；采用烟雾报警模块，实行预警，快捷方便。
申请日期	2020-04-08
优先权日	2020-04-08
专利状态	实质审查
申请号	CN202010269680.2
公开（公告）号	CN111402997A
IPC 分类号	G16H20/70 ; G06K9/00 ; G06F16/332 ; A61B5/0205 ; A61B5/16 ; A61B5/00 ; G10L15/22 ; G08B21/16 ; G08B25/08 ; H04L29/08 ; G01N27/12 ; A47G1/02
专利代理人	惠银银
代理机构	西安合创非凡知识产权代理事务所(普通合伙)
CPC分类号	G16H20/70 ; G06F16/3329 ; A61B5/0205 ; A61B5/165 ; A61B5/4815 ; A61B5/4812 ; A61B5/4809 ; G10L15/22 ; G08B21/16 ; G08B25/08 ; H04L67/025 ; G01N27/12 ; A47G1/02 ; A61B5/024 ; G10L2015/225 ; G06V40/172
权利要求	1.一种人机交互系统，其特征在于，包括：智能语音模块，用于用户可以实时和魔镜进行聊天；人脸识别模块，基于可见光图像的人脸识别通过 Python 程序与摄像头，云台实现人脸识别功能；情绪识别模块，通过皮肤电信号传感器监测人体的情绪；室内环境检测预警模块，通过对空气中的烟雾，煤气等各项气体的检测，当达到指定数值时，服务器能够及时预警，并通过短信通知其他人；睡眠质量及时长检测模块，通过监测用户在睡眠期间内的心率变化是否平稳，从而达到判断睡眠质量的功效；同时通过用户入睡和醒来的时间确定睡眠时长；手机终端模块，用于通过手机终端实时查看并了解孩子的健康状况；魔镜控制模块，用于控制智能语音模块、人脸识别模块、情绪识别模块、室内环境检测预警模块、睡眠质量及时长检测模块，并用于魔镜显示及操作。 2.根据权利要求1所述的人机交互系统，其特征在于，所述智能语音模块主要包括语音识别芯片，当进行语音控制操作时，将麦克风采集到的声音，经过语音训练、识别，输出最终语音识别结果，形成标准的语音模型参考数据库，然后在魔镜上显示。 3.根据权利要求1所述的人机交互系统，其特征在于，所述人脸识别模块基于可见光图像的人脸识别通过 Python 程序与摄像头，云台实现人脸识别功能，包括：对人脸检测定位，进行肤色对比，确定脸部尺寸；对定位后的人脸预处理，为了方便提取人脸特征值，进行降噪处理，将尺度统一化，灰度归一化与均衡化；特征提取，根据面部特征的提取结果与待测人脸进行比较，一定误差内的比较结果视为识别成功；由摄像头将数据传入树莓派，由树莓派实现反馈。 4.根据权利要求1所述的人机交互系统，其特征在于，所述情绪识别模块包括四运算放大器、GSR 皮肤电信号传感器、蓝牙通讯模块，通过对人体生物电的变化曲率，与数据库中已有数据做对比，初步判断用户的情绪；通过主流的人脸识别技术进行二次判别，实现准确判断，极大的降低误差。 5.根据权利要求1所述的人机交互系统，其特征在于，所述室内环境检测预警模块在魔镜镜所处环境中存在烟雾气体时，烟雾传感器的电导率随空气中污染气体浓度的增加而增大；将电导率的变化转换为与该气体浓度相对应的输出信号。 6.根据权利要求1所述的人机交互系统，其特征在于，所述睡眠质量及时长检测模块光电容积法监测睡眠情况。 7.根据权利要求1所述的人机交互系统，其特征在于，所述手机终端模块设有APP软件，用于监测并显示，其软件模块包括：登录单元，允许用户登录当前的APP，手机可以链接到网络，要求用户验证用户名密码，正确则进入主界面，由于用户名和密码错误而无法登录；系统日志记录错误并通知用户；获取基本信息单元，用于允许用户获取自己的基本信息；查看路况单元，用于允许用户查看自己当前位置的路况；获取最近的心率，心情以及评分单元，用于允许用户查看一个月的心情数据；获取最近一个月的心情统计单元，用于允许用户查看一个月的心情数据；获取最近一周的平均心率单元，用于允许用户查看一个月的心率数据。 8.根据权利要求1所述的人机交互系统，其特征在于，所述魔镜控制模块包括树莓派模块和Arduino模块；树莓派模块用于监测智能语音模块、人脸识别模块、情绪识别模块、室内环境检测预警模块、睡眠质量及时长检测模块的数据； Arduino模块用于对树莓派模块监测的数据进行分析处理。 9.一种人机交互系统方法，其特征在于，包括：采用客户端－服务器工作模式，服务器负责相关传感器数据采集及分析；客户端实现语音识别、互动娱乐等功能，当人靠近时，客户端的原子镜利用相关的传感器和 AI 几乎可以实时检测出身体的一些参数，并实时传回云端，和数据库中的标准数据进行对比，严重失衡的会通过短信及时反馈给其家人；魔镜具有语音聊天对话功能，可以作为知心朋友和人聊天讲段子，有什么烦心事可以倾诉，进行实时互动；当人照镜子时，魔镜会自动采集相关数据，将数据传回云端，与标准的数据进行对比分析，然后再终端即手机 APP 给定一个分数，对该分数进行合格判断，如果不合格，服务器就会自动发送短信到该用户家人的手机上，及时督促。
引用专利	CN104598876A;CN108937972A;CN109215763A;CN110706786A;CN209003411U;JP2009153609A;KR1020180030318A;US10376195B1;US20190133345A1
被引用专利数量	11
简单法律状态	审中
文献类型	专利
条目标识符	https://ir.lut.edu.cn/handle/2XXMBERH/107612
专题	兰州理工大学
推荐引用方式 GB/T 7714	张玺君,金宏宇,张祺瑞,等. 一种人机交互系统及方法[P]. 2020-07-10.