物体识别技术概述
物体识别是基于触控屏的标签识别交互系统,由触控屏和实物标签Marker,软件底层识别程序和软件上层效果程序,支持多个Marker同时显示,将Marker嵌入或粘合到待识别物体的底部,在Marker接触触控屏时,物体识别程序识别其ID和位置信息,并向互动媒体应用程序发送TUIO消息,即弹出来关于此产品或者服务的介绍(IDANGLE),后者即可据此执行关联的媒体互动指令。
物体识别框架
电容物体识别框架一、主流物体识别技术对比
01、摄像头:传统的摄像头物体识别技术,主要依靠放在桌子下方或上方的相机来检测识别物体,对台面厚度、环境光线都有要求,并且识别精度低、成本极高,严重影响其规模应用和推广。
优点:操作简单
缺点:台面厚、受光线影响、精度低、成本高
02、红外:早期——红外框物体识别屏,应用在展馆里面。但是红外框在显示屏上是突出的,如果洒了水或者饮料在屏幕上,则会导致屏幕进水,无法正常显示。
优点:成本低,操作简单
缺点:外观有凹槽,不防水防尘
03、电容:电容屏物体识别是一种新型智能识别技术,可以在电容触摸屏上识别特制的多个模块,感应出不同的精美画面,轻松炫酷实现人机交互。
优点:外观平整美观,防水防尘。
缺点:对玻璃厚度有要求。
二、关键技术
高信噪比电容膜
能够引起电容屏的报点的导电体,电容屏。由于触摸块的信号比正常的手要小非常多,电容屏板卡玻璃等都需要优化设计。
识别技术
识别技术表面简单,实际要达到多个TAG互相不干扰,TAG和手不干扰。
应用软件接口
TUIO是一个通用的接口,单是单向的接口,应用软件无法根据需要与识别系统实时通讯。没有Native的插件接口方便,TUIO的载体是UDP,USB硬件无法直接发出UDP,需要启动一个协议转化的进程,便利性上逊色于Native的接口。
三、协议开发
物体识别的底层程序是C++编程,上层应用程序可以使用flash、unity、ue4、ventuz等等。通过TUIOobj底层标准协议把识别物的ID号,X,Y和旋转角度发送给上层应用程序,自定义UDP通讯协议格式是id1,x1,y1,angle1/id2,x2,y2,angle2,如果超过两个后面再加id3,以此类推,端口号上层程序可以自己随便定义,因为底层程序的端口号是可以配置。
具体操作如下:
1、安装令牌/Marker识别程序
2、将令牌与识别物结合(嵌入或粘合)
3、使用熟悉的开发工具进行定制开发
4、创造物理/数字融合的交互体验
TUIO协议
TUIO(Table-TopUserInterfacesObjects)是一个开源的框架,为多点触控屏定义的标准协议与应用编程接口的开放架构。这个协议从追踪应用程序(基于计算机视觉)获取控制数据,然后将数据发送给每一个客户应用程序。TUIO协议允许交互式表面上的抽象描述的传输,例如传输触摸和接触物体的状态。这个协议对跟踪应用者的控制数据编码并将它传送到任何可以解码的客户端应用程序。TUIO协议定义了主要两类的消息:SET消息和ALIVE消息,SET消息是用来传递物体状态信息的,例如位置、方向、和其他状态。ALIVE消息是指代物体在屏幕表面的当前设置,使用一系列SessionID。
TUIO协议工作原理示意图板卡支持协议
01、TagHID(HID协议带角度)
通过DLL方式的Pluginnative支持Unity,ventuz等多媒体软件开发平台,目前主推Native方式。
02、TagasTouch(Hid标准触摸协议)
对于不需要信息的应用场合,使用固定的ID标准触摸协议上报触摸。例如:ID1~80,普通触摸点ID~TAG点。
03、TuioCursorTuioObject符合TUIO规范
目前带角度是最标准的一个协议,大部分带角度应用使用该协议。由于TUIO是一个UDP协议,USB的硬件不能直接发送UDP数据包,需要通过TagPanel做协议转换。
04、TCP的TUIO协议
主要用于Flash。
UnityDLL插件简介
01、DLL插件,能让硬件识别系统更加灵活,就像写在软件UI层一样。
TagHID_ReadTag读取当前识别到的TAG信息。Id,x,y,width,height,angle。
02、特殊的API
TagHID_GetCPUID取得硬件板卡的唯一序列号,方便软件厂商做软件加密。
03、Unity插件测试信息
Touch,还用UnityNative的Touch做。需要读取TAG的消息了,调用插件API。EVT:down,move,upX,Y,Width,Height坐标系的范围是0~,Angle是0~。
四、核心竞争力
透明电磁天线板核心技术五、应用领域
幼儿教育
透电电磁天线板-幼教游戏互动
透明电磁天线板应用——游戏互家居零售
透明电磁天线板应用——家居零售展览展示
透明电磁天线板应用——展览展示