”AI运动识别“小程序插件

本插件可以为您的小程序提供人体检测、运动识别的AI能力,插件目前支持跳绳、开合跳、俯卧撑、仰卧起坐、深蹲(深蹲起)、平板支撑、马步蹲等运动的识别检测计时、计数分析,更多的运动类型正在丰富中;插件运动识别引擎提供了基于规则配置的运动识别能力,您可以通过配置一些简单的规则,增加一项新的运动(动作)识别能力,若是复杂的运动种类,也可以通过代码扩展的方式进行。

识别方式 本地原生
最新版本 1.0.19
发布日期 2023-02-04

常见问题

Q1、ve1ve2两个识别引擎有什么区别,如何选择?

ve1:默认引擎,此引擎的特性是兼容更多的老旧版本的微信,有部分特殊机型在特定版本微信下无法使用,专门针对单人场景优化,精度更高。
ve2:新引擎,需要较新版本的微信客户端,机型兼容性会更好,识别速度快,精度略低。
目前ve2引擎还处在beta测试阶段,主要是为了解决机型兼容性问题,建议调用者不要指定具体识别引擎,插件将自动选择适合引擎。

Q2、插件兼容性如何?

插件拥有ve1ve2两个识别引擎,可以兼容目前市面上的大部分手机机型和微信版本。但是因小程序框架限制、微信版本众多、终端机型众多等因素,我们不能保证所有机型、版本都完美兼容,但是我们将尽最大努力更新解决出现的兼容性问题。使用前请先联系我们咨询更多细节。

Q3、相机流控目标帧率控制在多少合适?

目前测试的Android中、高端机型只有10帧左右的识别率(设备量有限、以实际为准),所以默认值是12帧(建议不也不要低于此值),但是也不要高于20帧

Q4、插件能否在uni-app等跨平台框架上应用?

可以的,并且提供uni版的Demo示例。不管任何跨平台框架,都必须编译成微信小程序格式要求的目标程序,只要在相应的项目中配置引用插件即可。具体请参考相应平台的官方文档。uni-app请访问https://uniapp.dcloud.net.cn/tutorial/mp-weixin-plugin.html

Q5、PoseGraphs绘制骨骼图,不重合、性能等问题?

骨骼图的绘制原理是通过在小程序的Camera相机组件上增加一层相同大小的透明Canvas,再根据人体识别结果中的关键点信息的实时绘制图形。
由于原生组件渲染定位兼容性问题、小程序Camera组件的实时预览图像与抽帧图像大小可能不一致的问题(具体请参考官方文档https://developers.weixin.qq.com/miniprogram/dev/component/camera.html#Bug-Tip);所以有部分用户集成时因为没有对Camera和骨骼图Canvas两个骨骼图进行同比缩放、定位不一致,导致的骨骼图关键点与实际图像不符。
针对此问题,我们给开发者两方面的建议:

  • 1、凡是出现骨骼图不重合,都是上述原因造成的,请参考Demo修复即可。

  • 2、即使出现骨骼图飘移问题,并不会对人体、运动识别结果造成影响,因为是先有识别结果再绘图,只是绘制出现了偏差;

  • 2、实时绘制骨骼图对性能还是有一定的影响的,特别是低端机型,因此我们建议在实际产品中关闭此功能,或者以缩小图的方式绘制。

Q6、横屏拍摄识别时如何处理?

v1.0.9开始,人体检测结果BodyDetectionResult支持整体旋转功能,支持任意角度旋转。详情请参考API文档。

Q7、使用uni-app框架开发时,部分机型出现抽取2帧左右后,意外停止抽帧的问题, 如何解决?

这是因为Camera组在uni-app中会多次初始化原因导致的,在最新版本的uni版Demo已经做兼容处理,请联系我们索取最新demo及解决方案。