Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

好奇下载的网络有没finetuning过 #52

Open
SnowWindSaveYou opened this issue Jan 5, 2022 · 2 comments
Open

好奇下载的网络有没finetuning过 #52

SnowWindSaveYou opened this issue Jan 5, 2022 · 2 comments

Comments

@SnowWindSaveYou
Copy link

SnowWindSaveYou commented Jan 5, 2022

做成了live版本测试了下,主要几个问题:

  1. 抗干扰能力差,画面中有手掌以外的物体(包括手臂)就会容易识别失误
  2. 识别错误时手的结构不再是手
  3. 手背准确性十分低,哪怕是手掌这样无遮挡的

第一个先把手部分割出来就好,用质心来识别手是粗糙了点,
第二个可以工程性的限制下,或者cyclegan矫正,
但第三个看起来是数据集问题,虽然或许加数据大概可以一定程度上解决,但设备原因重新训练的成本对咱来说还是比较高的,
所以咱想先问问看大大的model有没有用其他数据finetuning过,训练时有没旋转斜切之类的?(代码里没见到)

ps: 因为是sr300摄像头所以用的是hands2017的model
psp: 不用cuda的话大概0.5 fps的样子,囧
pspp: 对于NYU选的14个关节点表示迷惑

@zhangboshen
Copy link
Owner

@SnowWindSaveYou
非常感谢使用我们的模型做尝试!
以上问题我的理解其实还是数据的偏差导致的,之前也有同学反映说mean、std对数据集效果十分敏感。
我们由于各种原因没有再对这个模型进行更新,不过你的建议我觉得很专业,确实目前的手center点获取比较粗糙,我理解用一个好一点的检测器甚至是分割模型会改善稳定性。也很感谢你提供的CPU-0.5fps的结论。

@DuYawen1215
Copy link

@SnowWindSaveYou 你好,我想请教一下在训练之前是需要用matlab将深度图转为.mat文件吗

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants