如何在先前录制的视频/图像帧中检测鼠标光标/点击

2018-06-24 13:05:55

我有一些屏幕录像解释了如何在特定软件中执行任务。我的目标是检测用户点击按钮或菜单项或其他任何导致更改的位置。这项工作的一个解决方案是检测鼠标光标的位置。有几个挑战：

光标的图标变化并且在所有视频中并不总是相同的（例如Mac vs Win，箭头形和手形光标）。

我尝试过模板匹配，但是我没有得到好的结果，因为每个捕捉视频的人的显示设置可能不同，因此光标的大小会有所不同。

计算两个后续图像之间的差异可以仅在输出中给出鼠标光标，但我只需要在输出中只有第二个或最后一个图像的光标位置不是它们两个。

我也试图找到一个对象跟踪样本解决方案，但它们是用于实况视频或多个对象（我只需要找到鼠标光标或鼠标点击的位置）

如果有人能提出解决方案，准备使用代码（Java / Matlab / Python），软件或API来完成这项工作，我将不胜感激。

链接地址: http://www.djcxy.com/p/68757.html