基于光流的分割

Question

嗨我想分割基于光流的视频序列中的对象（as suggested in this answer），我正在使用opencv并且已经能够使用calcOpticalFlowFarneback函数生成两个连续帧的流场。有人可以解释我将如何去分割基于这个流场的图像吗？

Answer 1

由于您想使用光流来细分物体，所以您的决策将基于您的物体的运动类型进行...您可以查看this video on youtube。您可以测量每个感兴趣像素在两个连续帧中所经历的位移的方向和大小，以了解它们的运动模式。在视频的链接中，汽车在光流的基础上从背景中分割出来...

Answer 2

一个非常直接的方法是提供具有基本事实的关键帧的算法。这意味着，手动分割第一帧（您可以在此处使用抓取），然后使用光流将分割传播到后续帧。

需要注意的是，光流出错容易出错。因此，不要直接使用传播分割，您可以侵蚀（使用某些结构化元素）传播的分割，并使用被侵蚀的图像作为grabcut的前景种子。同样，扩大传播的segementation并使用围绕扩张边界的带作为背景种子。

总之：对于第一帧给出的基本事实，用它来自动执行后续帧的抓取。

这有帮助吗？