OpencvSharp 算子学习教案之 - Cv2.CalcOpticalFlowFarneback

OpencvSharp 算子学习教案之 - Cv2.CalcOpticalFlowFarneback大家好Opencv在很多工程项目中都会用到而OpencvSharp则是以C#开发与实现的Opencv操作库对.NET开发人员友好但很多API的中文资料、应用场景及常见坑点等缺乏系统性归纳因此这系列博客将给大家带来Cv2及Mat对象全系列算子学习教案供大家参考学习。Cv2.CalcOpticalFlowFarneback教案版本V1.0面向对象OpenCvSharp 初学者所属模块video源码位置OpenCvSharp/Cv2/Cv2_video.cs:238摘要本页演示CalcOpticalFlowFarneback(InputArray prev, InputArray next, InputOutputArray flow, ...)。Farneback 是典型的稠密光流算法它会为图像中几乎每个像素估计一个二维位移向量因此特别适合观察整体运动趋势。1. 函数名称带参数签名publicstaticvoidCalcOpticalFlowFarneback(InputArrayprev,InputArraynext,InputOutputArrayflow,doublepyrScale,intlevels,intwinsize,intiterations,intpolyN,doublepolySigma,OpticalFlowFlagsflags)2. 函数用途Cv2.CalcOpticalFlowFarneback用来计算稠密光流也就是“给几乎每个像素都估计运动向量”的光流。它最常见的用途有观察整张图的运动方向和运动幅值。做运动分割或背景运动分析。生成稠密位移场供后续可视化或分析使用。在教学里和 PyrLK 对比“稀疏”与“稠密”的差异。3. 函数公式Farneback 的核心是用局部多项式近似来描述图像结构并从相邻帧的变化里估计位移。可以把它理解成I ( x , y , t ) → f ( x , y ) ( u , v ) I(x, y, t) \rightarrow \mathbf{f}(x, y) (u, v)I(x,y,t)→f(x,y)(u,v)其中f ( x , y ) \mathbf{f}(x, y)f(x,y)是像素( x , y ) (x, y)(x,y)的二维流向量。更直观地说Farneback 会先在金字塔上逐层估计再把粗层级的运动细化到更高分辨率。4. 函数原理说明CalcOpticalFlowFarneback的工作过程可以概括成先把图像构建成金字塔。在每一层里估计局部多项式。逐层细化位移向量。最终输出一张和原图同尺寸的双通道流场。初学者最容易混淆的地方是以为它只会输出少量点其实它是整图流场。忘记输出flow是CV_32FC2。只看箭头图不看颜色图容易忽略幅值差异。参数过激进时流场会变得抖动或过于平滑。5. 参数含义解析参数名类型必填含义prevInputArray是前一帧单通道图像nextInputArray是后一帧单通道图像flowInputOutputArray是输出流场类型为 CV_32FC2pyrScaledouble是金字塔缩放比例levelsint是金字塔层数winsizeint是平均窗口大小iterationsint是每层迭代次数polyNint是多项式邻域大小polySigmadouble是多项式平滑参数flagsOpticalFlowFlags是运行标志补充说明prev和next必须是同尺寸、同类型的单通道图像。flow一般是Mat最终会保存两个通道的位移向量。winsize越大结果越平滑但细节会少一些。pyrScale常见是 0.5表示每层尺寸减半。6. 应用场景列表场景名场景说明典型用途场景A整体运动观察直接看整张图的位移趋势运动分析场景B流场可视化用箭头和颜色编码展示流向教学演示场景C动态背景分析观察场景中的整体流动方向视频分析7. 函数使用示例下面的示例先生成一对轻微位移的合成帧再转换成灰度图接着计算稠密光流并把结果同时显示成箭头图和颜色图。usingSystem;usingOpenCvSharp;internalstaticclassProgram{privatestaticvoidMain(){var(sourceFrame,targetFrame)CreateMotionFramePair();usingvarsourceGrayConvertToGray(sourceFrame);usingvartargetGrayConvertToGray(targetFrame);usingvarflownewMat();Cv2.CalcOpticalFlowFarneback(sourceGray,targetGray,flow,0.5,3,21,3,5,1.2,OpticalFlowFlags.None);Cv2.Split(flow,outMat[]channels);usingvarflowXchannels[0];usingvarflowYchannels[1];usingvararrowOverlayCreateFlowArrowOverlay(sourceFrame,flowX,flowY);usingvarcolorMapCreateFlowColorMap(flowX,flowY,outvarmaxMagnitude,outvarmeanMagnitude);Console.WriteLine($MaxMagnitude {maxMagnitude:F2});Console.WriteLine($MeanMagnitude {meanMagnitude:F2});foreach(varlayerinnew[]{sourceFrame,targetFrame,sourceGray,targetGray,flow,arrowOverlay,colorMap}){layer.Dispose();}}privatestaticMatConvertToGray(MatcolorImage){vargrayImagenewMat();Cv2.CvtColor(colorImage,grayImage,ColorConversionCodes.BGR2GRAY);returngrayImage;}}8. 注意事项输入图像必须是单通道。输出flow是双通道浮点图不是普通灰度图。这类算法更适合看整体运动不是做单点精确跟踪。箭头太密时建议降低采样步长或只显示部分箭头。9. 参数调优建议先从pyrScale 0.5、levels 3开始。如果运动平稳可以适当增大winsize。如果画面细节很多可以适当增加iterations。polyN和polySigma主要影响平滑和细节保留的平衡。10. 进阶扩展把流场再转换成 HSV 颜色编码图。尝试和 PyrLK 的稀疏跟踪结果做对比。用真实视频帧替代合成帧观察流场稳定性。11. 常见错误排查把 Farneback 和 PyrLK 混为一谈。忘记先把彩色图转成灰度图。误以为flow是单通道矩阵。箭头画得太密导致结果看不清。相关链接WPF 教学控件Cv2CalcOpticalFlowFarnebackControl.xaml.cs样例实现CalcOpticalFlowFarnebackSample.cs相关对比Cv2.CalcOpticalFlowPyrLK.input-output-array.md