原创不易，转载请注明出处

【注】：本博客包含很多作者本人的直观理解和解释，不甚严谨，仅供参考。

基本概念

• 光流：在图像视觉任务中，所谓“光流”就是光的流向，一个像素点在$t$帧所在位置是$(x_1,y_1)$，在$t+1$时刻移动到$(x_2,y_2)$，那么就可以说$t$时刻$(x_1,y_1)$位置的光流为方向指向$(x_2,y_2)$，大小为两点之间模长的一个矢量，其实不难看出，也就是$t$时刻$(x_1,y_1)$像素的速度（既有方向也有大小）。当然了，像素实际上是不会移动的，所以光流实质上反应的是像素灰度的变化趋势。
• 光流场：所谓"场"反应到纸面上就是对空间中没一点的运动/趋势的描述，所以光流场就是对整个空间光流变化的一个描述（或者说就是一个式子、函数）
  
  图1. 光流场

光流法基本原理

假设条件

• 亮度恒定不变：即同一目标在不同帧间运动时，其亮度不会发生改变。这是基本光流法的假定（所有光流法变种都必须满足），用于得到光流法基本方程
• 时间连续或运动是“小运动”：即时间的变化不会引起目标位置的剧烈变化，相邻帧之间位移要比较小。同样也是光流法不可或缺的假定。

基本约束方程

假设在空间中，$(x,y)$位置的像素在$t$时刻的光强是$I(x,y,t)$，过了$dt$时间，这个光强向$x,y$方向分别移动了$dx,dy$，那么移动后的光强表示是$I(x+dx,y+dy,t+dt)$。根据亮度恒定不变假设，有
$$I(x,y,t)=I(x+dx,y+dy,t+dt)$$
将右侧泰勒展开有
$$I(x,y,t)=I(x,y,t)+\frac{\partial I}{\partial x}dx+\frac{\partial I}{\partial y}dy+\frac{\partial I}{\partial t}dt+ϵ$$
(这个展开就是一阶泰勒展开的公式)
将$ϵ$忽略，两边消掉$I(x,y,t)$，并同除以$dt$，就有
$$\frac{\partial I}{\partial x}\frac{dx}{dt}+\frac{\partial I}{\partial y}\frac{dy}{dt}+\frac{\partial I}{\partial t}\frac{dt}{dt}=0$$
这里显然$\frac{dx}{dt},\frac{dy}{dt}$是$x$方向和$y$方向上的速度。分别设为$u,v$，并设$I_x=\frac{dI}{dx},I_y=\frac{dI}{dy},I_t=\frac{dI}{dt}$，于是有
$$I_{x}u+I_{y}v+I_t=0，（1）$$
显然$I_x,I_y,I_t$分别是亮度函数在$x,y,t$方向上的梯度，也就是变化的剧烈程度。
实际上$I_x,I_y,I_t$是已知的，可以用差分法求出，比如
$$I_x=I(x+dx,y,t)-I(x,y,t)=I(x+1,y,t)-I(x,y,t)$$
其中$I(x+1,y,t)$实际上就是第$t$帧图像在$(x+1,y)$像素处的灰度值。

那么所谓光流场，也就是公式(1)的解，因为对于每帧图像的每个位置$(x,y)$，$I_x,I_y,I_t$是已知值，只要解出公式(1)得到$u,v$的值，就得到了这点像素的“速度矢量”，也就是光流。但是显然问题是只有一个等式却有两个未知变量，在现有条件下不可解，或者说有无数多解。那么各个光流法的本质就是在此基础上再加约束，使得(1)式可解，得到确定的$u,v$值。

Lucas-Kanade（LK）光流法

对于公式(1)无穷多解的问题，LK法的核心思想是提出一个假设，即图像上的一个小窗口内，所有像素位置的光流都一样，即小窗口内的每个像素都有相同的$u,v$。在此假设下会得到N个方程，2个未知数的超定方程组，没有精确解但是可以用最小二乘法求最优解。
假设窗口大小为$3\times 3$，就有
$$\{\begin{array}{c}{I}_{x_1}u+I_{y_1}v=-I_{t_1}\\ I_{x_2}u+I_{y_2}v=-I_{t_2}\\ ...\\ I_{x_9}u+I_{y_9}v=-I_{t_9}\end{array}$$
矩阵形式
$$A\left[\begin{array}{c}u\\ v\end{array}\right]=b$$
其中
$$A=\left[\begin{array}{cc}{I}_{x_1}& I_{y_1}\\ I_{x_2}& I_{y_2}\\ ...& ...\\ I_{x_n}& I_{y_n}\end{array}\right],b=\left[\begin{array}{c}-I_{t1}\\ -I_{t2}\\ ...\\ -I_{t_n}\end{array}\right]$$
那么需要的解就变成了找到$x$使得$||Ax-b|{|}^2$最小。根据最小二乘法公式，解法公式为：
$$(A^{T}A)\left[\begin{array}{c}u\\ v\end{array}\right]=A^{T}b$$
最终解为：
$$\left[\begin{array}{c}u\\ v\end{array}\right]=(A^{T}A{)}^{-1}{A}^{T}b$$
经计算有
$$A^{T}A=\left[\begin{array}{cc}\sum I_x^2& \sum I_x{I}_y\\ \sum I_x{I}_y& \sum I_y^2\end{array}\right],A^{T}b=\left[\begin{array}{c}-\sum I_x{I}_t\\ -\sum I_y{I}_t\end{array}\right]$$
所以最终有
$$\left[\begin{array}{c}u\\ v\end{array}\right]={\left[\begin{array}{cc}\sum I_x^2& \sum I_x{I}_y\\ \sum I_x{I}_y& \sum I_y^2\end{array}\right]}^{-1}\left[\begin{array}{c}-\sum I_x{I}_t\\ -\sum I_y{I}_t\end{array}\right]$$
矩阵的逆的计算方法可以搜相关教程。
因为这个方法里需要计算矩阵的逆，所以隐含条件是矩阵必须可逆，即$A^{T}A$必须可逆，如果这个矩阵接近0，那么往往是不可逆的。当小窗口所在区域图像内容比如是白墙、蓝天，往往就不可计算。所以LK方法只对纹理丰富的点有效。

金字塔LK（Pyramid Lucas-Kanade）

LK方法里使用了一阶泰勒展开，这样就有一个前提是，这种方法只适用于位移、时间变动都很小的情况。如果图像内出现移动速度很快的目标，一帧图像可能就跨越几十个像素，那么用LK方法就不合适，对于这种大位移情况，可以用金字塔LK方法。
方法的核心思想：通过上采样不断把图像缩小，那么目标的位移也就不断减小，在足够小的图像尺度上使用LK方法，计算出$u,v$，将此作为初始值再计算下一层的$u,v$，以此类推最终算出原图的$u,v$。
例如对于原始图像$I_0$，做4次缩放，每次缩放尺度变为原本的$\frac{1}{2}$，得到$I_1,I_2,I_3$，在$I_3$上使用LK方法，计算出$I_3$的光流$u_3,v_3$，然后计算$I_2$上的初始值：
$$u_{u{p}_3}=2u_3，v_{u{p}_3}=2v_3$$
假定$I_2$上的光流$u_2,v_2$是在$I_3$光流基础上做了微小调整，那么就有
$$(u_2,v_2)=(u_{u{p}_3},v_{u{p}_3})+(\Delta u,\Delta v)，（2）$$
再在$I_2$上使用LK方法：
$$\begin{gathered} I_{x_2}{u}_2+I_{y_2}{v}_2=-I_{t_2} \\ {I}_{x_2}(u_{u{p}_3}+\Delta u)+I_{y_2}(v_{u{p}_3}+\Delta v)=-I_{t_2} \end{gathered}$$
整理有
$$I_{x_2}\Delta u+I_{y_2}\Delta v=-(I_{t_2}+I_{x_2}{u}_{u{p}_3}+I_{y_3}{v}_{u{p}_3})$$
设$\delta I=(I_{t_2}+I_{x_2}{u}_{u{p}_3}+I_{y_3}{v}_{u{p}_3})$，就有
$$I_{x_2}\Delta u+I_{y_2}\Delta v=-\delta I$$
那么后面就和普通LK推理方法一样，得到
$$\left[\begin{array}{c}\Delta u\\ \Delta v\end{array}\right]={\left[\begin{array}{cc}\sum I_{x_2}^2& \sum I_{x_2}{I}_{y_2}\\ \sum I_{x_2}{I}_{y_2}& \sum I_{y_2}^2\end{array}\right]}^{-1}\left[\begin{array}{c}-\sum I_{x_2}\delta I\\ -\sum I_{y_2}\delta I\end{array}\right]$$
得到$\Delta u,\Delta v$后就可以用公式（2）计算$u_2,v_2$了，然后就可以继续计算$u_{u{p}_2},v_{u{p}_2}$，然后继续向下传播，最终在$I_0$上得到光流。

参考资料

计算机视觉–光流法(optical flow)简介