计算机视觉中,有哪些比较好的目标跟踪算法?(下)雷峰网

SRDCF基于DCF,类SAMF多尺度,采用更大的检测区域(padding=4),同时加入空域正则化,惩罚边界区域的滤波器系数,由于没有闭合解,采用高斯-塞德尔方法迭代优化。检测区域扩大(1.5->4),迭代优化(破坏了闭合解)导致SRDCF只有5FP,但效果非常好是2015年的baseline。

CFLB仅单通道灰度特征,虽然速度比较快167FPS,但性能远不如KCF,不推荐;最新BACF将特征扩展为多通道HOG特征,性能超过了SRDCF,而且速度比较快35FPS,非常推荐。

ThiswasparticularlyobviousincaseofSiamFCtrackers,whichrunsordershigherthanrealtime(albeitonGPU),andStaple,whichisrealtime,butareincorrectlyamongthenon-realtimetrackers.

VOT2016竟然发生了乌龙事件,Staple在论文中CPU上是80FPS,怎么EFO在这里只有11?幸好公开代码有Staple和STAPLE+,实测下来,虽然我电脑不如LucaBertinetto大牛但Staple我也能跑76FPS,而更可笑的是,STAPLE+比Staple慢了大约7-8倍,竟然EFO高出4倍,到底怎么回事呢?

首先看Staple的代码,如果您直接下载Staple并设置params.visualization=1,Staple默认调用ComputerVisionSystemToolbox来显示序列图像,而恰好如果您没有这个工具箱,默认每帧都会用imshow(im)来显示图像,所以非常非常慢,而设置params.visualization=0就跑的飞快(作者你是孙猴子派来的逗逼吗),建议您将显示图像部分代码替换成DSST中对应部分代码就可以正常速度运行和显示了。

再来看STAPLE+的代码,对Staple的改进包括额外从颜色概率图中提取HOG特征,特征增加到56通道(Staple是28通道),平移检测额外加入了大位移光流运动估计的响应,所以才会这么慢,而且肯定要慢很多。

DAT统计前景目标和背景区域的颜色直方图并归一化,这就是前景和背景的颜色概率模型,检测阶段,贝叶斯方法判别每个像素属于前景的概率,得到像素级颜色概率图,再加上边缘相似颜色物体抑制就能得到目标的区域了。

CSR-DCF中的空域可靠性得到的二值掩膜就类似于CFLM中的掩膜矩阵P,在这里自适应选择更容易跟踪的目标区域且减小边界效应;以往多通道特征都是直接求和,而CSR-DCF中通道采用加权求和,而通道可靠性就是那个自适应加权系数。采用ADMM迭代优化,可以看出CSR-DCF是DAT和CFLB的结合算法。

Long-term就是希望tracker能长期正确跟踪,我们分析了前面介绍的方法不适合这种应用场合,必须是short-termtracker+detecter配合才能实现正确的长期跟踪。

用一句话介绍Long-term,就是给普通tracker配一个detecter,在发现跟踪出错的时候调用自带detecter重新检测并矫正tracker。

LCT加入检测机制,对遮挡和出视野等情况理论上较好,速度27fps,实验只跑了OTB-2013,跟踪精度非常高,根据其他论文LCT在OTB-2015和VOT上效果略差一点可能是两个核心阈值没有自适应,关于long-term,TLD和LCT都可以参考。

还有CSR-DCF的空域可靠性,也用了两个类似指标反映通道可靠性,第一个指标也是每个通道的最大响应峰值,就是Fmax,第二个指标是响应图中第二和第一主模式之间的比率,反映每个通道响应中主模式的表现力,但需要先做极大值检测:

在CN中提出了非常重要的多通道颜色特征ColorNames,用于CSK框架取得非常好得效果,还提出了加速算法CN2,通过类PCA的自适应降维方法,对特征通道数量降维(10->2),平滑项增加跨越不同特征子空间时的代价,也就是PCA中的协方差矩阵线性更新防止降维矩阵变化太大。

DSST是VOT2014的第一名,开创了平移滤波+尺度滤波的方式。在fDSST中对DSST进行加速,PCA方法将平移滤波HOG特征的通道降维(31->18),QR方法将尺度滤波器~1000*17的特征降维到17*17,最后用三角插值(频域插值)将尺度数量从17插值到33以获得更精确的尺度定位。

SRDCF是VOT2015的第四名,为了减轻边界效应扩大检测区域,优化目标增加了空间约束项,用高斯-塞德尔方法迭代优化,并用牛顿法迭代优化平移检测的子网格精确目标定位。

DeepSRDCF是VOT2015的第二名,将SRDCF中的HOG特征替换为CNN中单层卷积层的深度特征(也就是卷积网络的激活值),效果有了极大提升。这里用imagenet-vgg-2048network,VGG网络的迁移能力比较强,而且MatConvNet就是VGG组的,MATLAB调用非常方便。论文还测试了不同卷积层在目标跟踪任务中的表现:

第1层表现最好,第2和第5次之。由于卷积层数越高语义信息越多,但纹理细节越少,从1到4层越来越差的原因之一就是特征图的分辨率越来越低,但第5层反而很高,是因为包括完整的语义信息,判别力比较强(本来就是用来做识别的)。

注意区分这里的深度特征和基于深度学习的方法,深度特征来自ImageNet上预训练的图像分类网络,没有fine-turn这一过程,不存在过拟合的问题。而基于深度学习的方法大多需要在跟踪序列上end-to-end训练或fine-turn,如果样本数量和多样性有限就很可能过拟合。

C-COT是VOT2016的第一名,综合了SRDCF的空域正则化和SRDCFdecon的自适应样本权重,还将DeepSRDCF的单层卷积的深度特征扩展为多成卷积的深度特征(VGG第1和5层),为了应对不同卷积层分辨率不同的问题,提出了连续空间域插值转换操作,在训练之前通过频域隐式插值将特征图插值到连续空域,方便集成多分辨率特征图,并且保持定位的高精度。目标函数通过共轭梯度下降方法迭代优化,比高斯-塞德尔方法要快,自适应样本权值直接采用先验权值,没有交替凸优化过程,检测中用牛顿法迭代优化目标位置。

ECO是C-COT的加速版,从模型大小、样本集大小和更新策略三个方便加速,速度比C-COT提升了20倍,加量还减价,EAO提升了13.3%,最最最厉害的是,hand-craftedfeatures的ECO-HC有60FPS。。吹完了,来看看具体做法。

第一减少模型参数,定义了factorizedconvolutionoperator(分解卷积操作),效果类似PCA,用PCA初始化,然后仅在第一帧优化这个降维矩阵,以后帧都直接用,简单来说就是有监督降维,深度特征时模型参数减少了80%。

第二减少样本数量,compactgenerativemodel(紧凑的样本集生成模型),采用GaussianMixtureModel(GMM)合并相似样本,建立更具代表性和多样性的样本集,需要保存和优化的样本集数量降到C-COT的1/8。

第三改变更新策略,sparserupdatingscheme(稀疏更新策略),每隔5帧做一次优化更新模型参数,不但提高了算法速度,而且提高了对突变,遮挡等情况的稳定性。但样本集是每帧都更新的,稀疏更新并不会错过间隔期的样本变化信息。

牛津大学:JoaoF.Henriques和LucaBertinetto,代表:CSK,KCF/DCF,Staple,CFNet(其他SiamFC,Learnet).

林雪平大学:MartinDanelljan,代表:CN,DSST,SRDCF,DeepSRDCF,SRDCFdecon,C-COT,ECO.

国内也有很多高校的优秀工作就不一一列举了。

【计算机视觉基础入门课程(从算法到实战应用】

上海交通大学博士讲师团队,BAT实习背景;手把手项目演示,全程提供代码;从算法到实战应用,涵盖CV领域主要知识点;深度剖析CV研究体系,轻松实战深度学习应用领域!

THE END
1.10大计算机经典算法「建议收藏」腾讯云开发者社区3. 若队列为空,表示整张图都检查过了——亦即图中没有欲搜寻的目标。结束搜寻并回传“找不到目标”。 4. 重复步骤2。 算法八:Dijkstra算法 戴克斯特拉算法(Dijkstra’s algorithm)是由荷兰计算机科学家艾兹赫尔·戴克斯特拉提出。迪科斯彻算法使用了广度优先搜索解决非负权有向图的单源最短路径问题,算法最终得到https://cloud.tencent.com/developer/article/2089934
2.算法到底是什么?(小白必读)问题不同,解决的思路和采取的方法与步骤就有针对性,所以对应的算法也各不相同。但是,各种算法有如下共同之处:首先计算机要有操作对象,通过输入,给予计算机问题所涉及的对象;最后要能得到运行结果,即有输出;在输入与输出之间是具体的方法和步骤,这些方法和步骤必须是确定的、正确的、有限的、有效的、通用的。https://baijiahao.baidu.com/s?id=1794500673477721607&wfr=spider&for=pc
3.计算机算法有哪些编程:算法的定义是常用算法有计算机算法有哪些 A.编程:算法的定义是常用算法有 算法(Algorithm)是解题的步骤,可以把算法定义成解一确定类问题的任意一种特殊的方法。在计算机科学中,算法要用计算机算法语言描述,算法代表用计算机解一类问题的精确、有效的方法。算法+数据结构=程序,求解一个给定的可计算或可解的问题,不同的人可以编写出不同的https://www.ultimate-communications.com/zh/system_418763
4.python的算法有哪些python常用算法有哪些python的算法有哪些 python常用算法有哪些 1. 引言 据说有人归纳了计算机的五大常用算法,它们是贪婪算法,动态规划算法,分治算法,回溯算法以及分支限界算法。虽然不知道为何要将这五个算法归为最常用的算法,但是毫无疑问,这五个算法是有很多应用场景的,最优化问题大多可以利用这些算法解决。算法的本质就是解决问题。当https://blog.51cto.com/u_16213559/6974323
5.Alibaba最新1000多道Java面试题汇总详解,收藏起来慢慢刷!我分享的这份春招 Java 后端开发面试总结包含了 JavaOOP、Java 集合容器、Java 异常、并发编程、Java 反射、Java 序列化、JVM、Redis、Spring MVC、MyBatis、MySQL 数据库、消息中间件 MQ、Dubbo、Linux、ZooKeeper、 分布式 &数据结构与算法等 25 个专题技术点,都是小编在各个大厂总结出来的面试真题,已经有很多粉丝https://maimai.cn/article/detail?fid=1728969401&efid=esjJLvGGL4fAr1LArgq_cQ
6.计算机算法的五个特性是什么?常见问题没有输出的算法是毫无意义的; 可行性(Effectiveness) 算法中执行的任何计算步骤都是可以被分解为基本的可执行的操作步骤,即每个计算步骤都可以在有限时间内完成(也称之为有效性)。 以上就是计算机算法的五个特性是什么?的详细内容,更多请关注php中文网其它相关文章!https://www.php.cn/faq/464488.html
7.金字塔模板匹配算法,模板匹配算法有哪些,C,C++**金字塔模板匹配算法详解** 模板匹配是计算机视觉领域中一种重要的图像分析技术,它主要用于寻找一个小型图像(模板)在大型图像中的最佳匹配位置。在实际应用中,如人脸识别、物体检测、图像检索等场景,模板匹配都有广泛的应用。本文将深入探讨金字塔模板匹配算法及其在C++和OpenCV库中的实现。 ### 1. 模板匹配基础 模https://download.csdn.net/download/weixin_42696333/22364212
8.比特币挖矿软件有哪些?比特币挖矿软件推荐区块链技术区块链比特币挖矿是一种通过计算机处理复杂算法来验证比特币交易并获取新的比特币的过程,选择一个好的挖矿软件是非常重要的,它可以帮助您提高挖矿效率,并获得更多的比特币,那么,比特币挖矿软件有哪些?以下是我对比特币挖矿软件的介绍 比特币挖矿是通过计算机硬件解决数学难题以验证和记录比特币交易的过程,而讲到比特币挖矿除了https://www.jb51.net/blockchain/909622.html
9.100个网络基础知识普及,看完成半个网络高手有7 个 OSI 层:物理层,数据链路层,网络层,传输层,会话层,表示层和应用层。 3)什么是骨干网? 骨干网络是集中的基础设施,旨在将不同的路由和数据分发到各种网络。它还处理带宽管理和各种通道。 4)什么是 LAN? LAN 是局域网的缩写。它是指计算机与位于小物理位置的其他网络设备之间的连接。 https://www.ahstu.edu.cn/wlzx/info/1115/2156.htm
10.韩信竟是数学大师?中国古代数学启发计算机加密算法时至今日,中国剩余定理已经成为了很多计算机加密算法的基础,它的应用范围已经超乎你的想象。 影响当今计算机算法 外媒Quantamagazine在一篇名为《古代战争计策是如何影响当代数学》的文章中也提到:中国剩余定理对现代数学、计算机算法、天文学等领域都有很大的启发意义。 https://www.thepaper.cn/newsDetail_forward_14592114
11.算法概述著名计算机科学家沃思提出了下面的公式:程序 = 数据结构 + 算法; 实际上,一个程序应当采用结构化程序设计方法进行程序设计,并且用某一种计算机语言来表示。因此,可以用下面的公式表示:程序 = 算法 + 数据结构 + 程序设计方法 + 语言和环境; 常见算法有许多种 https://www.jianshu.com/p/8c8d20a9bde8
12.计算科学:什么是算法?如何编写代码算法?学习如何驾驶汽车意味着学习很多很多的道路规则。我们在驾驶时执行的大多数操作都可以被认为是算法。通过侧方停车、改变车道甚至停车的正确过程都有一组特定的步骤,使它们成为算法。 您还能想到哪些其他例子? 算法 五、算法的类型 计算机科学算法的最基本类型是: https://kidscodes.cn/9038.html