OpenCV4入门教程156:TLD单目标跟踪

索引地址:系列索引

TLD(Tracking-Learning-Detection)是英国萨里大学的一个捷克籍博士生Zdenek Kalal在其攻读博士学位期间提出的一种新的单目标长时间跟踪(long term tracking)算法。该算法与传统跟踪算法的显著区别在于将传统的跟踪算法和传统的检测算法相结合来解决被跟踪目标在被跟踪过程中发生的形变、部分遮挡等问题。同时,通过一种改进的在线学习机制不断更新跟踪模块的“显著特征点”和检测模块的目标模型及相关参数,从而使得跟踪效果更加稳定、可靠。

也就是说TLD是单目标跟踪算法的一种。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
// 功能:代码 9-11 TLD 单目标跟踪
// 作者:朱伟 zhu1988wei@163.com
// 来源:《OpenCV图像处理编程实例》
// 博客:http://blog.csdn.net/zhuwei1988
// 更新:2016-8-1
// 说明:版权所有,引用或摘录请联系作者,并按照上面格式注明出处,谢谢。//
#include <opencv2/opencv.hpp>
#include <opencv2/tracking.hpp>
#include <opencv2/tracking/tracking_legacy.hpp>
#include <iostream>
#include <vector>
using namespace cv;
// 移动鼠标 选取矩形框
void mouseClickCallback(int event,
int x, int y, int flags, void* userdata)
{
// 矩形数据返回
cv::Rect2d * pRect =
reinterpret_cast<cv::Rect2d*>(userdata);
// 鼠标按下操作
if (event == cv::EVENT_LBUTTONDOWN)
{
std::cout << "LBUTTONDOWN ("
<< x << ", " << y << ")" << std::endl;
// 获取x,y坐标
pRect->x = x;
pRect->y = y;
}
// 鼠标抬起操作
else if (event == cv::EVENT_LBUTTONUP)
{
std::cout << "LBUTTONUP ("
<< x << ", " << y << ")" << std::endl;
// 获取矩形宽高
pRect->width = std::abs(x - pRect->x);
pRect->height = std::abs(y - pRect->y);
}
}
int main(int argc, char** argv)
{
// 读取视频流
cv::VideoCapture cap(0);
if (!cap.isOpened())
{
std::cout << " on data! " << std::endl;
return -1;
}
cap.set(cv::CAP_PROP_POS_MSEC, 2*1000);
cv::Mat frame;
// 初始化TLD追踪器
cv::Rect2d *rect(new cv::Rect2d);
cv::Ptr<cv::legacy::TrackerTLD> tracker =
cv::legacy::TrackerTLD::create();
// 读取第一帧初始化矩形框
cap >> frame;
cv::resize(frame, frame, cv::Size(), 0.25,0.25);
cv::imshow("TrackerTLD", frame);
// 鼠标移动获取矩形区域
cv::setMouseCallback("TrackerTLD", mouseClickCallback,
reinterpret_cast<void*>(rect));
cv::waitKey();
if (rect->area() == 0.0)
return -1;
// 跟踪器初始
tracker->init(frame, *rect);
double fps = 1.0;
while(true)
{
cap >> frame;
cv::resize(frame, frame, cv::Size(), 0.25,0.25);
if (frame.empty())
break;
// 追踪器更新
if (tracker->update(frame, *rect))
// 绘制追踪结果
cv::rectangle(frame, *rect,
cv::Scalar(255, 0, 0 ), 2, 1);
cv::imshow("TrackerTLD", frame);
char c = cv::waitKey(10);
if (27 == c)
break;
}
cap.release();
return 0;
}

效果为

tld

可以看到tld所在的是legacy集中,也就是说它已经被官方认为是过时的,说不定什么时候被删除。

其他的一些单/多目标跟踪算法

  • BOOSTING 慢 精度差(跟丢目标或跟到别的目标上)
  • MIL 慢 精度差(跟丢目标或跟到别的目标上)效果和BOOSTING差不多
  • TLD 非常非常慢 会跟到其他相似物体上 前三个方法约等于没法用
  • MEDIANFLOW 速度还可以 但是会出现目标框偏移,而且无法对抗遮挡(目标框跟着手跑了)
  • CSRT 从帧中取一部分来进行跟踪的算法,速度很快,但无法对抗遮挡
  • MOSSE 基于小跟踪窗口的跟踪算法,速度较慢,精度更高,但无法对抗遮挡
  • KCF 鉴别类算法,速度快,可对抗遮挡(唯一的目标框不会跟着手跑的算法!),综合来说最好
  • Multitracker 多目标检测,效果和上述算法一致,只是跑起来会很慢,无法满足实时性

OpenCV4入门教程156:TLD单目标跟踪
https://blog.jackeylea.com/opencv/opencv-tld-track/
作者
JackeyLea
发布于
2020年11月10日
许可协议