用于视频流中的对象识别和跟踪的系统和方法
2019-11-22

用于视频流中的对象识别和跟踪的系统和方法

本发明提供一种用于在视频流中进行对象检测和对象跟踪的系统方法。将视频流的帧划分为关注区域,并且针对每个关注区域计算区域包含至少一部分要被跟踪的对象的概率。接着基于所计算的概率将每个帧中的关注对象分类。接着,针对每个视频帧构建关注区域(RI)帧,所述关注区域(RI)帧报告视频帧中的关注区域的分类。接着比较两个或者更多个RI帧以确定对象的运动。本发明还提供执行本发明的方法的系统以及包括该系统的装置。例如,装置可以是便携式计算机、移动电话、或者娱乐装置。

(i)针对所述视频流中的两个或者更多个帧的每个帧中的一个或者更多个关注区域的每个关注区域计算所述关注区域包含至少一部分要被跟踪的对象的概率;

(C)基于该确定、根据关注区域是否包含要被跟踪的对象将所述关注对象重新分类;以及

(b)所述像素的色相、饱和度或者亮度的任意一个。

本发明的装置包括存储有查找表的存储器,该查找表针对每个识别出的运动提供相关联的OS命令。当通过模式识别模块检测到运动模式时,在查找表中查找与该运动相关联的OS命令,并且接着执行与该运动相关联的OS命令。例如,OS命令可以是诸如扬声器开/关、MP3/IPTV的下一/前一音轨、控制GPS应用中的地图浏览和打开语音邮箱服务的激活功會K。

在步骤30中,对刚被分析的关注区域进行分类。关注区域的分类是描述在关注区域中存在被跟踪对象的概率的离散函数。使用涉及视频流的当前帧中的关注区域的统计分析和视频流的一个或更多个先前帧中的关注区域的统计分析的方法确定关注区域的分类。在一种实施方式中,应用距离函数以计算所选择的区域中的各种参数和统计特征与表示被跟踪对象经过该区域的参数和统计特征的相似性。区域和对象参数例如可以包括不同形状和轮廓的存在以及它们的频率,而统计特征可以例如包括色相、亮度和饱和度的直方图以及颜色模式。将组合的距离结果与先前帧中的关注区域的结果进行比较。例如,色相参数中的距离可以指示与被跟踪对象的颜色相同的对象已经进入该区域。这可以使该区域被分类为具有包含被跟踪对象的更高的概率。该距离函数例如可以是欧几里得距离(E.Deja,Μ.M.Deja,Dict1naryofDistances,Elsevier(2006));马哈拉诺比斯距离(Mahalanobis,PC(1936).uOnthegeneraliseddistanceinstatistics,,.ProceedingsoftheNat1nalInstituteofSciencesofIndia2(1):49-55);板仓_齐藤(Itakurasaito)距离(ItakuraF./7Linespectrumrepresentat1nofIinearpredictivecoefficientsofspeechsignals/7J.Acoust.Soc.Am.,57,537(A),1975);切比雪夫距离(JamesM.Abel1,PanosM.Pardalos,andMauric1G.C.Resende(editors)(2002).HandbookofMassiveDataSets.Springer.);李(Lee)距离(E.R.Berlekamp,AlgebraicCodingTheory,McGraw-Hi111968);汉明距离(Richardff.Hamming.ErrorDetectingandErrorCorrectingCodes,BellSystemTechnicalJournal26(2):147-160,1950);或者莱文斯坦(Levenshtein)距离(DanGusfield.Algorithmsonstrings,trees,andsequences:computerscienceandcomputat1nalb1logy.CambridgeUniversityPress,NewYork,NY,USA,1997)。将所选择的关注区域的分类存储在存储器44中(步骤31)。

在其第二个方面中,本发明提供了一种用于在视频流中进行对象检测和跟踪的方法,该方法包括:

在步骤30中,对刚被分析的关注区域进行分类。关注区域的分类是描述在关注区域中存在被跟踪对象的概率的离散函数。使用涉及视频流的当前帧中的关注区域的统计分析和视频流的一个或更多个先前帧中的关注区域的统计分析的方法确定关注区域的分类。在一种实施方式中,应用距离函数以计算所选择的区域中的各种参数和统计特征与表示被跟踪对象经过该区域的参数和统计特征的相似性。区域和对象参数例如可以包括不同形状和轮廓的存在以及它们的频率,而统计特征可以例如包括色相、亮度和饱和度的直方图以及颜色模式。将组合的距离结果与先前帧中的关注区域的结果进行比较。例如,色相参数中的距离可以指示与被跟踪对象的颜色相同的对象已经进入该区域。这可以使该区域被分类为具有包含被跟踪对象的更高的概率。该距离函数例如可以是欧几里得距离(E.Deja,Μ.M.Deja,Dict1naryofDistances,Elsevier(2006));马哈拉诺比斯距离(Mahalanobis,PC(1936).uOnthegeneraliseddistanceinstatistics,,.ProceedingsoftheNat1nalInstituteofSciencesofIndia2(1):49-55);板仓_齐藤(Itakurasaito)距离(ItakuraF./7Linespectrumrepresentat1nofIinearpredictivecoefficientsofspeechsignals/7J.Acoust.Soc.Am.,57,537(A),1975);切比雪夫距离(JamesM.Abel1,PanosM.Pardalos,andMauric1G.C.Resende(editors)(2002).HandbookofMassiveDataSets.Springer.);李(Lee)距离(E.R.Berlekamp,AlgebraicCodingTheory,McGraw-Hi111968);汉明距离(Richardff.Hamming.ErrorDetectingandErrorCorrectingCodes,BellSystemTechnicalJournal26(2):147-160,1950);或者莱文斯坦(Levenshtein)距离(DanGusfield.Algorithmsonstrings,trees,andsequences:computerscienceandcomputat1nalb1logy.CambridgeUniversityPress,NewYork,NY,USA,1997)。将所选择的关注区域的分类存储在存储器44中(步骤31)。

(e)以像素计量的所述对象的高度;以及

(b)在涉及所述视频流的一个或者更多个先前帧中的所述关注区域的统计分析的计算中计算所述关注区域的离散分类。

(a)处理器,其包括对象检测模块和对象跟踪模块;

图1示意性地示出了包括被划分为关注区域的多个帧的视频流;

系统40还可以包括OS命令执行模块51。在此情况下,存储器44存储查找表,该查找表针对一个或者更多个预定的运动模式中的每一个提供关联的OS命令。当识别出一个预定的对象运动时,执行与该运动相关联的OS命令。