基于视觉的宠物撕咬行为识别方法装置设备及介质与流程

本发明涉及宠物看护,尤其涉及一种基于视觉的宠物撕咬行为识别方法、装置、设备及介质。

背景技术:

1、宠物在家中的行为有时会导致物品损坏,常见的破坏行为包括撕咬家具、电线、鞋子等物品。这不仅会带来经济损失,还可能对宠物自身安全构成威胁,为了预防和及时干预这些行为,识别和监控宠物破坏行为的技术应运而生。然而,现有技术在识别宠物撕咬动作方面存在一些缺陷,包括误报和漏报的可能性、不同种类和大小的宠物行为模式难以全面覆盖、传感器的精度和反应速度有限,以及系统在复杂家庭环境中可能受到干扰或信号阻塞,导致识别准确度和实时性不足,此外,这些技术的成本和维护也可能对用户造成负担,因此,如何帮助宠物主人实时监控宠物狗的行为,及时发现并阻止可能的撕咬破坏行为,从而保护家居安全并减少不必要的经济损失。

2、现有中国专利cn117894078a公开了一种基于ai视觉的宠物行为分析系统,包括:视频采集模块,通过摄像头采集实时监控画面,形成待检测的图像帧序列,为后续的宠物行为分析提供必要的数据集;目标检测与跟踪模块,根据所获得的图像帧序列,选出宠物存在于画面中的图像进行预处理,并使用检测框标识出目标宠物,识别其种类和所处位置,生成将目标宠物用检测框标识、并附注有其种类和位置信息的经处理的图像帧;关键点检测模块,用于处理目标检测与跟踪模块输出的经处理的图像帧,获取每帧图像中宠物身体各部位的骨骼关键点信息,生成宠物的关键点序列并进行位置跟踪,并基于此判断目标宠物的整体姿态以及身体朝向,再进一步分析目标宠物的基础行为;行为分析模块,用于根据目标宠物基础行为的分析结果和目标宠物所处的区域,对宠物的具体行为进行分析,形成对宠物具体行为的判定结果;虽然上述方案公开了通过骨骼关键点来识别宠物的撕咬行为,但由于撕咬和进食行为在身体姿态和运动模式上具有高度相似性,因此容易混淆。这两种行为都涉及宠物头部的频繁运动和嘴部的咬合动作,且在骨骼关键点的轨迹上可能表现出相似的特征,如头部和颈部的反复移动。

3、为此,如何区分宠物撕咬行为和进食行为,从而准确发现并阻止可能的撕咬破坏行为,保护家居安全是亟待解决的问题。

技术实现思路

1、有鉴于此,本发明提供了一种基于视觉的宠物撕咬行为识别方法、装置、设备及介质,用以解决现有技术中无法区分宠物撕咬行为和进食行为,撕咬行为识别不准确的问题。

2、本发明采用的技术方案是:

3、第一方面,本发明提供了一种基于视觉的宠物撕咬行为识别方法,所述方法包括:

4、获取宠物看护场景下的实时视频数据,将所述实时视频数据分解为多帧实时图像;

5、对各帧实时图像进行目标检测和跟踪,输出宠物目标图像序列;

6、对所述宠物目标图像序列进行预处理,剔除非关键帧图像和宠物进食图像,输出预处理后的图像;

7、对预处理后的图像进行宠物撕咬动作识别,当识别存在宠物撕咬动作时,发出看护提醒。

8、优选地,所述对各帧实时图像进行目标检测和跟踪,输出宠物目标图像序列包括:

9、将各帧实时图像输入预训练的宠物检测模型中,对各帧实时图像中的宠物目标进行检测;

10、利用预设的目标跟踪算法,对各帧实时图像中的宠物目标进行跟踪,输出所述宠物目标图像序列和宠物目标框位置序列。

11、优选地,所述对所述宠物目标图像序列进行预处理,剔除非关键帧图像和宠物进食图像,输出预处理后的图像包括:

12、对所述宠物目标图像序列进行滤波处理,输出滤波图像序列;

13、依据所述宠物目标框位置序列,对所述滤波图像序列进行图像去重处理,剔除连续重复的非关键帧图像,输出关键帧图像;

14、对关键帧图像进行宠物进食行为识别,剔除存在宠物进食行为的图像,输出预处理后的图像。

15、优选地,所述依据所述宠物目标框位置序列,对所述滤波图像序列进行图像去重处理,剔除连续重复的非关键帧图像,输出关键帧图像包括:

16、对所述宠物目标框位置序列进行分组,确定多个宠物目标框位置集合;

17、依据各宠物目标框位置集合中的各宠物目标框位置,分别对各宠物目标框的面积进行计算,输出各宠物目标框的面积;

18、依据各宠物目标框的面积,选取各宠物目标框位置集合中面积最大的宠物目标框对应的滤波图像作为所述关键帧图像。

19、优选地,所述对关键帧图像进行宠物进食行为识别,剔除存在宠物进食行为的图像,输出预处理后的图像包括:

21、对所述目标物品检测框进行放大处理,确定宠物进食区域;

22、计算宠物进食区域与关键帧图像之间的交叉比,若交叉比大于预设的比例阈值,则认为关键帧图像中宠物停留在进食区域;

23、获取宠物在进食区域的停留时长,当停留时长大于预设的时长阈值时,认为关键帧图像中存在宠物进食行为,剔除存在宠物进食行为的图像。

24、优选地,所述对预处理后的图像进行宠物撕咬动作识别,当识别存在宠物撕咬动作时,发出看护提醒包括:

25、将预处理后的各帧图像输入预训练的宠物头部检测模型中,输出宠物头部图像序列;

26、对宠物头部图像序列进行计算,获取宠物运动信息;

27、将所述宠物运动信息输入预训练的撕咬动作识别模型中,输出宠物撕咬动作识别结果。

28、优选地,在所述将宠物运动信息输入预训练的撕咬动作识别模型中,输出宠物撕咬动作识别结果之前还包括:

30、对所述训练图像进行图像去重处理,输出样本关键帧图像;

31、依据所述样本关键帧图像,获取样本运动信息;

32、利用所述样本运动信息,对预设的神经网络模型进行训练,得出所述撕咬动作识别模型。

33、第二方面,本发明提供了一种基于视觉的宠物撕咬行为识别装置,所述装置包括:

34、实时图像获取模块,用于获取宠物看护场景下的实时视频数据,将所述实时视频数据分解为多帧实时图像;

35、目标检测与跟踪模块,用于对各帧实时图像进行目标检测和跟踪,输出宠物目标图像序列;

36、预处理模块,用于对所述宠物目标图像序列进行预处理,剔除非关键帧图像和宠物进食图像,输出预处理后的图像;

37、撕咬动作识别模块,用于对预处理后的图像进行宠物撕咬动作识别,当识别存在宠物撕咬动作时,发出看护提醒。

38、第三方面,本发明实施例还提供了一种电子设备,包括:至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令,当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

39、第四方面,本发明实施例还提供了一种存储介质,其上存储有计算机程序指令,当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

40、综上所述,本发明的有益效果如下:

41、本发明提供的基于视觉的宠物撕咬行为识别方法、装置、设备及介质,包括:获取宠物看护场景下的实时视频数据,将所述实时视频数据分解为多帧实时图像;对各帧实时图像进行目标检测和跟踪,输出宠物目标图像序列;对所述宠物目标图像序列进行预处理,剔除非关键帧图像和宠物进食图像,输出预处理后的图像;对预处理后的图像进行宠物撕咬动作识别,当识别存在宠物撕咬动作时,发出看护提醒。本发明通过实时视频数据采集和图像分解,将视频分解为多帧图像,并利用目标检测和跟踪技术提取宠物的目标图像序列,预处理步骤剔除非关键帧和进食图像,能够准确区分进食行为和拆家行为,避免将进食行为误判为拆家行为,减少了误报,提高了识别准确性和可靠性。同时,能够在检测到撕咬行为时立即发出看护提醒,使宠物主人能够及时采取措施,防止潜在的危险或不良行为的发生,这种方法通过自动化和智能化处理,减轻了主人对宠物行为的监控负担,提高了宠物看护的效率和安全性。

THE END
1....宠物图像数据集图像内容理解分类检测宠物动物识...The Oxford-IIIT Pet Dataset是一个宠物图像数据集,包含37种宠物,每种宠物200张左右宠物图片,并同时...https://bbs.pinggu.org/thread-10881977-1-1.html
2.Pets2009行人检测数据集包含三个压缩包分别是: Pets2009行人检测数据集view1包含 pos-norm64x128:2514个正样本(64x128) neg:5000负样本 view_1(png):视频转换后的png格式源图片,由于上传大小限制,只上传100张。 行人检测 数据集 Pets20092018-11-06 上传大小:171.00MB https://www.iteye.com/resource/wangjunwen1990-10767489
3.OxfordIIIT宠物数据集Oxford-IIIT宠物数据集 江湖有雨图像分割,目标检测2023年1月2日 2.07W86 数据集内容:宠物图像数据集 数据集数量:包含 37种 宠物,每种宠物 200张 左右宠物图片,并同时包含宠物轮廓标注信息。 数据集功能:动物脸检测、目标分割 下载链接:http://www.robots.ox.ac.uk/~vgg/data/pets/...https://www.jiangdabai.com/download/oxford-iiit%E5%AE%A0%E7%89%A9%E6%95%B0%E6%8D%AE%E9%9B%86
4.2024至2030年中国宠物球数据监测研究报告.docx2024至2030年中国宠物球数据监测研究报告目录一、行业现状 31.宠物球市场规模与发展速度预测 3历年宠物球市场总规模及增长趋势分析 3不同类型宠物球(如玩具、零食等)细分市场的份额与变化 4中国宠物球市场份额的地域分布和集中度分析 52.消费者需求与偏好研究 6不同年龄段消费者对宠物球产品的偏好对比 6社交媒体与...https://www.renrendoc.com/paper/358308327.html
5.一种基于图像识别的多宠物喂食方法及装置.pdf本申请提供了一种基于图像识别的多宠物喂食方法及装置,属于数据处理技术领域。所述方法包括步骤S1、持续获取宠物喂食区域的图像;步骤S2、基于预先训练好的宠物检测模型对持续输入的多幅图像进行检测,获得包含宠物的宠物图像区域;步骤S3、基于预先训练好的宠物身份识别模型对所述宠物图像区域进行宠物身份的识别,获取宠物的...https://max.book118.com/html/2024/0131/7123115145006035.shtm
1.python深度学习猫狗分类mob649e8154f2e5的技术博客数据集准备 在这个项目中,我们将使用Kaggle上的“Dogs vs. Cats”数据集。该数据集包含25,000张猫和狗的图片,分为训练集和测试集。为了使用这个数据集,您需要先在Kaggle上下载,并将其解压到本地目录。 目录结构如下: dataset/ train/ cat.0.jpg https://blog.51cto.com/u_16175436/12522336
2.免费深度学习数据集:猫狗图像识别与分类资源在这个“猫狗数据集”中,我们将重点关注如何利用深度学习来实现图像分类,特别是针对猫和狗这两种宠物的图像。 首先,我们需要理解图像分类的基本概念。图像分类是计算机视觉中的一个基本任务,它的目标是根据图像... 机器学习课程设计猫狗图像识别检测分类项目源码+数据集.zip 浏览:74 这是一个关于机器学习课程设计的...https://download.csdn.net/download/2401_88870554/89991383
3....提高目标检测模型在不同数据集的泛化能力样本点云专利摘要显示,本申请实施例提供了一种目标检测模型的训练方法、装置及电子设备,涉及计算机技术领域,包括:获取多个样本数据集;将各样本数据集输入至待训练的目标检测模型中,利用目标检测模型的三维骨干网络提取点云数据的点云特征,利用目标检测模型的图像骨干网络提取图像数据的图像特征;针对每一样本数据集,对点云特征和图...https://www.163.com/dy/article/JGNVN5ET0519QIKK.html
4.基于SeeedXIAOESP32S3Sense开发板实现宠物表情识别系统在线合作数据标注网站roboflow可以快速标注,生成适用于ModelAssistant的数据集。 综上,电子森林与矽递科技提供的若干工具,可以围绕一组动物表情数据集,开展数据标注、数据预处理、模型训练、模型微调、模型部署,最终实现基于目标检测的宠物表情识别的功能。1.3 硬件框图 ...https://www.eetree.cn/project/2688
5.基于PythonOpenCV的宠物智能投喂系统码农集市专业分享IT编程...这个代码的工作原理基于Python和OpenCV库,实现了一个宠物智能投喂系统。具体来说,它通过摄像头捕捉宠物的图像,并使用OpenCV进行图像处理和分析,识别出宠物并检测其位置。一旦检测到宠物,就控制投喂器投放食物。这个代码的工作原理基于Python和OpenCV库,实现了一个宠物https://www.coder100.com/index/index/content/id/3857598
6....16万视频对28万对片段,蚂蚁开源视频侵权检测超大数据集...提出了目前最大规模(超过现有其他数据集 2 个数量级规模)的视频侵权定位数据集,包括了超过 16 万对侵权视频对,28 万对侵权片段,并且涵盖了大量的视频领域和视频时长。 提出了全新的视频片段拷贝检测的评价指标,该评价指标充分考虑到了视频拷贝检测这个任务的特殊性,并且在实际场景下体现出了更好的适应性。 https://www.thepaper.cn/newsDetail_forward_17956526
7.基于SSD网络的宠物狗检测与分类宠物种类的复杂性是如今面临的难题。为了提高辨别宠物种类的能力,本文以常见宠物种类——狗做为研究对象,提出了一种基于SSD(Single Shot MultiBox Detector)模型的宠物狗种类检测与分类,通过建立宠物狗的数据集,然后进行模型训练。实验证明,该方法能有效地实现对宠物狗的检测和分类。https://www.cnki.com.cn/Article/CJFDTotal-SDDZ201912012.htm
8.回复即可体验ChatGPT大圣前端进阶指南收集训练数据:首先,你需要收集大量的多轮交谈(dialogue)数据,例如由人类进行的实时聊天,或者是已有的多轮交谈记录,如在论坛或社交媒体上的评论等。 数据预处理:然后,你可以对这些数据进行预处理,比如去除不必要的信息、标记语言特征(如标点符号),以及建立新的关联关系等。 http://shengxinjing.cn/blog/chatgpt.html
9.创投复盘“蔚领时代”完成小米参投的4亿元B轮融资;“威马汽车...高端装备AI边缘计算硬件公司“小眼探索”宣布完成千万元级人民币Pre-A轮融资,由启迪之星创投领投,水木清华校友基金参投。该轮资金将重点用于边缘计算平台的系列化研发,以及数据集和算法库的升级。 “芯信安电子”完成数千万天使轮融资 独立第三方芯片测试运管服务提供商“芯信安电子”宣布完成数千万天使轮融资,由华登...https://pe.hexun.com/2021-12-05/204875464.html
10.OxfordIIITPet帕依提提Oxford-IIIT PetOxford-IIIT Pet Dataset has created a 37 category pet dataset with roughly 200 images for eachclass. The images have a l动物识别 动物识别 公开数据集https://www.payititi.com/opendatasets/show/9/