极客工坊

 找回密码
 注册

QQ登录

只需一步,快速开始

查看: 1986|回复: 0

机器人制作开源方案 | 宠物智能机器人

[复制链接]
发表于 2023-11-1 09:12:51 | 显示全部楼层 |阅读模式
本帖最后由 机器谱 于 2023-11-1 09:12 编辑

一、作品简介
作者:陈瑛、卢文博、刘沈军、 浦津、葛望东
单位:南京林业大学
指导老师:金慧萍、田涛

1. 背景调研及研究意义
1.1背景调研
       随着我国社会经济水平的飞速发展和城市化的进程加速推进,居民生活水平有了较 大幅度的提升,随之而来的宠物业也得到了较大程度的发展,然而鉴于城市生活水平的 封闭性、个性化和人口老龄化等特点,人们生活中的休闲、消费和情感寄托方式也呈现 出多样化的发展,其中,家庭宠物的饲养已经成为了城市居民生活消遣的新方式。


       宠物的喂养和看护往往是宠物主人最关心的问题,现阶段主要还是依靠人工进行喂 食与看护。由于人们携带宠物出行不方便以及上班时间无法照顾宠物等原因,也带来了 诸如宠物拆家、宠物自虐、无人喂食及随地大小便等居家“留守宠物”的系列问题。为 解决“留守宠物”问题目前市面上仅有喂食机、逗狗机等少量且功能单一的产品,已然 无法满足主人喂养及看护宠物的需求。为了解决饲养宠物的这一系列问题,减少主人的 烦恼,研制宠物用多功能智能机器人势在必行。为此,本作品设计了一款多功能智能养 宠机器人,在现有扫地机器人和陪玩机器人功能的基础上,运用语音视觉联动、yolov2 智能识别技术,进行了集成创新设计,实现了较好的人机交互功能,极大程度上满足了 爱宠人士的需求。

1.2研究意义
宠物智能机器人可以应对家中无人时宠物行踪不定、宠物丢失、喂养困难等问题,使用探索者机器人创新组件,设计了一种具有自动追踪、远程监控及识物投食功能的智能宠物机 器人进一步丰富了家居智能化的配置,在提高人们生活品质的同时,也减少了人们的出 行的后顾之忧。

2. 应用前景和社会价值
2.1应用前景
据《2020 年中国宠物行业白皮书》(消费报告)数据显示,目前我国宠 物总量已经超过 1 亿只,从 2010 年至 2016 年,国内宠物行业年复合增长高达 49%。《2022 年中国宠物行业市场前景及投资研究预测报告》显示,目前宠物市场规模已经达千亿, 71.4%的 00 后网民有养宠物的经历或意愿,且很多人将宠物视为“重要家人”,愿意为 .8. 其消费。随着人们与宠物亲密度的持续走高,预计 2021 年宠物市场规模还将突破 2000 亿元,宠物经济发展将持续高速繁荣。在市场高速发展中,各种新业态也有望借着东风 趁势而起,其中就包括了智能养宠。所谓智能养宠,顾名思义,就是利用各种智能技术 和智能设备来养宠,例如,机器人。

2.2社会价值
利用机器人养宠,能使养宠变得轻松和简单,宠物生活变得更好,同时 还能解决“空巢宠物”问题。在用户因为上班等各种原因无暇照顾宠物的情况下,通过 远程操控机器人就能照管宠物,保持人宠之间的亲密感和联系性,不管对于宠物还是主 人来说,机器人养宠都极具显著价值。

3. 作品创新点及前景展望和应用
3.1作品创新点
       首先,本作品在树莓派上使用 yolov2 算法实现对猫,狗,猪等家庭动物的识别。 为宠物追踪,区分物种定量喂食奠定了技术支撑。其次,我们用树莓派识别到宠物后, 用 BestFit(最佳适应算法)实现了宠物自动追踪。接着通过使用 mjpg-streamer 将实时 监控到的视频推流到 PC 端,实现人机交互,从而用户可以实时观测到宠物的健康状况 以及所处位置等。最后针对不同的家庭动物,选择不同的食物,进行宠物投食;根据宠 物体型,定量投食,避免食物浪费。

3.2 作品前景展望及应用
应用前景:据《2020 年中国宠物行业白皮书》(消费报告)数据显示,目前我国宠 物总量已经超过 1 亿只,从 2010 年至 2016 年,国内宠物行业年复合增长高达 49%。《2022 年中国宠物行业市场前景及投资研究预测报告》显示,目前宠物市场规模已经达千亿, 71.4%的 00 后网民有养宠物的经历或意愿,且很多人将宠物视为“重要家人”,愿意为 .8. 其消费。随着人们与宠物亲密度的持续走高,预计 2021 年宠物市场规模还将突破 2000 亿元,宠物经济发展将持续高速繁荣。在市场高速发展中,各种新业态也有望借着东风 趁势而起,其中就包括了智能养宠。所谓智能养宠,顾名思义,就是利用各种智能技术 和智能设备来养宠,例如,机器人。 我们的项目在时代的大势下定能乘风破浪! 社会价值:利用机器人养宠,能使养宠变得轻松和简单,宠物生活变得更好,同时 还能解决“空巢宠物”问题。在用户因为上班等各种原因无暇照顾宠物的情况下,通过 远程操控机器人就能照管宠物,保持人宠之间的亲密感和联系性,不管对于宠物还是主 人来说,机器人养宠都极具显著价值。

4. 作品存在问题及改进方法
4.1作品存在的问题
       技术功能的实用性:现阶段项目受到市场检验的机会不多,产品的使用效果、稳定 性、智能性、续航性、环境适应性等都还有待市场反馈。 鉴于此,我们一方面要加强机器人技术研发和升级,另一方面也要增加技术实际试 用,让我们的宠物机器人能更加满足需求,受到用户认可。

4.2作品改进方向
通过不断的研究和调试,当前机器人已经可以基本完成所有预想任务。上位机能够 正常播放来自机器人的视频数据。控制数据能够正常传输,机器人对控制终端的控制数 据有较好响应,控制延时可忽略不计,不影响控制体验。在调试实验中,机器人能清楚 的检测到宠物模型的位置及状态并即时反馈在视频端。机器人在接近宠物的运动过程也 较为顺畅,自动喂食和毛发处理功能的完成也充分达到预期效果,此机器人方便操作, 更能适应多种复杂的情况,既保证了使用者可以对宠物进行检测又为宠物独自在家提供 了保障。因此研究已经得到可行的论证。

二、总体功能设计
       针对宠物无人看管的问题,设计了一个可以在家中无人看管时照看宠物的智能宠物 机器人。具有自主导航、宠物识别、自主避障、清理宠物毛发、自动喂食等功能。
       (1) 智能交互功能:通过指令触发实现机器人指定控制功能,与用户实现智能交互;
       (2)自主喂食功能:利用视觉识别检测到宠物的位置和状态,并在设定时间或者由直 接操作进行喂食功能。
       (3)清理毛发功能:通过强力吸风机,将途径的灰尘和宠物毛发吸到储物盒之中,且 储物盒贴有粘性贴,可将灰尘和毛发粘到盒中,从而实现打扫屋内及清理宠物毛发的功 能。
       (4)自主定位与导航:机器人在室内移动过程中根据视觉扫描和对自身位置的估计, 实现机器人的自主定位和导航;
       (5)避障功能:通过与主控板相连接的红外传感器发送数据,指引驱动器进行避障。
宠物智能机器人实物图

1. 机器人机械设计
       宠物机器人的外观三维设计图如下图所示。
宠物机器人的 3D 设计图

       机器人的本体结构由喂食装置、探索者、宠物识别装置、压力传感器步进电机、清 理毛发装置组成。其具体结构如下图所示。

2. 软件功能实现
2.1宠物识别
       本作品在开发板上使用 yolov2 算法实现对猫、狗、猪等家庭动物的识别。为宠物 追踪、区分物种定量投食奠定了技术支撑。 本次研究在识别方面采用了 yolov2 的技术处理。yolov2 基于 DarkNet19 结构,它 有 19 个卷积层,有 3×3 的滤波器和 5 个最大集合层,与之前的层相比,通道的数量增 加了一倍。这提高了结果的准确性。通过在每个 3×3 卷积层之后增加一个 1×1 卷积层, 降低了网络计算的复杂性。这种复杂性的降低增加了图像处理的推理时间,优化了算法 的性能。yolov2 的功能是提高输入图像的分辨率,增加检测像素和检测信息量,有利于 提高检测精度。数据增强通过扩大输入数据集为模型添加特征。这通过随机裁剪和旋转 输入图像来进行,为模型增加维度。正如该算法的作者所说,"YOLO9000 预测了 9000 多个不同的物体类别的检测,而且都是实时的。yolov2 在每个卷积层之后都使用了批量 归一化(BN)。它将数据的分布统一为标准的正态分布,从而提高检测的准确性。 然而必须指出的是使用批量归一化和数据增量提高了准确性和 mAP,与之前的 yolo 版本相比,它也有定位误差。与 yolov2 相比,RCNN 和更快的 RCNN 的检测速度都很低, 因为 yolov2 的每秒帧数(FPS)更高。yolov2 单独使用 TITAN X GPU 的检测速度为 45 FPS, 而快速 YOLO 使用相同类型的 GPU 可以达到 155 FPS 的速度,因此训练 yolov2 网络的时 间减少了 50%。
       宠物猫狗识别如下图:

2.2宠物追踪
       本作品识别到宠物后,用 BestFit(最佳适应算法)实现宠物自动追踪,并使用 mjpg-streamer 将实时监控到的视频推流到 PC 端,实现人机交互,从而用户可以实时观 测到宠物的健康状况以及所处位置等。
宠物追踪图
PC端宠物追踪图

2.3识物投食
       本作品通过 3D 打印设计出喂食装置,在识别宠物后,通过电机推动旋钮,将狗粮 或猫粮投放到饭盘里,实现识别物种后定量喂食。识物投食如下图:

2.4清理毛发
       本作品通过强力吸风机,吸到储发盒上部,储发盒上部贴有粘性贴,可将毛发粘到 上部,从而实现清理宠物毛发的功能。
清理毛发图

3. 技术路线
       编程模块采用了较易上手的 Arduino 来最大程度实现各项功能的完成。它构建于开 放原始码 simple I/O 介面版,并且具有使用类似 Java、C 语言的 Processing/Wiring 开发环境。主要包含两个部分:硬件部分是可以用来做电路连接的 Arduino 电路板;另 外一个则是 Arduino IDE,计算机中的程序开发环境。只需要在 IDE 中编写程序代码, 将程序上传到 Arduino 电路板后,程序便会将指令传向 Arduino 电路板,进而完成最终 的操作响应。Arduino 能通过各种各样的传感器来感知环境,通过控制灯光、马达和其 他的装置来反馈、影响环境。板子上的微控制器可以通过 Arduino 的编程语言来编写程 序,编译成二进制文件,烧录进微控制器。对 Arduino 的编程是通过 Arduino 编程语言 (基于 Wiring)和 Arduino 开发环境(基于 Processing)来实现的。

三、程序代码
1. 示例程序
①使用MaixPy板上的摄像头执行对象检测并将结果显示在LCD上。
  1. # generated by maixhub, tested on maixpy3 v0.4.8

  2. # copy files to TF card and plug into board and power on

  3. import sensor, image, lcd, time

  4. import KPU as kpu

  5. import gc, sys

  6. input_size = (224, 224)

  7. labels = ['dog']

  8. anchors = [4.22, 4.12, 3.69, 3.38, 3.62, 4.03, 5.16, 4.72, 1.94, 3.69]

  9. def lcd_show_except(e):

  10. import uio

  11. err_str = uio.StringIO()

  12. sys.print_exception(e, err_str)

  13. err_str = err_str.getvalue()

  14. img = image.Image(size=input_size)

  15. img.draw_string(0, 10, err_str, scale=1, color=(0xff,0x00,0x00))

  16. lcd.display(img)

  17. def main(anchors, labels = None, model_addr="/sd/m.kmodel", sensor_window=input_size,

  18. lcd_rotation=0, sensor_hmirror=False, sensor_vflip=False):

  19. sensor.reset()

  20. sensor.set_pixformat(sensor.RGB565)

  21. sensor.set_framesize(sensor.QVGA)

  22. sensor.set_windowing(sensor_window)

  23. sensor.set_hmirror(sensor_hmirror)

  24. sensor.set_vflip(sensor_vflip)

  25. sensor.run(1)

  26. lcd.init(type=1)

  27. lcd.rotation(lcd_rotation)

  28. lcd.clear(lcd.WHITE)

  29. if not labels:

  30. with open('labels.txt','r') as f:

  31. exec(f.read())

  32. if not labels:

  33. print("no labels.txt")

  34. img = image.Image(size=(320, 240))

  35. img.draw_string(90, 110, "no labels.txt", color=(255, 0, 0), scale=2)

  36. lcd.display(img)

  37. return 1

  38. try:

  39. img = image.Image("startup.jpg")

  40. lcd.display(img)

  41. except Exception:

  42. img = image.Image(size=(320, 240))

  43. img.draw_string(90, 110, "loading model...", color=(255, 255, 255), scale=2)

  44. lcd.display(img)

  45. try:

  46. task = None

  47. task = kpu.load(model_addr)

  48. kpu.init_yolo2(task, 0.5, 0.3, 5, anchors) # threshold:[0,1], nms_value: [0, 1]

  49. while(True):

  50. img = sensor.snapshot()

  51. t = time.ticks_ms()

  52. objects = kpu.run_yolo2(task, img)

  53. t = time.ticks_ms() - t

  54. if objects:

  55. for obj in objects:

  56. pos = obj.rect()

  57. img.draw_rectangle(pos)

  58. img.draw_string(pos[0], pos[1], "%s : %.2f" %(labels[obj.classid()],

  59. obj.value()), scale=2, color=(255, 0, 0))

  60. img.draw_string(0, 200, "t:%dms" %(t), scale=2, color=(255, 0, 0))

  61. lcd.display(img)

  62. except Exception as e:

  63. raise e

  64. finally:

  65. if not task is None:

  66. kpu.deinit(task)

  67. if __name__ == "__main__":

  68. try:

  69. # main(anchors = anchors, labels=labels, model_addr=0x300000, lcd_rotation=0)

  70. main(anchors = anchors, labels=labels, model_addr="/sd/model-20830.kmodel")

  71. except Exception as e:

  72. sys.print_exception(e)

  73. lcd_show_except(e)

  74. finally:

  75. gc.collect()
复制代码
②用于控制猫粮喂食器,通过MQTT接收指令来拍摄照片或控制步进电机的运动。
  1. #!/usr/bin/python

  2. import sys

  3. import RPi.GPIO as gpio

  4. import time

  5. import signal

  6. import os

  7. import mosquitto

  8. enablePin = 18

  9. dirPin = 23

  10. stepPin = 24

  11. WaitTime = 0.0025

  12. cameraTakeCmd = '/usr/bin/raspistill -t 1 -w 640 -h 480 -vf -hf -o /mnt/feeder/latest.jpg &'

  13. # set up io pins..

  14. gpio.setmode(gpio.BCM)

  15. gpio.setup(dirPin, gpio.OUT)

  16. gpio.setup(stepPin, gpio.OUT)

  17. gpio.setup(enablePin, gpio.OUT)

  18. gpio.output(enablePin, False)

  19. def exitHandler(signum, frame):

  20. print 'We are out of here...'

  21. gpio.output(enablePin, False)

  22. gpio.cleanup()

  23. exit()

  24. #define what happens after connection

  25. def on_connect(rc):

  26. print "Connected"

  27. #On recipt of a message create a pynotification and show it

  28. def on_message(msg):

  29. print "Topic: " + msg.topic

  30. print "Payload: " + msg.payload

  31. topic = msg.topic.split('/',1)

  32. direction = topic[1]

  33. print "Instruction: " + direction + ", Value: " + msg.payload

  34. if direction == 'photo':

  35. if msg.payload == 'take':

  36. print "Photo time!"

  37. os.system(cameraTakeCmd);

  38. motorAction = 0

  39. if direction == 'retract':

  40. gpio.output(dirPin, True)

  41. motorAction = 1

  42. elif direction == 'feed':

  43. gpio.output(dirPin, False)

  44. motorAction = 1

  45. if motorAction:

  46. gpio.output(enablePin, True)

  47. steps = int(msg.payload)

  48. StepCounter = 0

  49. while StepCounter < steps:

  50. gpio.output(stepPin, True)

  51. gpio.output(stepPin, False)

  52. StepCounter += 1

  53. time.sleep(WaitTime)

  54. gpio.output(enablePin, False)

  55. #create a broker

  56. mqttc = mosquitto.Mosquitto("catfeeder")

  57. #define the callbacks

  58. mqttc.on_message = on_message

  59. mqttc.on_connect = on_connect

  60. mqttc.reconnect = on_connect

  61. #connect

  62. mqttc.connect("10.0.0.1", 1883, 60, True)

  63. #subscribe to topic test

  64. mqttc.subscribe("catfeeder/#", 0)

  65. #tidy up nice like...

  66. signal.signal(signal.SIGINT, exitHandler)

  67. #keep connected to broker

  68. while mqttc.loop() == 0:

  69. pass
复制代码
③用于远程控制小车
  1. #define BLINKER_PRINT Serial

  2. #define BLINKER_BLE

  3. #include <Blinker.h>

  4. #define PWMA 12 //控制电机1的方向A,zuo1

  5. #define PWMB 13 //控制电机1的方向B,zuo2

  6. #define PWMC 14 //控制电机2的方向A,you1

  7. #define PWMD 27 //控制电机2的方向B,you2

  8. int pwm_val = 255;//PWM输出值,改变数值用于调速,最大255,最小0

  9. // 新建组件对象,组件名称见引号

  10. BlinkerButton Button1("go");

  11. BlinkerButton Button2("down");

  12. BlinkerButton Button3("left");

  13. BlinkerButton Button4("right");

  14. BlinkerButton Button5("stop");

  15. //函数声明

  16. /*-------回调函数:软件中按下按键执行对应按键的函数,组件名称 软件中自定 见上 要放到setup之前--

  17. -----------------------------按键1:功能向前,执行向前函数-----------------------------

  18. -----------------------------按键2:功能向后,执行向后函数-----------------------------

  19. -----------------------------按键3:功能向左,执行向左函数-----------------------------

  20. -----------------------------按键4:功能向右,执行向右函数-----------------------------

  21. -----------------------------按键5:功能停止,执行停止函数-----------------------------*/

  22. void button1_callback(const String & state)



  23.     BLINKER_LOG("get button state: ", state);

  24.     forward();

  25. }

  26. void button2_callback(const String & state)

  27. {

  28.     BLINKER_LOG("get button state: ", state);

  29.     backward();

  30. }

  31. void button3_callback(const String & state)

  32. {

  33.     BLINKER_LOG("get button state: ", state);

  34.     turnleft();

  35. }

  36. void button4_callback(const String & state)

  37. {

  38.     BLINKER_LOG("get button state: ", state);

  39.     turnright();

  40. }

  41. void button5_callback(const String & state)

  42. {

  43.     BLINKER_LOG("get button state: ", state);

  44.     stopk();

  45. }

  46. void setup()

  47. {

  48.     Serial.begin(115200);

  49.    

  50.     pinMode(PWMA, OUTPUT);         

  51.     pinMode(PWMB, OUTPUT);         

  52.     pinMode(PWMC, OUTPUT);         

  53.     pinMode(PWMD, OUTPUT);      

  54.    

  55.     ledcsetup(1,12000,8,PWMA);

  56.     ledcsetup(2,12000,8,PWMB);

  57.     ledcsetup(3,12000,8,PWMC);

  58.     ledcsetup(4,12000,8,PWMD);

  59.    

  60.     #if defined(BLINKER_PRINT)

  61.         BLINKER_DEBUG.stream(BLINKER_PRINT);

  62.     #endif

  63.     Blinker.begin();

  64.     Button1.attach(button1_callback);

  65.     Button2.attach(button2_callback);

  66.     Button3.attach(button3_callback);

  67.     Button4.attach(button4_callback);

  68.     Button5.attach(button5_callback);

  69. }

  70. void loop()

  71. {

  72.     Blinker.run();

  73. }

  74. /*-----------PWM生成初始化(LEDC通道初始化)-----------------*/

  75. void ledcsetup(int channel,int freq,int resolution,int pin)

  76. {

  77.   ledcSetup(channel, freq, resolution); // 设置通道

  78.   ledcAttachPin(pin, channel);   // 将通道与对应的引脚连接

  79. }

  80. /*----------------------转向函数--------------------------*/

  81. void forward()

  82. {

  83.    Serial.println("FORWARD"); //输出状态

  84.    ledcWrite(1, pwm_val);

  85.    ledcWrite(2, 0);

  86.    ledcWrite(3,pwm_val);

  87.    ledcWrite(4, 0);

  88. }

  89. void backward()

  90. {

  91.    Serial.println("BACKWARD"); //输出状态

  92.    ledcWrite(1, 0);

  93.    ledcWrite(2, pwm_val);

  94.    ledcWrite(3, 0);

  95.    ledcWrite(4, pwm_val);

  96. }

  97. void turnleft()

  98. {

  99.    Serial.println("TURNLEFT"); //输出状态

  100.    ledcWrite(1, 0);

  101.    ledcWrite(2, 0);

  102.    ledcWrite(3, 0);

  103.    ledcWrite(4,pwm_val);

  104. }

  105. void turnright()

  106. {

  107.    Serial.println("TURNRIGHT"); //输出状态

  108.    ledcWrite(1, 0);

  109.    ledcWrite(2, pwm_val);

  110.    ledcWrite(3, 0);

  111.    ledcWrite(4, 0);

  112. }

  113. void stopk()//stop是Arduino.h函数,因此不能使用其名称新建函数

  114. {

  115.    Serial.println("STOP"); //输出状态

  116.    ledcWrite(1, 0);

  117.    ledcWrite(2, 0);

  118.    ledcWrite(3, 0);

  119.    ledcWrite(4, 0);

  120. }
复制代码

更多详情请参考 https://www.robotway.com/h-col-279.html


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 需要先绑定手机号

Archiver|联系我们|极客工坊

GMT+8, 2024-4-30 22:49 , Processed in 0.053508 second(s), 18 queries .

Powered by Discuz! X3.4 Licensed

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表