基于视觉与板球系统的智能垃圾桶
沈阳航空航天大学
创新能力训练报告
2019.12.29
题目 基于视觉与板球系统的智能垃圾桶设计
班 级
学 号
学 生 姓 名 刘一博
指 导 教 师
基于视觉与板球系统的智能垃圾桶
刘一博 沈阳航空航天大学自动化学院## 标题
1.立题意义
垃圾分类是垃圾处理流程中的基础环节，一直以来是各级*倡导与推行的重要工作．但是由于配套设施的不完善与人们的垃圾分类意识与能力不足，该项工作进展成效并不理想，收集到的“分类垃圾”往往仍是混合垃圾，严重影响了垃圾分类的秩序[1]。决定做一个智能化垃圾分类产品，解决家庭、学校、餐馆小型场所的垃圾智能分类，杜绝混合垃圾的出现。当前市面上的智能分类垃圾桶往往依赖多个传感器进行复杂的操作完成识别分类，准确率较低且识别种类较为单一[2]。结合上海市垃圾分类政策，决定设计一款可以准确识别干垃圾、湿垃圾、可回收垃圾、有害垃圾的智能垃圾桶。但是考虑到传统舵机无法满足双*度的垃圾分类设计，决定结合板球系统的双*度，做一款多种类垃圾分类垃圾桶。
2.研究内容
智能垃圾分类垃圾桶主要由可识别垃圾种类的嵌入式主控与实现自动垃圾分类控制的板球系统机械结构构成。基于对成本与体积的考虑，系统选用了常用的嵌入式设备STM32与树莓派作为实验设备。而基于对四种常用垃圾桶的改造，根据滑模控制系统设计了平面式倾倒结构，以便于充分利用普通垃圾桶空间。滑模控制系统中的运动过程可由两个阶段组成: 第一阶段是趋近阶段，它完全位于滑模面之外， 或者有限次的穿过滑模面; 第二阶段是滑动模态，完全位于滑模面上的滑动模态区[3]。
本项目设计一个基于视觉与板球系统的智能垃圾桶。智能垃圾桶的识别系统以摄像头为主体，摄像头将垃圾图像发送给树莓派，树莓派借助卷积神经网络与HOG值归一化处理实现垃圾的精准识别，识别完成后采用串口通信发送给主控制器STM32，主处理器接受信号后，推动舵机，使板球系统倾倒垃圾，倾倒完成板球系统复位，当摄像头识别无异物后再进行擦除，恢复处理。
系统最终实现的主要功能如下：
（1）垃圾图像采集：采用摄像头采集图像，将图像信息传递给树莓派，树莓派对图像进行分析。
（2）垃圾图像学习功能：通过BP神经网络进行不断学习对象选取了生活中常见的６种垃圾：易拉罐、塑料瓶、牛奶盒、纸杯、纸团以及电池，通过训练得到较高准确率。
（3）垃圾图像分类功能：树莓派接收到图像信息后，确定好垃圾类别与垃圾精确位置，通过串口通信功能，将信息传递给STM32；
（4）垃圾定位功能：树莓派通过摄像头采集出的图像，结合板球系统X、Y轴完成垃圾的精准定位。
（5）垃圾分类功能：STM32通过传递过来的信息，驱动舵机模块，控制板球系统，使对应垃圾桶卡槽起摆，板球平面倾斜，实现快速的垃圾倾倒功能；
（6）清扫功能：当板球系统完成倾倒功能后，摄像头采集图像，确定板球平面上无垃圾，进行平面的擦拭与打扫。
3.智能垃圾桶实现方案
智能垃圾桶实现方案分为硬件和软件两个部分，如下所示。
3.1 智能垃圾桶硬件总体方案设计
智能垃圾桶硬件总体方案分为嵌入式系统硬件方案和板球系统硬件方案两个部分，如下所示。
3.2.1嵌入式系统硬件方案
基于视觉与板球系统的智能垃圾桶系统主要由STM32单片机作为控制核心、树莓派3B+、舵机模块、板球系统和电源，嵌入式系统硬件组成框图如图2所示。
图1 嵌入式系统硬件示意图
摄像头模块采集垃圾信息。摄像头采用的是树莓派3B+与OPENCV结合。本项目中摄像头传感器，采用OpenCV摄像头是因为其致力于真实世界的实时应用，可用于实时处理图像，具有良好的可移植性，具有低级和高级的应用程序接口，提供了面向Intel IPP 高校多媒体函数库的接口，可针对你使用的Intel CPU 优化代码，提高程序性能。相较于ＰＣ端，嵌入式设备树莓派的内存资 源稀缺，运算能力较弱，因此需要对树莓派上运行 的神经网络进行参数调整及优化，从而提升垃圾种类识别的准确率和处理速度[4] 。
摄像头模块与板球系统相结合实现垃圾的定位功能。板球系统是一个多变量、非线性控制对象，是球杆系统的二维扩展[5]。其作为一个具有双输入、双输出的两*度机械系统，适合于本智能垃圾桶对双*度的要求，并对垃圾的倾倒。
嵌入式主控制器采用了STM32F103，根据接收到的树莓派传递来的的数据信息，对板球系统发送相应控制指令。由于本系统模拟真实场景下的垃圾桶，故应选用性价比较高的嵌入式设备，既能运行好我们训练好的嵌入式程序， 又能满足价格低廉的要求。故系列属于中低端的32位ARM微控制器，该系列芯片是意法半导体(ST)公司出品，其内核是Cortex-M3。该系列芯片按片内Flash的大小可分为三大类:小容量(16K和32K)、中容量(64K和128K)、大容量(256K、384K和512K)。芯片集成定时器，CAN，ADC，SPI，I2C，USB，UART，等多种功能，满足本实验需求条件。
嵌入式副控制器采用树莓派3b+开发板。开发板是一款基于ARM的微型电脑主板，以 SD/MicroSD卡为内存硬盘，板载1GB DDR2内存（128bit），支持CAN总线、串口、SPI、IIC、IIS、 GPIOS、蓝牙、Internet、802.11ac WLAN 等接口[6]。
智能垃圾桶所使用舵机为FutabaS3010，提供 PWM 接口，供电电压范围为 DC4.0V ～ 6.0V, 输出扭矩为6.5+1.3KG/CM，负责控制板球系统的运动，以及垃圾桶卡槽的摆动。
3.2.1板球系统硬件方案
相较于传统垃圾桶的可回收垃圾与不可回收垃圾之分，本智能垃圾桶根据最新的垃圾分类政策，将垃圾桶设置为五个，分别为干垃圾垃圾桶、湿垃圾垃圾桶、
可回收垃圾桶、有害垃圾垃圾桶、液体容器桶。因为四个外部垃圾桶，所以需要
双*度的分类装置。根据系统在运行过程中，具有一定的抗干扰能力[7]的观点，
选取了板球系统。板球控制系统的控制对象是板球球盘，通过大扭矩舵机使其两个*度的转动。由于编码器与PID的调制会实现精准的板球平面转动。
在板球系统中，通过两个舵机的转动能得到滑块在各个位置时的绕X轴角度
和绕Y轴角度。通过对三维空间的坐标旋转坐标计算得到平面的二维位置方程。
对不同的垃圾类型选取，计算出垃圾与垃圾桶的最优距离，舵机进行相对应角度的旋转，完成倾倒的动作。
设置平面的中点为二维平面的坐标原点，建立对应的滑膜平面与物体的势能方程，建立势能对于二维平面的方程，带入式 的Laypunov函数[3]验证文中设置的控制率渐进稳定，证明此系统相对稳定，满足双*度垃圾倾倒的要求，符合智能垃圾桶的机械机构设计。
智能垃圾桶的示意图如图1所示。
图2 智能垃圾桶示意图
3.2 智能垃圾桶系统软件总体方案设计
智能垃圾桶系统软件方案分为树莓派对图像的学习、训练与垃圾分类流程两个部分。
3.2.1对于不同垃圾的图像学习
垃圾图像学习涉及图像分辨率的选择、BP神经网络参数调优、HOG值提高三个部分。
3.2.1.1 图像分辨率的选择
选取不同的训练集与测试集，这些图像集由不同分辨率的图像构成，而在卷积神经网络移植入树莓派后，树莓派在实际应用场景下的图像均通过摄像头获取，但是树莓派选取的广域摄像头具有固定的图像分辨率．而对于不同的神经网络规模，最佳的分辨率大小又有所差异．因此为选择合适于所用网络的图像分辨率，选取其中权重较大的识别准确率与识别时间作为因变量，探究不同图像分辨率对所用网络的影响。
3.2.1.2 BP神经网络参数调优
BP神经网络其本质是逐层无监督的训练网络的权值，然后再整体调节(误差反向传播)。因为进行无监督预训练，所以使得网络层数增加成为可能。但层数也不能太大，从信息损失的角度来看，逐层预训练其实是在寻找原始的n维数据在m维空间的一个表示，而这种数据的转换会带来信息损失问题，层数越多，信息损失问题越大。分类器输出的是输入层类别的概率分布，即每个类别都会有一定的识别概率值，所以当遇到在形状、颜色很相近、很难区分的输入时，概率分布会相对接近．所以为了严格区分出识别的种类，减少识别的错误率，需要设置判别阈值，即当输入物品的识别概率超过阈值时，才可判断为相应物品，从而提高准确率．不难看出，当神经网络训练程度不够时，阈值过低容易导致误判；而阈值过高，神经网络的识别概率较难达到阈值，将无法得出识别结果，因此合适的阈值对神经网络权重较大。
3.2.1.3 HOG值性能提高
在一幅图像中，局部目标的表象和形状能够被梯度或边缘的方向密度分布很好地被描述。提高HOG性能的方法为：将图像分成32*32的图像方格，计算各直方图在不同区间的密度，然后根据这个密度对不同的细胞单元做归一化处理。
通过不同数量细胞的细化，权重值的选取，通过SVM寻求到最优超平面作为决策函数。通过此归一化处理之后，使树莓派所搭载的摄像头针对光照和阴影的变化获得最好的效果。得到不同自然环境下图像的最优正确识别权重，使本
智能垃圾桶获得最准确的识别与分类[8]。
3.2.2垃圾分类软件方案
智能垃圾桶垃圾分类是按照模块化的思想完成的，采用C与Python编写。设计内容包括垃圾图像识别，垃圾分类，垃圾倾倒，平面清扫以及串口通信子程序。
主程序流程图如图2所示。
图3 垃圾分类流程框图
- 项目特色
在当今垃圾分类政策下，智能垃圾桶的提出相对迫切，而本设计可以相对简易的完成垃圾分类，避免混合垃圾的出现。相对于传统的可回收垃圾和有害垃圾垃圾桶，本设计结合上海垃圾分类政策，提出了板球系统做定位与倾倒的设计，可在多种自然条件下成功完成垃圾分类。本项目结合了BP神经网络与HOG值的梯度计算，成功率较高地识别出垃圾的种类，并结合板球系统的定位系统进行成功的两*度内的360度倾倒，完成干垃圾、湿垃圾、可回收垃圾、有害垃圾的分类与倾倒，最后完成清扫处理。该系统具有很好的检测和分类前景，值得日后深入研究。
参考文献
[1]白桂峰.基于STC89C52的家用智能垃圾桶设计[J].自动化与仪表,2019,34(03):97-100.
[2]张园,江民欢,阚辉昂,冒书梅,王学刚.基于Arduino控制器的校园智能垃圾桶设计[J].智能城市,2019,5(06):15-16.
[3]韩治国,李伟,冯兴,陈能祥.基于滑模控制技术的视觉板球控制系统设计[J].技术与创新管理,2019,40(06):679-684
[4]吴碧程,邓祥恩,张子憧,唐小煜.基于卷积神经网络的智能垃圾分类系统[J].物理实验,2019,39(11):44-49.
[5]武凡凯,付伟,张釜荣,谢慕君.基于视觉反馈的板球系统定位控制[J].长春工业大学学报,2019,40(01):14-19.
[6]王科举,廉小亲,安飒,陈彦铭,龚永罡.基于树莓派和Arduino的智能垃圾桶[J].信息技术与信息化,2019(10):104-108.
[7]段凌飞,姚敏,张宏桥.基于STM32图像识别的板球系统的设计[J].机电工程技术,2019,48(08):162-164+280.
[8]I. Salimi, B. S. Bayu Dewantara and I. K. Wibowo, “Visual-based trash detection and classification system for smart trash bin robot,” 2018 International Electronics Symposium on Knowledge Creation and Intelligent Computing (IES-KCIC), Bali, Indonesia, 2018, pp. 378-383.