基于人工智能的智慧餐厨预警系统实施方案.docx

基于人工智能的智慧餐厨预警系统实施方案2014年2月，国家食药监总局部署各地在餐饮业开展明厨亮灶工作；从2015年起，正式在全国推广，推动餐饮服务提供者通过采用透视明档（透明玻璃窗或玻璃幕墙）、视频显示、隔断矮墙、开放式厨房或设置窗口等多种形式，对餐饮食品加工过程进行公示，将餐饮服务关键部位与环节置于社会监督之下。国家市场监督管理总局2018年5月发布的餐饮服务明厨亮灶工作指导意见明确提出，鼓励餐饮服务提供者实施明厨亮灶，以此保障消费者的知情权。现阶段中，大部分餐饮食肆都已经符合明厨亮灶的要求,后厨等场所部署有多个摄像头，并将厨房的情况实时展示在外面的显示屏中。目的是为了让大众一起参与监督过程中，对有问题和不合理的现象提出质疑或者举报类似的现象。除了大众参与之外，政府部门也参与其中并担负起对应的监管职责。由于不同商家，各学校的明厨亮灶建设情况不同，所以目前的监管大多采取现场检查，录像抽查等措施，在餐饮企业庞大的数量下，现行的监管力度稍显不足，在实际监管过程中耗费大量人力和时间，效率还没有达到理想中的情况。厨房环境多为杂乱，且需要对场所卫生有较高的要求。如果仅仅依靠执法单位或相关部门进行监督，那么大量的人力和时间将会耗费在不同餐饮企业之间的巡查当中，而巡查当中仅有一小部分时间能了解到后厨的实际情况。随着时间的流逝，减少食品安全事件发生，提高监管效率则会越发重要。此时需要有更先进，高效的手段来解决以上提到的问题。在目前新冠病毒肆虐，造成国家经济巨大损失、社会管理难度急剧增加的情况下，为进一步加强我区餐饮服务提供者食品安全管理，完善餐饮服务食品安全诚信体系建设，强化餐饮服务提供者诚信经营意识和自律行为，根据区政府的要求和部署，特制定本方案。一、方案原则和目标以加强和创新餐饮服务食品安全社会管理为核心，以ST科技“方舟”超大型视频汇聚及分析系统为手段，以各类食监局监管范围内的餐饮店厨房、学校及各单位食堂厨房为重点，按照“试点先行，重点突破，因地制宜，逐步推进”的原则，引导消费者参与餐饮服务食品安全监督，形成社会共治格局，督促餐饮服务单位进行升级改造，促使餐饮服务提供者守法经营、诚信经营，保障公众饮食安全。二、工作内容1.建设超大型视频流汇聚、存储、结构化、运算一体平台一一“方舟”系统，对于辖区内所有23000余家餐饮服务提供商的厨房视频、图片进行汇聚分析和展示。2.每家餐饮服务提供商建设对应标准的高清晰度摄像机和传输网络（网络基本可以利旧，无需另行建设）3,基于“方舟”平台建设餐饮服务提供商手机端证照、单据、票证、凭单等自助审核及管理系统，对于相关食监局要求的证照远程审核、各种原料进货溯源票证审核记录等进行管理。三、需求分析由于明厨亮灶中，公众参与监督的能力和时间都有限，所以厨房中的工作人员出现违规行为时，并不能有效的得到提醒和纠正。从业人员在没收到有效反馈的情况下容易养成错误的工作习惯，从而容易引起食品安全事件发生：根据以上内容，我们的需求分析如下：1）餐饮数量太多，难以发现每个餐饮企业后厨中出现的违规现象；2）目前商家自查违规现象，只能通过人工回查录像视频,现场抽查，公众参与监督反馈问题，效率低，耗费人力；3）存储成本高，基本上需要保留七天的视频进行人工回查；4）缺少一个统一的系统平台方便各监管部门、商家自己进行统计和查看;赤H.抽烟,老鼠等厨房中不合规现象监管部门中各执法人员®©©©访问1三智能应用詈理平台根据上述需求分析，本方案满足各级监管部门以及不同执法人员对后厨中的管理需求，并设计了“智慧餐厨解决方案”。方案中使用了ST先进的视频内容识别技术、依托新一代的人工智能，结合行业领先深度学习算法，对厨房中的监控内容进行分析和检测。通过对项目需求的了解，本项目实施完成后，可以实现以下目标：1）利用餐饮后厨，学校食堂等场所已有的监控设备，对监控中的内容进行分析识别，利用智能分析终端中的AI能力可以对其中人员的违规穿戴，厨房环境等进行识别。2）前端智能分析设备满足全天候、全时段的分析识别需求，同时满足前端设备防水、防尘需求。3）拥有智能业务平台。使用者可以通过浏览器上访问平台，能接受违规告警、快速浏览不同区域不同场所中出现过的违规事件、管理员对不同使用者的权限进行设置。4）能使用智能分析终端丰富的APl接口，方便对接不同的业务平台监管单位第=方智帔业务应用系统（可造）Sense Kitchen 智能应用展示及管控平台餐饮单位alM鬟胴监管系统一四、系统描述智慧餐厨解决方案中采用“云加端”架构，其中采用原创的算法模型，构建了以监控视频内容接入，视频内容分析,违规行为告警三大核心服务。通过智能分析终端进行视频内容接入和视频内容分析，可以在本地对内容进行分析，并只将违规事件上传到业务平台。全流程大大节省网络带宽，提高了监管效率的同时，也解决了人力成本过高的问题。盒子部署简单，轻松扩展，能在业务平台上进行管理。通过Al智能识别协助监管人员对各单位后厨进行监管，能极大释放有关部门的人力，间接节省人力开支。4.1系统特点为了满足相关部门集中管理的需求，本系统采用了软硬一提的智能分析终端和云端业务系统的技术架构实现。该设计使系统具备可靠性、架构先进性、弹性可扩展的能力，能满足快速规模复制的要求。系统基于深度学习的计算机视觉技术和大数据智能分析能力，前端部署智能分析终端用以进行对视频中内容的识别，与业务管理平台协同实现形成一套完整的针对餐饮企业后厨，学校后厨，食品加工企业的人员违规行为检测与告警应用系统。针对监控范围内人员的口罩和厨师帽佩戴情况和其他违规行为进行判断，智能分析终端具备可靠、高效的AI识别能力。系统具有以下几个特点:1、违规事件可视化通过智能分析终端对视频监控的内容进行分析、识别,终端将识别出得到违规内容上传到智能业务平台上。方便使用者进行集中查看。2、查询方式多样化在智能业务平台上，可根据不同使用场景，对特定条件查看违规事件内容。比如：可通过厨房名称搜索；选择违规时间段进行查看；根据未读/已读违规事件进行查看。3、数据统计可视化对于数量众多的厨房，提供总览页面展示今日，昨日，近七日，近三十天内中符合各项规定厨房的数量。同时能在详情中查看违规事件的具体图片时间，违规类型等数据。4、权限多样化由于监管部门结构多样，智能业务系统中提供权限设置,可让不同权限的用户只能查看自己对应权限的违规事件。5、历史数据可查化违规内容将会统一存储在智能业务平台上，提供7x24小时的查看服务，做到有据可依，有证可查。6、算法优势ST原创算法，基于深度学习对多个相关联场景进行训练,具有高精度的识别能力：帽子穿戴识别准确度达到91%,口罩穿戴识别精准度达到93%等，配合终端硬件对算法进行多次调优，可根据客户的场景单独对底层模型进行调优。达到更快，更准确的识别效果。7、开放性优势提供高效APl接口，用户可根据业务需求方便地进行二次开发和封装，轻松给原有系统赋予新的能力。传统的餐饮企业的明厨亮灶工程中，只包含了监控摄像头等多种不同的设备。功能为对厨房内部的。功能包括了对厨房内部的情况进行监控录像,存储在NVR或其他设备当中。现有的功能主要使用场景作为记录和回顾使用。随着餐厅门店数量的快速增长，记录的数据以及达到一个巨大的量级,同时跟踪回溯也呈现出更大的难度。此时在前端需要有一个更好的方法去解决这些问题，以便更好的协助监管厨房违规事件的发生。4.2终端设计针对上述前端的需求，我们设计出了智能分析终端(SenseKitchen2.0)o这款产品能在实际的餐饮后厨场景中解决相关问题，终端只需要部署在与摄像头网络互通的环境中，餐饮后厨、餐厅前场、机房等都可以作为部署的参考地点。在终端与摄像头网络能互相通信的情况下，通过AI能力对其中的内容进行识别分析，能有效识别厨房中的违规行为，并有效上报。随着终端设备的部署，即使餐厅数量增加，也能更有效的对厨房的情况进行识别和分析。解决了餐饮数量多，区域广从而难以了解厨房内部情况的问题。为了更好的针对厨房场景的痛点，该产品除了基于深度学习技术，做成软硬一体的结构之外，还在硬件上集成了深度学习所使用的计算单元，并对大量厨房场景进行训练。终端只需要与所需接入的摄像头处于同一个网络环境即可，无需与摄像涉笔进行线路相连，同时终端体积小，易于摆放在不同区域，能有较好的环境适应能力并且能够接入四路摄像头流地址。成功将摄像头流地址接入智能分析终端后，通过先进的深度学习技术，盒子能对视频中的内容进行分析和识别：1）识别工作人员是否有穿戴厨师帽2）识别工作人员是否有佩戴卫生口罩3）识别工作人员是否有赤膊操作的情况4）识别工作人员是否有抽烟行为5）夜间对厨房进行监控，是否有老鼠活动目前主要对于人员违规行为进行分析识别，其他需求如:特定厨师服识别等可通过定制化方案解决。当盒子对以上情况进行分析识别后，会将确认有违规行为的信息上传到业务系统进行告警和展示。通过人工智能的应用，能提高监督效率，并规范从业人员的操作，最终更好的保证食品的安全。4.3业务平台对于各监管部门和对应的执法人员，需要有一个集中业务平台来满足日常监管、执法等一些场景中的需求。主要是功能包括查看，记录和过滤。对于该业务系统，应满足以下需求：1）由于不同部门、区域会有不同的查看和使用需求，所以需要在平台上有登录系统和用户权限管理。对于不同身份的使用者，登录之后会根据使用者的权限赋予一些特定的功能。2）对于获取到的数据，需要有数据统计功能。能方便使用人员快速浏览过去一段时间（昨天，过去七月，一个月等）的数据统计情况3）查看违规事件详细情况，能发现违规事件，可查看违规事件的发生时间，相关地点，违规类型和违规时的情况。做到有证可依，有据可查4）能提供灵活的开发方式，如APl文档等，方便原有部门的业务系统可以将违规数据接到已有的业务系统中。5）对于不同地方的摄像头，需要了解对应的工作状态,智能分析终端是否处于正常工作情况，并需要在平台侧能够直观查看，并对智能分析终端进行操作管理。4.3.1业务平台设计ST的智能业务平台，则是专为以上需求进行设计，可以统计和查看厨房日常中的人员违规行为，提供查看历史记录,智能分析终端管理，摄像头状态查看等功能。为满足上述需求，我们将主要设计为：登录模块、数据概览模块、违规查看模块、设备管理模块和用户管理模块。4.3.2登录模块针对需求中的权限相关需求，我们在登录模块对使用者进行一个鉴权的过程。需要对使用者从管理员处获取相关账号信息，而不同权限的账号登录后会有不同的功能权限。一般用户只有查看对应区域违规事件的权限。管理员可以对智能分析终端进行设置、摄像头的流地址进行设置、对不同区域进行命名，对一般用户进行管理等功能。4.3.4数据概览模块数据概览模块将根据违规事件的发生情况，将所有厨房的信息进行统计并展现。其中展示数据如下：厨房总数昨日合规厨房数近7日合规厨房数A近30日合规厨房数高频违规厨房其中包括：统计厨房总数、昨日合规厨房数、近七日合规厨房数、近30日合规厨房数都是独立数据，判断依据是所属时间段内是否有违规事件发生作为是否合规的唯一判断标准。而高频违规厨房则是筛选出本月高频违规厨房的前10名，横轴为厨房，纵轴为违规天数。并对合规厨房比例变化趋势进行图表展示，用以表示合规厨房比例的变化趋势，横轴为日期，纵轴为占比。对于拥有多个查看权限的使用者来说，右上角可以根据不同区域进行多维度的展示。4.5违规查看模块在左侧的可选页面中，通过点击违规识别即可访问到该页面。该页面包含的功能有：违规