我中心谷朝臣副研究员带领团队研发出新型视觉控制终端，集成智能相机与运动控制功能，在一颗异构多核芯片中实现了图像传感器数据采集、深度学习视觉处理、多轴运动控制功能的并行计算，有效降低了传统视觉运动控制系统各模块间的通信延迟与系统不确定因素，实现了智能视觉控制器的小型化、轻量化、低功耗、低成本，有助于工业视觉控制系统的快速部署与低成本改造，为工业视觉应用提供了一种软硬件一体化控制解决方案。
智能视觉控制终端原理样机
技术负责人谷朝臣副研究员介绍，该智能视觉控制终端研发受到国家重点研发计划课题《智能工厂双层级管控一体网络与边缘端感知控制技术》支持，系统采用XILINX Zynq UltraScale+系列芯片：在图像采集方面，利用芯片内FPGA，实现图像传感器数据高速采集与图像校正，将预处理图像存入运行内存；在视觉处理方面，利用芯片内高性能中央处理器，实现图像读取、自定义图像校正及深度学习推理调度，利用芯片内FPGA实现深度学习层级推理加速；运动控制方面，利用芯片内实时协处理器，实现多轴多闭环运动控制算法计算，保证运动的安全性与可靠性；芯片内异构处理核心通过共享内存通信，保证大规模通信的实时性与可靠性；同时，智能视觉控制器支持无线远程通信，可根据使用需求远程更新各模块程序固件，兼容多种应用场景。
目前，原理样机已经实现图像采集、视觉计算与运动控制闭环联调，采用YOLO V4-Tiny模型可以实现30ms视觉闭环计算周期，达到准实时效果；支持6轴运动控制插补，插补计算周期达到1ms以下，可支持EtherCAT工业以太网总线扩展，系统整体功率小于20W。未来，团队将继续完善智能视觉控制终端的柔性、开放式的编程环境开发工作，提高智能视觉控制终端整体稳定性与功能完善性，积极进行科研成果产业化产品转化，与工业产业界伙伴合作，共同探索边缘端视觉控制技术在多个产业领域的应用。
