STM32+AI control Robotic hand solution
成功入圍,正在參加評選 亞洲金選獎 - 邊緣運算平台
基於 STM32N6 與 STM32MP257 的手勢辨識與控制系統
此系統建構於 STM32N6 與 STM32MP257 平台之上,實現了一套手勢辨識與控制系統。透過攝影機即時擷取手勢數據,STM32N6 利用其內建的 NPU 加速 MediaPipe 深度學習模型,以 30fps 的速率擷取 21 個手部關鍵點座標。這些座標隨後透過 RS-485 匯流排傳送至可程式化邏輯控制器(PLC)。
雙核心 STM32MP257 PLC 採用 CODESYS 平台,支援多種通訊協定,並執行關節角度計算。它將接收到的座標轉換為機械手控制指令,並透過 CAN 協定驅動瑞研(RuiYan)RY-H1 機械手。該機械手具備 15 自由度的線性致動設計,由 5 顆 STM32G4 控制。結合力-位置混合演算法,它可實現仿生運動,並在無需力感測器的情況下完成自適應抓取。
系統整合了 ST 的 X-CUBE-AI 模型部署能力,並支援工業通訊協定(EtherCAT/Modbus)。在異質運算架構下,該系統實現了從手勢辨識到機械執行的毫秒級閉環控制。此解決方案適用於自動化組裝、智慧抓取等工業應用,兼具高精度與強即時性。