机器人制造控制平台

一个用于控制UR5e机器人、Isaac Sim数字孪生和ROS2驱动的机器人制造控制平台。

  • by DIME-LAB
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 DIME-LAB/RoboManufac-MCP

使用说明

RoboManufac MCP

待办事项

  • []添加URSim docker的安装和设置链接/说明。
  • []为ROS2/URSim添加网络/ufw说明。
  • []UR机器人驱动程序rosbridge_setute的安装说明。
  • []ROS2工作区的安装说明:包含OnRobot夹持器控件、夹点发布器、最大相机定位器设置(和Orbbec相机?)
  • []DT扩展的Isaac Sim资产的下载路径
  • []设置Isaac Sim扩展的说明?
  • []给出所有路径配置文件的位置和设置说明。
  • []给出设置UR ROS2驱动程序的说明。
  • []Python环境设置说明?
  • []mcp客户端设置和安装说明

需求

设置变量

  1. 在mcp-client example/mcp-config.json下,设置正确的mcp服务器路径和相关Python可执行文件路径。
  2. 在ros mcp服务器/server_PATHS_CFG.yaml下,设置IP地址、ros WS路径和基本控制器的路径
  3. 在asu-ur5e-dt/exts/DigitalTwin/DigitalTwin/ASSET_PATHS.yaml下,为机器人、夹具、相机和FMB对象设置资源路径。

启动数字孪生和MCP客户端

  1. 启动URSim和/或打开机器人。
docker run --rm -it -p 5900:5900 -p 6080:6080   \
-v ${HOME}/.ursim/urcaps:/urcaps    \
-v ${HOME}/.ursim/programs:/ursim/programs  \
--name ursim --net ursim_net --ip 192.168.56.101 universalrobots/ursim_e-series
  1. 启动UR ROS2驱动程序。
source /opt/ros/humble/setup.bash
ros2 launch ur_robot_driver ur_control.launch.py   \
ur_type:=ur5e  robot_ip:=192.168.56.101  use_mock_hardware:=false   \  
activate_joint_controller:=true   \
initial_joint_controller:=scaled_joint_trajectory_controller    
  1. 启动罗斯布里奇
source /opt/ros/humble/setup.bash
ros2 launch rosbridge_server rosbridge_websocket_launch.xml
  1. 启动Isaac Sim。使用用户界面扩展“UR5e数字孪生”:

    • 加载场景并刷新图形。
    • “加载UR5e”和“设置UR5e动作图”。
    • “导入RG2夹持器”和“将RG2连接到UR5e”。
    • 设置“夹持器动作图”和“力发布图”。
    • “导入RealSense摄像头”、“将摄像头连接到UR5e机器人”。
    • 设置“相机动作图”。
    • “添加对象”和设置“放置发布者动作图”。
  2. 使用OpenAI/Anthropic API键运行MCP客户端。

# For Claude provider
export ANTHROPIC_API_KEY=your_anthropic_key_here
# For OpenAI provider
export OPENAI_API_KEY=your_openai_key_here

启动客户端:

cd ~/Desktop/MCP_UNIFIED/RoboManufac-MCP/mcp-client-example
node dist/bin.js --list-servers
node dist/bin.js --all --provider=openai    # or --provider=claude