机械臂 + AIWROK：用脚本控制实体设备的完整链路

002250

把安卓脚本的能力从"屏幕里"延伸到"屏幕外"，最自然的桥梁就是机械臂。手机跑 AIWROK 负责识别与决策，机械臂负责真实物理动作，两者通过局域网指令联动，就能做贴标、分拣、按压实体按钮这类事。


整体架构

典型链路是三层：感知层（手机摄像头/截图识别）→ 决策层（AIWROK 脚本判断该做什么）→ 执行层（机械臂运动）。脚本不直接驱动硬件，而是通过网络把"目标坐标 + 动作类型"发给机械臂控制器。

1. var arm = new okHttp();
2. function moveArm(x, y, action) {
3.     var body = JSON.stringify({ x: x, y: y, cmd: action });
4.     arm.post("http://192.168.1.50/do", body);
5. }

复制代码

坐标要对齐

手机识别出的像素坐标，必须映射到机械臂的世界坐标。常见做法是标定：在桌面贴两个已知物理位置的标记点，脚本识别它们算出仿射变换，之后任意识别点都能换算成机械臂可达坐标。这一步标定没做好，臂就会戳歪。


动作要加到位检测

机械臂不是百分百精准，尤其负载变化时。稳妥的做法是：发完动作后，让手机再截一张图，确认实体状态真的变了（比如标签确实贴上了），没到位就补一次或报警，而不是闷头往下走。


异常处理别漏

实体设备会卡料、会掉电、会超行程。脚本侧一定要给每个动作加超时和失败分支：

1. try {
2.     moveArm(px, py, "grip");
3.     if (!checkDone(3000)) retryOnce();
4. } catch (e) {
5.     toast.show("机械臂动作失败，暂停流程");
6.     running = false;
7. }

复制代码

节奏控制

机械臂运动有加速度限制，别让脚本以软件速度狂发指令。每个动作之间留足物理时间，并在 UI 或 floatUI 控制台显示当前阶段，方便人远程盯一眼。


相关阅读

• 短信验证码中心AIWROK万能调用端
  
• clickPercent天然适配不同分辨率找控件点击
  
• floatUI深色控制台风格悬浮窗日志