MQTT远程本地局域网OCR例子

群发软件

	MQTT远程本地局域网OCR例子 /** * 本地 OCR 识别示例（AIWROK 端） * ================================================================== * 用你自己电脑上的 OCR_LAN_Server * 手机截图 → 发给电脑识别 → 拿回文字和坐标 → 可点击。 * * 服务端接口（源码 OCR_LAN_Server/server/app.py） *   GET  /health      服务是否在线 *   POST /ocr_all     全屏识别，返回 lines[{text,x,y,confidence}...] *   POST /ocr_find    找文字，返回 {found,best:{center_x,center_y}} *   POST /ocr_smart   智能路由（自动选引擎/分块/缓存），可带 text 直接找字 * * 两个必须知道的坑（本示例已正确处理） *   1) region 是【百分比】[x,y,w,h]，服务端 crop_by_percent 裁完不还原坐标， *      返回的文字坐标是"裁剪图"里的，必须客户端自己加回偏移量，否则点偏。 *   2) 如果为了省流量把截图缩小再上传，服务端返回的是"缩小图"的坐标， *      必须按比例放大回屏幕坐标。 * * 用法：改下面 OCR_SERVER 为你电脑局域网 IP（手机和服务端同一 WiFi）， *       在 AIWROK 里直接运行本脚本，看日志。 * ================================================================== */ // ==================== 配置 ==================== // 电脑地址候选表：逐个试 /health，谁通用谁。电脑 IP 变了不用改逻辑， // 只要把电脑当前的 IPv4 加进这个表即可（本机实测就从 .103 变成了 .104） var OCR_SERVERS = [     "http://192.168.10.104:9999",     "http://192.168.10.103:9999" ]; var OCR_SERVER = "";     // 由 ocrPickServer() 自动选定，别手改 var OCR_MAXW   = 960;    // 上传前把截图缩到该宽度。服务端本来就会缩到 960，                          // 填 960 不丢精度还省约 1/3 流量；填 0 = 不缩放 var TIMEOUT_MS = 30000;  // 单次识别超时 // ============================================== // ---------- 小工具 ---------- function L(s) { try { printl("[OCR] " + s); } catch (e) {} } function pad2(n) { return n < 10 ? "0" + n : "" + n; } var SCREEN_W = 1080, SCREEN_H = 1920; try { SCREEN_W = screen.getScreenWidth(); SCREEN_H = screen.getScreenHeight(); } catch (e) {} L("屏幕 = " + SCREEN_W + "x" + SCREEN_H); /** 依次探测候选地址，选定可用的那个 */ function ocrPickServer() {     for (var i = 0; i < OCR_SERVERS.length; i++) {         var url = OCR_SERVERS[i];         try {             var http = new okHttp();             try { http.setTimeout(4000); } catch (e) {}             var r = JSON.parse("" + http.get(url + "/health"));             if (r.code == 0) {                 OCR_SERVER = url;                 L("选定服务地址 " + url + "（候选第 " + (i + 1) + " 个）→ 在线可用");                 return true;             }             L(url + " 有响应但异常：" + ("" + JSON.stringify(r)).slice(0, 80));         } catch (e2) {             L("候选 " + url + " 连不上：" + e2);         }     }     L("所有候选都不通，排查四步：");     L("  1 电脑 OCR 服务开了吗：OCR_LAN_Server\\dist\\OCR_LAN_Server\\OCR_LAN_Server.exe");     L("  2 电脑真实 IP 是多少：cmd 执行 ipconfig，看「IPv4 地址」，");     L("    别用 192.168.163.x / 192.168.248.x（VMware 虚拟网卡，手机连不到）");     L("  3 手机和电脑是否同一 WiFi/网段（手机设置里看 WiFi 的网关）");     L("  4 把电脑当前地址加进本脚本顶部 OCR_SERVERS 列表");     return false; } /** * 截图并（可选）缩放，返回 base64 和换算比例 * factor = 上传图宽 / 屏幕宽，后面要把服务端坐标除以它 */ function shotForOcr(maxW) {     // 注意：AIWROK 的 screenShotFull() 返回它自己的 Image 对象，只有     // cutImagePercent / toBase64 / getWidth / getHeight / recycle，     // 没有 android Bitmap 的 compress、createBitmap —— 本机缩放会直接报     // "Can't find method android.graphics.Bitmap.createBitmap(...)"。     // 所以一律原图上传，缩放交给服务端（它内部本来就会缩到 960），     // factor 恒为 1，坐标无需再换算。     var bmp = screen.screenShotFull();     if (!bmp) throw new Error("截图返回空");     var b64 = "" + bmp.toBase64();     var w0 = 0, h0 = 0;     try { w0 = bmp.getWidth(); h0 = bmp.getHeight(); } catch (e) {}     try { bmp.recycle(); } catch (e2) {}     var sentW = w0 || SCREEN_W, sentH = h0 || SCREEN_H;     L("截图上传 " + sentW + "x" + sentH + " 约 " + Math.round(b64.length / 1024) + "KB（原图，缩放由服务端做）");     return { b64: b64, sentW: sentW, sentH: sentH, factor: 1 }; } /** POST JSON，返回解析后的对象；异常返回 {code:-1,err:...} */ function post(path, obj) {     try {         var http = new okHttp();         try { http.setTimeout(TIMEOUT_MS); } catch (e) {}         try { http.setHeader("Content-Type", "application/json"); } catch (e) {}         var t0 = (new Date()).getTime();         var resp = "" + http.json(OCR_SERVER + path, obj);         var ms = (new Date()).getTime() - t0;         var r;         try { r = JSON.parse(resp); }         catch (e) { L("返回不是 JSON（服务没开或地址错）：" + resp.slice(0, 120)); return { code: -1, err: "非JSON响应" }; }         L(path + " 往返 " + ms + "ms，服务端 " + (r.elapsed != null ? r.elapsed + "s" : "?") +           (r.strategy ? ("，策略=" + r.strategy) : "") + (r.count != null ? ("，结果数=" + r.count) : ""));         return r;     } catch (e2) {         L(path + " 请求失败：" + e2);         return { code: -1, err: "" + e2 };     } } /** 健康检查（保留旧名字，内部走多候选探测） */ function ocrHealth() {     if (OCR_SERVER) {         try {             var http = new okHttp();             try { http.setTimeout(5000); } catch (e) {}             var r = JSON.parse("" + http.get(OCR_SERVER + "/health"));             return r.code == 0;         } catch (e2) { return false; }     }     return ocrPickServer(); } /** * 把服务端返回的坐标换算成真实屏幕坐标 * r    : 服务端返回对象 * shot : shotForOcr 的返回（含 factor） * reg  : [x,y,w,h] 百分比 或 null */ function toScreen(r, shot, reg) {     var out = [];     var list = r.words || r.lines || [];     var offX = 0, offY = 0;     if (reg) {                                  // 裁剪偏移（在上传图坐标系里）         offX = shot.sentW * reg[0] / 100;         offY = shot.sentH * reg[1] / 100;     }     for (var i = 0; i < list.length; i++) {         var w = list[i];         var cx = (w.center_x != null ? w.center_x : w.x);         var cy = (w.center_y != null ? w.center_y : w.y);         out.push({             text: w.text,             x: Math.round((cx + offX) / shot.factor),   // 加裁剪偏移 → 除缩放比例             y: Math.round((cy + offY) / shot.factor),             conf: w.confidence         });     }     return out; } /** 识别全部文字，返回 [{text,x,y,conf}] */ function ocrList(reg) {     var shot = shotForOcr(OCR_MAXW);     var req = { image: shot.b64 };     if (reg) req.region = reg;     var r = post("/ocr_smart", req);     if (r.code != 0) return [];     return toScreen(r, shot, reg); } /** 识别并拼成一段文本 */ function ocrText(reg) {     var list = ocrList(reg);     var s = [];     for (var i = 0; i < list.length; i++) s.push(list[i].text);     return s.join("  "); } /** 找文字，返回 {found,x,y,text} 不点击 */ function ocrFind(text, reg, mode) {     var shot = shotForOcr(OCR_MAXW);     var req = { image: shot.b64, text: text, mode: mode || "include" };     if (reg) req.region = reg;     var r = post("/ocr_smart", req);     if (r.code != 0) return { found: false };     if (!r.found || !r.best) return { found: false, text: text };     var offX = reg ? shot.sentW * reg[0] / 100 : 0;     var offY = reg ? shot.sentH * reg[1] / 100 : 0;     return {         found: true, text: text, matches: r.count_matches || 1,         x: Math.round((r.best.center_x + offX) / shot.factor),         y: Math.round((r.best.center_y + offY) / shot.factor)     }; } /** 找字并点击 */ function ocrClick(text, reg, mode) {     var f = ocrFind(text, reg, mode);     if (!f.found) { L("没找到「" + text + "」"); return false; }     auto.clickPoint(f.x, f.y);     L("已点击「" + text + "」(" + f.x + "," + f.y + ") 共 " + f.matches + " 处");     return true; } /** 判断屏幕上有没有某个字 */ function ocrExists(text, reg) {     return ocrFind(text, reg).found === true; } /** * 等某个字出现并点击，超时返回 false * gapMs 默认 3200 毫秒：服务端结果缓存 TTL 是 3 秒，而且没有"单次请求绕缓存"的参数。 * 轮询比 3 秒快的话，拿到的往往是上一帧的缓存结果（日志里 strategy=cache_hit）， * 画面其实已经变了也可能被判成"没找到"。要更快响应，就去服务端 * ocr_config.json 把 cache_ttl 调小或 enable_cache 设 false。 */ function ocrWaitClick(text, sec, reg, gapMs) {     var gap = gapMs || 3200;     var end = (new Date()).getTime() + (sec || 10) * 1000;     var tryN = 0;     L("开始等待「" + text + "」，每 " + gap + "ms 查一次（要快就调小服务端 cache_ttl）");     while ((new Date()).getTime() < end) {         tryN++;         L("第 " + tryN + " 次查找「" + text + "」…");         if (ocrClick(text, reg)) return true;         try { sleep.millisecond(gap); } catch (e) { java.lang.Thread.sleep(gap); }     }     L("等 " + sec + " 秒仍未出现「" + text + "」，放弃");     return false; } // ================================================================== // 演示主流程：每一步都打日志 // ================================================================== function main() {     L("================ 本地 OCR 示例开始 ================");     if (!ocrHealth()) { L("服务不可用，示例结束"); return; }     // 1) 全屏识别，列出所有文字和坐标     L("--- 1. 全屏识别 ---");     var all = ocrList(null);     L("共 " + all.length + " 个文字块：");     for (var i = 0; i < all.length && i < 40; i++) {         L("  [" + (i + 1) + "] 「" + all[i].text + "」 坐标(" + all[i].x + "," + all[i].y + ") 置信度 " +           (all[i].conf != null ? all[i].conf.toFixed(2) : "?"));     }     if (all.length > 40) L("  …其余 " + (all.length - 40) + " 条省略");     // 2) 只识别上半屏（区域用百分比）     L("--- 2. 区域识别（上半屏 0,0,100,50） ---");     var top = ocrList([0, 0, 100, 50]);     L("上半屏 " + top.length + " 个文字块：" + (top.length ? ("「" + top[0].text + "」(" + top[0].x + "," + top[0].y + ") 开头…") : "无"));     // 3) 拼成整段文本     L("--- 3. 整屏文本 ---");     L(ocrText(null).slice(0, 300));     // 4) 找字（不点）     L("--- 4. 找字测试 ---");     var probe = all.length ? all[0].text : "设置";     var f = ocrFind(probe, null);     L(f.found ? ("找到「" + probe + "」在 (" + f.x + "," + f.y + ")，共 " + f.matches + " 处")               : ("没找到「" + probe + "」"));     // 5) 找字并点击（示例用第 4 步找到的词，换成你自己的关键词）     L("--- 5. 找字并点击 ---");     if (f.found) {         L("演示点击：" + probe);         ocrClick(probe, null);     } else {         L("没找到可点的词，跳过点击");     }     // 6) 等某个字出现再点（把"点赞"换成你的目标词）     L("--- 6. 等待并点击（10 秒超时） ---");     var waitWord = "点赞";     L("演示等待「" + waitWord + "」出现（没有属正常，超时即退出）");     ocrWaitClick(waitWord, 10, null);     L("================ 示例结束 ================");     L("常用函数：ocrHealth() ocrList(区域) ocrText(区域) ocrFind(词,区域) ocrClick(词,区域) ocrExists(词) ocrWaitClick(词,秒,区域)");     L("区域一律用百分比 [x,y,w,h]，例：[0,60,100,40] = 下半屏"); } main(); 复制代码