APP控件树结构化控件信息爬取/APP内容结构化采集

群发软件

APP控件树结构化控件信息爬取/APP内容结构化采集

1. /**
   
2. * 案例23：APP控件树结构化控件信息爬取/APP内容结构化采集
   
3. *
   
4. *经典实用案例"控件信息爬取/APP内容结构化采集"，转换成 AIWROK 实现：
   
5. *   auto.nodeSearch(超时毫秒) 拿当前屏全部控件 → 逐节点取 文本/类名/中心坐标/可点击
   
6. *   → 结构化打印 → 关键词命中打 ⚠ → SQLite 入库(一个控件一行,ui_records 表)
   
7. *   → 每轮自动切页(设置/浏览器循环),采集结果跟着页面一轮一变。
   
8. *
   
9. * 数据源故事线(15→23 一路升级)：
   
10. *   15-18 API → 19 设备状态 → 20 屏幕像素 → 21 通知流 → 22 剪贴板 →
    
11. *   23 **无障碍控件树**——APP 界面对系统"摊开"的结构化数据。
    
12. *   和案例20 是本案例的灵魂对照:同样是"读别人的APP",
    
13. *   OCR 看的是**像素**(无坐标无类型,识别还耗 4~5 秒),
    
14. *   控件树拿的是**结构化数据**(文本+精确坐标+类名+可点击属性,毫秒级返回)——
    
15. *   铁律:有控件树可用时,永远优先控件树,OCR 只留给"读不出控件"的画面(游戏/视频/WebView壳)。
    
16. *
    
17. * 新知识点：
    
18. * 1. auto.nodeSearch(1000) 返回 nodes 集合:.count() 数量、.getNode(i) 逐个拿 node、
    
19. *    .getTexts() 一行代码拿全部文字(快速通道,和逐个遍历对比打印);
    
20. * 2. node 结构化属性:getText()文本 / getClassName()类名 / getBounds()→rect.getCenterX/Y()中心坐标 /
    
21. *    isClickable()可点击——这就是"自动化脚本知道该点哪"的底层原理;
    
22. * 3. **无障碍服务权限**:控件树靠系统无障碍服务拿,没授权 nodeSearch 直接空(启动自检会提示);
    
23. * 4. 入库粒度对照:案例20 一屏存一行大文本,本案例**一个控件一行**——
    
24. *    结构化数据源才能这样建表,后续 SQL 按坐标/类名/关键词随便查。
    
25. *
    
26. * 踩坑预告(实测过的老坑,详见对应函数注释)：
    
27. * - node.getText() 可能返回 null(容器节点没文字),不判空直接 ""+null 变 "null" 脏数据;
    
28. * - nodes 的过滤方法(textIncludes/clickable)会改集合本身,想留原始集合先 .copy();
    
29. * - 精简模式(setSimpleModel)会隐藏"不重要"节点导致数量少,详细模式(setDetailedModel)数量全但慢。
    
30. */
    
31. 
    
32. // ========== 配置区(改这里) ==========
    
33. var 识别关键词列表 = ["支付", "转账", "验证码", "密码"];   // 控件文字命中任一词打 ⚠
    
34. var 采集间隔秒 = 15;             // 每 15 秒切页采集一轮(控件树毫秒级,节奏全留给页面渲染)
    
35. var 开页等待秒 = 4;              // openApp 后等页面渲染完再采集(和案例20 同款)
    
36. var 每页入库上限条数 = 40;       // 单轮最多入库多少个文字控件(防设置这种长页面刷太多行)
    
37. var 打印最大条数 = 15;           // 单轮结构化打印前 N 条控件(防日志刷屏)
    
38. // 演示页面:只用案例20 已验证 openApp 能切过去的两个(文件管理器 Intent 方案待复测,先不掺进来)
    
39. var 演示页面列表 = [
    
40.     { 名称: "设置",           包名: "com.android.settings" },
    
41.     { 名称: "浏览器(百度首页)", 包名: "com.android.browser" }
    
42. ];
    
43. var SQLite路径 = "/sdcard/控件采集.db";
    
44. var 表名 = "ui_records";
    
45. 
    
46. // ========== 全局变量顶部声明 ==========
    
47. var gStop = false;
    
48. var 数据库连接 = null;
    
49. var 数据库可用 = false;
    
50. var 累计入库条数 = 0;
    
51. var 累计采集轮数 = 0;
    
52. var 上轮全部文字 = "";           // 画面去重基准(和案例20 同一思想)
    
53. 
    
54. // ========== importClass 只能放最外层 ==========
    
55. importClass(android.database.sqlite.SQLiteDatabase);
    
56. importClass(java.io.File);
    
57. 
    
58. // ========== 工具函数(先定义后调用) ==========
    
59. 
    
60. // 连接 SQLite(零配置;库文件不存在会自动创建)
    
61. function dbConnect() {
    
62.     try {
    
63.         数据库连接 = SQLiteDatabase.openOrCreateDatabase(new File(SQLite路径), null);
    
64.         数据库可用 = true;
    
65.         printl("[DB] ✅ SQLite 已打开: " + SQLite路径);
    
66.     } catch (e) {
    
67.         数据库可用 = false;
    
68.         printl("[DB] ⚠ 打开失败(只打印不入库): " + e);
    
69.     }
    
70. }
    
71. 
    
72. // 建表(存在则跳过)：一个控件一行——结构化数据源才配这么建表(对照案例20 一屏一行)
    
73. function dbEnsureTable() {
    
74.     if (!数据库可用) return;
    
75.     try {
    
76.         var sql = "CREATE TABLE IF NOT EXISTS " + 表名 + " (" +
    
77.             "id INTEGER PRIMARY KEY AUTOINCREMENT," +
    
78.             "page TEXT, text TEXT, class_name TEXT, cx REAL, cy REAL, clickable INTEGER, collected_at INTEGER)";
    
79.         数据库连接.execSQL(sql);
    
80.         printl("[DB] ✅ 表已就绪: " + 表名);
    
81.     } catch (e) {
    
82.         printl("[DB] ⚠ 建表失败: " + e);
    
83.         数据库可用 = false;
    
84.     }
    
85. }
    
86. 
    
87. // 单个控件入库(clickable=1 表示该控件可点击)
    
88. function dbInsertNode(页面名, 文本, 类名, cx, cy, clickable) {
    
89.     if (!数据库可用) return false;
    
90.     try {
    
91.         var stmt = 数据库连接.compileStatement("INSERT INTO " + 表名 +
    
92.             " (page, text, class_name, cx, cy, clickable, collected_at) VALUES (?,?,?,?,?,?,?)");
    
93.         stmt.bindString(1, "" + 页面名);
    
94.         stmt.bindString(2, "" + 文本);
    
95.         stmt.bindString(3, "" + 类名);
    
96.         stmt.bindDouble(4, cx);
    
97.         stmt.bindDouble(5, cy);
    
98.         stmt.bindLong(6, clickable);
    
99.         stmt.bindLong(7, time.nowStamp());   // nowStamp=毫秒数字;time.now()是格式化字符串不能bindLong
    
100.         stmt.executeInsert();
     
101.         stmt.close();
     
102.         return true;
     
103.     } catch (e) {
     
104.         printl("[DB] ❌ 入库失败: " + e);
     
105.         return false;
     
106.     }
     
107. }
     
108. 
     
109. function dbClose() {
     
110.     if (数据库可用 && 数据库连接 != null) {
     
111.         try { 数据库连接.close(); } catch (e) {}
     
112.         数据库连接 = null;
     
113.     }
     
114. }
     
115. 
     
116. // 打开演示页面(openApp + 校验前台包名,不对先杀后开重试一次;案例20 验证过的套路)
     
117. function 启动页面(页面, 尝试) {
     
118.     if (尝试 >= 2) {
     
119.         try { app.closeApp(页面.包名); sleep.second(秒 = 1); } catch (eClose) { printl("⚠ closeApp 异常(忽略): " + eClose); }
     
120.     }
     
121.     app.openApp(页面.包名);
     
122. }
     
123. 
     
124. // 采集当前屏控件树 → { 控件数组:[{文本,类名,中心x,中心y,可点击}], 节点总数, 可点击数, 全部文字 }
     
125. // 失败/无权限返回 null。踩坑实录:getText() 可能 null(容器节点),必须判空,否则脏数据"null"入库;
     
126. // 过滤方法(clickable/textIncludes)会改集合本身,这里不链式过滤,统一逐个 getNode 读属性,最稳
     
127. function 采集控件树() {
     
128.     var 结果 = { 控件数组: [], 节点总数: 0, 可点击数: 0, 全部文字: "" };
     
129.     try {
     
130.         var 集合 = auto.nodeSearch(1000);   // 超时1秒:等控件树刷新稳定
     
131.         if (集合 == null) {
     
132.             printl("[控件] ❌ nodeSearch 返回 null(大概率是无障碍服务没授权)");
     
133.             return null;
     
134.         }
     
135.         结果.节点总数 = 集合.count();
     
136.         if (结果.节点总数 <= 0) {
     
137.             printl("[控件] ❌ 控件树是空的——去 系统设置→无障碍(Accessibility) 给本APP开服务权限再重跑!");
     
138.             return null;
     
139.         }
     
140.         for (var i = 0; i < 结果.节点总数; i++) {
     
141.             try {
     
142.                 var n = 集合.getNode(i);
     
143.                 var 文本原始 = n.getText();
     
144.                 var 文本 = (文本原始 == null) ? "" : ("" + 文本原始);   // 判空防"null"脏数据
     
145.                 var 可点击 = false;
     
146.                 try { 可点击 = n.isClickable(); } catch (eC) {}
     
147.                 if (可点击) 结果.可点击数++;
     
148.                 if (文本.length === 0) continue;   // 容器节点没文字,不进结构化数组
     
149.                 var cx = 0;
     
150.                 var cy = 0;
     
151.                 try {
     
152.                     var r = n.getBounds();
     
153.                     cx = r.getCenterX();
     
154.                     cy = r.getCenterY();
     
155.                 } catch (eR) {}
     
156.                 var 类名原始 = n.getClassName();
     
157.                 var 类名 = (类名原始 == null) ? "" : ("" + 类名原始);
     
158.                 结果.控件数组.push({ 文本: 文本, 类名: 类名, cx: cx, cy: cy, 可点击: 可点击 });
     
159.                 结果.全部文字 = 结果.全部文字 + 文本;
     
160.             } catch (eNode) {
     
161.                 // 单节点读失败不拖垮整轮(节点可能已失效)
     
162.             }
     
163.         }
     
164.         // 快速通道对照:getTexts() 一行拿全部文字数组(教学点:遍历慢但有完整属性,快通道只有文字)
     
165.         try {
     
166.             var 文字数组 = 集合.getTexts();
     
167.             printl("[控件] 快速通道 getTexts() 返回 " + 文字数组.length + " 条文字(遍历法拿到 " + 结果.控件数组.length + " 个带属性控件,对照看)");
     
168.         } catch (eT) {
     
169.             printl("[控件] ⚠ getTexts 异常(不影响主流程): " + eT);
     
170.         }
     
171.         return 结果;
     
172.     } catch (e) {
     
173.         printl("[控件] ❌ 采集异常: " + e);
     
174.         return null;
     
175.     }
     
176. }
     
177. 
     
178. // 关键词检查:遍历控件文本,命中返回 {词, 文本},否则 null
     
179. function 查找命中关键词(控件数组) {
     
180.     for (var i = 0; i < 控件数组.length; i++) {
     
181.         for (var k = 0; k < 识别关键词列表.length; k++) {
     
182.             if (控件数组[i].文本.indexOf(识别关键词列表[k]) >= 0) {
     
183.                 return { 词: 识别关键词列表[k], 文本: 控件数组[i].文本 };
     
184.             }
     
185.         }
     
186.     }
     
187.     return null;
     
188. }
     
189. 
     
190. // ========== 主流程 ==========
     
191. printl("===== 案例23 APP控件树结构化采集入库 启动 =====");
     
192. 
     
193. dbConnect();
     
194. dbEnsureTable();
     
195. printl("⚙ 配置:每 " + 采集间隔秒 + " 秒切页采集 · 监控词(" + 识别关键词列表.join("/") + ") · 单页入库上限 " + 每页入库上限条数 + " 条 · 库: " + SQLite路径);
     
196. printl("ℹ 第6种数据源:无障碍控件树——APP 界面**摊开**给系统的结构化数据,文本+坐标+类名+可点击全都有");
     
197. printl("ℹ 灵魂对照案例20:OCR 看像素(4~5秒,无坐标无类型),控件树直读(毫秒级,属性齐全)——有控件树永远优先控件树");
     
198. printl("🔑 前提:系统设置→无障碍(Accessibility) 必须给本APP开服务权限,否则 nodeSearch 是空的(见自检)");
     
199. printl("📱 启动时前台包名: " + app.getTopPackName());
     
200. 
     
201. // 停止按钮清理(顺序:先置标志,stopAllRuning 放最后)
     
202. event.onStopBtnEvent(function () {
     
203.     gStop = true;
     
204.     dbClose();
     
205.     runTime.stopAllRuning();
     
206. });
     
207. 
     
208. // 步骤1:定时循环切页采集
     
209. var 轮次 = 0;
     
210. var 页面索引 = 0;
     
211. while (!gStop) {
     
212.     轮次++;
     
213.     累计采集轮数++;
     
214.     var 页面 = 演示页面列表[页面索引 % 演示页面列表.length];
     
215.     页面索引++;
     
216.     printl("\n---- 第 " + 轮次 + " 轮:切换页面【" + 页面.名称 + "】→ 控件树采集 ----");
     
217. 
     
218.     // ① 开页+校验(和案例20 同款:不对就重试一次,失败也照常采当前屏)
     
219.     var 打开成功 = false;
     
220.     for (var 尝试 = 1; 尝试 <= 2 && !打开成功 && !gStop; 尝试++) {
     
221.         try {
     
222.             启动页面(页面, 尝试);
     
223.             printl("🚪 第" + 尝试 + "次打开【" + 页面.名称 + "】(" + 页面.包名 + (尝试 >= 2 ? ",先关后开冷启动" : "") + "),等待 " + 开页等待秒 + " 秒渲染...");
     
224.             sleep.second(秒 = 开页等待秒);
     
225.             var 前台 = "" + app.getTopPackName();
     
226.             if (前台.indexOf(页面.包名) >= 0) {
     
227.                 打开成功 = true;
     
228.                 printl("📱 校验通过:前台已是 " + 前台);
     
229.             } else {
     
230.                 printl("⚠ 页面没切过去(前台是 " + 前台 + ")" + (尝试 < 2 ? ",重试一次..." : ",照常采当前屏"));
     
231.             }
     
232.         } catch (e) {
     
233.             printl("🚪 openApp 异常: " + e + ",照常采当前屏");
     
234.             break;
     
235.         }
     
236.     }
     
237. 
     
238.     // ② 采集控件树
     
239.     var 开始 = time.nowStamp();
     
240.     var 采集 = 采集控件树();
     
241.     if (采集 == null) {
     
242.         printl("⚠ 本轮采集失败(权限/异常),跳过入库");
     
243.     } else {
     
244.         var 耗时 = time.nowStamp() - 开始;
     
245.         printl("🌳 控件树到手:节点 " + 采集.节点总数 + " 个 | 带文字控件 " + 采集.控件数组.length +
     
246.             " 个 | 可点击 " + 采集.可点击数 + " 个 | 耗时 " + 耗时 + " 毫秒(对照案例20 OCR 的 4~5 秒)");
     
247. 
     
248.         // ③ 结构化打印前 N 条(演示重点:每条都是"文本@坐标[类名,可否点击]",像素OCR给不了这些)
     
249.         var 打印数 = 采集.控件数组.length < 打印最大条数 ? 采集.控件数组.length : 打印最大条数;
     
250.         if (打印数 > 0) {
     
251.             printl("📋 本轮控件明细(前 " + 打印数 + " 条):");
     
252.             for (var p = 0; p < 打印数; p++) {
     
253.                 var c = 采集.控件数组[p];
     
254.                 printl("   │ [" + p + "] " + c.文本 + " @" + Math.round(c.cx) + "," + Math.round(c.cy) +
     
255.                     " [" + c.类名 + (c.可点击 ? ",可点击" : "") + "]");
     
256.             }
     
257.             if (采集.控件数组.length > 打印数) {
     
258.                 printl("   │ ...(共 " + 采集.控件数组.length + " 条,其余只入库不打印)");
     
259.             }
     
260.         } else {
     
261.             printl("ℹ 本轮没有带文字的控件(纯图形界面?这正是该换 OCR 的场景——案例20)");
     
262.         }
     
263. 
     
264.         // ④ 关键词命中(结构化优势:能精确到是哪个控件命中)
     
265.         var 命中 = 查找命中关键词(采集.控件数组);
     
266.         if (命中 != null) {
     
267.             printl("⚠ 报警：控件「" + 命中.文本 + "」命中关键词「" + 命中.词 + "」!");
     
268.         }
     
269. 
     
270.         // ⑤ 画面去重:全部文字和上一轮相同=页面没变,不重复入库(案例20/22 同款思想)
     
271.         if (采集.控件数组.length > 0 && 采集.全部文字 !== 上轮全部文字) {
     
272.             printl("💾 页面已变化,逐控件写入数据库(表: " + 表名 + ",上限 " + 每页入库上限条数 + " 条)...");
     
273.             var 本轮入库 = 0;
     
274.             for (var q = 0; q < 采集.控件数组.length && q < 每页入库上限条数; q++) {
     
275.                 var item = 采集.控件数组[q];
     
276.                 if (dbInsertNode(页面.名称, item.文本, item.类名, item.cx, item.cy, item.可点击 ? 1 : 0)) {
     
277.                     本轮入库++;
     
278.                 }
     
279.             }
     
280.             累计入库条数 = 累计入库条数 + 本轮入库;
     
281.             printl("   ✓ 本轮入库 " + 本轮入库 + " 条控件 → 累计 " + 累计入库条数 + " 条 | " + SQLite路径);
     
282.             上轮全部文字 = 采集.全部文字;
     
283.         } else if (采集.控件数组.length > 0) {
     
284.             printl("ℹ 控件文字与上一轮相同(页面没变),本轮不重复入库");
     
285.         }
     
286.     }
     
287. 
     
288.     // ⑥ 分片等待下一轮:每 5 秒打一条进度(待机状态在日志可见,录像友好)
     
289.     printl("⏳ 本轮完成," + 采集间隔秒 + " 秒后切下一页采集");
     
290.     var 剩余 = 采集间隔秒;
     
291.     while (剩余 > 0 && !gStop) {
     
292.         var 步长 = 剩余 >= 5 ? 5 : 剩余;
     
293.         sleep.second(秒 = 步长);
     
294.         剩余 = 剩余 - 步长;
     
295.         if (剩余 > 0) {
     
296.             printl("⏳ 等待下一轮...剩余 " + 剩余 + " 秒(累计采集 " + 累计采集轮数 + " 轮/入库 " + 累计入库条数 + " 条)");
     
297.         }
     
298.     }
     
299. }
     
300. 
     
301. dbClose();
     
302. printl("===== 流程结束:共 " + 累计采集轮数 + " 轮采集,控件入库 " + 累计入库条数 + " 条 =====");
     

复制代码

awtotzuw

楼主这个思路可以，关键流程留个手动兜底入口，自动化跑不通时人能接手比什么都强。权限那块要单独开无障碍和电池白名单，否则跑到一半会被系统杀掉，最常见的问题就是这个。要判断值不值得投入，就看这个场景一天重复多少次，一天十次的自动化维护成本可能比手工还高。