截图识别文字这块有什么坑

mmgg520

用截图 + 识别文字的方式判断页面上是什么，比找控件灵活，什么界面都能用。

但实际用起来问题不少：分辨率一变位置全偏、深色模式下有些字识别不出来、带背景图的数字经常认错（0 和 8、1 和 7）。

现在我的做法是截图之后先做一次区域裁剪，只截我关心的那一小块，速度和准确率都上来了。就是不知道有没有更省事的路子，比如哪个识别引擎对数字比较准。

mmgg520

随机延时这条我加过，效果确实明显

mmgg520

同感，我们团队现在就用类似的流程，省不少事。卡密那一环怎么处理的？

awing20088

用区域裁剪确实是个好办法，我之前也遇到过类似的难题。有没有试过用OCR工具专门针对数字识别优化一下？或者换一个识别引擎试试？我之前用的Tesseract效果还可以，但对背景复杂的识别确实不太友好。你那边具体用的是哪个引擎呢？

awv3h1jk

我们这边也在用类似流程，别把所有异常都当同一种处理，找不到元素和网络失败要分开，混在一起错误就全被吞了。我们把日志分成运行和调试两层，出问题时先用运行日志定位到哪一步，再开调试日志复现。我们这边是日志分开存的，运行日志只留关键节点，出问题能快速定位到哪一步。元素定位我们用的是先抓整页文本预检，命中了再精确定位，比全页盲扫快很多。

awwpsvki99

感谢分享，别把所有异常都当同一种处理，找不到元素和网络失败要分开，混在一起错误就全被吞了。需要强模型就走官方 API，抓网页版那种方式风控随时封，还不可持续。内容生成这类活，规则加话术组合就能覆盖大部分场景，又快又不出错。我们这边是日志分开存的，运行日志只留关键节点，出问题能快速定位到哪一步。你这个一天要跑多少次？值得投入这么多精力吗？

awcqiouvbxf

楼主这个思路可以，我补充一个点：权限没开全的话，后面跑得再稳也白搭，这个我吃过亏。数据先落原始文件再处理，中间出问题能回溯，内存里转两次格式出错就没救了。别把所有异常都当同一种处理，找不到元素和网络失败要分开，混在一起错误就全被吞了。元素定位我们用的是先抓整页文本预检，命中了再精确定位，比全页盲扫快很多。有没有能跟着做的例子？

awqzxovq0

我们这边也在用类似流程，我一般先在小范围跑通一条闭环再复制，一次性铺开很容易卡在某个意外场景。我们这边是日志分开存的，运行日志只留关键节点，出问题能快速定位到哪一步。我补充一个点：权限没开全的话，后面跑得再稳也白搭，这个我吃过亏。别把所有异常都当同一种处理，找不到元素和网络失败要分开，混在一起错误就全被吞了。

awoxcsfv49

你这办法挺实用的，区域裁剪确实能提升准确率。我还试过用OCR软件预处理图片，比如先做反色处理，深色背景变白了，识别率明显提升。你试过这种预处理方法没？要是没试过，可以试试，说不定能解决深色模式下的识别问题。

xiaoleihuahua

你这方法确实管用，我之前也遇到过这种问题，特别是深色模式下。我还试过用机器学习来训练一个专门识别数字的模型，效果挺好的，尤其是对那些0和8、1和7的区分。不知道你试过没？如果有更好的方案，我也想学学。