https://blog.csdn.net/w18756901575/article/details/78615275
其他的不多说,直奔主题:
本次是以微信注册中所遇到滑块验证码为例,主要的目的就是让脚本实现自动识别阴影部分的位置,然后计算出距离拖动滑块完成验证操作
想要从1处滑动到2处,就需要知道1处和2处的中间点的x轴坐标位置,1点的坐标基本是固定的,2点的坐标是不断在变化的.我的方法也是在网上查到的,思路就是得出原图,然后和有阴影的图片进行对比从而得出阴影部分的位置.图片只需要得到3位置的部分就可以了.左边的部分不需要.
获取原图的方式还是比较麻烦的,我尝试了抓包,但是失败了,第一次抓iOS的包,微信的这些数据是https的,数据是加密后的.当然也有可能是我比较水. 我最终获取的方式是截取3中除去2的右边部分,然后在不断刷新,直至刷出2在3的右边的时候,截取左边的部分,然后将2张截图合并在一起.获取完整图片.脚本端我是使用触动精灵来做的,触动精灵有提供屏幕截取以及图片合并的api
下面是我收集原图的代码,比较笨,如果有人有更好的方法,欢迎交流require("TSLib")require("sz")--[[ (200,232) (609,232) (200,563) (609,563) ]]-- name="马路" --i的值为你需要的位置 i=0 --snapshot( name.."前.png",200,232,i-1,563); --snapshot( name.."后.png",i,232,609,563); --图片合成 --imageOperMerge({name.."前.png",name.."后.png"},name..".png", 0); --滑块图截取 --snapshot("测试1.png",200,232,609,563) nLog("执行完成") 滑块验证的图片都是固定的几张图片,在我写这篇博客的时候微信的滑块验证共13张图片.
获取到我们需要的原图之后.因为触动没有直接提供对本地图片像素的提取访问,而我对lua的库第三方库也不是很熟悉,所以图片对比的代码我是用我最熟悉的Java来完成的package com.wkk.test;import javax.imageio.ImageIO;import javax.imageio.ImageWriter;import javax.imageio.stream.ImageOutputStream;import java.awt.*; import java.awt.image.BufferedImage; import java.io.File; import java.io.IOException; import java.util.Iterator; public class Test { public static void main(String[] arg) { String path1 = "D:\\马路.png"; String path2 = "D:\\测试1.png"; int dv = getDifferenceValue(path1, path2); System.out.println(dv); } /** * 通过像素对比来计算偏差值 * * @param path1 原图位置 * @param path2 滑块图位置 * @return 偏差值 */ public static int getDifferenceValue(String path1, String path2) { int result = 0; File file = new File(path1); File file1 = new File(path2); if (!file.exists() || !file1.exists()) { System.out.println("文件不存在"); return 0; } try { BufferedImage image = ImageIO.read(file); BufferedImage image1 = ImageIO.read(file1); int height = image.getHeight(); int width = image.getWidth(); //遍历每一个像素点,对比,相同为0,不同为1 int[][] ints = new int[height][width]; for (int x = 1; x < width; x++) { for (int y = 1; y < height; y++) { int color = image.getRGB(x, y); int color1 = image1.getRGB(x, y); if (color == color1) { ints[y - 1][x - 1] = 0; } else { ints[y - 1][x - 1] = 1; } } } //通过上下左右像素的对比来去除杂色,并且计算最大值最小值 int maxX = -1; int minX = 999; for (int y = 0; y < ints.length; y++) { int is[] = ints[y]; for (int x = 0; x < is.length; x++) { if (is[x] == 1) { ints[y][x] = checkPixel(x, y, ints); if (ints[y][x] == 1) { if (x > maxX) { maxX = x; } if (x < minX) { minX = x; } } } } } //此处只是为了生成效果图方便观察,实际操作中不必执行 createImage(width,height,ints); result = (maxX + minX) / 2; } catch (Exception e) { e.printStackTrace(); } return result; } /** * 通过上下左右像素的对比来检测像素点是否是杂色 * * @param x * @param y * @param ints * @return */ public static int checkPixel(int x, int y, int[][] ints) { boolean result1 = true; boolean result2 = true; int s1 = 0; for (int i = 0; i < 30; i++) { if ((x + i) < ints[1].length && ints[y][x + i] != 1) { s1++; } } if (s1 > 15) { result1 = false; } int s2 = 0; for (int i = 0; i < 30; i++) { if (x - i > 0 && ints[y][x - i] != 1) { s2++; } } if (s2 > 15) { result2 = false; } if (result1 || result2) { s1 = 0; for (int i = 0; i < 30; i++) { if (y + i < ints.length && ints[y + i][x] != 1) { s1++; } } if (s1 > 15) { result1 = false; } s2 = 0; for (int i = 0; i < 30; i++) { if (y - i > 0 && ints[y - i][x] != 1) { s2++; } } if (s2 > 15) { result2 = false; } if (result1 || result2) { return 1; } } return 0; } /** * 创建图片 * @param width * @param height * @param ints * @throws IOException */ public static void createImage(int width, int height, int ints[][]) throws IOException { BufferedImage bi = new BufferedImage(width, height, BufferedImage.TYPE_4BYTE_ABGR); Graphics2D graphic = bi.createGraphics(); graphic.setColor(new Color(0xffffff)); graphic.fillRect(0, 0, width, height); for (int y = 0; y < ints.length; y++) { int is[] = ints[y]; for (int x = 0; x < is.length; x++) { if (is[x] == 1) { bi.setRGB(x, y, 0x0000ff); } } } Iterator it = ImageIO.getImageWritersByFormatName("png"); ImageWriter writer = it.next(); File f = new File("c://img.png"); ImageOutputStream ios = ImageIO.createImageOutputStream(f); writer.setOutput(ios); writer.write(bi); } } 这个程序的重点就在像素的对比上,脚本的代码很简单没有放上去的必要,上面的代码就是核心的代码,整个流程就是脚本截取图片上传到服务器上,服务器对图片进行对比操作过后返回2点的中间位置x轴的坐标.然后脚本计算转化过后进行滑动操作.整个过程从开始到滑动结束,网络正常的情况下所需时间在3秒以内,贴一下效果图:
不知道这样的操作叫不叫图片二值化-_-
上面代码中有去除杂色的部分,因为截图和原图的像素除了滑块部分外并非完全相同,所以需要上下对比15个像素来确定是不是滑块中的点,下面这一张是没有去除杂色的图片:
因为是计算滑块区域的x轴最大值最小值,所以杂色会对计算造成干扰.
关于如何确定当前滑块图对应的哪一张原图问题,我采取的方法,也是比较笨的方法,每一张图都截取图片左下角的一小片位置然后循环区域找图,找到了就知道对应关系了.如果有更好的方法欢迎交流.
脚本的代码只是关于点色的判断,都很简单就不贴了.看下最终效果图:
实时桌面反应没那么快,将就着看吧. 本文中的滑块验证码只是以微信的为例子,实际很多其他平台的滑块验证码也可以通过这种方式去解决,当前这种方式,这是解决方案的一种.如果有更好的思路,欢迎评论交流.
2017-12-21
上面对比像素的代码太乱了,而且还不大好用,现在重新整理优化下/** * 通过像素对比来计算偏差值 * * @param path1 原图位置 * @param path2 滑块图位置 * @return 偏差值 */ public int getDifferenceValue(String path1, String path2) { int result = 0; File file = new File(path1); File file1 = new File(path2); try { BufferedImage image = ImageIO.read(file); BufferedImage image1 = ImageIO.read(file1); int width = image.getWidth(); int height = image.getHeight(); int[][] colors = new int[width][height]; for (int x = 1; x < width; x++) { for (int y = 1; y < height; y++) { int color1 = image.getRGB(x, y); int color2 = image1.getRGB(x, y); if (color1 == color2) { colors[x - 1][y - 1] = 0; } else { colors[x - 1][y - 1] = 1; } } } int min = 999; int max = -1; for (int x = 0; x < colors.length; x++) { for (int y = 0; y < colors[x].length; y++) { if (colors[x][y] == 1) { colors[x][y] = checkPixel(x, y, colors); if (colors[x][y] == 1) { if (x > max) { max = x; } else if (x < min) { min = x; } } } } } result = (max + min) / 2; } catch (IOException e) { e.printStackTrace(); } return result; } public int checkPixel(int x, int y, int[][] colors) { int result = colors[x][y]; int num = 0; if ((y + 30) < colors[x].length) { for (int i = 1; i <= 30; i++) { int color = colors[x][y + i]; if (color == 0) { num += 1; } } if (num > 15) { return 0; } } return result; } public static void createImage(int width, int height, int ints[][], String name) throws IOException { BufferedImage bi = new BufferedImage(width, height, BufferedImage.TYPE_INT_RGB); Graphics2D graphic = bi.createGraphics(); graphic.setColor(new Color(0x003D1CFF)); graphic.fillRect(0, 0, width, height); for (int x = 0; x < ints.length; x++) { for (int y = 0; y < ints[x].length; y++) { if (ints[x][y] == 1) { bi.setRGB(x, y, 0xFF7F2E); } } } Iterator it = ImageIO.getImageWritersByFormatName("png"); ImageWriter writer = it.next(); File f = new File("c://" + name + ".png"); ImageOutputStream ios = ImageIO.createImageOutputStream(f); writer.setOutput(ios); writer.write(bi); }