跳一跳python辅助软件思路及图像识别源码解析

本文将梳理github上最火的wechat_jump_game的实现思路，并解析其图像处理部分源码

首先废话少说先看效果

查找棋子的重要依据就是棋子的颜色较为单一并且和方块的颜色有较大差距。如果一个像素点的RGB像素值在B(50, 60), G(53, 63), R(95, 110)范围内那么就认为这个像素点是属于棋子的。根据以上信息就能计算出棋子的平均横坐标，以及最大的纵坐标值。

所以不难计算出棋子坐标（棋子平均横坐标， 棋子最大纵坐标 – 底座一半的高度）其中底座一半的高度因手机分辨率而异。需要提前配置好。

最后是查找下一个方块中心点的坐标的代码

代码开头通过棋子所在的屏幕位置限制搜索的宽度，如果棋子在屏幕左边那么就在屏幕右边搜索方块，反之亦然。因为方块和棋子不会在屏幕同一侧。

然后就是自上而下得搜索方块的上顶点。
方块上顶点坐标（ 平均横坐标，当前行的纵坐标）

然后再往下纵坐标+247的位置开始向上找颜色与上顶点一样的点，为下顶点。
当然此方法有一点局限性对于纯色的平面效果很好但是对于非纯色的平面。可能会判断出错。

如果上一跳命中中间，则下个目标中心会出现 r245 g245 b245 的点，利用这个属性弥补上一段代码可能存在的判断错误
若上一跳由于某种原因没有跳到正中间，而下一跳恰好有无法正确识别花纹，则有可能游戏失败，由于花纹面积通常比较大，失败概率较低

可改进方案

首先是目前方案对于多分辨率需要多个配置文件来记录不同分辨率下的系数以及棋子底盘一半的高度。随机测试了6台手机其中有两台手机因没有配饰而无法正常运作

首先是系数A，观察方程T=A * S，A就是一个可训练量，利用机器学习框架比如TensorFlow，对这个一元一次方程进行拟合。

观察棋子底盘一半的高度在代码中的作用。不难发现是为了求出棋子底盘中心的纵坐标。而棋子底盘中心的位置恰恰是棋子最宽的地方。所以可以通过找出棋子最宽处的纵坐标的方式找到棋子底盘中心的纵坐标。这样就摆脱了对配置文件的依赖，能让代码在任何手机上正常运行。

其次是对于方块中心坐标位置的判断方法出错率较高，虽然有中心白点可以弥补但是在大量跳跃的过程中还是会出现错误。3太手机不停运行了一下午，最高分只有2009分。

现方法出错率高的原因是使用纯颜色方法判断，但是在实际游戏中颜色丰富的方块也不少。如果想改变就不能依赖颜色方法判断，而应该通过几何图像的形状来计算方块的位置。不难发现游戏中方块只有棱形和圆形两种形状。

首先通过canny或其他轮廓查找算子提取出图像的轮廓，然后通过霍夫变换提取出圆形和棱形的中心坐标。

以上是我个人的一些见解。欢迎大家评论区一起探讨学习

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树首页概览208576 人正在系统学习中

来源：Kobayashi丶