关于 web 自动化过程中滑块解锁问题以及页面滚动的问题的研究

2024-06-13
北京
本文字数：1317 字
阅读完需：约 4 分钟

滑块解锁

该问题主要源于各个平台的登录验证或者针对爬虫或 selenium 的一种防范手段。由于各个网站的防爬技术的提高，常规 selenium 似乎无法通过滑块验证，以下提供普遍的滑块验证思路，以供参考：

获取滑块本身的元素以及滑块所在长条的元素
根据滑块元素的 size 和所在矩形元素的 size 便能得到滑块的偏移量
使用 selenium 库中的 actionChains 中的 click_and_hole 和 move_by_offset 来控制滑块行动

根据滑块本身的大小以及承载滑块的div的大小来获取偏移量offx    slide1_back = self.find_ele_is_presence(_slide1_back_locate)    slide1_span = self.find_ele_is_presence(_slide1_span_locate)    获取滑块的起始坐标location    start_location = slide1_span.location    # 获取滑块所在长条的长宽大小    background_size = slide1_back.size    4.滑块的滑动范围[开始位置的横坐标减去滑片的宽度],由于是平移所以纵坐标没有变化    x_location = background_size["width"] - start_location["x"]    y_location = start_location["y"]

复制代码

然后通过对滑动轨迹：即一定时间内滑动的偏移量的变化，来模拟真人操作，试图通过检测

def ease_out_quad(x):    return 1 - (1 - x) * (1 - x)

def ease_out_quart(x):    return 1 - pow(1 - x, 4)

def ease_out_expo(x):    if x == 1:        return 1    else:        return 1 - pow(2, -10 * x)

def get_tracks(distance, seconds):    """    :param distance: offset    :param seconds: 拉动时间    :return:    """    tracks = [0]    offsets = [0]    # print("np_value:", np.arange(0.0, seconds, 0.1))    for t in np.arange(0.0, seconds, 0.1):        offset = round(ease_out_quart(t / seconds) * distance)        tracks.append(offset - offsets[-1])        offsets.append(offset)    return offsets, tracks

复制代码

结论

遗憾的是，有些网站的滑块检测条件极为苛刻又难以捉摸，即使使用了随机暂停，加速度变化等操作来模拟真人滑动，还是无法通过检测。疑似要通过人工智能的方式来解决。

浏览器页面滚动

使用 JS 进行滚动

因为一般滚动条都不作为单独的元件出现，而是附庸在某个 div 或 table 上，当这些元件展示内容过多时便会自动出现滚动条，所以难以通过 selenium 定位然后 actionChains 调用方法进行拖拽的方式控制页面滚动，需要通过 JS 来完成对滚动条的操作。

常见 JS

针对整个页面进行滚动

def test_scroll_to():    chromeOptions = webdriver.ChromeOptions()    chromeOptions.add_argument('--start-maximized')    driver = webdriver.Chrome(chromeOptions)
    driver.get('https://www.jd.com/')    n=1    while True:        # driver.execute_script(f"document.body.scrollTop = {100*n};")        driver.execute_script(f"window.scrollTo({(n-1)*50}, {n*50})")        n+=1

复制代码

针对单个元素的内嵌滚动条进行滚动

document.querySelector('.page-content').scrollTo(0,300)
document.querySelector('.ant-table-content').scrollTo(-100,0)通过定位到存在内嵌滚动条的元件，然后使用scrollTo(x,y)进行滚动。

复制代码