selenium获取节点信息

我们写爬虫就是抓取页面中的数据,存储到本地或者数据库中,前面我们介绍的解析库(正则,Beatuiful Soup, lxml + etree)都可以获取节点的属性(节点属性及文本信息)),在selenium中同样的可以获取dom节点的信息.

一、通过get_attribute获取属性

• 1、获取class属性

  ...
  for item in lis_dom:
      print(item.find_element_by_xpath('./a[@class="cate_menu_lk"]').get_attribute('class'))
  ...
  

• 2、获取href属性

  ...
  for item in lis_dom:
      print(item.find_element_by_xpath('./a[@class="cate_menu_lk"]').get_attribute('href'))
  ...
  

• 3、截屏操作

  browser.get_screenshot_as_file('1.png')
  

二、使用text属性获取文本信息

• 1、精确的到那个节点上获取

  for item in lis_dom:
        # 可以继续链式的查找,获取文本信息
        print(item.find_element_by_xpath('./a[@class="cate_menu_lk"]').text)
  

• 2、获取全部匹配的里面的文本

  for item in lis_dom:
      print(item.text)
  

三、获取元素的位置、标签名、按钮的大小

  from selenium import webdriver

  browser = webdriver.Chrome()

  browser.get('https://www.baidu.com/')
  btn = browser.find_element_by_xpath('//input[@class="bg s_btn"]')
  print(btn.location)
  print(btn.tag_name)
  print(btn.size)