python 爬虫招聘

Python3获取拉勾网招聘信息的方法实例

前言

为了了解跟python数据分析有关行业的信息,大概地了解一下对这个行业的要求以及薪资状况,我决定从网上获取信息并进行分析。既然想要分析就必须要有数据,于是我选择了拉勾,冒着危险深入内部,从他们那里得到了信息。不得不说,拉勾的反爬技术还挺厉害的,稍后再说明。话不多说,直接开始。

一、明确目的

每次爬虫都要有明确的目的,刚接触随便找东西试水的除外。我想要知道的是python数据分析的要求以及薪资状况,因此,薪资、学历、工作经验以及一些任职要求就是我的目的。

既然明确了目的,我们就要看一下它们在什么位置,所以我们打开浏览器,寻找目标。像拉勾这种网站他们的信息一般都是通过ajax加载的,而且在输入“python数据分析”敲击回车之后跳转的页面,招聘信息不是一开始就显示出来的,通过点击页码也只是招聘信息在变化甚至连network都没多大变化,可以大胆猜测他是通过post请求的,所以我们只关注post请求以及xhr文件,很快就发现了我们要的东西。

python 爬虫招聘(Python3获取拉勾网招聘信息的方法实例)

点击preview可见详细信息以json形式保存着,其中‘salary'、‘workyear'、‘education'、‘positionid'(招聘信息详情页有关的id)是我们要的。再观察一下它的form data,其中kd=关键字,pn=pagenum(页码)这是我们请求的时候要带上的参数。另外我们要注意请求头的referer参数,待会儿要用。知道了目标之后,爬起来!

二、开始爬虫

先设置请求头headers,把平时用的user-agent带上,再把formdata也带上,用requests库直接requests.post(url, headers=headers, data=formdata) ,然后就开始报错了: {"status":false,"msg":"您操作太频繁,请稍后再访问","clientip":"......","state":2402}

解决这个问题的关键在于,了解拉勾的反爬机制:在进入python数据分析招聘页之前,我们要在主页,不妨叫它start_url输入关键字跳转。在这个过程中,服务器会传回来一个cookies,如果带着这个cookies请求的话我们就可以得到要的东西,所以要先请求start_url获取cookies在请求目标url,而且在请求目标地址的话还要带上referer这个请求头参数,referer的含义大概是这样:告诉服务器我是从哪个页面链接过来的,服务器基此可以获得一些信息用于处理。另外,睡眠时间也要设置的长一点,不然很容易被封。知道了反爬机制之后,话不多说,直接上代码。

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • '''
  • @author: max_lyu
  • create time: 2019/4/1
  • url: https://github.com/maxlyu/lagou_analyze
  • '''
  •  # 请求起始 url 返回 cookies
  •  def get_start_url(self):
  •  session = requests.session()
  •  session.get(self.start_url, headers=self.headers, timeout=3)
  •  cookies = session.cookies
  •  return cookies
  •  
  •  # 将返回的 cookies 一起 post 给 target_url 并获取数据
  •  def post_target_url(self):
  •  cookies = self.get_start_url()
  •  pn = 1
  •  for pg in range(30):
  •   formdata = {
  •   'first': 'false',
  •   'pn': pn,
  •   'kd': 'python数据分析'
  •   }
  •   pn += 1
  •  
  •   response = requests.post(self.target_url, data=formdata, cookies=cookies, headers=self.headers, timeout=3)
  •   self.parse(response)
  •   time.sleep(60) # 拉勾的反扒技术比较强,短睡眠时间会被封
  •  
  •  # 解析 response,获取 items
  •  def parse(self, response):
  •  print(response)
  •  items = []
  •  print(response.text)
  •  data = json.loads(response.text)['content']['positionresult']['result']
  •  
  •  if len(data):
  •   for i in range(len(data)):
  •   positionid = data[i]['positionid']
  •   education = data[i]['education']
  •   workyear = data[i]['workyear']
  •   salary = data[i]['salary']
  •   list = [positionid, education, workyear, salary]
  •   items.append(list)
  •  self.save_data(items)
  •  time.sleep(1.3)
  • 其中save_data(items)是保存文件,我是保存在csv文件。篇幅有限,这里就不展示了。

    三、获取招聘详情

    上面说了positionid 是为了获取详情页,详情页里面有要的任职要求。这个要获取就相对容易了,不过文本的处理并没有很简单,我只能通过“要求”这两个字获取任职要求(虽然有的为任职技能啥的,就这样进行取舍了)。

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • '''
  • @author: max_lyu
  • create time: 2019/4/1
  • url: https://github.com/maxlyu/lagou_analyze
  • '''
  • def get_url():
  •  urls = []
  •  with open("analyst.csv", 'r', newline='') as file:
  •  # 读取文件
  •  reader = csv.reader(file)
  •  for row in reader:
  •   # 根据 positionid 补全 url
  •   if row[0] != "id":
  •   url = "https://www.lagou.com/jobs/{}.html".format(row[0])
  •   urls.append(url)
  •  
  •  file.close()
  •  return urls
  •  
  • # 获取详细信息
  • def get_info():
  •  urls = get_url()
  •  length = len(urls)
  •  for url in urls:
  •  print(url)
  •  description = ''
  •  print(length)
  •  response = requests.get(url, headers=headers)
  •  response.encoding = 'utf-8'
  •  content = etree.html(response.text)
  •  detail = content.xpath('//*[@id="job_detail"]/dd[2]/li/p/text()')
  •  print(detail)
  •  
  •  for i in range(1, len(detail)):
  •  
  •   if '要求' in detail[i-1]:
  •   for j in range(i, len(detail)):
  •    detail[j] = detail[j].replace('\xa0', '')
  •    detail[j] = re.sub('[、;;.0-9。]', '', detail[j])
  •    description = description + detail[j] + '/'
  •   print(description)
  •  write_file(description)
  •  length -= 1
  •  time.sleep(3)
  • 四、成果与展示

    python 爬虫招聘(Python3获取拉勾网招聘信息的方法实例)

    python 爬虫招聘(Python3获取拉勾网招聘信息的方法实例)

    到这里,爬取的任务就结束了,源码地址:https://github.com/maxlyu/lagou_analyze。获得数据之后就是小小地分析一下了,这个下次再总结。

    总结

    以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对开心学习网的支持。

    原文链接:https://www.cnblogs.com/lyuzt/p/10636501.html