爬虫系列之发送请求与响应《一》

一、请求组成 1.1 请求方式：GET和POST请求 GET:从服务器获取，请求参数直接附在URL之后，便于查看和分享，常用于获取数据和查询操作 POST：用于向服务器提交数据，其参数不会显示在URL中，而是包含在请求体中，适用于要保密的数据处理，如表单提交 1.2 请求url：目标url(链接) 1.3 请求头

请求头信息告诉服务器有关于客户端请求的信息 （1）User-Agent 的识别与应用 User-Agent报头携带客户端身份信息，如浏览器名称和版本，服务器利用这些信息进行内容适配或返回特定响应，相当于人的身份证  

（2） Referer 报头的跟踪功能 Referer报头记录了请求发起的原始页面url，通过分析这一信息，可以追踪用户在网址键得到导航路径（从哪个页面跳转过来的）

（3）Cookie 报头作用 Cookie报头使浏览器能够向服务器发送存储的用户信息，这些小型数据体支持状态维护、用户认证等web功能，主要帮助我们维持登录状态

1.4 请求体：携带的参数

---

二、GET和POST传参

注意：在浏览器发送的请求都是get请求，post请求只能在代码中使用

2.1 get 传参

方法一：

response = requests.get(url=' httpbin.org/get?age=18&name=tom')

直接写在url里面，问号？后面的就是携带的参数，多个参数用&隔开

方法二：

params ={ "age":18 } response = requests.get(url=' httpbin.org/get?age=18',params=params)

写在参数里面

2.2 POST 传参 data = { "user":'tom' } response = requests.post(url=' httpbin.org/post',headers=header,data=data)

---

三、利用开发者工具查看携带的参数

在浏览器按下 F12 打开开发者工具

 携带参数才会有载荷，载荷里面可以查看携带的参数

---

四、实战之爬取百度首页

前提：需要安装依赖模块  requests

pip install requests -i pypi.tuna.tsinghua.edu /simple

完整步骤

import requests # 1,身份伪装 header={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36" } # 2,目标url url = ' .baidu /' # 3,发起get请求 response = requests.get(url=url,headers=header) # 4,打印当前内容的编码格式,再去对比开发者工具当中响应内容的编码，要对应上才不会乱码 print("编码格式为：",response.encoding) # 5,修改编码格式 response.encoding="utf-8" # 6,查看请求头字段:查看是否需要进行伪装 print(response.request.headers) # 7,打印结果 print(response.text) # .text 是以字符串返回的

特别提醒：查看网页元素的编码格式参照以下步骤

---