第 2 章：环境搭建与第一个请求——开启你的爬虫之旅 (Environment & First Request)¶

# 在终端输入 python 进入交互模式，然后执行：
>>> import requests
>>> print(requests.__version__)
2.31.0  # 输出版本号即表示安装成功

import requests  # 导入 requests 库，这是我们的"侦察兵"核心装备

# 定义目标 URL —— 豆瓣电影 Top 250 首页
url = "https://movie.douban.com/top250"

# 发送 GET 请求 —— 相当于在浏览器地址栏输入网址并回车
# requests.get() 会返回一个 Response 对象，包含服务器返回的所有信息
response = requests.get(url)

# 打印状态码 —— 200 表示成功，403 表示被拒绝，404 表示页面不存在
print(f"状态码: {response.status_code}")

# 打印响应内容的类型 —— 通常是 text/html
print(f"内容类型: {response.headers['Content-Type']}")

# 打印前 500 个字符，预览 HTML 内容
print(f"响应内容预览:\n{response.text[:500]}")

import requests

url = "https://movie.douban.com/top250"

# 构造请求头 —— 伪装成 Chrome 浏览器
# 这些字段告诉服务器："我是一个正常的 macOS 用户，正在用 Chrome 浏览网页"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
    "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
}

# 将 headers 参数传入 get 方法
response = requests.get(url, headers=headers)

print(f"状态码: {response.status_code}")

# 检查是否成功获取到包含电影信息的 HTML
if response.status_code == 200 and "肖申克的救赎" in response.text:
    print("✅ 成功获取豆瓣电影 Top 250 页面！")
else:
    print(f"❌ 获取失败，状态码: {response.status_code}")

import requests
from requests.exceptions import RequestException, Timeout, ConnectionError

url = "https://movie.douban.com/top250"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}

try:
    # timeout=10 表示最多等待 10 秒，超时则抛出 Timeout 异常
    response = requests.get(url, headers=headers, timeout=10)

    # raise_for_status() 会在状态码为 4xx 或 5xx 时自动抛出 HTTPError
    response.raise_for_status()

    # 手动设置编码，防止中文乱码
    response.encoding = response.apparent_encoding

    print(f"✅ 请求成功！状态码: {response.status_code}")
    print(f"页面标题: {response.text.split('<title>')[1].split('</title>')[0]}")

except Timeout:
    print("❌ 请求超时！请检查网络连接或增加超时时间。")
except ConnectionError:
    print("❌ 连接错误！请检查 URL 是否正确，或目标服务器是否在线。")
except RequestException as e:
    print(f"❌ 请求异常: {e}")

"""
第一个爬虫脚本：获取豆瓣电影 Top 250 首页
学习目标：掌握 requests 的基本用法、请求头伪装和异常处理
"""
import requests
from requests.exceptions import RequestException, Timeout


def fetch_douban_top250():
    """获取豆瓣电影 Top 250 首页的 HTML 内容"""
    url = "https://movie.douban.com/top250"

    # 伪装成浏览器 —— 这是爬虫的"身份证"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
        "Accept-Language": "zh-CN,zh;q=0.9",
    }

    try:
        print("正在发送请求...")
        # 发送 GET 请求，设置 10 秒超时
        response = requests.get(url, headers=headers, timeout=10)

        # 检查 HTTP 状态码
        response.raise_for_status()

        # 自动检测编码
        response.encoding = response.apparent_encoding

        print(f"✅ 请求成功！")
        print(f"  状态码: {response.status_code}")
        print(f"  内容长度: {len(response.text)} 字符")
        print(f"  请求耗时: {response.elapsed.total_seconds():.2f} 秒")

        return response.text

    except Timeout:
        print("❌ 请求超时，请检查网络连接。")
    except RequestException as e:
        print(f"❌ 请求失败: {e}")

    return None


if __name__ == "__main__":
    html_content = fetch_douban_top250()

    if html_content:
        # 将 HTML 保存到本地文件，方便后续分析
        with open("douban_top250_page1.html", "w", encoding="utf-8") as f:
            f.write(html_content)
        print("📁 HTML 已保存到 douban_top250_page1.html")