Python爬虫入门教程：从零开始抓取网页数据（超详细版）

记得晚安静静

已于 2025-04-03 20:48:32 修改

阅读量1.5k

点赞数 22

文章标签： python 爬虫开发语言

于 2025-04-03 20:45:29 首次发布

本文链接：https://blog.csdn.net/2301_81233957/article/details/146988539

版权

嘿！欢迎来到这篇超详细的Python爬虫教程！如果你对爬虫一无所知，别担心！我会用最简单的方式带你从零开始，一步步掌握爬虫的核心技能。爬虫就像一个“数据小偷”，能帮你从互联网上抓取任何公开信息，无论是新闻、商品价格，还是用户评论。听起来很酷吧？那我们就开始吧！

一、Python爬虫是什么？

简单来说，Python爬虫是一种自动化程序，能模拟人类浏览网页的行为，按照规则自动抓取网页上的数据。它的用途超广泛：

数据收集：比如爬取电商网站的商品价格、新闻网站的热点文章。
市场监控：实时跟踪竞争对手的价格变化。
学术研究：获取公开数据进行分析。

爬虫的核心工具包括：

requests：发送HTTP请求，获取网页内容。
BeautifulSoup：解析HTML，提取结构化数据。
Selenium：处理动态网页（JavaScript渲染）。
Scrapy：高效、可扩展的爬虫框架。

二、安装必要的库

在开始之前，先安装以下库（别跳过这一步！）：

bash复制

pip install requests beautifulsoup4 selenium scrapy

安装完成后，我们就可以开始写代码了！别急，我先带你看看最简单的爬虫是怎么写的。

三、使用`requests`和`BeautifulSoup`抓取静态网页

这是爬虫的“入门款”组合，适合处理静态网页（即不需要JavaScript渲染的页面）。我们先来抓取一个网页的标题和段落内容：

Python复制

import requests
from bs4 import BeautifulSoup

# 发送HTTP请求
url = "https://example.com"
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 提取标题
    title = soup.title.string
    print(f"网页标题: {title}")
    
    # 提取所有段落
    paragraphs = soup.find_all('p')
    for i, p in enumerate(paragraphs):
        print(f"段落 {i+1}: {p.text}")
else:
    print(f"请求失败，状态码: {response.status_code}")

运行结果：
如果一切顺利，你会看到网页的标题和段落内容打印出来。是不是很简单？这就是爬虫的最基本操作！

小提示

如果目标网页有反爬机制（比如限制访问频率），可以加上headers伪装成浏览器：

Python复制

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}
response = requests.get(url, headers=headers)

四、使用`Selenium`处理动态网页

有些网页的内容是通过JavaScript动态加载的，这时候requests和BeautifulSoup就无能为力了。别慌！Selenium来救场！

示例：抓取动态内容

Python复制

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# 启动浏览器
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))

# 打开目标网页
driver.get("https://example.com")

# 等待页面加载完成（最多等待10秒）
driver.implicitly_wait(10)

# 提取动态内容
dynamic_content = driver.find_element(By.CLASS_NAME, "dynamic-class").text
print(f"动态内容: {dynamic_content}")

# 关闭浏览器
driver.quit()

运行结果：
如果网页内容是动态加载的，Selenium会完美模拟浏览器行为，帮你抓取到所有内容！

小提示

Selenium会打开一个真实的浏览器窗口，速度较慢。如果需要隐藏窗口，可以使用headless模式：

Python复制

options = webdriver.ChromeOptions()
options.add_argument("--headless=new")
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=options)

五、使用`Scrapy`构建高效爬虫

Scrapy是一个功能强大的爬虫框架，适合处理大规模数据采集任务。它的结构清晰，扩展性强，是爬虫界的“瑞士军刀”。

示例：创建一个简单的`Scrapy`爬虫

创建项目
在终端运行以下命令：

bash复制
```
scrapy startproject myproject
cd myproject
```

定义Item
在items.py中定义数据结构：

Python复制

import scrapy

class MyprojectItem(scrapy.Item):
    title = scrapy.Field()  # 网页标题
    content = scrapy.Field()  # 网页内容

创建Spider
在spiders目录下创建example_spider.py：

Python复制

import scrapy
from myproject.items import MyprojectItem

class ExampleSpider(scrapy.Spider):
    name = "example"  # 爬虫名称
    start_urls = ["https://example.com"]  # 起始URL

    def parse(self, response):
        item = MyprojectItem()
        item["title"] = response.css("title::text").get()  # 提取标题
        item["content"] = response.css("p::text").getall()  # 提取所有段落
        yield item  # 返回数据

运行爬虫
在终端运行以下命令，将结果保存为JSON文件：

bash复制
```
scrapy crawl example -o output.json
```

运行结果：
爬取的数据会保存到output.json文件中，你可以用任何文本编辑器打开查看。

小提示

如果需要处理大量数据，可以添加pipelines进行数据清洗和存储：

Python复制

# 在pipelines.py中定义
class MyprojectPipeline:
    def process_item(self, item, spider):
        # 数据清洗逻辑
        return item

六、爬虫进阶技巧

1. 使用代理IP避免被封

如果目标网站限制了你的IP，可以使用代理IP池：

Python复制

proxies = {
    "http": "http://127.0.0.1:7890",
    "https": "http://127.0.0.1:7890"
}
response = requests.get(url, proxies=proxies)

2. 异步请求提高效率

使用aiohttp实现异步请求，大幅提升爬取速度：

Python复制

import aiohttp
import asyncio

async def fetch(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.text()

loop = asyncio.get_event_loop()
html = loop.run_until_complete(fetch("https://example.com"))