Python爬虫（3）抓取网页所需数据并保存到Excel文件中

### 使用 Python 编写爬虫程序抓取天气数据并导出至 Excel 为了完成这一目标，可以采用如下方法： #### 安装必要的库 在开始之前，需确保已安装用于操作Excel文件的相关库。具体来说，`xlwt` 库可用于创建新的Excel工作簿，而 `requests` 或 `BeautifulSoup` 则有助于获取网页上的信息。 ```bash pip install requests beautifulsoup4 xlwt pandas openpyxl ``` 上述命令会安装所需的所有依赖项[^1]。 #### 获取天气数据 利用 `requests` 发送HTTP请求访问提供天气预报服务的网站，并通过解析HTML文档提取所需的气象参数。这里假设有一个简单的API接口或者静态页面作为数据源。 ```python import requests from bs4 import BeautifulSoup url = 'http://example.com/weather' # 替换成实际的目标URL response = requests.get(url) html_content = response.text soup = BeautifulSoup(html_content, 'lxml') weather_data = [] for item in soup.find_all('div', class_='forecast-item'): date = item.find('span', class_='date').text.strip() temperature_high = item.find('span', class_='high-temp').text.strip().replace('°C', '') temperature_low = item.find('span', class_='low-temp').text.strip().replace('°C', '') weather_data.append({ 'Date': date, 'High Temperature (℃)': float(temperature_high), 'Low Temperature (℃)': float(temperature_low) }) ``` 这段代码展示了如何从指定结构化的HTML片段中抽取日期以及最高最低气温的信息[^2]。 #### 将数据保存到 Excel 文件 一旦获得了想要的数据集之后，就可以借助于Pandas DataFrame对象轻松地将其转换成表格形式，并最终存储为`.xlsx`格式的电子表格文件。 ```python import pandas as pd df = pd.DataFrame(weather_data) with pd.ExcelWriter('output.xlsx') as writer: df.to_excel(writer, index=False, sheet_name='Weather Data') ``` 此部分实现了将收集来的天气记录按照列的形式排列好后存入名为`output.xlsx`的工作表里[^3]。