Python爬虫如何完整提取包含在超链接中的网页文本？

要完整提取包含在超链接中的网页文本，你可以使用Python中的requests和BeautifulSoup库。以下是一个简单的步骤指南和代码示例：

步骤：

1. 发送HTTP请求：使用requests库发送HTTP请求，获取网页的HTML内容。
2. 解析HTML：使用BeautifulSoup库解析HTML内容，找到所有的超链接（<a>标签）。
3. 提取超链接的URL：从每个超链接中提取href属性，获取目标URL。
4. 访问目标URL并提取文本：对每个目标URL发送请求，获取目标网页的HTML内容，然后提取其中的文本。

代码示例：

import requests
from bs4 import BeautifulSoup

def extract_text_from_url(url):
    try:
        # 发送HTTP请求
        response = requests.get(url)
        response.raise_for_status()  # 检查请求是否成功
        # 解析HTML内容
        soup = BeautifulSoup(response.text, 'html.parser')
        # 提取网页中的文本
        text = soup.get_text(separator=' ')
        return text
    except requests.RequestException as e:
        print(f"Error fetching {url}: {e}")
        return None

def extract_links_and_text(base_url):
    try:
        # 发送HTTP请求
        response = requests.get(base_url)
        response.raise_for_status()  # 检查请求是否成功
        # 解析HTML内容
        soup = BeautifulSoup(response.text, 'html.parser')
        # 找到所有的超链接
        links = soup.find_all('a', href=True)
        # 遍历每个超链接
        for link in links:
            href = link['href']
            # 确保URL是绝对路径
            if not href.startswith('http'):
                href = requests.compat.urljoin(base_url, href)
            # 提取目标网页的文本
            text = extract_text_from_url(href)
            if text:
                print(f"Text from {href}:\n{text}\n")
    except requests.RequestException as e:
        print(f"Error fetching {base_url}: {e}")

# 示例使用
base_url = 'https://example.com'
extract_links_and_text(base_url)

代码说明：

1. extract_text_from_url(url)：这个函数用于从给定的URL中提取网页的文本内容。
2. extract_links_and_text(base_url)：这个函数用于从基础URL中提取所有的超链接，并访问每个超链接对应的网页，提取其中的文本内容。
3. requests.compat.urljoin(base_url, href)：用于将相对URL转换为绝对URL。

注意事项：

• 网络请求的延迟：如果目标网页数量较多，网络请求可能会比较耗时。可以考虑使用异步请求库（如aiohttp）来提高效率。
• 反爬虫机制：一些网站可能会有反爬虫机制，可能需要设置请求头（如User-Agent）或使用代理IP来避免被封禁。
• 异常处理：在实际应用中，建议增加更多的异常处理逻辑，以应对网络不稳定、目标网页不存在等情况。

通过以上方法，你可以完整提取包含在超链接中的网页文本。