python编写主函数

要在互联网上获取最新内容，我们可以使用Python的requests库和BeautifulSoup库来实现，以下是一个简单的示例，展示了如何使用这两个库来抓取网页内容并解析HTML。

确保已经安装了requests和BeautifulSoup库，如果没有安装，可以使用以下命令安装：

pip install requests
pip install beautifulsoup4

接下来，我们编写一个主函数，用于抓取指定网址的内容：

import requests
from bs4 import BeautifulSoup
def get_web_content(url):
    # 发送HTTP请求，获取网页内容
    response = requests.get(url)
    # 检查请求是否成功，状态码为200表示成功
    if response.status_code == 200:
        # 使用BeautifulSoup解析HTML内容
        soup = BeautifulSoup(response.text, 'html.parser')
        # 返回解析后的HTML内容
        return soup.prettify()
    else:
        # 如果请求失败，返回错误信息
        return f"请求失败，状态码：{response.status_code}"
if __name__ == "__main__":
    url = input("请输入要抓取的网址：")
    content = get_web_content(url)
    print(content)

在这个示例中，我们首先导入了requests和BeautifulSoup库，我们定义了一个名为get_web_content的函数，该函数接受一个URL参数，在函数内部，我们使用requests库的get方法发送HTTP请求，获取网页内容，接着，我们检查请求是否成功，如果成功（状态码为200），则使用BeautifulSoup库解析HTML内容，并返回解析后的HTML内容，如果请求失败，我们返回一个包含错误信息的字符串。

在主函数中，我们让用户输入要抓取的网址，然后调用get_web_content函数获取网页内容，并将内容打印到屏幕上。

这个示例仅用于演示如何使用Python抓取网页内容，实际应用中，可能需要根据具体需求对代码进行修改和优化，可以添加异常处理、设置超时时间、处理重定向等，还可以使用多线程或异步编程技术来提高抓取速度。