AI导哈

网页内容抓取转换服务

一个用于抓取和转换网页内容为多种格式的MCP服务器，支持JavaScript渲染内容和媒体文件提取。

  • by tatn
  • Python
  • 本地部署
  • 9 星标
  • 更新于
在 GitHub 查看 tatn/mcp-server-fetch-python

使用说明

mcp服务器获取python

一个MCP服务器，用于获取网络内容并将其转换为各种格式。此服务器提供了从网页中提取内容的全面工具，包括对JavaScript渲染内容和媒体文件的支持。

特性

工具

服务器提供四种专用工具：

  • 获取原始文本：直接从URL中提取原始文本内容，无需浏览器渲染

    • 论据：
      • url：目标网页的URL（文本、JSON、XML、csv、tsv等）（必填）
    • 最适合用于结构化数据格式或需要快速直接访问时

  • 获取渲染html：使用无头浏览器获取完全渲染的HTML内容

    • 论据：
      • url：目标网页的URL（必填）
    • 对于需要JavaScript渲染的现代web应用程序和SPA至关重要

  • 降价：将网页内容转换为格式良好的Markdown

    • 论据：
      • url：目标网页的URL（必填）
    • 保留结构元素，同时提供干净、可读的文本输出

  • 从媒体上获得降价：从媒体文件中执行AI驱动的内容提取

    • 论据：
      • url：目标媒体文件（图像、视频）的URL（必填）
    • 利用计算机视觉和OCR进行视觉内容分析
    • 要求在环境变量中设置有效的OPENAI_API_KEY
    • 如果未设置API密钥或处理媒体文件时出现问题，将返回错误消息

用法

克劳德桌面

要与Claude Desktop一起使用，请添加服务器配置：

在MacOS上： ~/Library/Application\ Support/Claude/claude_desktop_config.json
在Windows上： %APPDATA%/Claude/claude_desktop_config.json

"mcpServers": {
  "mcp-server-fetch-python": {
    "command": "uvx",
    "args": [
      "mcp-server-fetch-python"
    ]
  }
}

环境变量

可以配置以下环境变量：

  • OPENAI_API密钥：使用时需要 get-markdown-from-media 工具。这个密钥是AI驱动的图像分析和内容提取所必需的。
  • python编码：如果在输出中遇到字符编码问题，请设置为“utf-8”。
  • 型号名称：指定要使用的模型名称。默认为“gpt-4o”。
"mcpServers": {
  "mcp-server-fetch-python": {
    "command": "uvx",
    "args": [
      "mcp-server-fetch-python"
    ],
    "env": {
        "OPENAI_API_KEY": "sk-****",
        "PYTHONIOENCODING": "utf-8",
        "MODEL_NAME": "gpt-4o",        
    }
  }
}

本地安装

或者，您可以在本地安装并运行服务器：

git clone https://github.com/tatn/mcp-server-fetch-python.git
cd mcp-server-fetch-python
uv sync
uv build

然后将以下配置添加到Claude Desktop配置文件中：

"mcpServers": {
  "mcp-server-fetch-python": {
    "command": "uv",
    "args": [
      "--directory",
      "path\\to\\mcp-server-fetch-python",  # Replace with actual path to the cloned repository
      "run",
      "mcp-server-fetch-python"
    ]
  }
}

发展

调试

您可以使用以下命令启动MCP检查器 新巴拿马型船舶使用以下命令：

npx @modelcontextprotocol/inspector uvx mcp-server-fetch-python

npx @modelcontextprotocol/inspector uv --directory path\\to\\mcp-server-fetch-python run mcp-server-fetch-python

相关 MCP