AI导哈

网页内容抓取转换工具

一个专用的网页内容抓取和转换MCP服务器，提供从网页抓取、转换和提取数据的工具。

  • by huoshuiai42
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 huoshuiai42/huoshui-fetch

使用说明

火水-fetch（注：这里的“火水”可能是一个特定的名称或术语，根据上下文可能有不同的翻译，但在此直接音译。）

一个专门用于网页内容抓取和转换的MCP（模型上下文协议）服务器，提供工具来抓取、转换和从网页中提取数据。

特点/功能

获取工具

  • 获取URL从URL获取内容，支持自定义超时、重定向处理和用户代理设置
  • **`fetch_with_headers` 翻译为中文是：“使用头部信息进行获取”**使用自定义头部获取URL以进行认证请求

转换工具

  • HTML转Markdown工具将HTML转换为简洁的Markdown格式
  • **html_to_text_tool 翻译为中文是“HTML转文本工具”**从HTML中提取纯文本
  • **clean_html_tool（可译为“清理HTML工具”）**移除脚本/样式并清理HTML
  • JSON转Markdown工具将JSON数据转换为可读的Markdown格式

提取工具

  • 提取文章工具使用readability提取主要文章内容
  • 提取链接工具提取所有链接并应用过滤选项
  • 提取元数据工具提取页面元数据（标题、描述、Open Graph标签）
  • 提取图片工具提取并应用尺寸过滤的图像
  • 提取结构化数据工具提取JSON-LD和微数据

安装

来自MCP注册表（推荐）

此服务器已在模型上下文协议注册表中可用。请使用您的MCP客户端进行安装。

mcp名称：io.github.huoshuiai42/huoshui-fetch

# Using uv (recommended)
uv sync

# Or install from GitHub
pip install git+https://github.com/yourusername/huoshui-fetch.git

用法

使用 uvx 运行（建议一次性使用）

# From the repository
uvx --from . huoshui-fetch

# From GitHub (once published)
uvx --from git+https://github.com/yourusername/huoshui-fetch.git huoshui-fetch

直接运行

# Using uv
uv run python -m huoshui_fetch

# Or if installed
python -m huoshui_fetch

该服务器通过标准输入/输出进行通信，非常适合与Claude桌面版及其他MCP兼容客户端进行集成。

Claude 桌面版的配置

添加到您的Claude桌面配置中：

{
  "mcpServers": {
    "huoshui-fetch": {
      "command": "uvx",
      "args": ["--no-cache", "--from", ".", "huoshui-fetch"],
      "cwd": "/path/to/huoshui-fetch"
    }
  }
}

或者如果从GitHub安装：

{
  "mcpServers": {
    "huoshui-fetch": {
      "command": "uvx",
      "args": [
        "--from",
        "git+https://github.com/yourusername/huoshui-fetch.git",
        "huoshui-fetch"
      ]
    }
  }
}

示例用法

配置完成后，您可以在Claude桌面端使用这些工具：

// Fetch a webpage
fetch_url("https://example.com")

// Convert HTML to Markdown
html_to_markdown_tool("<h1>Hello</h1><p>World</p>")

// Extract article content
extract_article_tool(html_content, "https://example.com/article")

要求

  • Python 3.11及以上版本
  • pyproject.toml 中列出的依赖项

开发与出版

这个项目包含了构建和发布到PyPI（Python包索引）的全面自动化功能。

自动化出版工作流程

# Complete automated workflow (TestPyPI + PyPI)
uv run python scripts/publish.py --include-pypi

# TestPyPI only (recommended for testing)
uv run python scripts/publish.py

# Bump version and publish
uv run python scripts/publish.py --version-bump patch --include-pypi

单个命令

# Version management
uv run python scripts/version_manager.py --check
uv run python scripts/version_manager.py --bump patch

# Setup PyPI credentials (first time)
uv run python scripts/credentials_setup.py

# Build package
uv run python scripts/build.py

# Run comprehensive tests
uv run python scripts/test.py

# Upload to PyPI
uv run python scripts/upload.py

特点/特性

  • ✅ 表示“正确”或“已确认”。 版本管理所有文件的自动同步
  • ✅ 质量检查Ruff 代码检查和 MyPy 类型检查
  • ✅ 构建自动化带验证的干净构建
  • ✅ 测试套件全面的软件包和功能测试
  • ✅ 出版工作流程TestPyPI → 使用 PyPI uv publish （支持 .pypirc 文件)
  • ✅ 错误恢复内置错误处理和恢复选项

见 PUBLISHING.md 翻译为中文是：“发布指南.md” 或 “出版说明.md”（具体翻译可能根据上下文有所调整，但“md”通常表示Markdown格式的文件，这里未直接翻译，保持原样以体现文件类型） 以获取详细文档。

DXT 扩展

此项目支持DXT（桌面扩展）格式，便于分发和安装。

要构建DXT扩展：

python build_dxt.py

这将创建一个 huoshui-fetch-{version}.dxt 可安装在兼容的AI桌面应用程序中的文件。

许可证

麻省理工学院（MIT）

相关 MCP