AI导哈

网页文本提取工具

提供网页文本内容提取和链接抓取功能的工具，适用于网页内容分析和数据处理。

  • by evgenyigumnov
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 evgenyigumnov/url-text-fetcher

使用说明

url文本提取器

URL文本获取工具

此MCP服务器提供两个用于web内容分析的实用程序。

如何安装

pip install -e .

如何使用LM Studio

mcp.json 文件：

{
  "mcpServers": {
    "url-text-fetcher": {
      "command": "python",
      "args": [
        "-m",
        "url_text_fetcher.mcp_server"
      ]
    }
  }
}

工具说明

1. fetch_url_text(url: str) → str

说明：
从网页中提取所有可见的文本内容，剥离HTML标签并规范空白。

输出格式：
使用以下命令清理纯文本：

  • 所有HTML已删除
  • 换行符已标准化(\n)
  • 去掉前导/尾随空格

2. fetch_page_links(url: str) → List[str]

说明：
查找所有绝对和相对链接（来自 <a href> 标签）。

输出格式：
URL列表包括：

  • 绝对路径(/about)
  • 相对路径(../contact)
  • 完整域URL(https://example.com/page)

相关 MCP