网页文本提取服务

基于Cloudflare Workers的网页文本提取服务,可将HTML转换为干净的Markdown文本,适用于AI模型的内容处理。

  • by yutakobayashidev
  • TypeScript
  • 本地部署
  • 3 星标
  • 更新于
在 GitHub 查看 yutakobayashidev/webforai-mcp-server

使用说明

WebforAI文本提取器-MCP服务器

基于Cloudflare Workers的模型上下文协议(MCP)服务器,使用以下命令从网页中提取纯文本 WebforAI.

🌟 什么是WebforAI?

WebforAI 是一个强大的库,旨在使网络内容可供人工智能模型访问。它提供了以下工具:

  • 将HTML转换为干净、结构化的Markdown
  • 从网页中提取有意义的内容
  • 智能地处理表、链接和图像
  • 为人工智能消费准备网络内容

此MCP服务器利用WebforAI的功能从任何网页URL中提取纯文本,从而可以通过模型上下文协议轻松地将web内容馈送到AI模型中。

📋 特性

  • 简单API:使用单个API调用从任何网页提取文本
  • 清洁输出:接收格式良好的Markdown文本,没有HTML噪音
  • 错误处理:对失败请求的强大错误处理
  • Cloudflare员工:具有全局分布的无服务器部署
  • MCP兼容:适用于任何MCP客户端,如Claude Desktop或Cloudflare AI Playground

🚀 入门指南

部署到Cloudflare Workers

这将把您的MCP服务器部署到以下URL: webforai-mcp-server.<your-account>.workers.dev/sse

地方发展

  1. 克隆此存储库:

    git clone https://github.com/yutakobayashidev/webforai-mcp-server.git
    cd webforai-mcp-server
    
  2. 安装依赖项:

    pnpm install
    
  3. 启动开发服务器:

    pnpm dev
    
  4. 您的服务器将在 http://localhost:8787

🔧 使用文本提取工具

这 extractWebPageText 该工具接受网页的URL,并以markdown格式返回提取的文本内容:

{
  "url": "https://example.com/page"
}

响应将包含Markdown格式的提取文本,其中:

  • 链接转换为纯文本
  • 表格转换为纯文本
  • 隐藏的图像

🔌 连接到MCP客户端

Cloudflare AI游乐场

  1. 首选 Cloudflare AI游乐场
  2. 输入您部署的MCP服务器URL(webforai-mcp-server.<your-account>.workers.dev/sse)
  3. 现在,您可以直接从操场上使用文本提取工具!

克劳德桌面

要从Claude Desktop连接到您的MCP服务器:

  1. 跟随 Anthropic的快速入门
  2. 在Claude Desktop中,转到“设置”>“开发人员”>“编辑配置”
  3. 使用此配置进行更新:
{
  "mcpServers": {
    "webforaiExtractor": {
      "command": "npx",
      "args": [
        "mcp-remote",
        "http://localhost:8787/sse"  // or webforai-mcp-server.your-account.workers.dev/sse
      ]
    }
  }
}
  1. 重新启动Claude,您应该会看到文本提取工具可用

📚 了解更多

📄 许可证

麻省理工学院