网页访问代理服务

Bright Data的Web MCP服务器为LLM和AI代理提供实时网页访问功能,支持搜索、提取和导航网页内容,同时避免被阻止。

  • by dsouza-anush
  • JavaScript
  • 本地部署
  • 1 星标
  • 更新于
在 GitHub 查看 dsouza-anush/brightdata-mcp-heroku

使用说明

The Web MCP

Enhance your LLM and AI agents with real-time web access

🌟 概述

欢迎来到Bright Data的官方Web MCP服务器,该服务器通过允许LLM和AI代理有效地搜索、提取和导航网络而不会被阻止,从而解决了LLM和人工智能代理的网络访问问题。Web MCP支持所有主要的LLM、IDE和代理框架(本地托管、SSE或流式HTTP),使您的工具能够无缝搜索网络、浏览网站、采取行动和检索数据,而不会被阻止。

🚀 Web MCP包括 每月5000个免费请求 -非常适合您的日常使用和智能代理工作流程的原型制作。

备注:Web MCP免费层在前3个月每月提供5000个请求。之后,将需要信用卡,但除非具有以下高级功能,否则不会收取额外费用 mcp浏览器 或 网络爬虫 使用。

目录

🎬 演示

下面的视频演示了Claude Desktop的一个最小用例:

https://github.com/user-attachments/assets/59f6ebba-801a-49ab-8278-1b2120912e33

https://github.com/user-attachments/assets/61ab0bee-fdfa-4d50-b0de-5fab96b4b91d

有关更多YouTube教程和演示: 演示

✨ 特性

  • 实时Web访问:直接从网上获取最新信息
  • 绕过地理限制:访问内容不受位置限制
  • Web解锁器:使用机器人检测保护浏览网站
  • 浏览器控件:远程浏览器自动化功能
  • 无缝集成:适用于所有兼容MCP的AI助手

💡 使用示例

此MCP服务器将能够帮助的一些示例查询:

  • “在谷歌上搜索一些即将在[你所在地区]上映的电影”
  • “特斯拉目前的市值是多少?”
  • “今天的维基百科文章是什么?”
  • “[你所在地]的7天天气预报是什么?”
  • “在三位收入最高的科技公司首席执行官中,他们的职业生涯有多久了?”

使用游标快速入门

🚀 Claude Desktop上托管MCP的快速入门

通过连接器:

  1. 打开克劳德桌面

  2. 转到:设置→ 连接器→ 添加自定义连接器

  3. 选择一个名称,然后在“远程MCP服务器URL”部分粘贴:

https://mcp.brightdata.com/mcp?token=YOUR_API_TOKEN_HERE
  1. 将YOUR_API_TOKEN_HERE替换为步骤1中的实际API令牌,然后单击“添加”

通过开发者设置:

  1. 打开克劳德桌面

  2. 转到:设置→ 开发者→ 编辑配置

  3. 将此添加到您的claude_desktop_config.json中:

{
  "mcpServers": {
    "Bright Data": {
      "command": "npx",
      "args": [
        "mcp-remote",
        "https://mcp.brightdata.com/mcp?token=YOUR_API_TOKEN_HERE"
      ]
    }
  }
}
  1. 将YOUR_API_TOKEN_HERE替换为步骤1中的实际API令牌

  2. 保存并重新启动Claude Desktop

💻 在Claude Desktop上与自托管MCP一起使用

通过 Claude桌面扩展:

  1. 下载 克劳德桌面扩展:
    📦 Bright Data的MCP扩展

  2. 打开 克劳德,请访问:
    Settings → Extensions

  3. 拖拽 这 .dtx 文件来自 步骤1 进入 降落区.

  4. 启用 服务和 重新启动 克劳德。

  5. 享受!

通过 claude_desktop_config.json:

  1. 安装 nodejs 得到 npx 命令(node.js模块运行器)。安装说明可以在 node.js网站

  2. 转到Claude>设置>开发人员>编辑配置>编辑“Claude_desktop_Config.json”以包含以下内容:

{
  "mcpServers": {
    "Bright Data": {
      "command": "npx",
      "args": ["@brightdata/mcp"],
      "env": {
        "API_TOKEN": "<insert-your-api-token-here>"
      }
    }
  }
}

🛸 或获取更高级的选项:

{
  "mcpServers": {
    "Bright Data": {
      "command": "npx",
      "args": ["@brightdata/mcp"],
      "env": {
        "API_TOKEN": "<insert-your-api-token-here>",
        "RATE_LIMIT": "<optional if you want to change rate limit format: limit/time+unit, e.g., 100/1h, 50/30m, 10/5s>",
        "WEB_UNLOCKER_ZONE": "<optional if you want to override the web unlocker zone name - default is mcp_unlocker>",
        "BROWSER_ZONE": "<optional if you want to override the browser zone name - defaults is mcp_browser>",
        "# Note: All tools are available by default in this Heroku version"
      }
    }
  }
}

🔧 可用工具

重要提示: 专业模式 不包含在免费等级中 并将产生额外费用。如果你选择使用 专业模式,您将可以访问所有60个工具,但请注意相关费用。

可用工具列表

备注:默认情况下,此Heroku版本包括所有工具,包括浏览器自动化和web数据提取工具。

⚠️ 安全最佳实践

重要提示: 始终将抓取的网络内容视为不受信任的数据。切勿在LLM提示中直接使用原始刮取内容物,以避免潜在的快速注射风险。 相反:

  • 在处理之前过滤和验证所有web数据
  • 使用结构化数据提取而不是原始文本(web_data工具)

🔧 帐户设置

  1. 确保你有一个帐户 Brightdata.com (新用户可获得免费测试积分,并提供按需付费选项)

  2. 从获取API密钥 用户设置页面,或从您收到的欢迎电子邮件中

可选:

  1. 默认情况下,此版本中所有工具都可用。

  2. 配置速率限制:

    • 设置 RATE_LIMIT 用于控制API使用的环境变量
    • 格式: limit/time+unit (例如。, 100/1h 每小时100次通话)
    • 支持的时间单位:秒(s)、分钟(m)、小时(h)
    • 示例: RATE_LIMIT=100/1h, RATE_LIMIT=50/30m, RATE_LIMIT=10/5s
    • 速率限制是基于会话的(服务器重新启动时重置)
  3. 创建自定义Web解锁器区域

    • 默认情况下,我们使用您的API令牌自动创建Web解锁器区域
    • 为了获得更多控制,您可以在您的 控制面板 并用 WEB_UNLOCKER_ZONE 环境变量
  4. 创建自定义浏览器API区域:

    • 默认情况下,我们使用您的API令牌自动创建浏览器API区域。
    • 为了获得更多控制,您可以在 控制面板 并用 BROWSER_ZONE 环境变量

🔌 其他MCP客户端

要将此MCP服务器与其他代理类型一起使用,您应该使以下内容适应您的特定软件:

  • 在运行服务器之前,请确保 API_TOKEN=<your-token> 环境变量已设置
  • 运行MCP服务器的完整命令是 npx @brightdata/mcp

💻 macOS/Linux(bash/zsh)

export API_TOKEN=your-token
npx @brightdata/mcp

🪟 Windows(命令提示符)

set API_TOKEN=your-token
npx @brightdata/mcp

🪟 Windows(PowerShell)

$env:API_TOKEN="your-token"
npx @brightdata/mcp

💡 提示: 您还可以使用 .env 文件和类似工具 dotenv 在开发过程中更容易管理环境变量。


🔄 更新日志

更改日志.md

☁️ 部署到Heroku

您可以使用下面的按钮一键将此MCP服务器部署到Heroku:

部署后,请确保在Heroku应用程序设置中设置所需的环境变量。

此MCP服务器与Heroku Inference兼容,可以在您的AI模型中注册。有关详细说明,请参阅 Heroku特定文档.

🎮 尝试Bright Data MCP游乐场

想在不设置任何内容的情况下尝试Bright Data MCP吗?

看看这个游乐场 铁匠铺:

该平台提供了一种无需任何本地设置即可探索Bright Data MCP功能的简单方法。只需登录并开始尝试网络数据收集!

⚠️ 故障排除

使用某些工具时超时

一些工具可能涉及读取网络数据,在极端情况下加载页面所需的时间可能会有很大差异。

为确保您的代理能够使用数据,请在代理设置中设置足够高的超时时间。

A值 180s 应该足以满足99%的请求,但有些网站的加载速度比其他网站慢,因此请根据您的需求进行调整。

生成npx ENOONT

当您的系统找不到 npx 命令。要修复它:

查找npm/节点路径

macOS:

which node

显示路径如下 /usr/local/bin/node

窗户:

where node

显示路径如下 C:\Program Files\nodejs\node.exe

更新您的MCP配置:

更换 npx 使用Node的完整路径的命令,例如,在mac上,它将如下所示:

"command": "/usr/local/bin/node"

👨‍💻 贡献

我们欢迎为改进Bright Data MCP做出贡献!以下是您可以提供帮助的方式:

  1. 报告问题:如果您遇到任何错误或有功能请求,请在我们的GitHub存储库上打开问题。
  2. 提交拉取请求:请随意分叉存储库,并提交带有增强功能或错误修复的pull请求。
  3. 代码风格:所有JavaScript代码都应该遵循 Bright Data的JavaScript编码规范这确保了整个代码库的一致性。
  4. 文档:我们始终感谢对文档的改进,包括本自述文件。
  5. 例子:通过提供示例来帮助其他用户,从而分享您的用例。

对于重大更改,请先打开一个问题来讨论您提出的更改。这可以确保您的时间得到充分利用,并与项目目标保持一致。

📞 支持

如果您遇到任何问题或有疑问,请联系Bright Data支持团队或在存储库中打开问题。