AI导哈

网页搜索与抓取工具

WebQuest MCP 是一个模型上下文协议（MCP）服务器，为AI代理和MCP兼容客户端提供强大的网页搜索和抓取工具。

  • by mustafametesengul
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 mustafametesengul/webquest-mcp

使用说明

WebQuest MCP

WebQuest MCP是一个模型上下文协议（MCP）服务器，它向AI代理和MCP兼容客户端提供强大的网络搜索和抓取工具。

有关可用的抓取器和浏览器，请参阅 WebQuest文档.

安装

使用pip安装：

pip install webquest-mcp

使用uv安装：

uv add webquest-mcp

用法

启动服务器

要启动WebQuest MCP服务器，请运行：

webquest-mcp serve

服务器从环境变量（或 .env 文件自动加载）。可用设置：

  • OPENAI_API_KEY （必需）：用于scrapers的OpenAI API密钥。
  • HYPERBROWSER_API_KEY （必需）：Hyperbrowser API键。
  • WEBQUEST_MCP_AUTH_SECRET （可选）：JWT secret，用于启用经过身份验证的请求。保持未设置以禁用身份验证。
  • WEBQUEST_MCP_AUTH_AUDIENCE （可选，默认 webquest-mcp)：JWT受众在启用身份验证时进行验证。
  • WEBQUEST_MCP_TRANSPORT （可选，默认 stdio)：MCP传输。支持的值： stdio, sse, streamable-http.
  • WEBQUEST_MCP_HOST （可选，默认 localhost)：当传输基于HTTP时，要绑定的主机。
  • WEBQUEST_MCP_PORT （可选，默认 8000)：当传输基于HTTP时使用的端口。

示例 .env:

OPENAI_API_KEY=your_openai_api_key
HYPERBROWSER_API_KEY=your_hyperbrowser_api_key
WEBQUEST_MCP_AUTH_SECRET=your_jwt_secret_key
WEBQUEST_MCP_AUTH_AUDIENCE=webquest-mcp
WEBQUEST_MCP_TRANSPORT=streamable-http
WEBQUEST_MCP_HOST=localhost
WEBQUEST_MCP_PORT=8000

令牌生成

要为MCP客户端生成身份验证令牌，请设置所需的环境变量并运行生成器。

令牌生成器使用相同的 WEBQUEST_MCP_* 前缀作为服务器。

所需设置：

  • WEBQUEST_MCP_AUTH_SECRET：服务器使用的JWT机密。
  • WEBQUEST_MCP_AUTH_SUBJECT：接收令牌的客户端的标识符。

可选设置：

  • WEBQUEST_MCP_AUTH_AUDIENCE （默认值 webquest-mcp)
  • WEBQUEST_MCP_AUTH_EXPIRATION_DAYS （默认值 365)

示例 .env:

WEBQUEST_MCP_AUTH_SECRET=your-secret-key
WEBQUEST_MCP_AUTH_SUBJECT=client-name
WEBQUEST_MCP_AUTH_AUDIENCE=webquest-mcp
WEBQUEST_MCP_AUTH_EXPIRATION_DAYS=365

运行发电机：

webquest-mcp token

码头工人

运行已发布的映像：

docker run --rm -p 8000:8000 --env-file .env \
  -e WEBQUEST_MCP_HOST=0.0.0.0 \
  mustafametesengul/webquest-mcp serve

免责声明

此工具仅用于教育和研究目的。WebQuest MCP的开发人员不对任何滥用此工具的行为负责。抓取网站可能违反其服务条款。用户全权负责确保其活动符合所有适用的法律和网站政策。

相关 MCP