网页爬虫数据搜索服务

Website | GitHub | Docs | PyPi

mcp服务器webcrawl

网络爬虫数据的高级搜索和检索。随着 mcp服务器webcrawl，您的AI客户端在您的指导下或自主地过滤和分析网络内容。该服务器包括一个具有布尔支持的全文搜索接口，以及按类型、HTTP状态等进行资源过滤。

mcp服务器webcrawl 为LLM提供了一个完整的搜索菜单，并可与各种网络爬虫配合使用：

mcp服务器webcrawl 是免费开源的，需要Claude Desktop和Python（>=3.10）。它通过pip install安装在命令行上：

pip install mcp-server-webcrawl

有关MCP服务器的分步设置，请参阅 设置指南.

特性

• 克劳德桌面就绪
• 多爬虫兼容
• 按类型、状态等筛选
• 布尔搜索支持
• 支持Markdown和代码片段
• 滚动自己的网站知识库

快速例程

mcp服务器webcrawl 提供了自由搜索网络爬行数据所需的工具包，在执行过程中对每个查询做出反应。这就是它的设计目的。

它还能够运行例程（作为提示）。你可以自己写这些，也可以使用提供的。这些提示是 复制和粘贴，并用作原始Markdown。它们由提供给LLM的高级搜索启用；查询和逻辑可以嵌入到一组过程指令中，甚至可以像Gopher Service那样嵌入到输入循环中。

如果你想快捷方式选择网站（少一个查询），粘贴标记，并在同一个请求中键入“run pasted for[网站名称或URL]”。它会解决的。在没有附加上下文的情况下粘贴时，系统应提示您从已爬网站点列表中进行选择。

布尔搜索语法

查询引擎支持特定字段(field: value)搜索和复杂的布尔表达式。全文支持url、内容和标题字段的组合。

虽然API接口是为LLM直接使用而设计的，但熟悉搜索语法可能会有所帮助。LLM生成的搜索是可检查的，但通常会在UI中折叠。如果需要查看查询，请展开MCP可折叠部分。

查询示例

字段搜索定义

字段搜索提供了搜索精度，允许您指定要过滤搜索索引的哪些列。您可以将查询限制为特定的属性，如URL、标题或内容正文，而不是搜索整个内容。这种方法提高了在爬网数据中查找特定属性或模式时的效率。

现场内容

字段的子集可以与结果一起独立请求，而核心字段始终处于打开状态。使用标头和内容可以快速消耗令牌。明智地使用，或使用额外功能将更多结果压缩到上下文窗口中。字段是一个顶级参数，独立于查询中发生的任何字段搜索。

内容类型

爬网包含HTML页面之外的资源类型。这 type: 字段搜索允许按广泛的内容类型组进行过滤，这在过滤没有复杂扩展查询的图像时特别有用。例如，您可以搜索 type: html NOT content: login 查找没有“登录”的页面，或 type: img 分析图像资源。下表列出了搜索系统中支持的所有内容类型。

额外内容

这 extras 参数提供了额外的处理选项，转换HTTP数据（markdown、snippets、regex、xpath），或将LLM连接到外部数据（缩略图）。这些选项可以根据需要进行组合，以实现所需的结果格式。

Extras提供了一种生成令牌高效HTTP内容响应的方法。Markdown产生的字节大约是源HTML的1/3，每个结果的代码段通常为500个字节左右，XPath可以根据您的选择进行具体或宽泛的处理。你的请求越集中，你的LLM课程就能得到越多的结果。

当然，这个想法是法学硕士会为你解决这个问题。如果你注意到你的LLM对“内容”字段（完整的HTML）产生了亲和力，那么使用额外功能在聊天中微调预算代币应该就足够了。

交互模式

没有人工智能，只是在终端中对您的网络档案进行经典的布尔搜索。

mcp服务器webcrawl可以兼作终端搜索您的网络档案。您可以对本地存档运行它，但当您意识到可以ssh到任何远程主机并查看该主机上的存档时，它会变得更加有趣。无需下载、同步、多因素登录或其他常见的繁琐任务。使用交互模式，您可以立即进入并搜索远程服务器上的爬网。

使用--crawler和--datasrc启动以立即搜索，或在应用程序中设置datasrc和crawler。

mcp-server-webcrawl --crawler wget --datasrc /path/to/datasrc --interactive
# or manually enter crawler and datasrc in the UI
mcp-server-webcrawl --interactive

交互模式是一种随时随地搜索抓取数据的方式。..在终端中。