多模型网页抓取服务器

简单的多模型Web Scraper MCP服务器

这个项目是一个模型上下文协议（MCP）服务器的示例，它公开了使用Python进行网络抓取、情感分析和文本生成的多个工具。

特性

• scrape_网页：从任何给定的URL获取标题和可见文本。
• 分析状态：使用HuggingFace Transformers分析给定文本的情感。
• generate_text：使用HuggingFace Transformers根据提示生成文本。

需求

• Python 3.8+
• 安装依赖项：
  • pip install -r requirements.txt
  • （如果不存在，请创建 requirements.txt 与： requests beautifulsoup4 transformers torch mcp)

用法

1. 激活您的虚拟环境
   • Windows PowerShell： ./mcp-env/Scripts/Activate.ps1
2. 运行服务器
   • python mcp-env/webscraper_server.py
3. 通过MCP客户端或VS Code MCP扩展进行连接
   • 使用MCP侧栏以交互方式调用工具。

示例工具

• scrape_webpage(url)：返回页面标题和可见文本的前1000个字符。
• analyze_sentiment(text)：返回情绪标签和分数。
• generate_text(prompt, max_length=100)：返回为提示生成的文本。

备注

• 一些网站（如YouTube或Flipkart）可能会限制抓取或要求自定义标题。
• 对于动态内容（例如，JavaScript密集型网站），可以考虑使用Selenium或Playwright。

许可证

麻省理工学院