文献研究自动化工具

ArXivBot是一个强大的研究自动化工具,能够自动搜索ArXiv论文、提取关键信息、寻找支持或反驳假设的证据,并构建可搜索的知识库。适用于学术研究和文献综述。

  • by grahama1970
  • Python
  • 本地部署
  • 更新于
在 GitHub 查看 grahama1970/arxiv-mcp-server

使用说明

ArXivBot-ArXiv论文研究自动化

🤖 自动化您的文献综述 -一个强大的研究机器人,拥有45多种工具,可以在ArXiv论文中找到支持或反驳你假设的证据

最新更新(v1.0.1):修复了MCP集成中的关键搜索功能问题。添加了用于故障排除的诊断工具。

ArXivBot既是 CLI工具 用于直接命令行研究自动化和 MCP服务器 用于AI助手集成。它自动化了学术研究的繁琐部分:搜索论文、提取关键信息、寻找支持或矛盾的证据,以及构建可搜索的知识库。让机器人处理繁重的工作,而你专注于科学。

🎛️ 使用ArXivBot的两种方法

1.直接CLI使用

# Use ArXivBot directly from your terminal
arxiv-cli search "quantum computing" --max-results 10
arxiv-cli find-support "My hypothesis about X" --all

2.MCP与AI助手的集成

// Connect to Claude or other AI assistants
{
    "mcpServers": {
        "arxiv-bot": {
            "command": "python",
            "args": ["-m", "arxiv_mcp_server"]
        }
    }
}

这种双界面意味着您可以独立使用ArXivBot进行自动化工作流程,或者让像Claude这样的人工智能助手访问其功能以完成更复杂的研究任务。

🎯 支持与矛盾的力量

ArXivBot的杀手锏是它能够自动在多篇论文中找到证据,这些证据要么 支撑物(靠垫) 或 挑战(矛盾) 你的研究假设:

# Test your hypothesis against the literature
arxiv-cli find-support "Quantum computers can solve NP-complete problems in polynomial time" \
  --all \
  --type both

# Output:
# SUPPORTING EVIDENCE (3 findings):
# • Paper 2401.12345: "Recent experiments demonstrate polynomial speedup for specific NP problems..."
# • Paper 2401.67890: "Our quantum algorithm achieves O(n²) complexity for subset sum..."
#
# CONTRADICTING EVIDENCE (7 findings):
# • Paper 2402.11111: "Theoretical limits show exponential lower bounds remain for general NP..."
# • Paper 2402.22222: "No quantum advantage observed in comprehensive NP-complete benchmarks..."

仅此功能就可以通过自动识别整个论文库中的相关段落来节省数天的人工阅读时间。

🚀 快速开始

安装选项

选项1:Docker(推荐用于生产环境)

最适合希望隔离和易于部署的用户。看 Docker部署指南 了解详情。

# Clone and run with Docker
git clone https://github.com/yourusername/arxiv-mcp-server.git
cd arxiv-mcp-server
docker compose up -d arxiv-mcp

选项2:本地安装

适用于熟悉Python环境的开发人员或用户。

# Clone the repository
git clone https://github.com/yourusername/arxiv-mcp-server.git
cd arxiv-mcp-server

# Install with uv (recommended)
uv sync

# Or install with pip
pip install -e .

快速测试(不需要API密钥!)

# Test search functionality
arxiv-cli search "quantum computing" --max-results 5

# Test with mock evidence extraction
arxiv-cli find-support "Quantum computers are faster" --all --provider mock

# Check server health and connectivity (new!)
arxiv-cli diagnostics

基本自动化工作流程

# 1. Bot searches for relevant papers
arxiv-cli search "transformer architecture" --max-results 20

# 2. Bot downloads them all
arxiv-cli batch-download --search "transformer architecture" --max 10

# 3. Bot finds evidence for your hypothesis
arxiv-cli find-support "Attention mechanisms improve model interpretability" --all

# 4. Bot extracts all citations for your bibliography
arxiv-cli extract-citations 2401.12345 --format bibtex >> refs.bib

启用语义搜索(可选)

# Index downloaded papers for natural language search
arxiv-cli index-papers

# Search with natural language
arxiv-cli semantic-search "how do transformers handle long sequences"

新增:日常研究工作流程

# Set up daily digest for your research area
arxiv-cli create-digest "My Research" \
  --keywords "transformer,attention" \
  --authors "Vaswani,Hinton" \
  --categories "cs.LG,cs.CL"

# Get your daily digest
arxiv-cli daily-digest --format markdown > today.md

# Add interesting papers to reading list
arxiv-cli add-reading 2401.12345 --priority high --tags "important"

# Track citations of your papers
arxiv-cli citations 1706.03762 --limit 20

# Export bibliography when writing
arxiv-cli export-reading --format bibtex --tags "my-paper" > refs.bib

增强的日常工作流程功能

# Check if your saved papers have been updated
arxiv-cli check-updates --all

# Follow your favorite researchers
arxiv-cli follow "Yoshua Bengio" --notes "Deep learning pioneer"
arxiv-cli check-authors --days 30

# Quick citation copying (multiple styles)
arxiv-cli copy-cite 1706.03762 --style apa  # Copies to clipboard!

# Save complex searches as templates
arxiv-cli save-search "ML Security" \
  --query "adversarial attacks" \
  --author "Goodfellow" \
  --category "cs.LG"
arxiv-cli run-search "ML Security"

# Organize papers by project
arxiv-cli create-collection "PhD Chapter 3" --desc "Attention mechanisms"
arxiv-cli add-to-collection 1706.03762 "PhD Chapter 3" --notes "Seminal paper"

💪 核心自动化功能

1.证据挖掘(支持/矛盾)

该机器人最强大的功能是自动挖掘支持或反驳证据的论文:

# Find supporting evidence only
arxiv-cli find-support "Thermal storage at 600°C is feasible" --all --type bolster

# Find contradicting evidence only
arxiv-cli find-support "Thermal storage at 600°C is feasible" --all --type contradict

# Find both and build a balanced view
arxiv-cli find-support "Thermal storage at 600°C is feasible" --all --type both

# Search your findings database later
arxiv-cli search-findings "thermal storage" --type contradict

该机器人逐节分析论文,提取具有置信度评分的相关摘录,并将其存储在可搜索的数据库中。

2.自动化文献处理

让机器人处理重复的任务:

# Bot downloads papers matching your criteria
arxiv-cli batch-download --search "quantum error correction" --max 20

# Bot summarizes each paper
for paper in $(arxiv-cli list-papers); do
    arxiv-cli summarize $paper --type abstract >> summaries.txt
done

# Bot extracts all code examples
arxiv-cli analyze-code 2401.12345 --lang python --extract-functions

3.研究验证自动化

对照文献验证你的研究主张:

# Bot compares papers with your research
arxiv-cli compare 2401.12345 "My approach uses topological quantum codes"

# Bot finds similar papers to check for prior art
arxiv-cli find-similar 2401.12345 --type content --top 10

4.知识库建设

机器人会自动构建一个可搜索的研究数据库:

# Bot stores your insights
arxiv-cli add-note 2401.12345 "Contradicts our approach but methodology is sound" \
  --tag contradiction --tag methodology

# Bot searches your knowledge base
arxiv-cli search-findings "methodology" --top 20

🛠️ 完整的工具库

研究自动化工具

  • 寻找支持 -支持/反驳证据的矿山文件⭐
  • 搜索结果 -查询您的证据数据库
  • 批量下载 -符合条件的大量下载论文
  • 比较 -将论文与你的研究进行比较

信息提取

  • 总结 -自动生成论文摘要
  • 摘录引文 -以任何格式提取参考书目
  • 提取部分 -从论文中提取特定章节
  • 分析代码 -提取和分析代码块

发现与组织

  • 搜索 -带过滤器的智能ArXiv搜索
  • 找到相似 -发现相关论文
  • 添加注释 -建立你的知识库
  • 列出注释 -搜索您的注释

分析工具

  • 描述内容 -图形/表格的AI描述
  • 转换选项 -PDF处理选项
  • 系统统计信息 -机器人性能指标

语义搜索

  • 索引文件 -使用嵌入构建搜索索引
  • 语义搜索 -跨论文的自然语言搜索
  • 搜索统计信息 -查看搜索数据库统计信息

🔬 研究自动化示例

假设测试工作流程

# Define your hypothesis
HYPOTHESIS="Transformer models scale linearly with data size"

# 1. Bot finds relevant papers
arxiv-cli search "transformer scaling laws" --max-results 30

# 2. Bot downloads them all
arxiv-cli batch-download --search "transformer scaling laws" --max 30

# 3. Bot finds all supporting evidence
arxiv-cli find-support "$HYPOTHESIS" --all --type bolster > supporting.txt

# 4. Bot finds all contradicting evidence  
arxiv-cli find-support "$HYPOTHESIS" --all --type contradict > contradicting.txt

# 5. Bot helps you analyze the balance
echo "Supporting: $(wc -l < supporting.txt) findings"
echo "Contradicting: $(wc -l < contradicting.txt) findings"

前案检索

# Your innovation
IDEA="Using attention mechanisms for time series forecasting"

# Bot searches for prior work
arxiv-cli find-support "$IDEA" --all --type bolster

# If bot finds many supporting cases, prior art exists
# If bot finds few/none, your idea might be novel!

文献综述自动化

# Bot builds your literature review
TOPIC="quantum machine learning"

# 1. Systematic search
arxiv-cli search "$TOPIC" --from 2020-01-01 --max-results 100

# 2. Bulk download
arxiv-cli batch-download --search "$TOPIC" --max 50

# 3. Extract key findings
arxiv-cli find-support "Quantum ML provides exponential speedup" --all

# 4. Generate bibliography
for paper in $(arxiv-cli list-papers); do
    arxiv-cli extract-citations $paper --format bibtex
done > bibliography.bib

🤖 MCP服务器集成

ArXivBot实现了模型上下文协议(MCP),使其所有工具可供Claude等AI助手使用。这意味着您可以让Claude自然地使用ArXivBot的功能:

克劳德互动示例:

  • “使用ArXivBot找到与量子计算机可以破解RSA的观点相矛盾的论文”
  • “搜索最近的变压器论文,找到支持注意力机制效率的证据”
  • “下载关于核聚变的论文并提取所有引文”

MCP配置选项

选项1:Docker(推荐)

{
    "mcpServers": {
        "arxiv-bot": {
            "command": "bash",
            "args": ["/path/to/arxiv-mcp-server/scripts/docker-mcp-wrapper.sh"]
        }
    }
}

选项2:本地Python

{
    "mcpServers": {
        "arxiv-bot": {
            "command": "python",
            "args": ["-m", "arxiv_mcp_server"]
        }
    }
}

或者使用自定义存储路径:

{
    "mcpServers": {
        "arxiv-bot": {
            "command": "python",
            "args": ["-m", "arxiv_mcp_server", "--storage-path", "/path/to/papers"]
        }
    }
}

MCP服务器将所有45多种工具暴露给AI助手,使他们能够代表您自动化复杂的研究工作流程,包括:

  • 阅读列表管理和论文更新检查
  • 作者跟踪和新论文通知
  • 具有个性化过滤功能的每日摘要
  • 引文跟踪和快速引文复制
  • 搜索重复查询的模板
  • 项目组织的论文集
  • 导出到所有主要参考经理

🔧 故障排除

搜索不起作用?

如果您在搜索功能方面遇到问题,请使用诊断工具:

# Check server health
arxiv-cli diagnostics

# Output shows:
# - ArXiv API connectivity status
# - Storage path and statistics  
# - Python environment details
# - Any configuration issues

常见修复:

  • 网络问题:确保您可以访问arxiv.org
  • 速率限制:服务器通过重试自动处理速率限制
  • 空结果:尝试更广泛的搜索词或删除日期过滤器

MCP集成问题?

对于显示“未收到结果”的Claude Desktop或其他MCP客户端:

  1. 跑 arxiv-cli diagnostics 检查服务器运行状况
  2. 检查MCP服务器日志以获取详细的错误消息
  3. 确保MCP设置中的路径配置正确

⚙️ 配置

存储位置

export ARXIV_STORAGE_PATH=/path/to/your/papers

LLM提供者(用于高级功能)

ArXivBot使用模拟提供者进行开箱即用的测试。用于实际AI分析的生产用途:

# For Gemini (recommended - has free tier)
export GEMINI_API_KEY=your-key

# For OpenAI
export OPENAI_API_KEY=your-key

# For Anthropic
export ANTHROPIC_API_KEY=your-key

# Default is mock provider (no API key needed)
arxiv-cli find-support "test hypothesis" --all  # Works without API keys!

PDF转换

# Fast mode (default)
arxiv-cli download 2401.12345 --converter pymupdf4llm

# Accurate mode (slower but better for tables/equations)
arxiv-cli download 2401.12345 --converter marker-pdf

🏗️ 建筑

arxiv-bot/
├── src/arxiv_mcp_server/
│   ├── tools/              # 45+ automation tools
│   │   ├── research_support.py  # Bolster/contradict engine
│   │   ├── reading_list.py      # Paper organization
│   │   ├── daily_digest.py      # Filtered notifications
│   │   ├── citation_tracking.py # Citation networks
│   │   ├── export_references.py # BibTeX/RIS export
│   │   ├── paper_updates.py     # Version tracking
│   │   ├── author_follow.py     # Author monitoring
│   │   ├── quick_cite.py        # Citation copying
│   │   ├── search_templates.py  # Saved searches
│   │   ├── paper_collections.py # Project organization
│   │   └── ...
│   ├── converters/         # PDF processors  
│   ├── llm_providers.py    # AI integrations
│   ├── cli.py             # Command interface
│   └── server.py          # MCP server
├── examples/              # Automation examples
└── docs/                  # Documentation

📖 文档

🤝 贡献

帮助使研究自动化更好:

  1. 分叉存储库
  2. 创建要素分支
  3. 跟随 CLAUDE.md 编码标准
  4. 提交拉取请求

贡献想法:

  • 改进支持/矛盾检测算法
  • 添加ArXiv以外的新论文来源
  • 创建研究工作流程模板
  • 加强证据排名制度

📄 许可证

MIT许可证-请参阅 许可证 了解详情。


ArXivBot -2024年以来的文献综述自动化

让机器人在你做科学的时候读论文