HDFS数据查询服务

CData的HDFS MCP服务器通过JDBC驱动将HDFS数据暴露为关系型SQL模型,使LLM能够通过自然语言查询实时数据。

  • by CDataSoftware
  • Java
  • 本地部署
  • 更新于
在 GitHub 查看 CDataSoftware/hdfs-mcp-server-by-cdata

使用说明

HDFS-MCP-Server-By-CData(注:这里的“cdata”可能是一个特定上下文中的专有名词或缩写,根据上下文可能需要具体翻译或解释,但在此直接保留原样)

CData的HDFS模型上下文协议(MCP)服务器

⚠️ 此项目构建的是一个只读MCP服务器。如需完整的读、写、更新、删除及操作功能以及简化的设置,请查看我们的 CData HDFS MCP 服务器.

目的

我们创建了这个只读的MCP服务器,以允许大型语言模型(如Claude Desktop)查询由HDFS支持的实时数据 CData JDBC驱动程序 for HDFS(Hadoop分布式文件系统)。

CData JDBC驱动程序通过将HDFS作为关系型SQL模型来连接。

这个服务器封装了该驱动程序,并通过一个简单的MCP接口提供HDFS数据访问,因此大型语言模型(LLMs)可以通过自然语言提问来检索实时信息,无需使用SQL。

设置指南

  1. 克隆仓库:
    git clone https://github.com/cdatasoftware/hdfs-mcp-server-by-cdata.git
    cd hdfs-mcp-server-by-cdata
    
  2. 构建服务器:
    mvn clean install
    
    这会生成一个JAR文件:CDataMCP-jar-with-dependencies.jar
  3. 下载并安装CData JDBC驱动程序(针对{source}): https://www.cdata.com/drivers/hdfs/download/jdbc 的中文翻译为:“https://www.cdata.com 驱动程序/HDFS/下载/JDBC”
  4. 授权CData JDBC驱动程序:
    • 导航至 lib 安装目录中的文件夹,通常为:
      • (Windows) C:\Program Files\CData\CData JDBC Driver for HDFS\
      • (Mac/Linux) /Applications/CData JDBC Driver for HDFS/
    • 运行该命令 java -jar cdata.jdbc.hdfs.jar --license
    • 请输入您的姓名、电子邮件地址以及“TRIAL”(或您的许可证密钥)。
  5. 配置您与数据源的连接(以Salesforce为例):
    • 运行该命令 java -jar cdata.jdbc.hdfs.jar 打开连接字符串实用程序。

    • 配置连接字符串,然后点击“测试连接”

      注: 如果数据源使用OAuth认证,您需要在浏览器中进行身份验证。

    • 一旦成功,复制连接字符串以备后用。

  6. 创建一个 .prp 用于您的JDBC连接的文件(例如。 hdfs.prp) 使用以下属性和格式:
    • 前缀 - 用于公开工具的前缀
    • 服务器名称 - 为您的服务器命名
    • 服务器版本 - 适用于您服务器的版本
    • 驱动程序路径 - 您的JDBC驱动程序JAR文件的完整路径
    • DriverClass(驱动程序类) - JDBC驱动程序类的名称(例如:cdata.jdbc.hdfs.HDFSDriver)
    • JdbcUrl(Java数据库连接URL) - 用于与CData JDBC驱动程序连接到您的数据的JDBC连接字符串(从上面复制)
    • 桌子 - 留空以访问所有数据,否则您可以明确声明您希望创建访问权限的表
      Prefix=hdfs
      ServerName=CDataHDFS
      ServerVersion=1.0
      DriverPath=PATH\TO\cdata.jdbc.hdfs.jar
      DriverClass=cdata.jdbc.hdfs.HDFSDriver
      JdbcUrl=jdbc:hdfs:InitiateOAuth=GETANDREFRESH;
      Tables=
      

使用Claude Desktop连接服务器

  1. 创建Claude Desktop的配置文件(claude_desktop_config.json)以添加新的MCP服务器,使用以下格式。如果文件已存在,请在文件中添加条目 mcpServers 在配置文件中。

    Windows

    {
      "mcpServers": {
        "{classname_dash}": {
          "command": "PATH\\TO\\java.exe",
          "args": [
            "-jar",
            "PATH\\TO\\CDataMCP-jar-with-dependencies.jar",
            "PATH\\TO\\hdfs.prp"
          ]
        },
        ...
      }
    }
    

    Linux/苹果电脑(Mac)

    {
      "mcpServers": {
        "{classname_dash}": {
          "command": "/PATH/TO/java",
          "args": [
            "-jar",
            "/PATH/TO/CDataMCP-jar-with-dependencies.jar",
            "/PATH/TO/hdfs.prp"
          ]
        },
        ...
      }
    }
    

    如需需要,请将配置文件复制到相应的目录(以Claude Desktop为例)。 Windows

    cp C:\PATH\TO\claude_desktop_config.json %APPDATA%\Claude\claude_desktop_config.json
    

    Linux/麦金塔(Mac)

    cp /PATH/TO/claude_desktop_config.json /Users/{user}/Library/Application\ Support/Claude/claude_desktop_config.json'
    
  2. 运行或刷新您的客户端(Claude 桌面版)。

注: 您可能需要完全退出或关闭您的Claude桌面客户端,然后重新打开它,以便MCP服务器能够显示出来。

运行服务器

  1. 运行以下命令以单独启动MCP服务器
    java -jar /PATH/TO/CDataMCP-jar-with-dependencies.jar /PATH/TO/Salesforce.prp
    

注: 服务器使用 stdio 因此,只能与运行在与服务器同一台机器上的客户端一起使用。

使用详情

一旦配置好MCP服务器,AI客户端将能够使用内置工具来读取、写入、更新和删除底层数据。通常情况下,您无需显式调用这些工具。只需让客户端回答有关底层数据系统的问题即可。例如:

  • “我已成功关闭的商机与客户所在行业之间有何关联?”
  • “我在SUPPORT项目中有多少张未解决的工单?”
  • “你能告诉我我今天有哪些日历事件吗?”

以下为可用工具的列表及其描述:

工具与说明

在以下定义中, {servername} 指的是配置文件中MCP服务器的名称(例如。 {classname_dash} (上面)。

  • {servername}_get_tables - 获取数据源中可用的表列表。使用 {servername}_get_columns 工具用于列出表中可用的列。该工具的输出将以CSV格式返回,第一行包含列标题。
  • {servername}_get_columns - 获取表的列列表。使用 {servername}_get_tables 工具用于获取可用表的列表。该工具的输出将以CSV格式返回,第一行包含列标题。
  • {servername}_run_query - 执行SQL SELECT查询

JSON-RPC 请求示例

如果你正在为发送到MCP服务器的请求编写脚本,而不是使用AI客户端(例如Claude),那么在调用可用工具时,可以参考下面遵循JSON-RPC 2.0规范的JSON有效载荷示例。

hdfs_get_tables 翻译成中文是“获取HDFS中的表”

{
    "jsonrpc": "2.0",
    "id": 1,
    "method": "tools/call",
    "params": {
        "name": "hdfs_get_tables",
        "arguments": {}
    }
}

获取HDFS列(或:从HDFS中获取列数据)

{
    "jsonrpc": "2.0",
    "id": 2,
    "method": "tools/call",
    "params": {
        "name": "hdfs_get_columns",
        "arguments": {
            "table":  "Account"
        }
    }
}

hdfs_run_query 翻译为中文是“在HDFS上运行查询”

{
    "jsonrpc": "2.0",
    "id": 3,
    "method": "tools/call",
    "params": {
        "name": "hdfs_run_query",
        "arguments": {
            "sql":  "SELECT * FROM [Account] WHERE [IsDeleted] = true"
        }
    }
}

故障排除

  1. 如果你在Claude Desktop中看不到你的CData MCP服务器,请确保你已经完全退出了Claude Desktop(Windows系统:使用任务管理器,Mac系统:使用活动监视器)
  2. 如果Claude Desktop无法检索数据,请确保您已正确配置了连接。使用连接字符串生成器来创建连接字符串(见上文),并将连接字符串复制到属性(.prp)文件中。
  3. 如果您在连接数据源时遇到问题,请联系 CData 支持团队.
  4. 如果您在使用MCP服务器时遇到问题,或有任何其他反馈,请加入 CData 社区。

许可证

这个MCP服务器遵循MIT许可证进行授权。这意味着,您可以在遵守MIT许可证条款和条件的前提下,自由地使用、修改和分发该软件。如需更多详情,请参阅(相关文档或链接) 许可证 项目仓库中的文件。

所有支持的来源

AccessAct CRMAct-OnActive Directory
ActiveCampaignAcumaticaAdobe AnalyticsAdobe Commerce
ADPAirtableAlloyDBAmazon Athena
Amazon DynamoDBAmazon MarketplaceAmazon S3Asana
Authorize.NetAvalara AvaTaxAvroAzure Active Directory
Azure Analysis ServicesAzure Data CatalogAzure Data Lake StorageAzure DevOps
Azure SynapseAzure TableBasecampBigCommerce
BigQueryBing AdsBing SearchBitbucket
Blackbaud FE NXTBoxBullhorn CRMCassandra
CertiniaCloudantCockroachDBConfluence
Cosmos DBCouchbaseCouchDBCSV
CventDatabricksDB2DocuSign
DropboxDynamics 365Dynamics 365 Business CentralDynamics CRM
Dynamics GPDynamics NAVeBayeBay Analytics
ElasticsearchEmailEnterpriseDBEpicor Kinetic
Exact OnlineExcelExcel OnlineFacebook
Facebook AdsFHIRFreshdeskFTP
GitHubGmailGoogle Ad ManagerGoogle Ads
Google AnalyticsGoogle CalendarGoogle Campaign Manager 360Google Cloud Storage
Google ContactsGoogle Data CatalogGoogle DirectoryGoogle Drive
Google SearchGoogle SheetsGoogle SpannerGraphQL
GreenhouseGreenplumHarperDBHBase
HCL DominoHDFSHighriseHive
HubDBHubSpotIBM Cloud Data EngineIBM Cloud Object Storage
IBM InformixImpalaInstagramJDBC-ODBC Bridge
JiraJira AssetsJira Service ManagementJSON
KafkaKintoneLDAPLinkedIn
LinkedIn AdsMailChimpMariaDBMarketo
MarkLogicMicrosoft DataverseMicrosoft Entra IDMicrosoft Exchange
Microsoft OneDriveMicrosoft PlannerMicrosoft ProjectMicrosoft Teams
Monday.comMongoDBMYOB AccountRightMySQL
nCinoNeo4JNetSuiteOData
OdooOffice 365OktaOneNote
OracleOracle EloquaOracle Financials CloudOracle HCM Cloud
Oracle SalesOracle SCMOracle Service CloudOutreach.io
ParquetPaylocityPayPalPhoenix
PingOnePinterestPipedrivePostgreSQL
Power BI XMLAPrestoQuickbaseQuickBooks
QuickBooks OnlineQuickBooks TimeRaisers Edge NXTReckon
Reckon Accounts HostedRedisRedshiftREST
RSSSage 200Sage 300Sage 50 UK
Sage Cloud AccountingSage IntacctSalesforceSalesforce Data Cloud
Salesforce Financial Service CloudSalesforce MarketingSalesforce Marketing Cloud Account EngagementSalesforce Pardot
SalesloftSAPSAP Ariba ProcurementSAP Ariba Source
SAP Business OneSAP BusinessObjects BISAP ByDesignSAP Concur
SAP FieldglassSAP HANASAP HANA XS AdvancedSAP Hybris C4C
SAP Netweaver GatewaySAP SuccessFactorsSAS Data SetsSAS xpt
SendGridServiceNowSFTPSharePoint
SharePoint Excel ServicesShipStationShopifySingleStore
SlackSmartsheetSnapchat AdsSnowflake
SparkSplunkSQL Analysis ServicesSQL Server
SquareStripeSugar CRMSuiteCRM
SurveyMonkeySybaseSybase IQTableau CRM Analytics
TallyTaxJarTeradataTier1
TigerGraphTrelloTrinoTwilio
TwitterTwitter AdsVeeva CRMVeeva Vault
Wave FinancialWooCommerceWordPressWorkday
xBaseXeroXMLYouTube Analytics
ZendeskZoho BooksZoho CreatorZoho CRM
Zoho InventoryZoho ProjectsZuora... Dozens More