把桌面变成 AI 的手和眼：在启动器中内置双向 MCP (Model Context Protocol) 网关

摘要：为什么现在的大模型聊天工具虽然能写诗写代码，但在处理你电脑上的日常事务时却依然像个“被关在浏览器玻璃房里的盲人”？因为它既看不到你当前屏幕上的报错弹窗，也无法直接调用你本地的毫秒级文件索引、剪贴板历史和窗口分屏器。更糟糕的是，许多商业软件借着 AI 的名义强行绑架用户购买高价官方 Token 订阅。本文深度剖析 ZTools 的 @ztools/ai-mcp 智能中枢架构，揭秘如何通过 “双向 MCP（Model Context Protocol）开放网关”、“屏幕多模态视觉感知（Screen Awareness）” 以及 “100% 尊重极客自由的 BYOK + 本地 Ollama/LM Studio 零配置自动嗅探”，把整个桌面操作系统变成 AI 的手和眼。

一、 桌面端 AI 的两大痛点：能力孤岛与商业绑架

在将 AI 引入桌面效率启动器时，我们用第一性原理审视了当前市面上的同类产品，发现普遍存在两大痛点：

1. 01
   有大脑、无手脚的“能力孤岛”：

大多数启动器的“AI 插件”仅仅是一个简陋的 API 转发器——你把一段话复制进去，它调一下 OpenAI 接口把文字吐出来。AI 无法得知你刚才复制过的 3 段剪贴板上下文，无法帮你从 100 万个本地文件里找出上周写的配置文件，更无法直接帮你把屏幕上雜乱的窗口排列整齐。

1. 01
   封闭黑盒与强制订阅绑架（Vendor Lock-in）：

部分商业启动器将 AI 功能锁死在昂贵的官方 Pro/AI 按月订阅中，甚至不允许用户填入自己手里现成的 DeepSeek、OpenAI、Claude API Key，或者对本地运行的免费开源模型（Ollama）设置重重障碍。

在 ZTools 中，我们的态度极其鲜明：

• 架构上：原汁原味集成开放标准 Model Context Protocol (MCP)，让启动器同时扮演 MCP Host（向内赋能） 与 MCP Server（向外赋能） 的双向枢纽；
• 商业与极客伦理上：全面拥抱 BYOK（Bring Your Own Key） 与 本地离线大模型零配置直连，绝不绑架用户消费哪怕一分钱的官方 Token！

二、 双向 MCP 网关架构：既是 AI 调用桌面的桥梁，也是外部 Agent 的工具箱

在 packages/ai-mcp/ 模块中，我们构建了完整的原生 MCP 协议栈（支持 InMemory、Stdio 与 HttpSse 三种传输层）：

flowchart TB
    subgraph ExternalAgents ["外部 AI 客户端 (Claude Desktop / Cursor / Windsurf)"]
        ExtClient["外部 MCP Client"]
    end

    subgraph ZToolsMCP ["ZTools 双向 MCP 核心网关 (@ztools/ai-mcp)"]
        ServerRole["角色 A：作为标准 MCP Server<br/>(向外部 AI 暴露操作系统底层原语)"]
        HostRole["角色 B：作为原生 MCP Host / Client<br/>(汇聚本地插件 Tool 与外部 MCP 服务)"]
        Router["ModelRouter 统一大模型路由器<br/>(BYOK 云端流式 + 本地离线嗅探)"]
        HostRole --> Router
    end

    subgraph SystemPrimitives ["ZTools 底层跨平台能力与插件生态"]
        MFT["search_files<br/>(0.035ms MFT 极速文件检索)"]
        Clip["read / write_clipboard<br/>(SQLite 剪贴板历史读写)"]
        Win["manage_window<br/>(15种 DWM 像素级窗口分屏)"]
        Screen["capture_screen_context<br/>(活动窗口截图 / 选中文本穿透提取)"]
        ExtTools["社区插件声明的 Tool 入口<br/>(自动零代码桥接为 AI Function Tool)"]
    end

    ExtClient <-->|"Stdio / SSE (JSON-RPC 2.0)"| ServerRole
    ServerRole --> MFT & Clip & Win & Screen
    HostRole --> MFT & Clip & Win & Screen & ExtTools

2.1 向内赋能（作为 MCP Host）：一行配置让普通插件秒变 AI Agent 工具

在 ZTools 的插件生态中，社区开发者不仅可以用 <List> 和 <Form> 编写可视化界面，还可以在 plugin.json 中声明 tools 入口。

@ztools/ai-mcp 网关在启动时会自动扫描所有已安装插件的 Tool 定义，将其 JSON Schema 动态注册进内置的 McpHost 工具注册表。当用户在 ZTools 的极简搜索框或 AI 对话舞台中输入自然语言指令（如 “帮我找出占用内存最高的前三个 Node 进程并把它们的 PID 复制到剪贴板”）时，大模型会自动通过 Function Calling 串联调用 kill-process 插件与 clipboard 原生工具完成闭环！

2.2 向外赋能（作为 MCP Server）：给 Cursor 和 Claude 装上 0.035ms 的本地搜索眼

很多开发者日常重度使用 Cursor、Windsurf 或 Claude Desktop。这些外部 AI 工具在需要跨盘检索本地非当前工作区的文件、读取系统剪贴板历史或控制桌面窗口时往往束手无策。

通过将 ZTools 暴露为本地标准 MCP Server，外部 AI 客户端只需挂载 ZTools 端点，即可直接调用四大硬件级系统工具：

三、 屏幕视觉感知（Screen Awareness）：所见即所问

传统的划词或截图提问需要“先按截图键 → 保存图片 → 打开 AI 网页 → 上传图片 → 打字提问”整整 5 个步骤。

在 ZTools 中，我们将 特权穿透取词（ztools-uiaccess）、高速屏幕捕获（Windows DXGI / macOS ScreenCaptureKit） 与 多模态大模型流式路由 融合成了 screen-awareness（屏幕视觉感知） 套件：

sequenceDiagram
    participant User as 用户 (按下全局 AI 感知热键)
    participant UIAccess as ztools-uiaccess 特权侧车
    participant Capture as 硬件加速截屏引擎 (DXGI / SCK)
    participant Router as ModelRouter (多模态流式路由)

    User->>UIAccess: 1. 触发“向 AI 询问当前屏幕/窗口”
    par 并行毫秒级上下文采集 (< 15ms)
        UIAccess->>UIAccess: 2a. 穿透 UIPI 提取当前选中文本 & 活跃浏览器 Tab URL
        Capture->>Capture: 2b. 捕获当前活动窗口或框选区域高分屏位图 (自动压缩编码)
    end
    UIAccess->>Router: 3. 组装多模态上下文包 (Image + SelectedText + AppMetadata)
    Router->>User: 4. 实时流式渲染 DeepSeek-R1 思维链 / 视觉解读与一键回填动作

无论是屏幕上弹出的晦涩 C++ 链接器报错弹窗、一张包含复杂表格的 PDF 截图，还是外文技术文档，结合内置的 OCR 与多模态感知能力，用户只需按下一个快捷键即可直接提取或解读画面内容：

四、 极客自由至上：统一 ModelRouter、DeepSeek-R1 思维链与本地离线模型嗅探

在 packages/ai-mcp/src/router/ 中，我们实现了完全透明、零中间商赚差价的统一模型路由器（ModelRouter）。

4.1 原生解析 DeepSeek-R1 思考流（reasoning_content）

针对国内开发者高频使用的 DeepSeek（deepseek-reasoner / R1）、SiliconFlow（硅基流动）、OpenAI 与 Claude，路由器在底层 SSE（Server-Sent Events）流式解析器中做了原生归一化适配——将 DeepSeek-R1 的 <think> / reasoning_content 思维链流与最终回答流拆分为独立的响应式事件通道，在声明式 <Detail> 舞台上实时呈现可折叠的深度思考过程：

// ModelRouter 流式增量归一化核心逻辑示意
export async function* streamChatCompletion(
  provider: AIProviderConfig,
  messages: ChatMessage[],
  signal?: AbortSignal
): AsyncGenerator<StreamDeltaChunk> {
  const response = await fetch(`${provider.baseUrl}/chat/completions`, {
    method: 'POST',
    headers: {
      'Content-Type': 'application/json',
      ...(provider.apiKey ? { Authorization: `Bearer ${provider.apiKey}` } : {}),
    },
    body: JSON.stringify({
      model: provider.modelId,
      messages,
      stream: true,
    }),
    signal,
  });

  for await (const rawLine of parseSseLines(response.body)) {
    const payload = JSON.parse(rawLine);
    const delta = payload.choices?.[0]?.delta;
    if (!delta) continue;

    // 1. 原生捕获 DeepSeek R1 / 推理模型的思维链增量流
    if (typeof delta.reasoning_content === 'string' && delta.reasoning_content.length > 0) {
      yield { type: 'reasoning', text: delta.reasoning_content };
    }

    // 2. 捕获标准正文增量流
    if (typeof delta.content === 'string' && delta.content.length > 0) {
      yield { type: 'content', text: delta.content };
    }

    // 3. 捕获 MCP / Function Tool 调用指令流
    if (delta.tool_calls) {
      yield { type: 'tool_call_delta', toolCalls: delta.tool_calls };
    }
  }
}

4.2 本地离线模型自动嗅探器（local-sniffer.ts）

对于处理公司核心商业源码、绝不允许任何字节流出内网的极客用户，ZTools 内置了 本地离线大模型零配置嗅探器：

• 无需手动填写繁琐的 URL，嗅探器以非阻塞方式自动探测本机环回地址的 127.0.0.1:11434（Ollama 默认端口） 与 127.0.0.1:1234（LM Studio 默认端口）；
• 一旦检测到本地服务在线，自动读取 /api/tags 或 /v1/models 接口拉取本机已下载的模型列表（如 qwen2.5-coder:14b、deepseek-r1:8b、llama3.3）；
• 用户在偏好设置中一键勾选即可切换至 100% 纯离线本地推理模式，断网环境下依然畅享 AI 编码辅助与翻译！

五、 总结与下期预告

通过 “双向 MCP 开放网关 + 硬件级屏幕视觉感知 + BYOK 与本地 Ollama 零配置直连”，ZTools 让 AI 真正长出了操控桌面操作系统的“手和眼”（可直接联动 0.035ms MFT 文件秒搜与 SQLite 剪贴板流），同时把模型选择权与数据隐私权 100% 交还给了用户。

说到数据隐私，当用户在办公电脑和家里电脑之间同步自己的 AI 密钥、快捷短语（Snippets）和插件配置时，我们如何在不强制用户注册官方账号、且确保云端服务器连半个明文字节都看不到的前提下，实现零成本的多端同步？

• 下一篇（第 10 篇）：《云端只存密文！基于 Argon2id + AES-256-GCM 打造零成本端到端加密（E2EE）多端同步》，带您深入 @ztools/sync-crypto 的现代密码学实战！（实操指南：《免费接入 DeepSeek 与本地离线大模型教程》 · 《截屏 OCR 提取文字 + 翻译 1 秒搞定》）

本文关联核心插件（官网详情与使用指南）

• 离线屏幕文字识别 (OCR)（媒体处理）：联动屏幕上下文感知，1 秒提取图像/PDF/视频帧中不可复制的文字
• AI 文档转 Word 排版（办公效率）：将大模型生成的 Markdown 报告一键转换为标准公文/商务 Word 文档
• cURL 与轻量接口调试（系统工具）：快速调试本地 Ollama (11434)、MCP 服务端点与 REST API
• SQL 格式化与方言转换（系统工具）：配合开发流快速美化、校验并转换多数据库 SQL 查询语句

官方体验与开源共建

官方网站（免费下载体验）：https://www.ztools.cn （www.ztools.cn）

⭐ GitHub 核心宿主开源仓库：https://github.com/ZToolsTeam/ZTools

Gitee 国内镜像开源仓库：https://gitee.com/hoposky/ZTools

GitHub 插件生态开源大仓：https://github.com/ZToolsTeam/ZTools-extensions

欢迎前往官网下载体验，或点击上方 GitHub / Gitee 链接为我们点亮一颗 Star ⭐，一起打造纯粹开源、免费极客的下一代跨平台效率中枢！