基于19个产品的全面调研，涵盖系统级AI助手、RPA+AI平台、开源框架等多个维度，深入分析技术路线、市场格局与构建方法。
全面梳理桌面Agent市场格局，包括商业产品、开源项目，按区域和层级进行分类分析。
| 产品名称 | 公司/组织 | 类型 | 地区 | 核心技术 | 关键特性 |
|---|
| 产品 | 类型 | 地区 | 层级 | 技术路线 | 定价 | 易用性 | 通用性 | 企业就绪 | 社区 | 隐私 |
|---|
技术路线对比、市场竞争格局、趋势预测与投资机会分析。
Visual Understanding
Code Execution
RPA Automation
UI-TARS等专用视觉语言模型持续优化，OSWorld等基准测试性能突破80%，视觉理解准确率大幅提升。
视觉+语言+代码的三模态Agent成为主流，"看图操作"能力接近人类水平。端侧AI崛起，Copilot+ PC引领本地NPU算力革命。
金融、政务、医疗、制造成为主战场，行业专属Agent大量涌现，从"通用工具"向"行业解决方案"演进。
AIOS等智能体OS框架推动行业标准化，从'应用级Agent'向'系统级Agent'演进，操作系统原生支持AI Agent成为趋势。
从单一Agent向多Agent协作演进，Agent之间可通信、协作、分工，形成'AI团队'完成复杂项目。
技术壁垒高，掌握生态主导权，多模态模型是Agent核心能力基础
社区驱动，快速迭代，成为创新基础设施，潜在被商业收购价值
本土市场优势，信创政策红利，上市预期，企业级客户粘性高
行业Know-How壁垒，高客单价，定制化服务，细分领域龙头机会
平台价值，生态位关键，网络效应，一旦占领难以替代
本地算力需求增长，隐私驱动本地部署，硬件+软件协同优化
基于19个产品的深度调研，提供构建桌面Agent的详细技术指南。
记录所有重要操作：安全事件、Agent动作、用户操作、系统事件。日志本地存储，保留90天，支持导出。
my-desktop-agent/
├── apps/
│ ├── desktop/ # Tauri/Electron
│ └── web/ # Web版本
├── packages/
│ ├── core/ # Agent核心逻辑
│ ├── ui/ # 共享UI组件
│ ├── skills/ # 技能插件
│ └── sandbox/ # 沙箱实现
├── servers/
│ ├── gateway/ # Gateway服务
│ └── mcp/ # MCP服务器
├── docs/ # 文档
├── tests/ # 测试
└── turbo.json # Turborepo本报告中涉及的专业术语说明
能够感知环境、理解任务、做出决策并执行行动的人工智能系统。在本报告中指能够在桌面上执行自动化任务的AI助手。
视觉语言模型，能够同时理解图像和文本的多模态模型。在桌面Agent中用于理解屏幕内容、识别UI元素。
机器人流程自动化，通过软件机器人模拟人类操作自动执行重复性业务流程的技术。
Model Context Protocol，Anthropic推出的开放标准协议，用于规范AI助手与外部工具、数据源的通信连接。
Large Language Model，大语言模型，如GPT-4、Claude等基于Transformer的AI模型，能够理解和生成自然语言。
图形用户界面自动化，通过模拟鼠标、键盘操作来控制图形界面的技术。
系统级Agent，拥有操作系统原生集成权限，能够访问系统API、执行底层操作。
隔离的运行环境，用于安全地执行AI生成的代码，防止恶意操作影响主系统。
Edge AI，在本地设备（而非云端）上运行的AI模型，强调数据隐私和低延迟响应。
用于评估AI Agent操作计算机能力的基准测试，包含各种真实计算任务，Agent-S在此测试中达到72.60%超越人类水平。
Agent-to-Agent Protocol，Google推出的开放协议，用于规范不同AI Agent之间的通信与协作。
函数调用，LLM通过调用预定义函数来执行实际操作的能力，是Agent工具使用的基础。
令牌，LLM处理文本的基本单位，通常一个词或词的一部分。API按token数量计费。
上下文窗口，LLM单次能处理的最大token数量，决定了Agent能记住多少对话历史。
提示词工程，通过设计优化输入提示来引导LLM产生更好输出的技术和方法。
温度参数，控制LLM输出随机性的参数。较低值产生更确定性输出，较高值增加创造性。
接地，将AI输出与现实世界信息对齐的技术，确保Agent理解真实世界上下文。
向量数据库，存储和检索向量嵌入的数据库，用于语义搜索、RAG等场景。
检索增强生成，通过结合外部知识库来增强LLM回答质量的技术。
OpenAI开发的开源语音识别模型，支持多语言高精度转录，常用于Agent语音输入。
Text-to-Speech，文本转语音技术，将文本内容转换为自然语音输出的能力。
Voice Activity Detection，语音活动检测，用于识别用户是否在说话的技术。
多模态，能够同时处理和理解多种类型数据（文本、图像、音频等）的AI模型能力。
微调，在预训练模型基础上使用特定数据集进行进一步训练，以适应特定任务或领域。