screenpipe

Screenpipe 是一个跨平台、开源的桌面应用程序，旨在 24/7 全天候捕获屏幕、音频、用户界面元素和交互活动。它将提取的文本和音频转录存储在本地的 SQLite 数据库中，确保数据的私密性和安全性。

主要功能：

• 持续记录：实时记录屏幕、音频、UI 元素和用户交互，提供全面的活动日志。
• 数据提取与存储：自动提取屏幕上的文本内容，转录音频，并将所有数据存储在本地的 SQLite 数据库中，确保数据隐私。
• 嵌入与检索增强生成（RAG）：支持嵌入、检索增强生成管道，以及通过 Ollama 集成本地大型语言模型（LLM），或通过 OpenAI/Anthropic 代理进行连接。
• 应用部署：允许开发者通过 Screenpipe 将 Next.js 应用直接部署到桌面，无需额外的包装器。

应用场景：

• AI 助手开发：构建能够理解用户桌面上下文和活动的 AI 助手，提高工作效率。
• 搜索工具创建：开发强大的搜索工具，索引并查询桌面活动，方便信息检索。
• 用户工作流优化：分析并优化用户的工作流程，提升操作效率。

开发者反馈：

• Weights & Biases 的 Sam Stowers 表示，Screenpipe 为他的 AI 助手开发节省了数月的时间。
• Open Interpreter 的 Mike Bird 发现，Screenpipe 库可以轻松与他的生产力应用相结合。
• Banana.dev 的创始人 Kyle Morris 认为，Screenpipe 的 API 简单易用，部署迅速。

使用步骤：

1. 安装 Screenpipe 库：在 Linux 和 macOS 上，可以使用以下命令安装：
   bash

   复制编辑

   curl -fsSL raw.githubusercontent.com/mediar-ai/screenpipe/main/install.sh | sh

2. 下载 Screenpipe 应用：访问官方网站获取下载链接，并接收关于 Screenpipe 的最新更新。
3. 创建应用：使用以下命令从模板引导创建应用：
   bash

   复制编辑

   bunx @screenpipe/create-pipe@latest

4. 本地部署：在 Screenpipe 桌面应用中运行：
   bash

   复制编辑

   screenpipe pipe install <path or url>


通过以上步骤，开发者可以快速上手，利用 Screenpipe 构建具备桌面上下文感知能力的 AI 工具。