sideOS：理解螢幕並操作 App 的 Mac AI 助理

sideOS 是能理解螢幕內容並實際操作 App 的 Mac AI 助理，整合語音指令、本機聽寫、背景任務、會議紀錄與 MCP 連線。產品由 Stockimg AI, Inc. 開發及銷售，適用於 Apple Silicon Mac，系統須為 macOS 14 或更新版本。

白話介紹：sideOS 到底能幫你做什麼？

它像是待在螢幕頂端瀏海區的工作助手。你可以說「把這個網頁整理成一則備忘錄」，讓它讀取目前內容，再開啟 App、點選並輸入結果。官方網站是下載、購買授權及查詢支援的入口，真正執行任務的是安裝在 Mac 上的應用程式。

使用時先分清兩種需求：代理模式會理解目標並呼叫工具，例如整理資料或準備回信；聽寫模式只把說話內容寫到游標所在位置。把回信唸出來，與請它尋找郵件、整理重點再擬稿，是不同工作流程。適合經常在瀏覽器、郵件、文件與筆記間搬移資訊的人。

從第一次操作開始，先確認權限與結果

1. 確認 Mac 採用 Apple Silicon 並符合系統要求，安裝 App、完成引導及授權啟用。
2. 到 Settings › Permissions 檢查輔助使用、麥克風及語音辨識權限。快捷鍵沒有反應時，先檢查這裡。
3. 在 Settings › AI 選擇模型。雲端模型需要自己的 API 金鑰及供應商可用額度；本機模型則需先準備適合記憶體容量的模型。
4. 開啟要處理的網頁，按住 Control + Option，說明要整理哪些內容、存到哪裡，再放開按鍵。
5. 開啟產生的筆記，確認內容與儲存位置。方向不對時按 Esc 停止；發送、刪除或付款前，仍應自行檢查。

雙按 Control 可改用文字對話。不要只憑助理回報「完成」就結束檢查，應查看真正建立的文件與 App 狀態。

跨 App 操作、螢幕框選與 MCP 工具

sideOS 優先讀取 macOS 輔助使用樹，取得按鈕、文字欄位與視窗內容，再透過點選、輸入、快捷鍵及 AppleScript 進行操作。遇到圖表或圖片，可在提出要求時框選相關區域，讓圖像補足結構化資訊；這不代表任何介面都能被準確辨識。

圖片、PDF、Markdown、CSV、JSON 與程式碼也能拖到頂端區域後提問。重要數字、日期及推論請對照原檔。HTTP、stdio 與 OAuth 方式的 MCP 連線可加入 Gmail、Calendar、Notion、Slack、GitHub 等服務工具。會發送、修改或刪除資料的工具預設停用，需由使用者決定是否開啟。

Mac 語音輸入：本機聽寫的使用邊界

按住 Control + fn 說話，可將文字輸入目前欄位，也支援免持聽寫。若沒有選到可編輯欄位，文字會留在剪貼簿。預設聽寫透過 macOS 裝置端語音引擎處理，不需要模型 API 金鑰，也不額外按字數收費。

官網列出經典引擎支援 62 種語言，單次約一分鐘；macOS 26 的 SpeechAnalyzer 列出 30 種語言，沒有相同的單次時長限制。實際功能取決於系統與語言，不應將多語言支援解讀為每種語言都有相同條件。

讓會議、研究與提醒接續工作

背景任務可搜尋網頁、處理檔案及產生 PDF，輸出集中在 Documents › sideOS Tasks。會造成不可逆影響的指令須經核准，完成後仍要檢查報告來源與內容。

當 Zoom、Meet 或 Teams 視窗出現時，App 會提議錄製，不會自動開始。Whisper 轉錄在本機執行，後續可整理摘要並把行動項目轉成提醒。摘要可複製為 Markdown，或連同逐字稿匯出為 Markdown、HTML。錄製前確認參與者同意及適用規範；若使用雲端模型產生摘要，相關文字仍會依模型設定傳送。

記憶保存在本機，可查看、編輯、刪除或關閉。活動紀錄是另一項預設關閉的功能，可設定保留時間與排除 App，密碼管理工具始終排除。重複提醒也能在通知前先準備任務結果，適合需要持續追蹤工作的使用者。

隱私要看資料實際往哪裡走

錄音、逐字稿、記憶與歷史存於本機，API 金鑰放在 macOS 鑰匙圈。雲端推理會將任務所需指令、螢幕文字及必要圖像，直接傳給選定的模型供應商；MCP 也會與連線服務交換資料。開啟選用的雲端聽寫、語音對話或雲端朗讀時，另有相關傳輸。

每日使用統計可以關閉；授權啟用會傳送授權與裝置資訊。提交問題回報時，工作階段日誌可能含有指令及聽寫文字，應先閱讀再寄送。完整規則見官方隱私權政策。本機儲存不等於使用雲端功能時完全不傳資料。

買斷授權、模型費用與離線期限

截至 2026 年 10 月 25 日，公開價格為 89.90 美元一次性購買，同一時間可用於一台 Mac，能轉移授權並包含未來 App 更新。最終金額、稅費及交易條件以官方定價與結帳頁為準，不能直接當成新臺幣報價。

選用 Anthropic、OpenAI、Google 或 xAI 雲端模型，須自行提供 API 金鑰並向供應商支付用量費；本機 MLX 模型可免除這部分雲端推理費，但受記憶體與模型能力影響。聽寫不加收用量費，也不代表整款軟體永久免費。

授權條款另要求啟用及定期續驗，續驗後最多離線使用 30 天。本機模型能離線推理，與授權永遠不需連網驗證，必須分開看待。

常見問題

sideOS 免費嗎？買斷是否包含模型費用？

App 採付費買斷，本機聽寫不額外按字數計費。雲端模型用量由供應商另行收費，本機模型可避免這筆雲端費用。

沒有 API 金鑰或網路還能使用嗎？

本機聽寫不需要模型金鑰，準備好的本機模型也能離線推理；網頁搜尋及外部服務仍須網路，授權續驗後的離線期限最多 30 天。

螢幕與語音資料會傳去哪裡？

取決於模式。雲端模型會收到必要上下文，選用雲端語音與 MCP 服務也有各自傳輸；錄音和歷史保存在本機並不排除這些資料流。

需要哪種 Mac 與哪些權限？

Apple Silicon Mac、macOS 14 或更新版本，以及輔助使用、麥克風與語音辨識權限。目前不支援 Intel Mac。

官方資源與使用支援

• 官方支援：排查安裝、權限、模型連線與授權問題。
• 版本更新紀錄：確認本機模型、匯出與修正內容。