pi-computer-use とは？PiでデスクトップアプリをAI操作する使い方を解説

💡 まずは結論：pi-computer-use は、前回紹介したミニマルAIコーディングエージェント「Pi」に「画面を見て・クリックして・文字を打つ」能力を足す拡張機能です。 macOS / Windows の普通のアプリを、APIやコマンドではなく「人間が操作するのと同じように」AIに扱わせたい時に使います。

本記事では、GitHub の公式リポジトリ（injaneity/pi-computer-use）とドキュメントをもとに、初心者にもわかるよう「何ができるか」と「どう使うか」をまとめました。

🤔 pi-computer-use って何？ 一言で言うと

「Pi というAIエージェントに、あなたのパソコンの画面を操作させるための拡張機能」 です。

身近な例で言うと、こうです。

• 普段あなたが「ブラウザを開いて、このボタンを押して、文字を入力する」ことを手作業でやっている
• それを Pi に「代わりにやって」と頼める ようになる

技術用語でいうと、「Computer Use（コンピュータユース）」 と呼ばれる機能です。AIが画面の画像やUI（ボタン・テキスト）を理解し、マウス操作やキー入力を自ら行います。

Pi との関係

Pi 単体では「ターミナル上のファイル操作・コマンド実行」が中心ですが、この拡張を入れると 「画面を持つ普通のアプリ」も操作対象になります。 Pi については別記事で詳しく解説しています（Pi Coding Agent とは？）。

⚡ こんな時に役立つ

• API もコマンドも用意されていない 古いデスクトップアプリ を自動操作したい
• ブラウザの画面遷移を伴う作業を Pi に任せたい
• 「とりあえず画面のこのボタンを押して」という定形作業を自動化したい

逆に、アプリが正式な API や MCP 連携を持っている場合は、そちらを使う方が確実 です。Computer Use は「画面が唯一の入り口」の時に最も力を発揮します。

🛠️ インストール手順

1. Pi が既に入っていることが前提

まだの場合は、先に Pi を入れます（Pi の導入記事参照）。

curl -fsSL https://pi.dev/install.sh | sh

2. パッケージをインストール

Pi のコマンドで、GitHub からこの拡張を入れます。

pi install git:github.com/injaneity/pi-computer-use@v0.4.3

（npm 経由でも入ります：npm install @injaneity/pi-computer-use）

3. Pi を起動してセットアップ

pi

起動後、プラットフォームごとのセットアップフローを完了させます。

4. macOS の場合：権限を許可する

macOS 14 以降が必要です。セットアップでヘルパーアプリが登録されるので、以下の権限をオンにします。

• アクセシビリティ（Accessibility）
• 画面収録（Screen Recording） —— 新しい macOS では「画面とシステムオーディオの収録」と表示される場合があります

対象アプリは /Applications/pi-computer-use.app です。設定画面でトグルを入れ、「Recheck（再確認）」を選びます。

5. Windows の場合

インタラクティブなデスクトップセッション（普通にログインしている画面）で使います。Windows は macOS のヘルパーアプリや権限フロー（TCC）は使わず、OS標準のアクセシビリティAPIを利用します。

6. 設定を確認

Pi の中で以下を打つと、今の設定とその出所が表示されます。

/computer-use

🎯 基本的な使い方の流れ

Computer Use の基本サイクルは 「見つける → 観察する → 調べる → 操作する」 の4ステップです。

よく使うツール一覧

💡 実際に動かしてみる（イメージ）

Pi にこんな指示を出すイメージです。

「メモ帳を開いて、'hello' と入力して保存して」

裏側では Pi が以下を順に実行します。

// 1. ウィンドウを見つける
find_roots()
// 2. 観察して stateId を得る
observe_ui({ root: "@r1" })
// 3. 「hello」を入力して Enter（確認付き）
act_ui({
  stateId,
  actions: [
    { action: "click", x: 420, y: 300 },
    { action: "typeText", text: "hello" },
  ],
  expect: { text: "hello" },
})

act_ui は「操作した結果、ちゃんと反映されたか」を自動で検証します。アプリが反応しなかった場合は failed と報告されるので、「押したつもりが押さされていない」を防げます。

ブラウザも同じように操作できる

launch_browser({ browser: "helium", url: "https://example.com" })
find_roots({ kind: "browser_page" })
observe_ui({ root: "@r3" })
act_ui({ stateId, actions: [{ action: "press", ref: "@e7" }] })
navigate_browser({ stateId: returnedStateId, url: "https://openai.com" })

🔒 セキュリティ上の注意

Computer Use は「実際にあなたの画面を操作する」強力な機能です。

• macOS では明示的な権限許可が必要（アクセシビリティ・画面収録）
• 操作は「今見えている画面」に対して行われるため、誤操作を防ぐためにも Pi の指示内容をよく読んでから実行 させましょう
• 本番環境や重要なアプリでは、まずテスト用の環境で試すのがおすすめ

⚖️ メリット・デメリット

🤔 よくある質問（FAQ）

Q. これ単体で動きますか？ いいえ。Pi（pi.dev）が本体です。pi-computer-use は Pi 用の拡張機能として動きます。

Q. Linux でも使えますか？ 公式は macOS 14以降と Windows に対応しています。Linux は現時点のREADMEに明記されていません。

Q. 無料ですか？ この拡張自体は MITライセンスのオープンソースです。Pi も無料ですが、AIモデルの実行には別途プロバイダーの認証が必要です。

Q. どのAIモデルで動きますか？ Pi が対応する15種以上のモデル（Claude / GPT / Gemini など）を使えます。

Q. 操作ミスを防ぐ仕組みは？ act_ui が操作後の状態を自動検証し、verified / preexisting / failed を報告します。

Q. どこからインストールできますか？ GitHub（injaneity/pi-computer-use）または npm（@injaneity/pi-computer-use）からです。

📝 まとめ

pi-computer-use は、「Pi にデスクトップアプリを人間の手で操作するのと同じことをさせる」拡張機能 です。

• Pi（ミニマルAIエージェント）に画面操作能力を追加する
• macOS 14以降 / Windows に対応、インストールは pi install 1行
• 「見つける→観察→調べる→操作する」のサイクルで動く
• 操作結果を自動検証するため、安心して自動化できる
• APIのないアプリをAI操作したい人に特におすすめ

つまり、Pi を「ただのターミナルAI」から「あなたの代わりにパソコンを触るAI」に昇格させたいなら、これが最短路です。 Pi 本体については Pi Coding Agent の記事 も合わせてどうぞ。

👉 GitHub: injaneity/pi-computer-use 👉 npm: @injaneity/pi-computer-use 👉 Pi 公式: Pi Coding Agent 👉 Computer Use とは？: Wait, what exactly is Computer Use?

---

合わせて読みたい

• 【2026年】Claude Fable 5で金融資産を守る！AIエージェントによる資産管理・監視・最適化の実践ガイド
• 【2026年】Cloudflare Monetization Gateway完全ガイド！Webページ・API・MCPツールに「1回の課金」をかける方法
• 【2026年】A Fable of Codexes完全ガイド — Claudeが指揮するAIワーカー軍団の作り方
• 【2026年】GPT-Live完全ガイド！OpenAIのフルデュプレックス音声AIがChatGPTを根本から変える
• 【2026年】component.galleryを使ってAIのUI生成指示を劇的に上手くする方法！コンポーネント用語図鑑の活用法