mac-local-vision: Server visi perangkat kompak di perangkat untuk agen macOS
mac-local-vision, oleh Junmo Kim, adalah server dan CLI Model Context Protocol yang ringan yang memberikan konteks visual di perangkat untuk aplikasi macOS untuk agen AI dan otomatisasi. Ini menjalankan Vision dan FoundationModels Apple secara lokal untuk melakukan OCR, klasifikasi gambar, dekode barcode, dan lokalisasi UI dengan latensi rendah untuk alat agen. Kemampuan kunci termasuk OCR lokal tanpa token, koordinat teks yang tepat piksel, ekstraksi dokumen terstruktur, dan pengelompokan wajah. Pengembang, insinyur QA, dan pengguna yang peduli privasi mendapatkan visi yang dipercepat perangkat keras secara pribadi untuk alur kerja agen Mac.
Ini mencapai pengenalan visual yang dipercepat perangkat keras dalam subdetik
Alat ini adalah biner Swift tunggal yang murni dengan ukuran sekitar 550 KB tanpa ketergantungan runtime eksternal, menggunakan kerangka kerja Vision dan FoundationModels asli. Desain tersebut menghasilkan latensi yang sangat rendah untuk tugas-tugas umum, dengan OCR dilaporkan sekitar 0.3s. Aplikasi ini mendekode barcode 1D dan 2D yang didukung Vision dalam satu panggilan dan melakukan rekifikasi dokumen untuk meratakan halaman yang difoto, semuanya tanpa mengirim data keluar dari mesin.
Keluaran disusun untuk otomatisasi dan alur kerja verifikasi
mac-local-vision mengembalikan keluaran yang ramah mesin yang cocok untuk pengujian otomatis dan tindakan agen: ia menyediakan koordinat pixel-exact untuk kata-kata tertentu untuk memungkinkan klik atau pernyataan, dan OCR dokumen terstruktur yang mempertahankan judul, paragraf, tabel, dan daftar. Klasifikasi gambar menggunakan taksonomi lebih dari 1.300 label dan pengelompokan wajah lokal mengelompokkan foto berdasarkan orang. Server MCP bawaan mendukung stdio dan HTTP JSON-RPC untuk integrasi ke dalam saluran agen.
Desain yang mengutamakan privasi dan batasan platform membentuk penggunaan praktis
Aplikasi ini memproses gambar sepenuhnya di Mac lokal, jadi tidak ada data visual yang meninggalkan perangkat dan tidak ada token cloud yang diperlukan. Ini ditujukan untuk Apple Silicon dan memerlukan macOS 26 atau lebih baru; beberapa fitur multimodal, termasuk perintah beta ask, memerlukan macOS 27 beta dan Apple Intelligence. Penyebaran memerlukan klien yang kompatibel dengan MCP dan dapat diinstal melalui Homebrew, alat mise, atau unduhan biner yang telah dibangun sebelumnya.
Pilihan yang terfokus untuk alur kerja agen dan QA yang berfokus pada Mac
mac-local-vision adalah pilihan praktis untuk tim yang menyematkan konteks visual lokal ke dalam rantai alat agen berbasis MCP dan menerima penyebaran hanya di Mac. Waktu berjalan yang kecil dan pemrosesan lokal mengurangi ketergantungan eksternal, tetapi pengguna harus memvalidasi hasil pengenalan terhadap tema UI mereka sendiri dan dokumen yang difoto karena input visual bervariasi. Alat ini paling cocok untuk proyek yang memprioritaskan privasi dan integrasi yang erat dengan perangkat keras Apple dan klien agen.
