Tác tử điều khiển máy tính
Nhìn màn hình, nhấp chuột và gõ như con người
Toàn văn của trang này được trình bày bằng tiếng Anh; tiêu đề và phần dẫn đã được bản địa hóa.
NĂNG LỰC NÀY NGHĨA LÀ GÌ
Takes a task to be done through a user interface — add this column to the sheet — and outputs a sequence of mouse and keyboard actions, with screenshots as the observation at each step. It needs no software API, so it can drive legacy systems that expose none. Unlike an autonomous agent its actions land on a graphical interface rather than code or APIs.
Làm ra sao về mặt kỹ thuật
The model treats screenshots as observations and emits actions such as click coordinates, scrolling and typing, advancing in a repeated screenshot–action loop. Training data comes from recordings of human operations and trajectories annotated on synthetic tasks, and evaluation runs on task sets over real websites and desktop apps. To reduce risk, deployments usually run in isolated virtual machines or constrained accounts with confirmation points on sensitive actions.
Sản phẩm tiêu biểu
5Claude
2023Mô hình hội thoại phổ thông nổi bật với ngữ cảnh dài và căn chỉnh an toàn
Devin
2024Tác nhân lập trình tự chủ có shell, trình soạn thảo và trình duyệt riêng
ChatGPT
2022Cửa sổ trò chuyện đưa mô hình ngôn ngữ lớn đến tay mọi người
Gemini
2023Mô hình đa phương thức gốc, xử lý ngữ cảnh siêu dài
Cursor
2023Trình soạn thảo mã trên máy tính lấy cả kho mã làm ngữ cảnh
Tổ chức liên quan
Cách dùng tiêu biểu
- Testing and accepting web flows
- Data entry into legacy systems without APIs
- Automating repetitive back-office operations
- Operating interfaces on behalf of users with accessibility needs
Ranh giới và điểm khó
- Clicks based on screenshot pixel coordinates miss as soon as resolution or page zoom changes
- Captchas, pop-ups, long scrolling and lazy loading make it stall or repeat ineffective actions
- With no reliable intermediate feedback, a wrong click corrupts real accounts and data, so isolated execution is mandatory
Các khái niệm đằng sau
Tác tử và sử dụng công cụ
Để mô hình không chỉ trả lời, mà còn tra cứu, gọi API, chạy mã — và quyết định bước tiếp theo từ kết quả nhận được
Kỹ thuật prompt và căn chỉnh
Làm cho mô hình hữu ích, trung thực và vô hại khó hơn việc chỉ phóng to nó
An toàn, căn chỉnh và chèn lệnh (prompt injection)
Mô hình tối ưu chỉ số đại diện ghi trong hàm mất mát, không phải điều ta thực sự muốn — khoảng cách đó chính là toàn bộ vấn đề căn chỉnh