وكلاء تشغيل الحاسوب
رؤية الشاشة والنقر والكتابة كما يفعل الإنسان
يُعرض النص الكامل باللغة الإنجليزية؛ وقد تمت ترجمة العنوان والملخص.
ما الذي تعنيه هذه القدرة
Takes a task to be done through a user interface — add this column to the sheet — and outputs a sequence of mouse and keyboard actions, with screenshots as the observation at each step. It needs no software API, so it can drive legacy systems that expose none. Unlike an autonomous agent its actions land on a graphical interface rather than code or APIs.
كيف تُنفَّذ تقنيًا
The model treats screenshots as observations and emits actions such as click coordinates, scrolling and typing, advancing in a repeated screenshot–action loop. Training data comes from recordings of human operations and trajectories annotated on synthetic tasks, and evaluation runs on task sets over real websites and desktop apps. To reduce risk, deployments usually run in isolated virtual machines or constrained accounts with confirmation points on sensitive actions.
منتجات تمثيلية
5Claude
2023نموذج محادثة عام يشتهر بسياقه الطويل ومواءمته الأمنية
Devin
2024وكيل برمجي مستقل يملك طرفية ومحررًا ومتصفحًا خاصًا به
ChatGPT
2022نافذة محادثة جعلت نموذج اللغة الكبير في متناول الجميع
Gemini
2023نموذج عام متعدد الوسائط بطبيعته، مصمم لسياقات طويلة جدًا
Cursor
2023محرر أكواد مكتبي يعتبر المستودع بأكمله سياقًا
المؤسسات ذات الصلة
الاستخدامات الشائعة
- Testing and accepting web flows
- Data entry into legacy systems without APIs
- Automating repetitive back-office operations
- Operating interfaces on behalf of users with accessibility needs
الحدود والصعوبات
- Clicks based on screenshot pixel coordinates miss as soon as resolution or page zoom changes
- Captchas, pop-ups, long scrolling and lazy loading make it stall or repeat ineffective actions
- With no reliable intermediate feedback, a wrong click corrupts real accounts and data, so isolated execution is mandatory
المفاهيم الكامنة وراءها
الوكلاء واستخدام الأدوات
أن لا يجيب النموذج فحسب، بل يبحث ويستدعي الواجهات ويشغّل الشيفرة، ثم يقرّر الخطوة التالية بناءً على النتيجة
هندسة الأوامر والمواءمة
جعل النموذج مفيداً وصادقاً وغير ضارّ أصعب من مجرد تكبيره
السلامة والمواءمة وحقن الأوامر
لا يحسّن النموذج ما نريده فعلًا، بل مؤشرًا بديلًا كتبناه في دالة الخسارة — والفجوة بينهما هي مشكلة المواءمة كلها