ربات ها با تماشا ویدیو استفاده از ابزارها را یاد می‌گیرند

پژوهشگران دانشگاه ایلینوی اربانا-شمپین، با همکاری محققانی از دانشگاه‌های کلمبیا و تگزاس آستین، سیستمی نوین طراحی کرده‌اند که به ربات‌ها امکان می‌دهد با تماشای ویدیو، استفاده از ابزارها را بیاموزند.

در حالی که اکثر ربات‌های کنونی برای وظایف تکراری برنامه‌ریزی می‌شوند، روش جدید به نام Tool-as-Interface رویکردی خلاقانه برای آموزش مهارت‌های پیچیده ارائه می‌دهد. این سیستم از ویدیوهای معمولی ضبط‌شده با دو دوربین بهره می‌برد و با استفاده از مدل بینایی MASt3R و تکنیک «3D Gaussian splatting»، صحنه‌ها را به‌صورت سه‌بعدی بازسازی می‌کند. ربات با حذف انسان از تصویر و تمرکز بر ابزار، مسیر و زاویه حرکت آن را یاد می‌گیرد.

این تیم آزمایش‌هایی متنوع مانند کوبیدن میخ با چکش، برداشتن کوفته‌قلقلی، برگرداندن تخم‌مرغ در ماهیتابه، متعادل کردن بطری شراب و حتی شوت زدن توپ فوتبال به سمت دروازه را با موفقیت انجام داده است. نتایج نشان می‌دهد که روش Tool-as-Interface در مقایسه با روش‌های سنتی، ۷۱ درصد نرخ موفقیت بالاتر و ۷۷ درصد سرعت بیشتر در جمع‌آوری داده دارد.

محققان معتقدند این دستاورد می‌تواند نقطه عطفی در یادگیری رباتیک باشد، زیرا دیگر نیازی به سخت‌افزارهای خاص یا اپراتورهای حرفه‌ای نیست و حتی ویدیوهای ضبط‌شده با گوشی یا کلیپ‌های یوتیوب می‌توانند منبع آموزشی باشند. این پروژه، که برنده جایزه بهترین مقاله در کارگاه ICRA 2025 شده، می‌تواند راه را برای ساخت ربات‌هایی باز کند که مانند کودکان از طریق مشاهده یاد می‌گیرند.