تصميم نظام تفريغ روبوتي موجه بالرؤية ثلاثية الأبعاد للمواد متعددة المقاييس

روبوت إزالة المواد، ذراع الروبوت، المناول الآلي

الملخص: في التصنيع الصناعي والخدمات اللوجستية، تعد إزالة المواد من المنصات بواسطة الروبوتات أحد التطبيقات الشائعة. إن إزالة المواد من المنصات هو سيناريو يتم فيه تحميل البضائع ذات المقاييس المختلفة (أي البضائع ذات الأحجام أو الأوزان أو الأنسجة المختلفة) على المنصات للتسليم. كانت عملية تفريغ الروبوت السابقة قابلة للتطبيق فقط على تفريغ البضائع الفردية وتتطلب ترتيب البضائع بترتيب ثابت، ولم يكن لدى الروبوت القدرة على الإدراك؛ تم تجهيز نظام إزالة منصات التحميل الآلي الموجه بالرؤية الموصوف في هذه الورقة بقدرة على إدراك البيئة في الوقت الفعلي لتوجيه عملية الإمساك، وبالتالي حل مشاكل الأحجام المختلفة للأشياء التي سيتم تفريغها والوضع غير المنتظم لأنظمة إزالة منصات المواد متعددة المقاييس.

الكلمات المفتاحية: التعرف على الرؤية ثلاثية الأبعاد، الروبوت، المنصات الهجينة، تحديد موضع الأشياء، خوارزمية إزالة المنصات

في التصنيع الصناعي والخدمات اللوجستية، يمكن استخدام الروبوتات الصناعية المختلفة لتحسين تدفق البضائع، وأحد التطبيقات الشائعة هو إزالة المواد من منصاتها. تشير "إزالة المنصات الآلية" عادةً إلى عملية التفريغ المتسلسل للمواد من المنصات باستخدام أذرع آلية ويمكن استخدامها لتحل محل العمل اليدوي البسيط ولكن الثقيل. في مجال الخدمات اللوجستية، هناك سيناريوهات حيث يتم تسليم البضائع بمقاييس مختلفة (أي أحجام أو أوزان أو مواد مختلفة) في صناديق، كما هو موضح في الشكل 1.

ومع ذلك، تم التحكم في أنظمة تفريغ الحمولة الروبوتية المبكرة بشكل أساسي يدويًا لإكمال إمساك الروبوت، والذي كان ينطبق فقط على تفريغ حمولة واحدة ويتطلب ترتيب الحمولة بترتيب ثابت، ولم يكن لدى الروبوت القدرة على الإدراك للرد عليها. التغييرات الخارجية. ومع ذلك، تتطلب أنظمة تفريغ المواد متعددة المقاييس أن يكون لدى الروبوتات وعي بيئي في الوقت الفعلي لتوجيه عملية الإمساك لأن الأشياء التي سيتم تفريغها تكون متغيرة الحجم ويتم وضعها بشكل غير منتظم.

مع تطور أجهزة الاستشعار البصرية المختلفة، تم إدخال تكنولوجيا رؤية الكمبيوتر تدريجيًا في مهام الإمساك بالروبوت لتحسين قدرة الروبوت على الحصول على المعلومات الخارجية. عادةً ما يحتوي نظام إزالة المنصات الآلي الموجه بالرؤية على خمس وحدات، وهي وحدة الحصول على معلومات الرؤية، ووحدة توطين الكائنات وتحليلها، ووحدة حساب موضع الإمساك، ووحدة تحويل إحداثيات اليد والعين، ووحدة تخطيط الحركة، كما هو موضح في الشكل 2. من بينها الوحدات الثلاث الأولى هي الجزء الرئيسي من نظام الرؤية، وهي المسؤولة عن الحصول على المعلومات المرئية ومعالجتها وتوفير أوضاع الأشياء. يتم استخدام الوحدتين الأخيرتين بشكل أساسي لتوفير معلومات التحكم للروبوت وإكمال وظيفة الإمساك. فيما يلي، سنقدم كل وحدة وطرق شائعة وحالات التنفيذ.

I. وحدة الحصول على معلومات الرؤية

يتمثل دور وحدة الحصول على معلومات الرؤية في التقاط المعلومات المرئية وتوفير مدخلات للخطوات اللاحقة. في الوقت الحاضر، تشتمل المدخلات المرئية شائعة الاستخدام على صور RGB ثنائية الأبعاد وصور سحابة نقطية ثلاثية الأبعاد وصور RGB-D مدمجة ثنائية وثلاثية الأبعاد. من بينها، يعد الإمساك بالذراع الآلي بمساعدة الرؤية استنادًا إلى صور RGB ثنائية الأبعاد حاليًا حلاً ناضجًا في الصناعة، مما يحول مشكلة الإمساك بالروبوت إلى مشكلة اكتشاف هدف الكائن أو تجزئة الصورة على صور RGB. ومع ذلك، تفتقر الرؤية ثنائية الأبعاد إلى معلومات النطاق المطلق للأشياء ولا يمكن استخدامها إلا في ظل ظروف محددة، مثل السيناريوهات ذات المنصات الثابتة وأحجام المواد المعروفة. بالنسبة للسيناريوهات التي يكون فيها مقياس المادة غير معروف، تكون وحدة الرؤية مطلوبة لتزويد الروبوت بمعلومات دقيقة عن الحجم المطلق للكائن المراد الإمساك به، لذلك يمكن فقط التقاط الصور السحابية النقطية ثلاثية الأبعاد أو صور RGB-D مع مزيج من ثنائي وثلاثي الأبعاد. مستخدم. بالمقارنة مع معلومات RGB، تحتوي معلومات RGB-D على معلومات المسافة المكانية من الكاميرا إلى الكائن؛ بالمقارنة مع الصور السحابية النقطية ثلاثية الأبعاد، تحتوي معلومات RGB-D على معلومات غنية بالألوان. لذلك، يمكن استخدام صور RGB-D كمدخل معلومات مرئي لنظام إزالة منصات المواد متعدد المقاييس.

وحدة تحديد موضع الكائنات وتحليلها

تتلقى وحدة تحديد موضع الكائن وتحليله مدخلات البيانات من وحدة الحصول على معلومات الرؤية، وتحلل المواد الموجودة في المشهد، وتحصل على معلومات أساسية مثل موضعها ووضعيتها، ثم تقوم بإدخال هذه المعلومات الأساسية في وحدة حساب وضعية الإمساك. بشكل عام، يمكن تحويل مشكلة توطين المواد في نظام إزالة المنصات الآلي إلى مشكلة اكتشاف الهدف أو مشكلة تجزئة الصورة في مجال الرؤية. يمكن لحل الإمساك الآلي القائم على الرؤية RGB-D أولاً إجراء الكشف عن الهدف ثنائي الأبعاد أو تجزئة الصورة ثنائية الأبعاد على صورة RGB للمادة، ثم دمج خريطة العمق لإخراج الحجم المطلق للكائن ووضعية الإمساك؛ أوالقيام مباشرة بالكشف عن الهدف أو تجزئة الخريطة السحابية النقطية ثلاثية الأبعاد. وفيما يلي مقدمة موجزة للأعمال ذات الصلة.

1.2D كشف الهدف

مدخلات الكشف عن الهدف ثنائي الأبعاد هي صورة RGB للمشهد، والإخراج هو فئة الكائن وموضعه في الصورة، ويتم تحديد الموضع في شكل حدود أو مركز. يمكن تقسيم طرق اكتشاف الهدف إلى طرق تقليدية وأساليب تعتمد على التعلم العميق. تستخدم الطرق التقليدية للكشف عن الهدف بشكل عام نافذة منزلقة لاجتياز الصورة بأكملها، حيث تصبح كل نافذة منطقة مرشحة. لكل منطقة مرشحة، يتم أولاً استخراج الميزات باستخدام SIFT وHOG وطرق أخرى، ثم يتم تدريب المصنف لتصنيف الميزات المستخرجة. على سبيل المثال، تستخدم خوارزمية DPM الكلاسيكية SVM لتصنيف ميزات HOG المعدلة لتحقيق تأثير اكتشاف الهدف. الطريقة التقليدية لها عيبان واضحان: أولاً، يستغرق اجتياز الصورة بأكملها باستخدام نافذة منزلقة وقتًا طويلاً للغاية، مما يجعل التعقيد الزمني للخوارزمية مرتفعًا ويصعب تطبيقه على سيناريوهات واسعة النطاق أو في الوقت الفعلي؛ ثانيًا، غالبًا ما تحتاج الميزات المستخدمة إلى التصميم يدويًا، مما يجعل مثل هذه الخوارزميات أكثر اعتمادًا على الخبرة وأقل قوة.

2. تجزئة الصورة ثنائية الأبعاد

يمكن اعتبار تجزئة الصورة بمثابة مهمة تصنيف الصور على مستوى البكسل. اعتمادًا على معنى نتيجة التجزئة، يمكن تقسيم تجزئة الصورة إلى تجزئة دلالية وتجزئة مثيلة. يقوم التجزئة الدلالية بتصنيف كل بكسل في الصورة إلى فئة مقابلة، بينما لا يؤدي تجزئة المثيلات إلى التصنيف على مستوى البكسل فحسب، بل يميز أيضًا المثيلات المختلفة على أساس فئات محددة. بالنسبة للمربع المحيط لاكتشاف الهدف، يمكن أن يكون تجزئة المثيلات دقيقًا بالنسبة لحواف الكائنات؛ بالنسبة إلى التجزئة الدلالية، يحتاج تجزئة المثيلات إلى تسمية أفراد مختلفين من كائنات متشابهة على الرسم البياني. في تطبيقات إزالة المنصات، نحتاج إلى استخراج حواف المواد بدقة لحساب موضع الإمساك، لذلك نحتاج إلى استخدام تقنيات تجزئة المثيلات. يمكن تقسيم تقنيات تجزئة الصور الحالية إلى طرق تقليدية وأساليب تعتمد على التعلم العميق.

تعتمد معظم طرق تجزئة الصور التقليدية على تشابه أو تحور القيم الرمادية في الصورة لتحديد ما إذا كانت وحدات البكسل تنتمي إلى نفس الفئة. تشمل الطرق شائعة الاستخدام الطرق القائمة على نظرية الرسم البياني، والطرق القائمة على التجميع، والطرق القائمة على اكتشاف الحواف.

لقد أدت الأساليب القائمة على التعلم العميق إلى تحسين دقة تجزئة الصور ثنائية الأبعاد بشكل كبير مقارنة بالطرق التقليدية. تضيف أطر الشبكات العصبية العميقة النموذجية، مثل AlexNet وVGGNet وGoogleNet وما إلى ذلك، طبقة متصلة بالكامل في نهاية الشبكة لتكامل الميزات، تليها softmax لتحديد فئة الصورة بأكملها. لحل مشكلة تجزئة الصورة، يستبدل إطار FCN هذه الطبقات المتصلة بالكامل بطبقات deconvolution، مما يجعل إخراج الشبكة من احتمال أحادي البعد إلى مصفوفة بنفس دقة الإدخال، وهو العمل الرائد لتطبيق التعلم العميق للتجزئة الدلالية.

3. كشف الهدف ثلاثي الأبعاد

يمكّن اكتشاف الهدف ثلاثي الأبعاد الروبوتات من التنبؤ بدقة وتخطيط سلوكها ومساراتها من خلال حساب الموضع ثلاثي الأبعاد للأشياء بشكل مباشر لتجنب الاصطدامات والانتهاكات. ينقسم اكتشاف الهدف ثلاثي الأبعاد إلى كاميرا أحادية العين، وكاميرا مجهرية، وكاميرا متعددة العيون، ومسح LIDAR لسطح الخط، وكاميرا العمق، وكاميرا الأشعة تحت الحمراء للكشف عن الأهداف وفقًا لنوع المستشعر. بشكل عام، تتيح أنظمة الاستريو/متعددة الرؤية التي تتكون من كاميرات متعددة الرؤية أو LiDAR قياسات سحابة نقطية ثلاثية الأبعاد أكثر دقة، حيث يمكن للطرق القائمة على العرض المتعدد استخدام اختلاف المنظر من صور ذات مناظر مختلفة للحصول على خرائط العمق؛ تحصل الطرق المستندة إلى السحابة النقطية على معلومات الهدف من السحب النقطية. بالمقارنة، نظرًا لأنه يمكن قياس بيانات عمق النقاط مباشرةً، فإن اكتشاف الهدف ثلاثي الأبعاد القائم على السحابة النقطية هو في الأساس مشكلة ترسيم نقطة ثلاثية الأبعاد وبالتالي فهو أكثر سهولة ودقة.

ثالثًا، وحدة حساب وضعية الالتقاط

تستخدم وحدة حساب وضعية الإمساك معلومات وضعية موضع الكائن المستهدف الناتج من الوحدة الثانية لحساب وضعية الإمساك للروبوت. نظرًا لوجود أهداف متعددة يمكن فهمها في نظام إزالة منصات المواد متعدد المقاييس، فيجب أن تحل هذه الوحدة مشكلتين "أيهما يجب فهمه" و"كيفية فهمه".

الخطوة الأولى هي حل مشكلة "أيها". الهدف من هذه المشكلة هو تحديد أفضل هدف زحف من بين العديد من أهداف الزحف، وغالبًا ما يحتاج "الأفضل" هنا إلى تحديده من خلال المتطلبات الفعلية. على وجه التحديد، يمكننا تحديد بعض المؤشرات التي لها تأثير على حكم الزحف وفقًا للوضع الفعلي، ومن ثم تحديد أولويات هذه المؤشرات.

الخطوة الثانية هي حل مشكلة "كيفية القيام بذلك"."يمكننا اختيار تحليل وحساب وضع الإمساك عن طريق التحليل الميكانيكي، أو يمكننا أولاً تصنيف الكائن عن طريق طريقة التعلم، ثم تحديد نقطة الإمساك وفقًا للتصنيف، أو التراجع مباشرة عن وضع الإمساك.

رابعا، وحدة تحويل الإحداثيات بين اليد والعين

مع الوحدة الثالثة، حصلنا على وضعية إمساك ممكنة. ومع ذلك، تعتمد وضعية الإمساك على الوضعية الموجودة في نظام إحداثيات الكاميرا، ويجب تحويل وضعية الإمساك إلى نظام إحداثيات الروبوت قبل إجراء تخطيط الحركة. في أنظمة إزالة المنصات، تُستخدم عادةً المعايرة اليدوية والعينية لحل هذه المشكلة. اعتمادًا على موضع تثبيت الكاميرا، يمكن تقسيم طريقة معايرة اليد والعين إلى حالتين. أحدهما هو أن الكاميرا مثبتة على ذراع الروبوت وتتحرك الكاميرا معًا مع الذراع، والتي تسمى "العين في اليد"، كما هو موضح في الشكل 3. في هذه العلاقة، تظل علاقة الموضع بين قاعدة الروبوت ولوحة المعايرة ثابتة خلال حركتي ذراع الروبوت، والكمية التي تم حلها هي العلاقة الموضعية بين الكاميرا ونظام الإحداثيات الطرفية للروبوت. يتم تثبيت النوع الآخر من الكاميرا على حامل منفصل، يسمى "العين إلى اليد"، كما هو موضح في الشكل 4. في هذه الحالة، تظل علاقة الموقف بين نهاية الروبوت ولوحة المعايرة كما هي أثناء حركتي الكاميرا الذراع، والحل هو علاقة الموقف بين الكاميرا ونظام الإحداثيات لقاعدة الروبوت. يتم تحويل كلتا الحالتين في النهاية إلى مشكلة حل مع AX=XB، ويمكن تحويل المعادلة إلى معادلة خطية باستخدام مجموعة Lie وجبر Lie لحل كميات الدوران والترجمة، على التوالي.

الخامس. وحدة تخطيط الحركة

تتناول هذه الوحدة بشكل أساسي علم الحركة والديناميكيات والتحليل الميكانيكي وتخطيط الحركة للروبوت لتخطيط مسار حركة ممكن لا يتصادم مع البيئة. من خلال ضرب وضعية الإمساك في نظام إحداثيات الكاميرا التي تم الحصول عليها عن طريق وحدة حساب وضعية الإمساك مع مصفوفة التحويل التي تمت معايرتها بواسطة وحدة تحويل إحداثيات اليد والعين، يمكننا الحصول على وضعية الإمساك في نظام إحداثيات ذراع الروبوت. بناءً على هذه الوضعية، يمكن تنفيذ تخطيط الحركة ويمكن توجيه ذراع الروبوت لإكمال مهمة إزالة المنصات. لذلك، فإن مدخلات وحدة تخطيط الحركة هي موضع البداية والهدف لذراع الروبوت، والإخراج هو مسار حركة ذراع الروبوت.

يمكن تقسيم خوارزمية تخطيط الحركة الكاملة إلى الخطوات الثلاث التالية.

الخطوة 1: الحل الحركي العكسي. من أجل تجنب مشاكل مثل التفردات، يتم تنفيذ تخطيط حركة الذراع الروبوتية بشكل عام تحت مساحة المفصل. لذلك، يجب علينا أولاً إجراء الحل الحركي العكسي بناءً على المدخلات للحصول على القيم المشتركة المقابلة للوضعيات.

الخطوة 2: تخطيط المسار. باستخدام خوارزمية تخطيط المسار، يمكننا الحصول على مسار حركة الذراع الآلية. الهدف من هذه الخطوة ذو شقين: الأول هو تجنب العوائق، لضمان عدم اصطدام الذراع الآلية بأشياء أخرى في المشهد أثناء حركتها؛ والثاني هو تحسين سرعة التشغيل من أجل زيادة كفاءة تشغيل النظام. من خلال التخطيط لمسار حركة معقول، يمكن تقليل وقت تشغيل قبضة واحدة للذراع الروبوتية، وبالتالي تحسين الكفاءة.

الخطوة 3: الاستيفاء الزمني. على الرغم من أنه يمكننا بالفعل الحصول على مسار حركة ممكن من خلال تخطيط المسار، إلا أن هذا المسار يتكون من نقطة موقع واحدة تلو الأخرى. عندما تعمل ذراع الروبوت على طول هذا المسار، فإنها تحتاج إلى الحفاظ على التسارع والتباطؤ، لذلك سيكون لها تأثير على سرعة الجري. ولهذا السبب، نحتاج إلى إجراء الاستيفاء الزمني للحصول على معلومات السرعة والتسارع والوقت لكل نقطة على المسار أثناء تحرك ذراع الروبوت إلى تلك النقطة. بهذه الطريقة، يمكن لذراع الروبوت أن يعمل بشكل مستمر وسلس، وبالتالي تحسين الكفاءة.

السادس. مثال التنفيذ

بناءً على البحث أعلاه، يمكن استخدام نظام رؤية كامل يتكون من كاميرا عمق ثلاثية الأبعاد ونظام إضاءة وكمبيوتر وبرنامج معالجة الرؤية في سيناريو تحديد مادة صندوق القطعة للحصول على بعض المعلومات الخاصة حول الأشياء الحقيقية، والمعلومات التي يتم الحصول عليها من خلال هذا يمكن استخدام النظام لإنجاز بعض المهام الخاصة، مثل الحصول على موضع الصندوق من خلال نظام الرؤية، والذي يمكنه توجيه الروبوت لفهم معلومات كمية الصندوق والحصول عليها كمعايرة للمهمة. المكونات الرئيسية لهذا النظام كما هو موضح في الشكل 5.

تُستخدم الكاميرا ثلاثية الأبعاد ونظام الإضاءة بشكل أساسي في تصوير الصور، حيث يمكن للكاميرا ثلاثية الأبعاد الحصول على بيانات العمق ضمن نطاق معين. ويرتبط تصوير الصور الرقمية بنظام الإضاءة. أما الحاسوب فيشمل أجهزة حوسبة وتخزين ذات أغراض عامة لحفظ الصور، ومعالجة الصور من خلال برامج رؤية متخصصة، وأيضا للشبكات.التواصل مع الأنظمة الأخرى. تعمل شاشة عرض الصور على تسهيل تشغيل برنامج معالجة الرؤية للمشغل ومراقبة تشغيل النظام. يتم استخدام التخزين ذو السعة الكبيرة للتخزين الدائم أو المؤقت للصور أو البيانات الأخرى. ومن ناحية أخرى، تشتمل برامج الرؤية المتخصصة على معالجة الصور الرقمية، وتحليل بيانات الصور، وبعض الوظائف الخاصة.

بشكل عام، تحتوي كاميرا العمق ثلاثية الأبعاد على معدل إطار من 1 إلى 30 إطارًا في الثانية، ودقة صورة RGB تبلغ 640×480، 1280×960، خاصة 1920×1080، 2592×1944، ونطاق عمق حوالي 500 مم إلى حوالي 5000 مم.

واعتمادًا على السعر، هناك دقة ومدى مختلفان. فيما يلي مثال لعلامة تجارية لكاميرا ثلاثية الأبعاد مع المعلمات كما هو موضح في الشكل 6 والدقة كما هو موضح في الشكل 7.

باستخدام الكاميرا ثلاثية الأبعاد، يمكنك الحصول على صور RGB وصور عميقة لمشاهد خاصة، ووفقًا لمعالجة هذه الصور وتحليلها (انظر الشكل 8)، يمكنك الحصول على بعض المعلومات حول موضع الكائنات وعددها ومعلوماتها في الصورة. مشهد.

المربع المستطيل في الشكل 9 هو خريطة موضع الإمساك بالصندوق التي تم تحديدها بعد المعالجة. ترتيب أعلى اليسار، وأسفل اليسار، وأعلى اليمين، وأسفل اليمين هو "2، 3، 3، 2" على التوالي، أي أن يد الروبوت ستمسك صندوقين على اليسار، وثلاثة صناديق على اليسار، وثلاثة صناديق على اليسار. اليمين وصندوقين على اليمين وفقًا لمعلومات الموقع المقدمة من نظام التعرف على الصور.

سابعا. ملخص

في هذا البحث، قدمنا الإطار والأساليب الشائعة لنظام إزالة منصات المواد متعدد المقاييس للروبوت ثلاثي الأبعاد والموجه بالرؤية، وحددنا العديد من الوحدات الأساسية التي يحتاج الإطار إلى امتلاكها، وهي وحدة الحصول على معلومات الرؤية، ووحدة توطين الكائنات وتحليلها، وحدة حساب موضع الإمساك، ووحدة تحويل الإحداثيات بين اليد والعين، ووحدة تخطيط الحركة، وشرح المهام الرئيسية والأساليب الشائعة لكل وحدة. في التطبيقات العملية، يمكن استخدام طرق مختلفة لتنفيذ هذه الوحدات حسب الحاجة دون التأثير على وظائف الوحدات الأخرى والنظام ككل.