Basler Blaze RGB-D: преимущества решений на основе камер машинного зрения ToF 3d

ToF 3D-камеры активно используются в сфере автоматизации и позволяют успешно решать широкий спектр задач. Примеры таких задач представлены на рис. 1–5.

Рис. 1. Определение габаритов поддонов и упаковочной тары

Рис. 2. Определение формы, положения и ориентации груза, который необходимо уложить на поддон, а также вычисление оптимальной такелажной точки подъема

Во всех приведенных примерах система 3D-зрения на основе ToF-технологии предоставляет информацию об объекте в виде облака точек (и дополнительно полутоновое 2D-изображение). Каждая точка облака — это расстояние до объекта.

Рис. 3. Обнаружение препятствий и точное позиционирование для подъема и перемещения грузов

Рис. 4. Подсчет предметов в упаковке и проверка комплектности

Рис. 5. Определение точного положения пациента для обеспечения максимального качества рентгеновского снимка. Автоматическое позиционирование с точностью до миллиметра позволяет получать точные снимки и сводит к минимуму необходимую дозу облучения

При этом не хватает качественной информации о внешнем виде объекта (цвет, текстура и др.). Кроме того, внешний вид объектов при инфракрасном освещении (которое используется в ToF 3D-камере) может отличаться от их внешнего вида при обычном свете (рис. 6–7). Для ряда задач указанные моменты являются проблемными.

Рис. 6. Реальное изображение

Рис. 7. Изображение, полученное при помощи ToF-камеры

Определение цвета и текстуры объекта (помимо формы) может позволить решать новый класс задач, в частности обнаруживать и классифицировать объекты одинаковой формы или высоты.

Рассмотрим несколько примеров задач, для решения которых ToF 3D-камеры недостаточно.

Первый пример: во время разгрузки поддонов необходимо обнаруживать коробки и определять расстояние до них. Коробки расположены на поддоне близко друг к другу и на одной высоте. Проблема: 3D-камера распознает коробки как одну.

Однако на RGB-изображении в высоком разрешении можно обнаружить зазор между коробками и разделить их по внешнему виду (рис. 8–10).

Рис. 8. Реальное цветное изображение

Рис. 9. Реальное полутоновое изображение

Рис. 10. Изображение, полученное при помощи ToF-камеры. Объекты одинаковой высоты выглядят как единый объект

Второй пример — классификация фруктов. Проблема: по облаку точек невозможно понять тип фрукта (яблоко или апельсин).

Идентификация возможна только в цветах RGB. При этом с помощью одной только 2D-камеры невозможно отличить фотографию яблока от настоящего яблока (рис. 11–12).

Рис. 11. Изображение, полученное при помощи ToF-камеры

Рис. 12. Реальное цветное изображение

Третий пример связан с поиском горизонтальной опорной поверхности в 3D с опорой на цвет: асфальт серого цвета скорее всего относится к дороге (горизонтальная опорная поверхность) (рис. 13–14).

Рис. 13. Изображение, полученное при помощи ToF-камеры

Рис. 14. Реальное цветное изображение

Для решения подобных задач компания Basler выпустила Blaze RGB-D. Устройство объединяет RGB-изображение и карту глубины. Комбинация ToF 3D- и цветной 2D-камеры позволяет получить цветные 3D-изображения в виде облака точек (рис. 15–16). Это решение помогает компенсировать недостающую информацию о глубине, способствует дополнительной классификации объектов на основе цветов и упрощает понимание визуализируемого пространства.

Рис. 15. Камера Basler Blaze, дополненная модулем с цветной камерой Basler ace

Рис. 16. Пример изображения, полученного при помощи Blaze RGB-D

Типовой комплект оборудования состоит из следующих основных модулей (рис. 17):

• 3D-камера ToF Basler blaze-101;
• 2D цветная камера машинного зрения Basler acA1300-75gc;
• объектив для камеры, например Basler C125-0418-5M-P f4mm.

Рис. 17. Устройство камеры Basler Blaze, дополненной модулем с цветной камерой Basler ace

Для работы со сборкой камер необходим компьютер с операционной системой Windows или Linux. Подключение выполняется при помощи интерфейса Ethernet. Доступны бесплатный SDK и примеры блоков кода.

Для полноценной работы решения необходимо произвести калибровку камер (процедура подробно описана в инструкции).