Basler Blaze RGB-D: преимущества решений на основе камер машинного зрения ToF 3d

Опубликовано в номере:
PDF версия
ToF 3D, или трехмерная времяпролетная камера, — это устройство для обнаружения, идентификации и определения расстояния до объектов с помощью света. Принцип работы такой камеры заключается в определении времени, за которое свет покрывает расстояние от своего источника до объекта и обратно до камеры. Чем больше расстояние, тем больше тратится времени. Срабатывание источника света и съемка кадра синхронизированы таким образом, что расстояние можно определить и рассчитать на основе данных изображения. Рассмотрим особенности камер ToF 3D и решение компании Basler, позволяющее преодолеть их некоторые недостатки.

ToF 3D-камеры активно используются в сфере автоматизации и позволяют успешно решать широкий спектр задач. Примеры таких задач представлены на рис. 1–5.

Определение габаритов поддонов и упаковочной тары

Рис. 1. Определение габаритов поддонов и упаковочной тары

Определение формы, положения и ориентации груза, который необходимо уложить на поддон, а также вычисление оптимальной такелажной точки подъема

Рис. 2. Определение формы, положения и ориентации груза, который необходимо уложить на поддон, а также вычисление оптимальной такелажной точки подъема

Во всех приведенных примерах система 3D-зрения на основе ToF-технологии предоставляет информацию об объекте в виде облака точек (и дополнительно полутоновое 2D-изображение). Каждая точка облака — это расстояние до объекта.

Обнаружение препятствий и точное позиционирование для подъема и перемещения грузов

Рис. 3. Обнаружение препятствий и точное позиционирование для подъема и перемещения грузов

Подсчет предметов в упаковке и проверка комплектности

Рис. 4. Подсчет предметов в упаковке и проверка комплектности

Определение точного положения пациента для обеспечения максимального качества рентгеновского снимка

Рис. 5. Определение точного положения пациента для обеспечения максимального качества рентгеновского снимка. Автоматическое позиционирование с точностью до миллиметра позволяет получать точные снимки и сводит к минимуму необходимую дозу облучения

При этом не хватает качественной информации о внешнем виде объекта (цвет, текстура и др.). Кроме того, внешний вид объектов при инфракрасном освещении (которое используется в ToF 3D-камере) может отличаться от их внешнего вида при обычном свете (рис. 6–7). Для ряда задач указанные моменты являются проблемными.

Реальное изображение

Рис. 6. Реальное изображение

Изображение, полученное при помощи ToF-камеры

Рис. 7. Изображение, полученное при помощи ToF-камеры

Определение цвета и текстуры объекта (помимо формы) может позволить решать новый класс задач, в частности обнаруживать и классифицировать объекты одинаковой формы или высоты.

Рассмотрим несколько примеров задач, для решения которых ToF 3D-камеры недостаточно.

Первый пример: во время разгрузки поддонов необходимо обнаруживать коробки и определять расстояние до них. Коробки расположены на поддоне близко друг к другу и на одной высоте. Проблема: 3D-камера распознает коробки как одну.

Однако на RGB-изображении в высоком разрешении можно обнаружить зазор между коробками и разделить их по внешнему виду (рис. 8–10).

Реальное цветное изображение

Рис. 8. Реальное цветное изображение

Реальное полутоновое изображение

Рис. 9. Реальное полутоновое изображение

Изображение, полученное при помощи ToF-камеры

Рис. 10. Изображение, полученное при помощи ToF-камеры. Объекты одинаковой высоты выглядят как единый объект

Второй пример — классификация фруктов. Проблема: по облаку точек невозможно понять тип фрукта (яблоко или апельсин).

Идентификация возможна только в цветах RGB. При этом с помощью одной только 2D-камеры невозможно отличить фотографию яблока от настоящего яблока (рис. 11–12).

Изображение, полученное при помощи ToF-камеры

Рис. 11. Изображение, полученное при помощи ToF-камеры

Реальное цветное изображение

Рис. 12. Реальное цветное изображение

Третий пример связан с поиском горизонтальной опорной поверхности в 3D с опорой на цвет: асфальт серого цвета скорее всего относится к дороге (горизонтальная опорная поверхность) (рис. 13–14).

Изображение, полученное при помощи ToF-камеры

Рис. 13. Изображение, полученное при помощи ToF-камеры

Реальное цветное изображение

Рис. 14. Реальное цветное изображение

Для решения подобных задач компания Basler выпустила Blaze RGB-D. Устройство объединяет RGB-изображение и карту глубины. Комбинация ToF 3D- и цветной 2D-камеры позволяет получить цветные 3D-изображения в виде облака точек (рис. 15–16). Это решение помогает компенсировать недостающую информацию о глубине, способствует дополнительной классификации объектов на основе цветов и упрощает понимание визуализируемого пространства.

Камера Basler Blaze, дополненная модулем с цветной камерой Basler ace

Рис. 15. Камера Basler Blaze, дополненная модулем с цветной камерой Basler ace

Пример изображения, полученного при помощи Blaze RGB-D

Рис. 16. Пример изображения, полученного при помощи Blaze RGB-D

Типовой комплект оборудования состоит из следующих основных модулей (рис. 17):

  • 3D-камера ToF Basler blaze-101;
  • 2D цветная камера машинного зрения Basler acA1300-75gc;
  • объектив для камеры, например Basler C125-0418-5M-P f4mm.
Устройство камеры Basler Blaze, дополненной модулем с цветной камерой Basler ace

Рис. 17. Устройство камеры Basler Blaze, дополненной модулем с цветной камерой Basler ace

Для работы со сборкой камер необходим компьютер с операционной системой Windows или Linux. Подключение выполняется при помощи интерфейса Ethernet. Доступны бесплатный SDK и примеры блоков кода.

Для полноценной работы решения необходимо произвести калибровку камер (процедура подробно описана в инструкции).

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *