for 3D Vision and Robot Vision Application
Quick, Easy, Precise !
How do Ensenso 3D Cameras work?
Stereo Vision
Ensenso 카메라는 스테레오비젼의 원리로 작동합니다.
한 마디로, 기본적으로 인간의 눈과 같은 구조라고 할 수 있습니다. 두 개의 카메라가 다른 위치에서 하나의 장면을 촬영하며, 같은 장면을 찍더라도 결과적으로는 카메라 투사광에 의해 서로 다른 위치값을 가져옵니다. 또한, 특별한 매칭알고리즘으로 두 이미지를 비교하여 상응점을 찾아 Disparity Map에 나타냅니다.
물체로부터의 거리, 카메라의 각도, 렌즈 초점 거리 등의 정보를 종합하여, Ensenso 소프트웨어에서 삼각측량을 토대로 길이 단위의 차이들을 변환시킵니다. 이를 통해, 각 이미지 픽셀의 3D 좌표들이 측정되며, 더 많은 활용이 가능한 3D 포인트 클라우드로 결과를 가져올 수 있습니다.
이미지 비교에서의 매칭 프로세싱은 센서 픽셀의 대비와 밝기 수준에 기초합니다. 즉, 스테레오 비젼의 정도는 현장의 밝기 및 물체표면의 재질 조건과 직접적으로 관련이 있습니다. 따라서, 질감이 밋밋하거나 반사되는 표면에서 상응 좌표를 찾아 계산하는 것은 매우 어려운 작업입니다. 그렇기 때문에 고유한 Disparity 결과가 측정되기 힘들고 깊이 정보가 완벽하지 않게 도출될 수 있습니다.
이러한 고전적 스테레오비젼의 원리에 Ensenso 카메라만의 추가적인 기술을 결합하여, 더 높은 수준의 깊이 정보와 더 세밀한 측정 결과를 얻게 됩니다.
두 개의 카메라가 다른 각도에서 하나의 물체를 투사하고 있다.
불완전한 깊이 정보의 예시 (밋밋한 질감 및 반사되는 표면)
패턴 프로젝터로 투사된 컵 표면, 더 완전하고 균일한 깊이 정보를 얻을 수 있다.
Pattern Projector
강렬한 빛의 프로젝터를 이용하여, 어두운 조명 조건에서도 패턴 마스크를 이용해 물체 표면에 대비가 큰 질감을 만들어냅니다. 또한, 프로젝터에 의해 투사된 질감은 물체 표면 구조가 너무 희미하거나 존재하지 않는 상황에서도 이를 보충해주는 역할을 합니다.
이것이 “Projected Texture Stereo Vision”이라고 불리는 이유입니다. 또한 결과적으로 더 자세한 Disparity Map 정보와 더 완전하고 균일한 깊이 정보를 가져올 수 있는 원리입니다.
Moving or stationary objects?
Flex View
투사광 내부의 패턴 마스크의 위치는 압전식 액추에이터를 사용하는 기계 시스템에 의해 작은 단계로 변환될 수 있습니다. 그 결과로 물체 표면의 다양한 질감 효과가 생성되며, 같은 물체에서 다양한 질감의 이미지를 여러 장 취득할 수 있게 됩니다. 이는 더 많은 이미지 포인트, 다시 말해 해상도가 더 증가하게 된다는 의미입니다. 그러므로 매칭 알고리즘을 통해 취득된 모든 이미지쌍을 가지고 상당히 개선된 Disparity Map 결과를 가져오게 됩니다.
반짝이거나, 어둡거나, 혹은 반사되는 표면에서는 어떨까요? 마찬가지로 이러한 상황에서 추가적인 구조 정보를 생성하는 텍스쳐 변위의 결과로, 해상도와 결과 데이터의 건전성이 증가할 것입니다. 수많은 프로세싱 알고리즘들이 더 높은 해상도와 더 낮은 노이즈레벨이라는 환경에서 더 좋은 효과를 얻게 됩니다. 이러한 점에서 FlexView는 포인트 클라우드의 후처리 단계와, 더 나아가 3D 처리 시간까지도 줄여주는 역할을 한다고 볼 수 있습니다.
Random Dot (without FlexView & with FlexView1)
(with FlexView2)
Comparison of Flex View 1, 2 & Single Shot Data
Ensenso는 FlexView 기술을 지원하며, 사용자는 FlexView 기술의 포함 여부를 선택할 수 있습니다. 각 솔루션은 어플리케이션별로 최적화되어 있으며, 여기에는 물체의 이동 여부가 결정적인 인자로 작용합니다.
FlexView가 없는 모델과 FlexView1 기술이 탑재된 모델은, 랜덤 도트 패턴을 이용해 대비가 큰 질감을 생성해냅니다. 이것은 단 한 쌍의 이미지로도 깊이 정보를 매우 빠르게 계산할 수 있습니다. 그러므로, 두 종류 모두 이동하는 물체가 포함된 프로젝트에 적합하다고 볼 수 있습니다.
멈춰 있는 물체에 FlexView1 카메라를 사용하는 경우, 알고리즘에 있어 추가적인 이점을 얻을 수 있습니다. 다시 말해, 변환된 도트 패턴으로 취득한 여러 쌍의 이미지를 결합하여 더 높은 해상도를 얻어낼 수 있다는 말입니다. 3-5 쌍의 이미지만으로도 X, Y, Z 축의 해상도가 두 배가 될 수 있습니다. FlexView1에서는 8쌍의 이미지까지 처리된 3D 결과를 얻을 수 있습니다. (N35에 사용되는 기술). 참고로, 처리하는 이미지가 많아질수록, 상대적으로 취득 및 처리 시간이 증가하게 됩니다.
FlexView2 탑재 모델은 특별히 고안된 패턴 마스크를 이용해, FlexView1과 비교하여 정지된 물체의 X, Y, Z축 해상도를 두 배 더 강화시킬 수 있다는 장점이 있습니다. 다만, 특별한 패턴을 사용하기 때문에, FlexView2는 최소한 5 쌍 이상의 이미지에서 최적화가 효과적으로 동작할 수 있습니다. (X36에 사용되는 기술)
Without FlexView
FlexView1
FlexView2