카이스트 윤국진 교수의 AI 비전 워크숍: 움직임을 보는 혁신 기술 공개!

360도 카메라와 이벤트 카메라로 더 똑똑하게 세상을 보는 방법

안녕하세요! 오늘은 360도 카메라와 이벤트 카메라를 이용해서 기존에 어려웠던 점들을 해결해 보려는 저희 연구에 대해 이야기해 드릴게요. 구체적인 내용은 나중에 더 자세히 알려드릴 수 있으니, 오늘은 전반적인 아이디어만 소개할게요.

1. 360도 카메라로 시야를 넓히자!

기존 카메라의 한계:

• 좁은 시야: 우리가 보는 것처럼 기존 카메라는 볼 수 있는 범위가 좁아요. 그래서 넓은 공간을 보려면 여러 대의 카메라를 써야 하는데, 이게 또 복잡하고 비싸죠.
• 밝기/어둠 동시 포착 어려움: 밝은 곳과 어두운 곳이 같이 있으면, 밝은 곳은 너무 밝게 나오고 어두운 곳은 너무 어둡게 나와서 제대로 보기 어려워요.
• 느린 움직임 포착 어려움: 어두운 곳에서는 영상이 끊겨서 빠르게 움직이는 물체를 제대로 잡기 힘들어요.

360도 카메라로 해결!

• 넓은 시야 확보: 360도 카메라는 한 번에 모든 방향을 볼 수 있어서 시야가 좁다는 문제를 해결해줘요.
• 3D 정보 획득: 영상뿐만 아니라 거리 정보까지 얻을 수 있어서 물체를 더 정확하게 인식하고 따라다니거나 지도를 만드는 데 유용해요.

하지만 360도 카메라도 문제가 있어요!

• 영상 왜곡: 360도 카메라는 구형으로 영상을 찍기 때문에, 이걸 평면으로 펼치면 영상이 왜곡될 수 있어요. 특히 극지방처럼 가장자리로 갈수록 왜곡이 심해지죠.
• 물체 인식 오류: 영상이 왜곡되면 물체를 인식하거나 따라다니는 데 오류가 생길 수 있어요. 예를 들어, 360도 영상의 양 끝이 이어져 있는데, 왜곡 때문에 이게 다른 물체로 인식될 수도 있죠.

우리의 해결책: 정다면체로 왜곡 줄이기!

그래서 저희는 360도 영상을 평면으로 펼치는 대신, 정다면체라는 입체 도형에 영상을 담는 방법을 생각해냈어요. 마치 지구본을 펼치면 왜곡이 생기지만, 지구본 자체로는 왜곡이 없는 것처럼요.

• 정육면체, 정팔면체, 정십이면체 등: 이런 정다면체들을 사용해서 360도 영상을 담고, 이걸 다시 펼치면 왜곡이 훨씬 줄어들어요.
• 정십이면체 사용: 특히 정십이면체는 면이 많아서 왜곡을 최소화할 수 있어요.
• 삼각형 픽셀: 그런데 정다면체에 영상을 담으면 픽셀이 사각형이 아니라 삼각형 모양이 돼요. 그래서 기존의 영상 처리 방식을 그대로 쓰기 어렵고, 삼각형 픽셀에 맞게 새로운 방법을 개발해야 해요.

실험 결과:

• 기존 방식(ERP)은 영상 왜곡이 심했지만, 저희가 제안한 정십이면체 방식은 왜곡이 훨씬 적었어요.
• 물체 인식 성능도 기존 방식보다 훨씬 좋았고, 어떤 각도에서 보든 일정한 성능을 보여줬어요.

2. 이벤트 카메라로 더 빠르고 정확하게!

기존 카메라의 한계 (다시 한번!):

• 낮은 밝기/어둠에서의 성능 저하: 밝거나 어두운 곳에서 제대로 작동하지 않아요.
• 빠른 움직임 포착 어려움: 빠르게 움직이는 물체를 놓치기 쉬워요.

이벤트 카메라로 해결!

• 높은 다이나믹 레인지: 밝고 어두운 곳 모두에서 잘 작동해요.
• 빠른 움직임 포착: 아주 짧은 시간 동안 일어나는 움직임도 정확하게 잡아낼 수 있어요.
• 적은 데이터 양: 필요한 정보만 기록하기 때문에 데이터 양이 적어서 효율적이에요.

이벤트 카메라의 단점:

• 새로운 데이터 형식: 기존 카메라와 데이터 형식이 달라서 새로운 영상 처리 방법을 개발해야 해요.
• 낮은 해상도/프레임 레이트: 아직은 기존 카메라보다 해상도나 초당 프레임 수가 낮을 수 있어요.

우리의 해결책: 이벤트 카메라를 직접 활용하자!

• 이벤트로 영상 복원: 이벤트 카메라에서 나오는 데이터를 이용해서 기존 카메라 영상처럼 보이게 복원하는 연구를 했어요. 어둡거나 빠르게 움직이는 장면에서도 좋은 영상을 얻을 수 있었죠.
• 이벤트 직접 활용: 최근에는 영상을 복원하는 대신, 이벤트 데이터를 직접 이용해서 물체를 인식하거나 3D 정보를 얻는 연구를 하고 있어요. 이렇게 하면 영상 복원 과정에서 생기는 시간 지연을 줄일 수 있죠.
• 360도 카메라 + 이벤트 카메라: 더 나아가서, 360도 카메라의 넓은 시야와 이벤트 카메라의 빠른 반응 속도를 합쳐서 더 똑똑한 시스템을 만들려고 하고 있어요.

결론:

센서 기술이 발전하면서 우리는 세상을 더 넓고, 더 빠르고, 더 정확하게 볼 수 있게 되었어요. 저희는 360도 카메라와 이벤트 카메라를 활용해서 기존의 한계를 극복하고, 더 나은 기술을 만들기 위해 노력하고 있습니다. 앞으로도 다양한 센서들을 조합해서 더 많은 문제들을 해결해 나갈 예정이에요!