NURINOON은 AI 기술을 활용해 CCTV 영상을 실시간 분석하고, 위험 상황을 즉시 감지하여 사용자의 신속한 대응을 가능하게 하는 스마트 모니터링 시스템입니다.

💡 프로젝트 소개

경찰은 치안 강화를 위해 도보 순찰을 확대하고 있습니다. 그러나 인력 중심의 순찰은 긴급 상황 발생 시 즉각적인 대응이 어렵고, 시민의 신고에 의존하는 사후 대응 체계로 인해 신고되지 않은 사건에는 대처가 불가능한 문제가 있습니다. 저희는 이러한 문제에 주목하여, AI 기반 실시간 위험 감지 및 사건 관리 시스템인 NURINOON(누리눈)을 개발하였습니다.

CCTV 영상을 실시간으로 분석하여 화재, 폭행, 쓰러짐, 흉기난동 등 다양한 위험 상황을 감지하고, 사건 유형에 따라 우선순위를 지정해 긴급한 상황을 빠르게 인지하고 대응할 수 있도록 알림을 제공합니다.

서비스 강점

✅  NURINOON은 실시간 스트리밍 기능을 통해 관할 지역의 CCTV를 모니터링하고 현장 상황을 즉시 파악할 수 있습니다.

✅  NURINOON은 AI를 활용한 모니터링 자동화를 통해 인력 부담을 줄이고, 보다 빠르고 정확한 대응을 가능하게 함으로써 공공 안전을 지속적으로 향상시킵니다.

✅  NURINOON은 사건 데이터를 축적하여 시간대별 · 장소별 경향을 시각화함으로써 효율적인 순찰 인력 배치와 치안 전략 수립에 기여합니다.

💡 기능 소개

NURINOON의 사용 흐름은 다음과 같습니다.

1. CCTV 영상이 실시간으로 송출됨과 동시에 AI 모델에 전달되어 위험 행동을 탐지합니다.
2. 위험 행동이 감지되면 실시간으로 알림이 전송되고, 사용자는 상황을 확인한 후 적절한 대응을 선택하게 됩니다. 이때 출동과 미출동 2가지 대응 방안이 존재합니다.
3. 일련의 대응 과정이 모두 끝나면, 해당 사건은 종료 처리되며, 종료된 사건은 누적되어 추후 사건 조회 및 통계 자료로 활용됩니다.

💡 기술적 강점

1. 저지연 실시간 스트리밍 (RTMP → HLS 변환)
   미디어 서버는 RTMP를 사용하여 실시간 스트리밍 영상을 처리하고, 이를 HLS로 변환하여 웹과 모바일 환경에서 저지연 및 안정적인 스트리밍을 제공합니다. 이를 통해 실시간 위험 감지 및 빠른 대응이 요구되는 상황에서 즉각적인 피드백을 가능하게 하여, 지연을 최소화하면서도 브라우저 호환성을 보장합니다.


2. 이중 AI 모델을 통한 효율적 위험 감지
   1차 AI 모델은 실시간으로 정적 위험을 빠르게 감지하고, 관련된 프레임만을 2차 모델에 전달하여 실시간성과 시스템 자원 효율성을 극대화합니다. 2차 모델은 영상 기반으로 정밀한 동적 위험 행동을 분석하여, 높은 분류 정확도를 제공합니다. 이중 AI 모델 구조는 실시간성과 분석 정확도를 모두 충족시키며, 효율적이고 정확한 위험 감지를 가능하게 합니다.


3. YOLOv11n과 X3D 모델을 통한 위험 감지 최적화
   누리눈은 자체 학습을 통해 위험 행동 감지에 최적화된 모델을 사용합니다. YOLOv11과 X3D 모델을 자체 데이터셋을 사용해 새로운 카테고리를 감지하고, 분류할 수 있도록 파인튜닝하였습니다. 이 때, 다양한 실제 환경의 CCTV 데이터와 직접 촬영한 데이터를 조합하여 현장 적용 가능성과 일반화 성능을 확보했습니다.


4. 서버 모듈화 및 유연한 확장성 확보
   Media Server, Backend Server, AI Server를 각각 독립된 EC2 인스턴스로 분리함으로써 서버 간 책임을 명확히 분리하고, 서비스 간 병목 및 장애 전파를 최소화하였습니다. 또한 모든 서버는 Docker 컨테이너 기반으로 배포되어, 서비스 확장이나 버전 롤백 시에도 무중단 배포 및 신속한 인프라 확장이 가능합니다.

💡 AI 모델

📌 모델 선정 이유

📍 YOLOv11-nano

최신 모델인 YOLOv11은 기존의 YOLOv8 대비 더 빠른 연산 속도, 더 적은 파라미터 수, 그리고 향상된 탐지 정확도(mAP)를 문서 상에서 보여주고 있습니다.

수치상의 성능도 중요하지만, 실제 위험 상황이 포함된 CCTV 영상에 대한 실질적인 인퍼런스 성능도 중요하다고 판단하였습니다. 이를 위해 역동적인 움직임, 사람의 쓰러짐 등 위험 상황이 포함된 실제 테스트 영상을 활용하여 YOLOv4-tiny, YOLOv8-nano, YOLOv11-nano 세 가지 모델의 탐지 결과를 비교 분석하였습니다.

• YOLOv4-tiny 및 YOLOv8-nano는 사람이 움직이거나 쓰러지는 상황에서 bounding box가 끊기거나 불안정하게 유지되는 현상이 빈번하게 관찰되었습니다.
• 세 모델 모두 기울어지거나 쓰러진 사람을 ‘dog’나 ‘cat’으로 오인식하는 오류가 발생하였습니다.

이러한 분석을 바탕으로, YOLOv11-nano 모델을 기반으로 한 파인튜닝을 진행하였습니다. 파인튜닝을 통해 실제 위험 상황에서 연속적인 사람 탐지 성능을 개선하고, 쓰러진 사람에 대한 인식 오류를 최소화하도록 보완하였습니다. 그리고 인식하지 못했던 fire, smoke, weapon 같은 객체들을 새롭게 탐지할 수 있도록 하였습니다.

📌 데이터별 전처리 방식

💡 시스템 아키텍처

NURINOON 은 성능(Performance), 효율성(Efficiency), 기능(Funtionality)을 고려하여 설계하였습니다.

Media Server, Backend Server, AI Server를 각각 독립된 EC2 인스턴스로 분리함으로써 서버 간 책임을 명확히 분리하고, 서비스 간 병목 및 장애 전파를 최소화했습니다. 또한 모든 서버는 Docker 컨테이너 기반으로 배포되어, 유연한 확장이 가능합니다.

미디어 서버는 RTMP를 사용하여 실시간 스트리밍 영상을 처리하고, 이를 HLS로 변환하여 웹과 모바일 환경에서저지연 및 안정적인 스트리밍 을 제공합니다. 이를 통해 실시간 위험 감지 및 빠른 대응이 요구되는 상황에서 즉각적인 피드백을 가능하게 하여, 지연을 최소화하면서도 브라우저 호환성을 보장합니다.

AI 서버의 경우, 1차 AI 모델은 실시간으로 정적 위험을 빠르게 감지하고, 관련된 프레임만을 2차 모델에 전달하여 실시간성과 시스템 자원 효율성을 극대화합니다. 2차 모델은 영상 기반으로 정밀한 동적 위험 행동을 분석하여, 높은 분류 정확도를 제공합니다. 이중 AI 모델 구조는 실시간성과 분석 정확도를 모두 충족시키며, 효율적이고 정확한 위험 감지를 가능하게 합니다.

💡 화면 소개

기능	시연 화면
CCTV 모니터링
실시간 위험행동 감지 알림
출동중인 사건 관리
AI 성능 개선을 위한 피드백
사건 기록 조회
사건 통계 차트

💡 시연 영상

💡 팀원

이채영
TL, Frontend

강서영
Frontend

남궁희
Frontend

김은지
Backend

김민주
Backend

김예향
AI

💡 기술 스택

💄 Frontend

🚀 Backend

🤖 AI

💡 자료