Minjae Logo

HAR Safety AI: 프로젝트 설계 및 구상

project design

HAR Safety AI — Project Design

From One-hot Classification to Distribution-based Action State Space

Motivation & Background

HAR Safety AI는
인간 행동을 단일 라벨로 강제 분류하는 기존 Human Action Recognition(HAR) 접근의 한계를 인식하고,
행동을 확률 분포 기반 상태 공간(Action State Space) 으로 모델링하기 위해 설계된
멀티모달 인간 행동 인식 프로젝트이다.

이 프로젝트의 출발점은
대학 캡스톤 디자인으로 진행했던 AI 기반 낙상 감지 앱 프로젝트였다.

당시 프로젝트에서는:

  • 팀원들이 직접 촬영한 영상 데이터를 기반으로

  • MediaPipe를 활용해 포즈 키포인트를 추출하고

  • stand / sit / bow / walk / fall

    5개 행동 클래스를 one-hot label로 분류하는

  • 포즈 기반 HAR 모델을 구현했다.

모델은 실험 환경에서는 준수한 정확도를 보였지만,
실환경 테스트 과정에서 다음과 같은 구조적 한계를 명확히 드러냈다.

캡스톤 프로젝트에서 드러난 문제의식

1️⃣ 행동은 명확한 경계를 갖지 않는다

실제 인간 행동은:

  • 서서히 변하고
  • 여러 행동이 중첩되며
  • 맥락에 따라 다르게 해석된다

예를 들면:

  • 걷다가 뛰기 시작하는 구간
  • 넘어지기 직전의 불안정한 자세
  • 의도되지 않은 위험 행동의 전조 상태

그러나 one-hot 기반 HAR 모델은

이러한 중간 상태(intermediate state) 를 표현할 방법이 없다.

2️⃣ 안전 도메인에서 단일 클래스 예측은 위험하다

안전·헬스케어 도메인에서 중요한 것은:

  • “정확히 맞추는 것”이 아니라
  • 위험을 놓치지 않는 것

하지만 단일 클래스 분류는:

  • 모델의 불확실성을 숨기고
  • “확신하지 못한 상태”를 시스템 외부로 전달하지 못한다

이로 인해:

  • 보수적인 판단
  • 규칙 기반 시스템과의 결합
  • 시간에 따른 행동 변화 분석

이 모두가 어려워진다.

Why Human Actions Should Not Be Single Labels

“사람은 버튼처럼 행동하지 않는다.”

강화학습과 상태 공간 모델링을 공부하면서,

행동 인식에도 같은 질문이 떠올랐다.

“왜 행동은 상태 공간이 아니지?”

행동은 점(point)이 아니라 영역(region) 이다.

  • 걷기와 뛰기 사이
  • 앉기 직전의 균형
  • 위험 행동으로 전이되기 직전의 상태

이 모든 것은 연속적인 상태 공간 상의 위치로 보는 편이 더 자연스럽다.

Design Shift: From Classification to Action State Space

이 문제의식을 바탕으로,

HAR Safety AI에서는 행동 인식을 다음과 같이 재정의했다.

행동 = 단일 라벨이 아닌,확률 분포로 표현되는 상태 공간상의 위치

Distribution-based Output

  • 출력: [p∈RK,∑pi=1][ \mathbf{p} \in \mathbb{R}^{K}, \quad \sum p_i = 1 ]

  • 각 차원은 하나의 행동 클래스를 의미

  • 목표는 argmax를 맞추는 것이 아니라

    의미 있는 분포를 형성하는 것

이 접근을 통해:

  • Top-k 행동 조합 해석
  • 불확실성 자체를 정보로 활용
  • 도메인별 규칙 기반 후처리

가 가능해진다.

예:

walk 0.45 + run 0.38 → fast locomotion

이는 데이터셋에 정의되지 않은 행동도

암묵적으로 표현할 수 있게 한다.

Why Multimodal HAR?

캡스톤 프로젝트에서는 포즈 단일 모달을 사용했지만,

실환경에서는 다음과 같은 문제가 반복적으로 발생했다.

  • 가림(occlusion)
  • 관절 인식 실패
  • 조명 변화
  • 카메라 각도 변화

이를 보완하기 위해

HAR Safety AI에서는 다음과 같은 확장을 고려했다.

  • Pose sequence → 구조적 움직임 정보
  • RGB video → 맥락 및 외형 정보

즉,

단일 모달이 아닌

멀티모달 입력 기반 HAR 설계

Personal Project Expansion

이러한 설계 철학을 바탕으로,

캡스톤 이후 개인 프로젝트로 HAR Safety AI를 확장했다.

확장 내용:

  • PyTorch 기반 from-scratch 학습 루프 구현
  • Pose + RGB 멀티모달 입력
  • Transformer / factorized attention 구조 적용
  • 분포 기반 출력 설계
  • 시간에 따른 행동 분포 변화 분석 가능 구조

이 과정에서

행동 인식은 단순 분류 문제가 아니라:

  • 상태 표현 문제
  • 불확실성 추론 문제
  • 규칙 기반 시스템과 결합 가능한 표현 문제

로 확장되었다.

Practical Advantages in Safety Systems

분포 기반 HAR는 다음과 같은 실무적 장점을 가진다.

  • Threshold 기반 위험 감지
  • 행동 전이 패턴 분석
  • Rule-based / Symbolic 시스템과 결합
  • 보수적인 판단 전략 설계 가능

이는:

ML + Symbolic AI의 접점

으로 활용 가능하며,

안전·헬스케어·보안과 같은 도메인에서

특히 유의미하다.

Design Philosophy Summary

HAR Safety AI는 다음 원칙을 중심으로 설계되었다.

  • Hard boundary 회피
  • 행동의 연속성 존중
  • 불확실성의 명시적 표현
  • 도메인 불특정(Action-agnostic) 행동 모델링

이 프로젝트는

가장 높은 accuracy를 내는 모델을 목표로 하지 않는다.

대신,

현실 세계에서 해석 가능하고안전한 판단을 지원하는 행동 표현

을 만드는 것을 목표로 한다.