halil · 프로젝트 운영 Agent Platform

개요

코딩 없이 팀 운영 AI 에이전트를 만들어 쓰는 플랫폼입니다. Google Drive·Jira·인사 시스템을 연결해 두면 대화와 승인 한 번으로 업무 추출과 Jira 등록까지 처리합니다. 모든 답변에 원문 근거를 붙이고, 외부를 바꾸는 작업은 사람의 승인을 거치도록 설계했습니다. 도구 레지스트리와 승인 게이트 구조를 설계하고 도구 33종 중 16종을 구현했으며, 운영자 콘솔을 권한 관리와 파괴적 조치 통제까지 넓혔습니다. 문서 임베딩을 맡는 RunPod GPU 워커는 팀원이 만든 저장소를 halil에 맞게 옮겨 배포하고, OCR 처리와 txt·md 입력 지원을 보완했습니다.

맡은 일

• PM 7주 일정 · 작업 분담 · Git 전략 · 산출물
• 화면 서비스 화면 전반
• 에이전트 하네스 도구 레지스트리 · 승인 게이트 구조 설계, 도구 33종 중 16종 구현 (승인 게이트 5종 포함)
• 운영자 콘솔 확장 팀·계정·모델·MCP·가드레일·사용량 화면, 권한 부여·회수와 파괴적 조치 통제
• 임베딩 워커 팀원이 만든 RunPod GPU 워커를 이관·배포, OCR과 txt·md 입력 보완
• 테스트 팀 전체 1,836개 중 약 700개 작성

구현과 문제 해결

• DB 연결 저장소 코드 209곳이 호출마다 DB 연결을 새로 열던 것을 연결 풀(psycopg_pool, 최대 8)로 교체
• 데이터 정합성 팀 삭제 중 서브쿼리가 없는 칼럼을 골라 조건이 항상 참이 되면서 다른 팀 도구까지 지워지던 문제를 원인까지 찾아 고치고, 스키마 파일과 대조하는 회귀 테스트 3종 추가
• 승인 게이트 LangGraph의 멈춤 신호가 tuple로 나와 승인 카드가 뜨지 않던 문제를 찾아, 승인 대기 이벤트와 체크포인트 재개(Command(resume)) 경로를 연결
• 스트리밍 타임아웃 문서 질문이 30초에 끊기던 원인(gunicorn 기본 타임아웃)을 찾아 600초로 늘리고, 응답 대기가 대부분인 요청이라 sync 워커를 gthread(2 워커 × 8 스레드)로 전환
• 가드레일 OpenAI Guardrails·Azure·Bedrock 3개 공급자를 연동해 실측하고, 외부 가드레일이 응답하지 않으면 채팅이 최장 30분 멈출 수 있던 경로에 10초·12초 상한을 두고 준비 작업과 병렬로 실행
• 관측성 토큰 사용량이 0이나 빈 값으로 기록되던 원인(스트리밍 사용량 미수집, Gemini 추론 토큰 누락)을 고치고 운영자 사용량 화면 추가
• 배포·권한 새 컬럼을 읽는 코드가 스키마 미적용 DB에 배포돼도 성공으로 끝나던 문제를 배포 전 스키마 확인 단계로 막고, 화면에만 있던 팀장 전용 제한 8개 경로를 서버에서 검사

결과

• DB 연결 풀 화면 하나 81.4ms → 9.5ms, 문서 목록 34.3ms → 9.3ms (로컬 실측)
• 검색 품질 기준선 문서 8종·질의 37개에서 Recall@5 94.6%, MRR 0.743 (평가 하네스 직접 작성)
• 가드레일 실측 "이전 지시 무시" 발화를 2.6초 만에 차단, 문서 속에 숨긴 지시문(간접 인젝션)은 막지 못한다는 한계 확인
• 배포 전 스키마 확인 항목 57개, 운영 DB 누락 0건
• 기업참여 최종 프로젝트 최우수상