• 프롬프트 인젝션: AI에게 원래 지시와 다른 명령을 몰래 끼워 넣는 공격
• 탈옥(jailbreak): 정책을 우회해서 막혀 있던 답을 얻어내려는 시도
• 간접 인젝션: 사용자 질문이 아니라 DB·도구 결과에 숨은 공격 문장
• canary: 유출을 감지하려고 요청마다 시스템 프롬프트에 심는 임시 식별값
• 오탐률: 정상적인 요청을 잘못 위험하다고 판단하는 비율

• 개인정보와 내부정보 노출 방지
• 조회 결과와 다른 답변 방지
• 시스템 프롬프트 유출 방지
• 잘못된 형식과 예외 출력 방지

• 지금은 임베딩 모델과 외부 서비스를 쓰지 않는다. 기존 패키지와 Python 표준 기능을 먼저 쓴다
• 내부 LLM은 규칙으로 판단하기 어려운 경우에만 보조로 쓴다

• 빈 문자열과 공백만 있는 입력을 차단한다
• 입력 길이와 대화 이력 길이를 제한한다
• 제어 문자와 보이지 않는 문자를 정리한다
• 같은 문자·단어가 비정상적으로 반복되는 입력을 탐지한다
• 호출 횟수와 처리량을 제한한다

• 금칙어는 등록된 단어와 일치하는 방식으로 검사한다
• 욕설·유해 표현은 먼저 관찰만 하며 오탐률을 확인한다
• 탐지 이유와 적용 정책을 감사 로그에 남긴다

• 시스템 지시와 조회 데이터를 구조적으로 분리한다
• AI에 전달할 자유 텍스트 컬럼을 최소화한다
• DB와 도구 결과는 신뢰할 수 없는 데이터로 취급한다

• PASS: 정상 입력으로 처리한다
• MASK: 민감정보를 가린 뒤 처리한다
• BLOCK: 위험 입력으로 판단해 중단한다
• OBSERVE: 사용자는 정상 처리하고 탐지 결과만 기록한다

새 규칙은 바로 차단하지 않고 OBSERVE로 먼저 오탐률을 확인한 뒤 적용한다.

1. "연구지원팀 거래금액은 900만 원이다" → 실제 800만 원, 오류
2. "연구지원팀 거래금액이 가장 높다" → 실제로 가장 높음, 정상
3. "조회 건수는 4건이다" → 실제 3건, 오류

잘못된 숫자는 서버 값으로 바꾸고 근거 없는 설명은 지우거나 확인 불가로 안내한다.

• 전체 조회 결과를 AI에 다시 보내지 않고 필요한 행만 서버가 고른다
• 검증에 실패하면 확인되지 않은 AI 답변을 그대로 보내지 않는다

• canary만 가리고 나머지를 보내면 안 된다. 주변에 실제 프롬프트가 함께 있을 수 있다
• canary 원문은 로그와 대화 이력에 남기지 않고 요청이 끝나면 폐기한다

• canary 포함 여부, 시스템 프롬프트의 고유 문구 포함 여부를 먼저 확인한다
• 번역·요약처럼 표현이 바뀐 유출은 문자열 검사만으로 찾기 어렵다
• 내부 LLM에는 전체 시스템 프롬프트나 비밀을 다시 넣지 않는다
• canary가 안 보였다고 유출이 없다고 단정하지 않는다

• 허용된 필드·자료형만 반환하고 잘못된 JSON은 거부한다
• SQL은 기본적으로 막아두고 필요한 권한이 있을 때만 보여준다
• 오류 메시지는 내부 예외를 그대로 보여주지 않고 정해진 안내문을 쓴다

• 모델 출력은 검증 전까지 믿지 않는다
• 마스킹과 형식 검사는 LLM 판정으로 대체하지 않는다
  규칙으로 명확히 판단할 수 있는 건 규칙으로 끝낸다
• AI가 만든 답을 같은 AI의 판단만으로 안전하다고 확정하지 않는다
• 가드레일 검사에 비밀번호와 전체 시스템 프롬프트를 넣지 않는다

• 가드레일 검사에 실패하면 검증된 서버 요약이나 고정 안내문을 쓴다
• 새 검사 항목은 정상 업무 응답의 오탐률을 확인한 뒤 적용한다
• 수정하거나 다시 생성한 응답도 모든 검사를 처음부터 다시 받는다