AI 자산과 위험 분류
어떤 모델과 에이전트가 어느 업무에 쓰이는지 목록화하고, 영향·자율성·데이터 민감도에 따라 검토 수준을 정합니다.
PATTY SECURITY & GOVERNANCE
안전한 AI는 답변을 검열하는 일이 아닙니다.
누가 무엇을 볼 수 있고, 어떤 행동을 할 수 있으며, 그 결과를 어떻게 증명할지 설계하는 일입니다.
Patty는 AI 안전을 모델의 말투나 금칙어 목록에 맡기지 않습니다. 신원과 권한, 데이터 경계, 도구 사용, 사람의 승인, 실행 증거를 하나의 운영 체계로 연결합니다. AI가 더 많은 일을 맡을수록 조직의 통제력도 함께 커져야 합니다.
보안·거버넌스 검토 요청우리의 입장
정책 문서가 아니라, 실행되는 순간에 거버넌스가 작동해야 합니다.
AI 사용 지침을 배포하는 것만으로는 어떤 데이터가 모델에 전달됐는지, 에이전트가 어느 시스템을 바꿨는지, 누가 그 권한을 승인했는지 알 수 없습니다. 특히 AI가 검색을 넘어 메일을 보내고, 코드를 배포하고, 업무 시스템의 값을 변경하기 시작하면 사후 로그만으로는 충분하지 않습니다.
Patty의 원칙은 단순합니다. 위험한 행동을 실행 전에 좁히고, 허용된 행동은 필요한 범위에서 빠르게 수행하며, 결정과 결과를 사람이 이해할 수 있는 증거로 남깁니다. 거버넌스는 혁신을 멈추는 브레이크가 아니라 신뢰할 수 있는 속도를 만드는 운영 장치입니다.
- 기본 거부
- 명시적으로 위임되지 않은 데이터와 도구, 행동은 사용할 수 없습니다.
- 최소 권한
- 업무에 필요한 대상, 작업, 시간과 예산만 허용합니다.
- 위험 기반 승인
- 모든 클릭을 승인시키지 않고, 되돌리기 어렵거나 영향이 큰 경계에서 사람을 호출합니다.
- 증거 우선
- 허용·거부·실행·실패를 같은 사건 흐름 안에 남겨 재구성할 수 있게 합니다.
통제되는 실행의 사슬
요청 하나가 실제 행동이 되기까지, 권한과 증거가 끊기지 않습니다.
모델의 답변이 그럴듯하다는 사실은 실행 권한을 뜻하지 않습니다. 각 단계는 앞 단계의 범위를 이어받고, 더 넓은 권한이 필요하면 멈춰서 다시 판단합니다.
- 누가 요청했는가신원
사람, 서비스 계정, AI 에이전트를 구분하고 조직·역할·세션에 연결합니다.
actor · organization · session - 무엇을 맡겼는가위임된 권한
목적, 대상, 허용 행동, 유효 시간과 재위임 가능 범위를 명시합니다.
purpose · scope · expiry - 무엇을 볼 수 있는가데이터 경계
민감도, 거주 위치, 업무 맥락과 필드 수준 범위에 맞는 데이터만 제공합니다.
classification · residency · fields - 어떻게 처리하는가모델과 도구
허용된 모델, 버전, 커넥터와 도구 능력을 정책에 따라 선택합니다.
model · version · tool - 사람의 판단이 필요한가승인
외부 전송, 고위험 변경, 예산 초과와 같은 경계에서 책임자의 결정을 받습니다.
approver · reason · validity - 실제로 무엇이 바뀌었는가실행
격리된 실행 환경에서 승인된 대상과 동작만 수행하고 결과를 확인합니다.
action · target · before/after - 무엇으로 증명하는가실행 증거
요청부터 정책 결정, 승인, 실행 결과와 시간을 연결해 검토 가능한 기록으로 남깁니다.
decision · outcome · timestamp
여덟 가지 통제 원칙
모델만 관리해서는 AI 시스템을 관리할 수 없습니다.
신뢰는 단일 필터나 대시보드가 아니라 조직, 데이터, 모델, 도구, 사람과 운영이 함께 작동할 때 만들어집니다.
사람과 비인간 신원
사람, 에이전트, 서비스 계정을 식별하고 각 행동을 실제 책임 구조와 연결합니다.
위임과 최소 권한
넓고 영구적인 권한 대신 목적·대상·행동·시간이 제한된 권한을 발급하고 재위임을 통제합니다.
데이터 보호와 주권
수집 목적, 최소 제공, 민감도, 보존 기간, 거주 위치와 삭제 요구를 실행 경계에 반영합니다.
사람의 감독과 승인
영향이 큰 결정을 사람이 승인·중지·번복할 수 있게 하고, 경고 피로를 줄이도록 승인 기준을 설계합니다.
모델·도구·공급망 무결성
모델과 도구 버전, 플러그인 출처, 변경 이력과 허용 목록을 관리하고 예상치 못한 코드 실행을 격리합니다.
출처와 검토 가능한 증거
입력, 근거, 정책 결정, 승인, 실행과 산출물 사이의 연결을 보존해 감사와 사고 조사에 사용합니다.
지속 평가와 복구
배포 전 평가에서 끝내지 않고 모니터링, 레드팀, 사고 대응, 증거 보존, 복구와 개선을 반복합니다.
에이전트 시대의 위협 모델
AI가 도구를 사용할 때, 공격 표면은 프롬프트 밖으로 넓어집니다.
Patty는 실패를 “모델이 이상한 답을 했다”로만 정의하지 않습니다. 목표와 맥락, 권한, 도구, 에이전트 사이의 신뢰가 어떻게 악용될 수 있는지 봅니다.
01목표·프롬프트 탈취문서나 웹페이지에 숨은 지시가 원래 업무 목표를 바꿉니다.
예방
신뢰 경계 분리 · 시스템 지시 보호 · 허용 행동 제한
탐지
목표 이탈 · 비정상 도구 호출 탐지
복구
세션 중지 · 오염 맥락 폐기 · 재검토
02과도한 자율성과 도구 오용읽기 업무를 맡은 에이전트가 외부 전송이나 데이터 변경까지 시도합니다.
예방
능력 분리 · 최소 권한 · 고위험 승인
탐지
정책 거부 · 호출 패턴 · 예산 이상
복구
권한 회수 · 변경 취소 · 영향 범위 확인
03권한 상승과 대리인 혼동에이전트가 다른 사용자의 권한이나 재위임 경로를 악용합니다.
예방
강한 신원 · 목적 제한 위임 · 재위임 통제
탐지
행위자-권한 불일치 · 비정상 경로
복구
자격 증명 폐기 · 연쇄 위임 차단 · 조사
04오염된 맥락·메모리·공급망잘못된 기억, 플러그인 또는 모델 변경이 이후 판단을 지속해서 왜곡합니다.
예방
출처 표시 · 버전 고정 · 공급망 허용 목록
탐지
무결성 검사 · 결과 회귀 평가
복구
안전 버전 복원 · 메모리 격리 · 재평가
05에이전트 간 신뢰 악용한 에이전트의 잘못된 주장이나 권한이 다른 에이전트로 연쇄 전달됩니다.
예방
상호 신원 확인 · 권한 비전이 · 메시지 스키마
탐지
연쇄 호출·책임 단절 탐지
복구
워크플로 격리 · 상태 재구성 · 책임자 개입
06예상치 못한 코드 실행과 연쇄 실패생성 코드나 도구 오류가 인접 시스템과 후속 에이전트로 확산됩니다.
예방
샌드박스 · 네트워크 경계 · 단계별 커밋
탐지
실행 관찰 · 결과 검증 · 중단 조건
복구
체크포인트 · 롤백 · 비상 중지
07사람의 과신과 승인 자동화그럴듯한 요약 때문에 담당자가 근거와 실제 영향을 보지 않고 승인합니다.
예방
근거·차이·영향 우선 표시 · 독립 검토
탐지
형식적 승인 패턴 · 검토 시간 이상
복구
결정 재검토 · 영향 통지 · 승인 정책 개선
약속이 아니라 증거
감사 담당자와 현업 책임자가 같은 실행을 서로 다른 깊이로 이해할 수 있어야 합니다.
수천 줄의 원시 로그는 증거의 재료일 뿐입니다. Patty는 먼저 누가 무엇을 왜 실행했고 어떤 결과가 났는지 보여 주고, 필요할 때 기술 필드와 원본 기록까지 내려가게 합니다.
EXECUTION RECEIPT가상 예시 · 승인된 범위에서 완료
검증 가능한 실행 요약예시의 성격아래 영수증은 필드 구조를 설명하기 위한 합성 예시이며, 실제 고객·사람·운영 환경 또는 프로덕션 실행의 증거가 아닙니다.
가상의 구매팀 담당자가 발주 초안 12건 생성을 요청한 예시입니다. 민감 데이터 제외 정책과 가상의 팀장 승인을 거쳐 초안만 생성했으며 ERP 원본은 변경되지 않은 것으로 표현합니다.
- 행위자
- 가상 역할: 구매 담당자 / human
- 위임 권한
- 발주 조회 + 초안 생성 / 30분
- 정책 결정
- 허용 / P-PO-014 / 필드 3개 제외
- 데이터 등급
- 내부업무 / 공급사 계좌정보 제외
- 모델·도구
- illustrative-private-model:v4.2 / ERP draft connector:v8
- 승인
- 가상 역할: 구매팀 책임자 / 초안 생성만 / 14:32 KST
- 실행
- purchase-order.draft.create / 12건
- 결과
- 초안 12건 생성 / 원본 변경 0건 / 오류 0건
- 시간
- 예시 시간 14:31:08–14:32:41 KST
기술 필드와 무결성 식별자 보기
- trace_id
trc_8f2a…4c19- authority_id
del_0137…b28e- input_digest
sha256:53b7…e20a- policy_bundle
procurement-kr@2026.08.4- runtime
private-seoul-02- outcome_digest
sha256:94e1…72df
사람의 권한
사람은 마지막 도장만 찍는 존재가 아니라, 경계를 정하고 감독하며 책임지는 주체입니다.
좋은 human-in-the-loop는 모든 행동을 느리게 만드는 승인 행렬이 아닙니다. 사람의 판단이 실제로 필요한 곳을 명확히 하고, 판단에 필요한 맥락과 영향, 대안을 함께 제시합니다.
규제와 표준을 운영 언어로
체크리스트를 붙이는 대신, 요구사항이 실제 통제와 증거로 이어지게 합니다.
법과 표준은 적용 대상, 역할, 산업과 배포 방식에 따라 요구가 달라집니다. Patty는 관련 요구를 자산 분류, 영향 평가, 투명성, 사람의 감독, 기록, 모니터링 같은 운영 항목에 매핑해 검토를 지원합니다.
중요한 구분아래 내용은 준비도와 통제 매핑을 설명합니다. 통제 매핑은 법률 자문·적합성 판정·인증을 의미하지 않습니다. 또한 특정 법이나 표준을 완전히 준수한다고 보장하지 않습니다. 실제 적용은 조직의 법무·개인정보·보안·감사 책임자와 함께 판단해야 합니다.
대한민국 AI 기본법
투명성, 고영향 AI 확인과 위험관리, 설명, 사람의 관리·감독, 문서화와 영향평가를 운영 증거에 연결합니다.
1차 출처 보기 ↗개인정보보호위원회 생성형 AI 안내서기획·학습·개발·운영 전 과정에서 처리 목적, 데이터 최소화, 정보주체 권리와 프라이버시 리스크를 검토합니다.
1차 출처 보기 ↗NIST AI RMF · GenAI ProfileGOVERN·MAP·MEASURE·MANAGE를 자산, 위험, 평가, 모니터링과 사고 대응의 반복 운영으로 연결합니다.
1차 출처 보기 ↗ISO/IEC 42001AI 경영시스템의 책임, 목표, 위험, 영향, 운영 통제와 지속 개선을 조직의 관리 체계와 연결해 검토합니다.
1차 출처 보기 ↗EU AI Act위험 기반 분류, 제공자·배포자 역할, 투명성, 기록, 사람의 감독과 고위험 시스템 요구를 적용 맥락에 맞춰 검토합니다.
1차 출처 보기 ↗배포 경계
같은 통제 원칙도 데이터와 실행이 놓이는 장소에 따라 다르게 구현됩니다.
배포 옵션을 보안 등급처럼 단순 서열화하지 않습니다. 조직의 데이터 등급, 네트워크 조건, 운영 책임과 복구 요구에 맞춰 통제 위치와 증거 보존 방식을 정합니다.
Public cloud
관리형 인프라와 외부 모델 API를 포함할 수 있는 경계
- 테넌트·키 분리
- 전송 전 데이터 최소화
- 제공자·지역·보존 정책 검토
Enterprise private
기업 VPC, 전용 계정 또는 사내 인프라 경계
- 기업 IAM과 연계
- 사설 네트워크와 전용 키
- 내부 SIEM·감사 저장소 연계
Sovereign environment
국가·산업별 데이터 주권과 운영 주체 요건을 반영한 경계
- 지역 내 데이터·키·운영
- 승인된 공급망
- 관할권별 정책 묶음
Disconnected network
인터넷과 분리되거나 제한적으로 연결된 망
- 로컬 모델·도구 허용 목록
- 오프라인 정책·시간 검증
- 검토된 반입·반출과 증거 동기화
지속적 보증
한 번 통과한 평가가 내일의 안전을 보장하지 않습니다.
모델, 데이터, 도구, 공격 기법과 조직 업무는 계속 바뀝니다. 그래서 신뢰는 출시 전 심사 한 번이 아니라 관찰하고 검증하고 복구하는 반복 능력으로 관리해야 합니다.
평가
대표 업무와 실패 조건, 한국어 지시, 권한 경계를 포함한 시나리오를 버전별로 검증합니다.
레드팀
프롬프트 주입, 권한 상승, 데이터 유출, 도구 오용과 연쇄 실패를 공격자 관점에서 점검합니다.
관찰
정책 거부, 승인 우회 시도, 비용·지연 이상, 목표 이탈과 결과 품질을 운영 중 감시합니다.
대응
중지와 격리, 권한 회수, 증거 보존, 영향 분석과 관계자 통지를 위한 절차를 준비합니다.
복구
안전 버전과 체크포인트로 돌아가고, 오염된 맥락과 자격 증명을 교체합니다.
개선
사고와 근접 사고에서 배운 내용을 정책, 평가, 승인 기준과 제품 설계에 다시 반영합니다.
연구와 공개 작업
OPEN PROTOCOL RESEARCHDARI — 위임된 권한과 실행 증거를 연결하는 공개 프로토콜 연구우리의 원칙을 더 깊이 검토할 수 있는 자료입니다.
DARI와 Patty의 보안·거버넌스 글은 위 원칙을 구현하고 검증하기 위한 공개 작업입니다. 제품 이름이 원칙보다 앞서지 않지만, 기술 검토가 필요한 팀에는 설계의 근거를 제공합니다.
신원, 위임, 정책 결정과 행위 결과를 검증 가능한 흐름으로 연결하는 방법을 다룹니다.
→콘텐츠 출처와 실행 출처의 차이
C2PA는 이미지·영상·문서 같은 디지털 콘텐츠의 출처와 변경 이력을 다루는 중요한 공개 표준 사례입니다. Patty가 말하는 실행 출처는 여기에 더해 누가 어떤 권한과 정책으로 도구를 실행했고 실제 시스템에 무엇을 바꿨는지까지 다룹니다. 둘은 관련되지만 같은 범위가 아닙니다.
보안·거버넌스 세부 자료
DARI 프로토콜AI 행위에 신뢰가 아니라 영수증을 — 개방형 위임 권한·영수증 인프라.→보안 모델모든 AI 행위에 대한 다계층 방어(defense-in-depth) 인가.→감사 & 출처DARI 영수증, 사람/AI 출처 추적, 암호화된 트레이스 볼트.→LLM 게이트웨이 & 정책 엔진서버 사이드 모델 권한, 요청 단위 정책 결정.→DLP & 프라이버시검색·LLM 접촉 전 입력 마스킹, 개인정보보호법 정렬 처리.→책임 있는 AIAI가 제안하고, 사람이 승인하고, 시스템이 실행하고, 모든 것이 기록됩니다.→AI 행위 모니터링에이전트 신원 일급 시민화, 이상 행동 탐지, 일시정지·종료 통제.→공격 방어프롬프트 인젝션 저항, 도구 격리, 엔진 수준 경계, 출력 모더레이션.→모델 보안서명된 모델 배포, 가중치 보호, 어댑터·카탈로그 공급망 무결성.→데이터 레지던시 & 주권국내 데이터 레지던시, 폐쇄망 프로파일, 주권 제약을 존중하는 리전 페일오버.→접근 통제 & 신원사람/AI 이중 신원 모델, COSE 서명 자격증명, 범위 지정 에이전트 권한.→규제 대응EU AI Act 대응, 국내 AI 입법 대비, 규제자용 감사 증거 내보내기.→컴플라이언스 & 인증현재 보유 인증과 취득 로드맵을 정직하게 구분해 안내합니다.→
귀사의 AI가 실제로 보고, 결정하고, 실행하는 흐름부터 함께 검토하겠습니다.
사용 중인 모델, 데이터 등급, 도구, 승인 경계와 배포 환경을 기준으로 필요한 통제와 남겨야 할 증거를 구체화합니다.