AI 자산과 위험 분류
어떤 모델과 에이전트가 어느 업무에 쓰이는지 목록으로 만들고, 영향과 다루는 데이터에 따라 검토 수준을 정합니다.
보안 & 거버넌스
AI가 무엇을 하는지 알 수 있어야 안전합니다.
누가 무엇을 볼 수 있고 어떤 행동을 할 수 있는지, 그 결과를 어떻게 증명할지 설계하는 일입니다.
Patty는 AI 안전을 말투나 금칙어 목록에 맡기지 않습니다. 누가, 어떤 권한으로, 어떤 데이터를 다루는지 정하고, 결과를 기록으로 남깁니다. AI가 맡는 일이 커질수록 이 장치도 함께 커야 합니다.
도입 검토하기우리의 입장
AI가 일하는 순간을 관리해야 합니다.
AI 사용 지침을 배포하는 것만으로는, 어떤 데이터가 모델에 들어갔는지, 누가 권한을 승인했는지 알 수 없습니다. AI가 메일을 보내고, 코드를 배포하고, 업무 시스템의 값을 바꾸기 시작하면, 일이 벌어진 뒤에야 보는 로그만으로는 부족합니다.
Patty의 원칙은 단순합니다. 위험한 행동은 실행 전에 막고, 허용된 행동은 막힘없이 진행하고, 결정과 결과는 사람이 읽을 수 있는 기록으로 남깁니다.
- 기본 거부
- 맡기지 않은 데이터와 도구, 행동은 처음부터 쓸 수 없습니다.
- 최소 권한
- 업무에 필요한 대상과 작업, 시간, 예산만 허용합니다.
- 위험 기반 승인
- 클릭 하나하나 승인받게 하지 않고, 되돌리기 어렵거나 영향이 큰 결정 앞에서만 사람을 부릅니다.
- 기록 우선
- 허용·거부·실행·실패를 한 줄의 기록으로 남겨, 나중에 다시 짚어 볼 수 있게 합니다.
요청에서 실행까지, 일곱 단계
요청에서 실행까지 권한과 기록이 끊기지 않습니다.
모델이 답을 잘 냈다고 해서 다 실행할 수 있는 건 아닙니다. 한 단계는 앞 단계에서 정한 범위 안에서만 움직이고, 더 넓은 권한이 필요하면 멈춥니다.
- 누가 요청했는가신원
사람, 서비스 계정, AI 에이전트를 구분하고 조직·역할·세션에 연결합니다.
- actor
- organization
- session
- 무엇을 맡겼는가위임된 권한
목적과 대상, 허용된 행동, 쓸 수 있는 시간, 권한을 다시 넘길 수 있는지를 적어 둡니다.
- purpose
- scope
- expiry
- 무엇을 볼 수 있는가데이터 경계
아무 데이터나 보여 주지 않습니다. 민감도와 저장 위치, 업무 맥락을 보고 필요한 항목만 보여 줍니다.
- classification
- residency
- fields
- 어떻게 처리하는가모델과 도구
정책이 허용한 모델과 버전, 연결 도구만 사용합니다.
- model
- version
- tool
- 사람의 판단이 필요한가승인
외부 전송, 고위험 변경, 예산 초과처럼 판단이 필요한 순간에는 책임자의 결정을 받습니다.
- approver
- reason
- validity
- 실제로 무엇이 바뀌었는가실행
분리된 환경에서, 승인된 대상에만 승인된 동작만 실행합니다.
- action
- target
- before/after
- 무엇으로 증명하는가실행 기록
누가 요청했는지부터 무엇이 바뀌었는지까지, 한 줄로 이어진 기록으로 남깁니다.
- decision
- outcome
- timestamp
여덟 가지 통제 원칙
모델만 관리해서는 AI 시스템을 관리할 수 없습니다.
조직, 데이터, 모델, 도구, 운영을 함께 관리해야 신뢰가 만들어집니다.
사람과 AI의 신원
사람, 에이전트, 서비스 계정을 구분하고, 모든 행동을 실제 책임자와 연결합니다.
위임과 최소 권한
넓고 영구적인 권한 대신 목적과 대상, 시간이 정해진 권한을 주고, 권한을 다시 넘기는 것도 통제합니다.
데이터 보호와 주권
왜 모으는지, 얼마나 오래 두는지, 어디에 저장하는지, 언제 지우는지를 실행 지점에서 지킵니다.
사람의 감독과 승인
영향이 큰 결정은 사람이 승인하고 중지하고 되돌릴 수 있게 합니다. 승인 요청이 너무 잦으면 사람이 둔감해지므로, 기준을 설계합니다.
모델·도구·공급망 점검
모델과 도구의 버전, 설치 출처, 변경 이력과 허용 목록을 관리하고, 예고 없이 돌아가는 코드는 격리합니다.
출처와 검토 가능한 기록
입력과 근거, 정책 결정, 승인, 실행, 결과 사이의 연결을 남겨 감사와 사고 조사에 씁니다.
지속 평가와 복구
배포 전 검증으로 끝내지 않고, 모니터링과 레드팀, 사고 대응, 복구와 개선을 계속 반복합니다.
에이전트 시대의 위협 모델
AI가 도구를 쓰면, 위험도 늘어납니다.
실패를 "모델이 이상한 답을 했다"로만 보지 않습니다. 목표, 권한, 도구, 에이전트 사이의 신뢰가 어떻게 악용되는지 봅니다.
01목표·프롬프트 탈취문서나 웹페이지에 숨은 지시가 원래 업무 목표를 바꿉니다.
예방
신뢰 경계 분리 · 시스템 지시 보호 · 허용 행동 제한
탐지
목표 이탈 · 비정상 도구 호출 탐지
복구
세션 중지 · 오염 맥락 폐기 · 재검토
02과도한 자율성과 도구 오용읽기만 맡은 에이전트가 외부 전송이나 데이터 변경까지 시도합니다.
예방
능력 분리 · 최소 권한 · 고위험 승인
탐지
정책 거부 · 호출 패턴 · 예산 이상
복구
권한 회수 · 변경 취소 · 영향 범위 확인
03권한 상승과 권한 도용에이전트가 다른 사용자의 권한을 빌려 쓰거나, 맡은 권한을 넘어서려 합니다.
예방
강한 신원 · 목적 제한 위임 · 재위임 통제
탐지
실행자-권한 불일치 · 비정상 경로
복구
권한 회수 · 연쇄 위임 차단 · 조사
04오염된 맥락·메모리·공급망잘못된 기억, 플러그인 또는 모델 변경이 이후 판단을 계속 비틉니다.
예방
출처 표시 · 버전 고정 · 공급망 허용 목록
탐지
변조 검사 · 결과 변화 평가
복구
안전 버전 복원 · 메모리 격리 · 재평가
05에이전트 간 신뢰 악용한 에이전트의 잘못된 주장이나 권한이 다른 에이전트로 연쇄 전달됩니다.
예방
상호 신원 확인 · 권한 양도 금지 · 메시지 형식 검증
탐지
연쇄 호출 · 책임 단절 탐지
복구
작업 흐름 격리 · 상태 재구성 · 책임자 개입
06예상치 못한 코드 실행과 연쇄 실패생성된 코드나 도구 오류가 인접 시스템과 후속 에이전트로 번집니다.
예방
샌드박스 · 네트워크 경계 · 단계별 커밋
탐지
실행 관찰 · 결과 검증 · 중단 조건
복구
체크포인트 · 롤백 · 비상 중지
07사람의 과신과 형식적 승인그럴듯한 요약 때문에 담당자가 근거와 실제 영향을 보지 않고 승인합니다.
예방
근거·차이·영향 먼저 보기 · 독립 검토
탐지
형식적 승인 패턴 · 검토 시간 이상
복구
결정 재검토 · 영향 통지 · 승인 기준 개선
실행 기록
실행이 끝나면 요약부터 봅니다.
로그를 전부 읽게 하지 않습니다. 누가, 왜, 무엇을 했고 결과가 어땠는지 먼저 보여 줍니다. 자세한 기록은 필요할 때 열어 봅니다.
예시의 성격아래 기록은 필드 구조를 설명하기 위한 합성 예시이며, 실제 고객·사람·운영 환경 또는 프로덕션 실행의 기록이 아닙니다.
실행 내용 요약
가상의 구매팀 담당자가 발주 초안 12건을 요청한 예시입니다. 민감 데이터 제외 정책과 팀장 승인을 거쳐 초안만 만들었고, ERP 원본은 그대로라고 표현합니다.
누가, 어떤 권한으로
- 실행자
- 가상 역할: 구매 담당자 / human
- 위임 권한
- 발주 조회 + 초안 생성 / 30분
- 승인
- 가상 역할: 구매팀 책임자 / 초안 생성만 / 14:32 KST
왜 허용됐는지
- 정책 결정
- 허용 / P-PO-014 / 필드 3개 제외
- 데이터 등급
- 내부업무 / 공급사 계좌정보 제외
- 모델·도구
- illustrative-private-model:v4.2 / ERP draft connector:v8
무엇을 했고 어떻게 됐는지
- 실행
- purchase-order.draft.create / 12건
- 결과
- 초안 12건 생성 / 원본 변경 0건 / 오류 0건
- 시간
- 예시 시간 14:31:08–14:32:41 KST
기술 정보와 식별자 보기
- trace_id
trc_8f2a…4c19- authority_id
del_0137…b28e- input_digest
sha256:53b7…e20a- policy_bundle
procurement-kr@2026.08.4- runtime
private-seoul-02- outcome_digest
sha256:94e1…72df
사람의 권한
무엇을 맡길지 정하고, 결과에 책임집니다.
모든 행동을 승인받게 하면 사람이 지칩니다. 중요한 결정에만 사람을 부르고, 그때 필요한 정보를 함께 보여 줍니다.
규제와 표준을 실무 언어로
요구사항이 실제 통제와 기록으로 이어지게 합니다.
법과 표준이 요구하는 것은 조직마다 다릅니다. Patty는 요구 항목을 자산 목록, 영향 평가, 투명성, 감독, 기록, 모니터링 같은 실무 항목에 연결해 검토를 돕습니다.
중요한 구분아래 내용은 준비 상태와 통제 항목 연결을 설명합니다. 통제 매핑은 법률 자문·적합성 판정·인증을 의미하지 않습니다. 특정 법이나 표준을 완전히 지킨다고 보장하지도 않습니다. 실제 적용은 조직의 법무·개인정보·보안·감사 담당자와 함께 판단해야 합니다.
대한민국 AI 기본법
투명성, 고영향 AI 확인과 위험 관리, 설명 제공, 사람의 관리·감독, 문서화와 영향 평가를 실무 기록에 연결합니다.
1차 출처 보기 ↗개인정보보호위원회 생성형 AI 안내서기획부터 학습, 개발, 운영까지 전 과정에서 처리 목적, 데이터 최소화, 정보주체 권리와 프라이버시 위험을 검토합니다.
1차 출처 보기 ↗NIST AI RMF · GenAI ProfileGOVERN·MAP·MEASURE·MANAGE를 자산 관리, 위험, 평가, 모니터링, 사고 대응의 반복 업무로 연결합니다.
1차 출처 보기 ↗ISO/IEC 42001AI 경영시스템의 책임, 목표, 위험, 영향, 운영 통제와 지속 개선을 조직의 관리 체계와 연결해 검토합니다.
1차 출처 보기 ↗EU AI Act위험 기반 분류, 제공자·배포자 역할, 투명성, 기록, 사람의 감독과 고위험 시스템 요구를 실제 적용 상황에 맞춰 검토합니다.
1차 출처 보기 ↗배포 경계
같은 원칙도 환경에 따라 다르게 적용됩니다.
배포 방식을 보안 등급으로 순위 매기지 않습니다. 데이터 등급, 네트워크 조건, 운영 책임에 맞춰 어디에 무엇을 두고 어떤 기록을 남길지 정합니다.
Public cloud
관리형 인프라와 외부 모델 API까지 쓰는 환경
- 계정·키 분리
- 전송 전 데이터 최소화
- 제공자·지역·보존 기간 검토
Enterprise private
회사 전용망(VPC), 전용 계정, 사내 인프라 환경
- 회사 계정 체계(IAM) 연계
- 사내망과 전용 키
- 내부 로그·감사 저장소 연계
Sovereign environment
데이터와 운영 주체를 국가 요건에 맞춰 두는 환경
- 지역 내 데이터·키·운영
- 승인된 공급망
- 지역별 정책 세트
Disconnected network
인터넷과 분리되거나 제한적으로 연결된 망
- 내부 모델·도구 허용 목록
- 오프라인 정책·시간 검증
- 검토된 반입·반출과 기록 동기화
계속 지켜지는지 확인
검사는 한 번으로 끝나지 않습니다.
모델, 데이터, 도구, 공격 기법은 계속 바뀝니다. 지켜 보고, 검증하고, 되돌리는 일을 반복해야 안전이 유지됩니다.
평가
대표 업무와 실패 조건, 한국어 지시, 권한 경계를 버전마다 시험합니다.
레드팀
프롬프트 주입, 권한 상승, 데이터 유출, 도구 오용, 연쇄 실패를 공격자처럼 시도해 봅니다.
관찰
거부된 요청, 승인 우회 시도, 비용·지연 이상, 엉뚱해진 흐름, 결과 품질을 운영 중 지켜봅니다.
대응
멈추고 격리하고, 권한을 회수하고, 기록을 보존하고, 영향을 분석하고, 관계자에게 알리는 절차를 준비합니다.
복구
안전한 버전과 저장 지점으로 돌아가고, 오염된 맥락과 자격 증명을 갈아끼웁니다.
개선
사고와 사고 직전까지 간 사례에서 배운 것을 정책, 평가, 승인 기준, 제품 설계에 다시 반영합니다.
연구와 공개 작업
OPEN PROTOCOL RESEARCHDARI — 위임된 권한과 실행 기록을 연결하는 공개 프로토콜 연구직접 만든 연구와 참고한 표준입니다.
DARI와 Patty의 보안·거버넌스 글은 이 원칙을 실제로 만들고 시험한 기록입니다. 기술 검토가 필요한 팀이 설계 근거를 볼 수 있습니다.
신원, 위임, 정책 결정과 행위 결과를 검증 가능한 흐름으로 연결하는 방법을 다룹니다.
콘텐츠 출처와 실행 출처의 차이
C2PA는 이미지·영상·문서의 출처와 변경 이력을 다루는 공개 표준입니다. Patty가 말하는 실행 출처는 여기에 더해, 누가 어떤 권한과 정책으로 도구를 실행했고 실제 시스템에서 무엇이 바뀌었는지까지 다룹니다. 둘은 관련되지만 다른 문제입니다.
보안·거버넌스 세부 자료
DARI 프로토콜AI 행위에 신뢰가 아니라 영수증을 — 개방형 위임 권한·영수증 인프라.보안 모델모든 AI 행위에 대한 다계층 방어(defense-in-depth) 인가.감사 & 출처DARI 영수증, 사람/AI 출처 추적, 암호화된 트레이스 볼트.LLM 게이트웨이 & 정책 엔진서버 사이드 모델 권한, 요청 단위 정책 결정.DLP & 프라이버시검색·LLM 접촉 전 입력 마스킹, 개인정보보호법 정렬 처리.책임 있는 AIAI가 제안하고, 사람이 승인하고, 시스템이 실행하고, 모든 것이 기록됩니다.AI 행위 모니터링에이전트 신원 일급 시민화, 이상 행동 탐지, 일시정지·종료 통제.공격 방어프롬프트 인젝션 저항, 도구 격리, 엔진 수준 경계, 출력 모더레이션.모델 보안서명된 모델 배포, 가중치 보호, 어댑터·카탈로그 공급망 무결성.데이터 레지던시 & 주권국내 데이터 레지던시, 폐쇄망 프로파일, 주권 제약을 존중하는 리전 페일오버.접근 통제 & 신원사람/AI 이중 신원 모델, COSE 서명 자격증명, 범위 지정 에이전트 권한.규제 대응EU AI Act 대응, 국내 AI 입법 대비, 규제자용 감사 증거 내보내기.컴플라이언스 & 인증현재 보유 인증과 취득 로드맵을 정직하게 구분해 안내합니다.