LLM 네이티브 브라우저
에이전트 브라우징은 페이지를 보는 기능이 아니라 관찰, 행동, 권한과 증거를 통제된 실행으로 묶는 일입니다.
DOM·접근성 트리·시각 상태, 세션 격리, 도구 권한, 승인과 재현 가능한 실행 기록을 설계합니다.
01
문제 정의
동적 페이지에서 모델의 관찰과 실제 클릭 대상이 어긋나면 잘못된 행동이 정상처럼 기록됩니다.
쿠키·자격 증명과 외부 입력이 섞인 브라우저는 프롬프트 주입과 권한 오용의 경계가 됩니다.
- API가 없거나 사람용 웹 흐름을 감사 가능하게 자동화해야 할 때
- 행동 전 승인과 결과 증거를 단계별로 보존해야 할 때
- 안정적인 공식 API로 같은 업무를 수행할 수 있을 때
- 자격 증명 격리와 외부 콘텐츠 불신 원칙을 적용할 수 없을 때
LLM 네이티브 브라우저 시스템 플레이트
- 01
상태 1
페이지 관찰을 DOM, 접근성, 화면과 네트워크 증거의 동기화된 상태로 캡처합니다.
- 02
상태 2
읽기·입력·전송·다운로드 권한을 분리하고 불가역 행동 앞에 승인을 둡니다.
- 03
상태 3
외부 콘텐츠의 지시와 사용자·정책 지시를 실행 계층에서 분리합니다.
- 04
상태 4
행동 전후 상태와 실패 원인을 이벤트 로그와 재생 가능한 실행 묶음으로 남깁니다.
FEEDBACK수용 기준을 통과하지 못한 증거는 첫 통제 단계로 돌아갑니다: 과업 성공과 잘못된 행동률.
- 작업은 페이지 관찰을 DOM, 접근성, 화면과 네트워크 증거의 동기화된 상태로 캡처합니다.에서 시작합니다.
- 과업 성공과 잘못된 행동률을 통해 수용 여부를 결정합니다.
03
설계 방법
에이전트 브라우징은 페이지를 보는 기능이 아니라 관찰, 행동, 권한과 증거를 통제된 실행으로 묶는 일입니다.
- 01
1단계
페이지 관찰을 DOM, 접근성, 화면과 네트워크 증거의 동기화된 상태로 캡처합니다.
- 02
2단계
읽기·입력·전송·다운로드 권한을 분리하고 불가역 행동 앞에 승인을 둡니다.
- 03
3단계
외부 콘텐츠의 지시와 사용자·정책 지시를 실행 계층에서 분리합니다.
- 04
4단계
행동 전후 상태와 실패 원인을 이벤트 로그와 재생 가능한 실행 묶음으로 남깁니다.
04
적용 시나리오
API가 없거나 사람용 웹 흐름을 감사 가능하게 자동화해야 할 때
동적 페이지에서 모델의 관찰과 실제 클릭 대상이 어긋나면 잘못된 행동이 정상처럼 기록됩니다.
- APPROACH
- 페이지 관찰을 DOM, 접근성, 화면과 네트워크 증거의 동기화된 상태로 캡처합니다.
- BOUNDARY
- 데모 성공을 변화하는 실제 웹사이트의 안정성으로 일반화하지 않습니다.
행동 전 승인과 결과 증거를 단계별로 보존해야 할 때
쿠키·자격 증명과 외부 입력이 섞인 브라우저는 프롬프트 주입과 권한 오용의 경계가 됩니다.
- APPROACH
- 읽기·입력·전송·다운로드 권한을 분리하고 불가역 행동 앞에 승인을 둡니다.
- BOUNDARY
- 브라우저 접근 권한을 사용자 권한보다 넓게 부여하지 않습니다.
05
설계 선택
| Decision | Gain | Cost | Watch |
|---|---|---|---|
| API가 없거나 사람용 웹 흐름을 감사 가능하게 자동화해야 할 때 | 페이지 관찰을 DOM, 접근성, 화면과 네트워크 증거의 동기화된 상태로 캡처합니다. | 데모 성공을 변화하는 실제 웹사이트의 안정성으로 일반화하지 않습니다. | 과업 성공과 잘못된 행동률 |
| 행동 전 승인과 결과 증거를 단계별로 보존해야 할 때 | 읽기·입력·전송·다운로드 권한을 분리하고 불가역 행동 앞에 승인을 둡니다. | 브라우저 접근 권한을 사용자 권한보다 넓게 부여하지 않습니다. | 승인·권한 위반 탐지 |
LLM 네이티브 브라우저 시스템 플레이트
- 동적 페이지에서 모델의 관찰과 실제 클릭 대상이 어긋나면 잘못된 행동이 정상처럼 기록됩니다.
- 데모 성공을 변화하는 실제 웹사이트의 안정성으로 일반화하지 않습니다.
- 읽기·입력·전송·다운로드 권한을 분리하고 불가역 행동 앞에 승인을 둡니다.
- 과업 성공과 잘못된 행동률
- 실행 재현·증거 완전성
- 브라우저 접근 권한을 사용자 권한보다 넓게 부여하지 않습니다.
- 작업은 페이지 관찰을 DOM, 접근성, 화면과 네트워크 증거의 동기화된 상태로 캡처합니다.에서 시작합니다.
- 과업 성공과 잘못된 행동률을 통해 수용 여부를 결정합니다.
07
검증 계획
| Measure | Method | Pass condition | Caveat |
|---|---|---|---|
| 과업 성공과 잘못된 행동률 | 페이지 관찰을 DOM, 접근성, 화면과 네트워크 증거의 동기화된 상태로 캡처합니다. | 도입 검토에서 합의한 기준을 반복 측정으로 충족 | 데모 성공을 변화하는 실제 웹사이트의 안정성으로 일반화하지 않습니다. |
| 승인·권한 위반 탐지 | 읽기·입력·전송·다운로드 권한을 분리하고 불가역 행동 앞에 승인을 둡니다. | 도입 검토에서 합의한 기준을 반복 측정으로 충족 | — |
| 실행 재현·증거 완전성 | 외부 콘텐츠의 지시와 사용자·정책 지시를 실행 계층에서 분리합니다. | 도입 검토에서 합의한 기준을 반복 측정으로 충족 | — |
08
한계와 실패 조건
안정적인 공식 API로 같은 업무를 수행할 수 있을 때
데모 성공을 변화하는 실제 웹사이트의 안정성으로 일반화하지 않습니다.
자격 증명 격리와 외부 콘텐츠 불신 원칙을 적용할 수 없을 때
브라우저 접근 권한을 사용자 권한보다 넓게 부여하지 않습니다.
09
협업 방식
- 01
진단
Patty현행 구조와 실패 신호를 기술적으로 분석합니다.
Client대표 업무, 데이터 경계, 운영 제약을 제공합니다.
과업 성공과 잘못된 행동률 - 02
설계
Patty읽기·입력·전송·다운로드 권한을 분리하고 불가역 행동 앞에 승인을 둡니다.
Client소유자와 수용 기준을 확정합니다.
승인·권한 위반 탐지 - 03
검증
Patty외부 콘텐츠의 지시와 사용자·정책 지시를 실행 계층에서 분리합니다.
Client운영 전환 또는 중단 결정을 내립니다.
실행 재현·증거 완전성
10
남는 산출물
- LLM 네이티브 브라우저 의사결정 기록
- 에이전트 브라우징은 페이지를 보는 기능이 아니라 관찰, 행동, 권한과 증거를 통제된 실행으로 묶는 일입니다.고객 소유 · Patty 검토
- 검증 하네스와 수용 기준
- 과업 성공과 잘못된 행동률 · 승인·권한 위반 탐지 · 실행 재현·증거 완전성공동 관리
- 운영·복구 런북
- 데모 성공을 변화하는 실제 웹사이트의 안정성으로 일반화하지 않습니다. · 브라우저 접근 권한을 사용자 권한보다 넓게 부여하지 않습니다.운영 조직 소유
11
용어
- LLM 네이티브 브라우저
- DOM·접근성 트리·시각 상태, 세션 격리, 도구 권한, 승인과 재현 가능한 실행 기록을 설계합니다.
- 수용 기준
- 과업 성공과 잘못된 행동률
- 운영 경계
- 데모 성공을 변화하는 실제 웹사이트의 안정성으로 일반화하지 않습니다.
REFERENCES
참고 문헌과 1차 자료
- W3C WebDriver
방법과 용어를 확인하기 위한 1차 자료입니다.
- OWASP LLM Prompt Injection
방법과 용어를 확인하기 위한 1차 자료입니다.