얼마나 함께 만들었는지 적는 법, REAL Rating이 제안하는 눈금

The Reported Engagement with AI Level (REAL) Rating: A Framework for Disclosing Human-AI Collaboration은 arXiv에 공개된 연구로 arXiv 번호 2610.04021로 등록되어 있다. 원문 링크는 제목 아래에 걸어두었다.

이 연구가 내세우는 주장은 하나의 문장으로 정리된다. 사람이 썼는지 기계가 썼는지 둘로 나누는 표기 대신 만들고 쓰는 과정에 AI가 얼마나 관여했는지를 0부터 5까지 여섯 단계로 적자는 것이다. 이 글에서는 그 문제의식에서 출발해 지금 표기가 놓치는 것, 만드는 일과 보는 일을 함께 적어야 하는 까닭, 여섯 단계 눈금의 감각, 다섯 가지 결과물への 적용, 그리고 솔직한 표기를 어렵게 만드는 지점을 차례로 따라간다.

왜 아직도 둘 중 하나로만 묻고 있을까

제가 이 논문에서 가장 흥미롭게 본 부분은 출발점의 솔직함이었다. 요즘 우리가 매일 만지는 글과 그림과 영상과 소리, 그리고 소프트웨어 안에는 이미 기계의 손길이 깊숙이 들어와 있는데, 밖에서 붙이는 표시는 여전히 둘 중 하나를 고르게 한다. 사람이 썼거나, 아니면 기계가 썼거나. 이렇게 물으면 대답은 깔끔해지지만 현실은 오히려 더 흐려진다. 맞춤법을 고친 정도인지, 초안을 통째로 맡긴 것인지, 아니면 결과물을 보는 순간마다 새로 조립되는 것인지가 한 표기 안에 뭉개지기 때문이다.

생각해보면 사람도 비슷하게 일한다. 일요일 오후에 동네 문방구에서 파는 스티커를 떠올려보자. 어떤 스티커는 밑그림만 사고 색은 내가 칠하고, 어떤 스티커는 그림 자체를 다른 사람이 그려주고 나는 문구만 덧붙인다. 두 경우를 두고 누가 만들었냐고만 물으면 둘 다 반만 맞는 대답이 되는데, 얼마나 함께 만들었냐고 물어야 비로소 작업이 보인다. 논문이 꼬집는 지점이 바로 여기다. 지금 provenance 표기와 공개 방식은 둘 중 하나 고르기에 머물러 있어서, 서로 다른 쓰임이 가진 서로 다른 부담을 담아내지 못하기 때문이다.

여기서는 조금 조심해서 읽을 필요가 있다. 둘 중 하나 표기가 전부 거짓이라는 이야기가 아니기 때문이다. 완전히 사람이 손으로 쓴 메모와 버튼 하나로 찍어낸 대량 결과물을 가르는 데는 그 표기도 쓸모가 있다. 그런데 우리가 매일 마주치는 대부분의 작업물은 그 양끝 사이 어딘가에 있다. 초안은 기계가 잡고 사람이 고치고, 편집은 사람이 하고 자막 타이밍은 기계가 맞추는 식이니까요. 그렇다면 둘 중 하나만 묻는 표기는 편리한 대신 정확하지 않은 셈이다. 저는 이 불편함을 그냥 넘기지 않은 태도가 좋았다. 편한 표기를 의심하는 데서 제도가 시작되지 않을까요?

워터마크가 있어도 사용자가 모르는 까닭

기술적으로 표시를 심는 일과 사람이 알아보는 일은 서로 다른 층에 있죠. 워터마크 논의를 따라가다 보면 이 간격이 자주 드러나는데, 픽셀 어딘가에 신호를 숨겨두거나 문장 리듬 속에 통계적 흔적을 남기는 방식은 기계가 읽기에는 정확할 수 있다. 그런데 보는 사람의 눈에는 아무것도 닿지 않죠. 파일 어딘가에 표가 있다는 사실과, 지금 내 앞에 있는 이 글이나 영상이 어떻게 만들어졌는지를 내가 이해한다는 사실은 서로 다른 일이기 때문이다.

문제는 그다음이다. 기계가 읽는 표시는 대개 분쟁이 생긴 뒤에 꺼내 보는 증거에 가깝고, 사람이 읽는 표시는 선택하기 전에 보는 안내문에 가깝다. 증거는 정확하면 되지만, 안내문은 읽혀야 하죠. 논문이 워터마크 접근을 두고 사용자 앞에서의 명확함이 부족하다고 지적한 대목은 그래서 아프게 읽혔다. 기술이 틀렸다는 말이 아니라, 기술이 답하는 질문과 사용자가 묻는 질문이 어긋나 있다는 뜻이기 때문이다. 기계는 이 파일이 기계의 흔적을 가졌는지를 묻지만, 사용자는 내가 이 결과물을 어떻게 믿고 어떻게 쓰면 되는지를 묻는다. 두 질문 사이에 다리가 놓이지 않은 것이다.

저는 여기서 멈칫했다. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않죠. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 보기 때문이다. 표시 기술도 마찬가지라서, 탐지율이 몇 퍼센트인지만 보면 절반만 본 셈이다. 누가, 언제, 어떤 화면에서, 어떤 말로 보게 되는지가 함께 설계되어야 표기가 완성된다. 그렇다면 기계용 증거 위에 사람용 안내를 어떻게 얹을 수 있을까. 이 질문이 다음 논의로 이어진다.

만드는 일과 보는 일을 함께 적어야 하는 이유

이 논문이 다른 disclosure 논의와 갈라지는 지점은 표기의 대상을 넓힌 데 있다. 대개 공개 논의는 만드는 과정만 보는데요. 누가 썼는지, 어느 단계에서 기계가 들어왔는지를 적고 만다. 그런데 논문은 보는 순간의 쓰임까지 함께 적자고 말한다. 같은 문장이라도 고정된 원고로 읽히는지, 보는 사람 요청에 따라 그 자리에서 새로 조합되는지에 따라 부담이 달라지기 때문이다.

표면적으로 보면 단순하지만, 실제로는 그렇지 않다. 만드는 과정과 쓰는 과정은 서로 다른 손이 만지기 때문이다. 만드는 과정은 작업자의 선택을 담고, 쓰는 과정은 보는 사람의 상황과 권한과 기대를 담죠. 예를 들어 화요일 아침 기획팀 장면을 떠올려보자. 누군가 보고서를 받아서 읽는데, 그 보고서가 고정된 문서인지, 아니면 내가 질문할 때마다 답이 바뀌는 대화형 결과물인지에 따라 확인 방법이 완전히 달라진다. 고정된 문서라면 출처와 날짜를 따지면 되지만, 매번 바뀌는 결과물이라면 어제 본 답과 오늘 본 답이 같은 근거를 가졌는지도 다시 물어야 하니까요. 그래서 만드는 과정만 적은 표기는 절반의 이야기다. 나머지 절반은 보는 자리에서 생긴다.

저는 이 구분보다 그 뒤의 태도가 더 중요하다고 본다. 위험과 결과는 추상적인 기계 관여도가 아니라 구체적인 쓰임에서 갈라지는데, 논문은 바로 그 쓰임을 표기 안으로 끌어들이려 하기 때문이다. 읽는 사람 입장에서 보면 이 차이는 상당히 크다. 저녁에 아이와 함께 보는 영상과, 아침 회의 전에 훑는 요약문과, 배포 직전의 코드 조각은 같은 눈금으로 재면 안 되죠. 그렇다면 하나의 등급 안에 이 둘을 어떻게 함께 담을 수 있을까. 여기서 여섯 단계 눈금이 등장한다.

0부터 5까지 눈금을 나눈다는 것은 무슨 뜻일까

여섯 단계라는 숫자에 먼저 눈이 간다. 0부터 5까지라는 말은 양끝이 있다는 뜻인데, 한쪽 끝에는 사람의 손으로만 이루어진 작업이 있고, 다른 쪽 끝에는 거의 전적으로 기계에 맡긴 작업이 있다. 그리고 그 사이 네 칸이 실제 세계의 대부분을 받는다. 고치기, 다듬기, 함께 짜기, 맡기기 같은 서로 다른 깊이가 서로 다른 칸에 앉는 식이다. 숫자가 많아 보이지만, 하고 싶은 말은 단순하죠. 함께 일했다는 사실을 뭉뚱그리지 말고 깊이를 나눠 적자는 것이다.

여기서 재미있는 질문이 생긴다. 눈금을 나눈다고 현실이 저절로 나뉠까. 저는 그렇지 않다고 보는 편인데, 눈금은 재는 도구가 아니라 약속하는 언어에 가깝기 때문이다. 자가 생긴다고 물건이 저절로 재어지지 않듯, 등급이 생긴다고 작업이 저절로 분류되지 않는다. 누가, 어떤 기준으로, 어디까지 들여다보고 칸을 정할지가 함께 정해져야 눈금이 산다. 논문이 구조적인 방법론과 적용 방식을 함께 다룬 까닭도 여기에 있다고 읽었다. 등급 이름만 던지고 끝내는 대신, 칸을 가르는 손잡이가 무엇인지를 설명하려 하기 때문이다.

일종의 영양 성분표처럼요. 성분표가 음식의 맛을 대신하지는 않지만, 당과 나트륨과 지방을 같은 자리에 같은 단위로 적어두면 고르는 사람의 손이 달라진다. 등급도 그 역할을 노린다. 정확히 어떤 모델이 몇 퍼센트 기여했는지를 잰다는 뜻이 아니라, 관여의 깊이에 대한 공통 언어를 만들겠다는 뜻이죠. 참고로 영양 성분표도 처음에는 숫자가 낯설었는데요. 익숙해지고 나니 고르는 기준이 되었다고 한다. 그렇다면 이 공통 언어가 다섯 가지로 서로 다른 재료에도 통할까. 다음 대목이 바로 그 시험이다.

글과 그림과 영상과 소리와 소프트웨어를 한 표에 담을 수 있을까

논문이 욕심을 낸 부분은 적용 범위다. 글(text) 하나만 보지 않고, 그림(image)과 소리(audio)와 영상(video)과 소프트웨어(software)까지 함께 본다. 다섯 가지 결과물을 하나의 등급 체계로 아우르겠다는 것인데, 처음 들으면 무리처럼 느껴질 수도 있다. 재료가 너무 다르지 않냐는 의심이 바로 생기기 때문이다. 글에서는 문장 초안이 문제고, 그림에서는 구도와 질감이 문제고, 소프트웨어에서는 동작과 보안이 문제인데, 이걸 같은 눈금으로 어떻게 재겠냐는 것이죠.

그런데 논문의 선택을 따라가다 보면 그 무리가 오히려 의도라는 생각이 든다. 우리가 매일 만나는 결과물이 원래부터 섞여 있기 때문이다. 수요일 오후 편집실 장면을 떠올려보자. 대본은 문서로 오고, 썸네일은 그림으로 뽑고, 내레이션은 소리로 입히고, 최종본은 영상으로 묶이고, 자막 추출과 업로드는 작은 스크립트가 맡는다. 하나의 게시물이 다섯 가지 재료를 한 몸에 품고 있다. 이렇게 섞인 작업 앞에서 글 따로, 영상 따로 등급을 매기면 보는 사람은 다섯 장의 표를 들고 헤매게 된다. 그래서 하나의 언어가 필요하다는 것인데, 저는 이 문제의식이 현장에 가깝다고 봤다.

물론 재료마다 손잡이는 달라져야 한다. 글에서는 누가 문장을 주도했는지가 중요하고, 영상에서는 편집과 합성의 깊이가 중요하고, 소프트웨어에서는 테스트와 검토가 어디까지 이루어졌는지가 중요하다. 같은 3단계라도 글에서의 3과 소프트웨어에서의 3이 뜻하는 바는 같을 수 없다. 논문이 다섯 가지 양식마다 적용 방식을 따로 다룬 까닭도 그래서다. 눈금의 뼈대는 같이 쓰되, 살은 각 재료에 맞게 붙이겠다는 것인데, 이 차이는 생각보다 중요하다. 뼈대만 같고 살이 다르면 비교는 깨지고, 살까지 똑같으면 현실을 놓치기 때문이다. 그렇다면 서로 다른 살을 가진 등급들을 보는 사람은 어떻게 믿을 수 있을까. 위험 이야기로 넘어가야 한다.

위험이 달라지면 표기도 달라져야 하지 않을까

논문이 자꾸 쓰임새 이야기를 꺼내는 데는 까닭이 있다. AI가 들어간 방식이 다르면 뒤따르는 부담도 달라지기 때문이다. 오타를 고치는 도움과, 없는 사실을 그럴듯하게 지어내는 도움은 같은 칸에 둘 수 없다. 전자는 읽는 사람의 판단을 가볍게 돕지만, 후자는 읽는 사람의 판단을 통째로 빌려가죠. 만드는 과정의 관여도만 적으면 이 차이가 안 보인다. 그래서 쓰는 과정의 모습을 함께 적어야 한다는 것인데, 저는 이 대목에서 논문의 시선이 사용자 쪽으로 옮겨갔다고 느꼈다.

목요일 밤 거실 장면을 떠올려보자. 가족이 모여 다큐멘터리처럼 보이는 영상을 본다. 화면 속 풍경이 실제 촬영인지, 일부 장면이 합성된 것인지, 아니면 전체 흐름이 요청에 따라 그때그때 지어지는 것인지에 따라 우리가 화면을 대하는 태도가 달라진다. 실제 촬영이라면 배경 지식을 덧붙이며 보면 되고, 일부 합성이라면 어디까지가 재현인지 확인하고 싶어지고, 매번 새로 지어지는 것이라면 아예 믿는 방식 자체를 바꿔야 하니까요. 같은 등급표라도 이런 쓰임 차이를 담지 못하면 안내문 구실을 못 한다. 숫자는 있는데 판단은 안 서는 표가 되죠.

여기서는 조금 조심해서 읽을 필요가 있습니다. 등급이 위험을 재단한다는 뜻이 아니기 때문이다. 등급은 위험의 크기를 점수로 매기는 장치가 아니라, 위험을 가늠할 단서를 같은 자리에 모아두는 장치에 가깝다. 점수가 높다고 무조건 나쁘고 낮다고 무조건 좋은 것이 아니라, 높은 칸에서는 이런 질문을, 낮은 칸에서는 저런 질문을 꺼내라는 신호에 가깝다. 저는 그래서 이 등급을 신호등에 비유하고 싶었다. 신호등이 사고를 막아주지는 않지만, 멈추고 살피는 리듬을 만들어주니까요. 그렇다면 신호를 누가 켜고 누가 관리할까. 작업실 이야기로 이어진다.

일상 작업실에서 이 표기는 어떻게 쓰일까

제도는 작업실 책상 위에서 살아남아야 한다. 금요일 오후 프리랜서 편집자 책상을 떠올려보자. 의뢰받은 글 초안이 와 있는데, 일부는 의뢰인이 직접 쓴 메모이고, 일부는 대화형 도구로 뽑은 뒤 고친 것이다. 마감은 두 시간 뒤고, 손볼 곳은 많은데 적을 곳은 없다. 이런 사람에게 등급은 짐이 될 수도 있고, 도구가 될 수도 있다. 칸을 정하는 데 한 시간이 걸리면 짐이 되고, 작업 흐름 안에 녹아 있으면 도구가 되죠. 논문이 만드는 과정과 쓰는 과정을 함께 보자고 한 것도 이런 장면을 염두에 둔 것으로 읽힌다. 작업이 끝난 뒤에 도장을 찍는 일이 아니라, 작업이 흘러가는 길목마다 표시가 따라붙는 그림이기 때문이다.

생각해보면 사람도 비슷하게 기록하죠. 요리할 때 레시피 옆에 누가 양파를 썰었는지까지 적지는 않지만, 알레르기가 있는 손님이 올 때는 재료를 꼼꼼히 적는다. 부담이 있는 자리에서는 기록의 밀도가 달라지기 때문이다. 등급도 마찬가지라서, 모든 작업에 같은 무게로 매달리면 피로해지고, 부담이 큰 작업에서 빠지면 구멍이 생긴다. 그래서 적용 방식이 중요해지는데, 글과 영상과 소프트웨어마다 손이 가는 지점이 다르기 때문이다. 글에서는 초안과 교정과 사실 확인이 갈림길이고, 영상에서는 촬영과 합성과 편집이 갈림길이고, 소프트웨어에서는 생성과 시험과 검토가 갈림길이다. 갈림길마다 표시가 서 있어야 보는 사람이 길을 잃지 않는다.

저는 여기서 실무적인 기대와 걱정이 함께 생겼다. 기대는 표기가 작업자의 언어가 될 수 있다는 것이고, 걱정은 표기가 서류 작업으로 굳을 수 있다는 것이다. 좋은 표기는 자랑이 아니라 설명이 되는데요. 몇 단계를 받았다는 자랑이 아니라 어디까지 손보고 어디부터 맡겼는지를 말해주는 설명이다. 참고로 식품 표시도 처음에는 업계의 반발이 컸는데, 지금은 성실한 표시가 오히려 신뢰가 되었다고 한다. 그렇다면 설명을 성실하게 하게 만드는 힘은 어디에서 올까. 보고의 문제로 넘어간다.

솔직하게 적게 만드는 장치는 무엇일까

이름에 Reported라는 말이 들어 있다는 점이 눈에 밟힌다. Reported Engagement, 즉 보고된 관여라는 말은 누군가 적는다는 뜻인데, 재는 기계가 아니라 적는 사람이 있다는 뜻이다. 보고라는 말에는 정직함의 부담이 따라붙는다. 낮게 적으면 책임을 피할 수 있고, 높게 적으면 손해를 볼 수도 있는데, 그래도 사실대로 적어야 제도가 산다. 그렇다면 무엇이 솔직한 보고를 돕는가. 이 질문 앞에서 등급표는 점수표가 아니라 약속표가 된다.

문제는 그다음이다. 약속은 말로만 서지 않기 때문이다. 약속이 서려면 확인 방법이 있어야 하고, 확인이 있으려면 남는 흔적이 있어야 한다. 작업 로그가 남는지, 도구 사용 기록이 남는지, 검토자의 손길이 남는지가 솔직함을 떠받친다. 논문이 구조적인 방법론을 앞세운 대목도 이렇게 읽힌다. 등급 숫자 자체보다 숫자를 정하는 절차와 근거를 함께 보자는 것인데, 절차가 있으면 다툼이 줄고, 근거가 있으면 믿음이 생긴다. 저는 이 순서 감각이 좋았다. 숫자를 먼저 정하고 근거를 나중에 묻는 대신, 근거를 먼저 쌓고 숫자를 그 위에 올리려는 순서니까요.

실제 시스템 관점에서 보면 다음 질문이 바로 생긴다. 보고 부담을 누가 지느냐는 것이다. 만드는 사람이 다 지면 작업이 무거워지고, 플랫폼이 나누어 지면 기록이 흩어지고, 보는 사람이 따로 확인하면 피로가 쌓인다. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않는다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 보기 때문이다. 등급도 마찬가지라서, 등급 하나를 매기는 데 드는 시간과 돈과 손길이 얼마인지를 함께 재야 한다. 비용이 크면 성실한 사람만 손해 보고, 비용이 작으면 모두가 쓸 수 있기 때문이다. 그렇다면 이 약속이 놓치는 자리는 없을까. 반대쪽을 봐야 한다.

이 등급표가 가리는 것은 없을까

좋은 제안일수록 가리는 것을 함께 봐야 한다. 여섯 칸 눈금이 생기면 사람들은 칸에 맞춰 생각하게 되는데, 칸에 맞춰 생각한다는 것은 칸 밖에 있는 것을 덜 보게 된다는 뜻이기도 하다. 예를 들어 같은 2단계라도 어떤 도구를 썼는지, 어떤 검토를 거쳤는지에 따라 실제 부담은 크게 갈린다. 숫자가 같다는 이유로 둘을 같다고 읽으면 등급이 오히려 눈을 가린다. 숫자는 편리를 주지만, 편리함은 종종 생각을 멈추게 하죠.

겉보기에 깔끔해 보이는 표기가 오히려 판단을 미루게 한 사례는 주변에도 많은데요. 별점 다섯 개짜리 식당에 가서 실망한 경험이 그런 경우다. 별점은 평균의 만족을 말해주지만, 내가 그날 원하는 맛과 자리를 말해주지는 않는다. 등급도 그럴 수 있다. 평균의 관여를 말해주지만, 내가 지금 하려는 쓰임에 딱 맞는 주의를 말해주지는 않는다. 그래서 등급은 답이 아니라 질문의 출발점이 되어야 한다. 몇 단계인지 묻고 나서, 그러면 어디를 더 확인해야 하는지를 묻게 되는 식이다. 저는 이 지점에서 논문을 너무 몰아붙이지 않으려 한다. 논문도 등급이 모든 답이라고 말하지 않고, 서로 다른 쓰임에 따른 서로 다른 부담을 담는 그릇이라고 말하기 때문이다.

그렇다면 이 흐름은 어디에서 단단해질 수 있을까. 그 이야기는 마지막에 다시 다루겠다. 그 전에 한 가지는 분명히 해두고 싶은데, 등급이 있다고 책임이 옮겨가지는 않는다는 것이다. 낮은 등급을 받았다고 책임이 가벼워지는 것도 아니고, 높은 등급을 받았다고 책임이 사라지는 것도 아니다. 등급은 책임을 대신하는 도장이 아니라, 책임을 묻기 위한 언어를 만드는 일이다. 이 차이를 놓치면 등급은 면죄부가 된다. 그래서 다음 마지막 질문이 남는다.

남는 질문 앞에서 어디를 볼 것인가

처음 이야기로 돌아가면, 질문도 바뀌었다. 누가 만들었는가에서 얼마나 함께 만들었는가로 말이다. 이 바뀐 질문이 좋은 질문인 까닭은 답이 하나가 아니라 다음 질문을 낳기 때문이다. 몇 단계인지 답하고 나면, 누가 어느 부분에 어떻게 관여했는지 묻게 되고, 보는 자리에서는 그 관여를 어떻게 대하면 되는지를 묻게 된다. 질문이 질문을 낳는 구조는 살아 있는 제도의 징표다. 답 하나로 끝나면 제도는 굳고, 다음 질문이 열리면 제도는 숨 쉰다.

제가 앞으로 보고 싶은 것은 작업실에서의 쓰임이다. 다섯 가지 재료마다 손잡이가 다르게 잡히는지, 만드는 과정과 보는 과정의 표시가 서로 어긋나지 않는지, 보고의 절차가 작업자의 하루를 너무 무겁게 만들지 않는지가 궁금하다. 특히 소프트웨어에서의 쓰임이 궁금한데, 글과 영상보다 책임의 무게가 직접 실행으로 이어지기 때문이다. 잘못된 문장은 읽는 데서 멈추지만, 잘못된 코드는 도는 순간부터 다른 일을 벌인다. 같은 눈금을 쓰더라도 재료마다 물을 질문이 달라야 하는 까닭이다.

그래서 저는 이 논문을 점수표가 아니라 초대장으로 읽었다. 함께 만든 시대에 함께 책임지는 법을 어떻게 말로 만들지를 묻는 초대장인데, 등급 숫자를 외우는 일보다 중요한 것은 그 숫자를 두고 나누는 대화다. 어디까지 맡겼고, 어디부터 살폈고, 보는 사람에게 무엇을 당부할지를 말하는 대화다. 그렇다면 사람의 역할은 무엇일까. 저는 적는 사람이라고 본다. 기계가 많이 도울수록, 무엇을 어떻게 함께했는지를 말하는 사람의 손이 더 중요해지기 때문이다. 그 손이 모여 공통 언어가 되고, 그 언어가 쌓여 신뢰가 된다. 이 글에서 다 못한 이야기는 원문에서 이어지는데, 등급을 가르는 손잡이의 구체적인 모양은 원문 표에서 직접 확인해보시면 좋겠다.