연차보고서에 적힌 AI 위험에서 사회의 회복력을 읽을 수 있을까

The AI Risk Observatory: What Can We Learn from AI Disclosures in Annual Reports About Societal Resilience?는 arXiv에 2610.02281 번호로 공개된 연구입니다. 이 연구는 2020년부터 2025년까지 영국 연차보고서 수천 건을 LLM으로 읽어 AI 위험 공시가 얼마나 늘었고 그 내용이 얼마나 실질적인지를 측정합니다. 원문 링크는 제목 아래에 걸어 두었습니다.

안녕하세요, 패트릭입니다. 저는 이 논문을 처음 받았을 때 제목보다 부제에서 오래 멈췄습니다. 연차보고서에서 사회의 회복력을 묻는다는 발상이 낯설었기 때문입니다. 보통 회복력이라고 하면 전력망이나 병원, 통신망 같은 물리적 시스템을 떠올리죠. 그런데 저자들은 회사가 스스로 적어내는 문장을 회복력의 신호로 읽자고 제안합니다.

이런 보고서를 처음 펼쳤을 때 제가 멈칫한 지점

연차보고서는 재미로 읽는 글이 아닙니다. 투자자를 향한 공식 문서이고, 법무팀과 감사인의 손을 거친 문장이라서 대체로 건조하죠. 그런데 바로 그 건조함 때문에 저는 이 자료 선택이 설득력 있다고 봅니다. 광고 문구와 달리 연차보고서에서는 회사가 감수하겠다고 공식적으로 인정한 위험만 남기 때문입니다.

저자들은 여기서 한 걸음 더 나아갑니다. 개별 회사의 위험을 세는 데서 멈추지 않고, 여러 회사의 공시를 합쳐서 사회가 AI에 대해 얼마나 준비된 것처럼 보이는지를 묻습니다. 어떤 회사도 쓰지 않은 위험은 사회 전체에서도 대비가 늦을 가능성이 크다는 발상인데요. 생각해보면 건강검진과 비슷합니다. 한 사람의 수치만 보면 개인의 문제이지만, 같은 항목에서 수천 명이 나란히 경고를 받으면 그 지역의 생활 환경까지 의심하게 되죠.

그렇다면 연차보고서를 대규모로 읽는 일이 실제로 가능할까요. 사람이 9,821건을 한 장씩 읽는 것은 현실적이지 않습니다. 그래서 저자들은 LLM을 이용한 2단계 분류 파이프라인을 세웠고, 사람이 주석을 단 474개 구절과 비교해 검증했습니다. 저는 이 대목에서 논문의 성격을 다시 이해했습니다. 새로운 모델을 제안한 연구가 아니라, 이미 쌓인 문서를 관찰 장비로 바꾸는 시도였던 것이죠.

2.8%에서 41.2%까지, 무엇이 달라진 걸까

숫자부터 짚어보겠습니다. AI를 위험으로 언급한 보고서의 비중은 2020년 2.8%에서 2025년 41.2%로 뛰었습니다. 같은 기간 AI 도입을 언급한 비중도 13.8%에서 45.2%로 올랐습니다. 5년 만에 위험 언급이 열다섯 배 가까이 늘어난 셈인데, 이 기울기는 그냥 넘기기 어렵습니다.

그런데 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 2020년의 2.8%는 AI를 쓰는 소수 기술 회사의 이야기였을 가능성이 큽니다. 반면 2025년의 41.2%는 업종을 가리지 않고 등장하는 문구라는 뜻에 가깝습니다. 보고서에 AI라는 단어가 들어가는 일이 특별한 사건에서 일반적인 문장으로 바뀐 것인데요. 이런 변화는 대개 규제나 감사 관행, 혹은 동종 업계의 눈치가 함께 움직일 때 나타납니다.

여기서 재미있는 질문이 생깁니다. 언급이 늘었다는 사실 자체가 대비가 좋아졌다는 뜻일까요. 저는 그렇지 않다고 봅니다. 화재보험 가입자가 늘었다고 해서 모든 집에 소화기가 생긴 것은 아니기 때문입니다. 가입은 서류로 끝나지만, 소화기는 현장에 있어야 하죠. 공시도 마찬가지입니다. 문장이 늘었다는 것과 조직이 실제로 무엇을 바꿨다는 것은 다른 층위의 이야기입니다.

문제는 그다음입니다. 문장이 늘어난 속도와 문장의 밀도가 같은 속도로 자랐는지가 이 연구의 진짜 주제입니다. 저자들은 그래서 언급 여부와 실질 여부를 나눠서 쟀습니다. 2025년에 41.2%가 위험을 언급했지만, 실질적이라고 판정된 공시를 담은 보고서는 4.3%에 그쳤습니다. 열에 아홉은 언급했지만, 열에 하나도 채 실질로 넘어가지 못한 셈입니다.

도입 이야기는 늘었는데 위험 이야기는 왜 얇을까

도입 공시 45.2%와 실질적 위험 공시 4.3%를 나란히 놓으면 그림이 꽤 선명해집니다. 회사는 AI를 쓴다는 말은 비교적 쉽게 적지만, 그로 인한 위험을 구체적으로 적는 데는 인색하다는 뜻이기 때문입니다. 저는 이 간격이 회사의 계산을 보여준다고 봅니다. 도입은 성장 이야기로 읽히지만, 위험은 비용과 책임 이야기로 읽히니까요.

실제 보고서 문장을 떠올려보면 감이 옵니다. 도입 쪽은 어느 부서에 어떤 도구를 넣었고 업무 시간이 얼마나 줄었는지 같은 이야기가 붙기 쉽습니다. 반면 위험 쪽 문장은 대체로 짧고 둥글게 끝납니다. 데이터 품질이나 모델 오류, 제3자 의존 같은 단어가 나와도, 그것이 자사 매출이나 고객 피해와 어떻게 연결되는지는 잘 적지 않죠. 그래서 읽는 입장에서는 AI를 쓴다는 것은 알겠는데, 무엇을 걱정해야 하는지는 여전히 흐릿합니다.

그렇다면 이 얇음은 게으름 때문일까요. 저는 그렇게만 보지 않습니다. 위험을 구체적으로 적을수록 소송이나 규제 질의, 언론 보도의 표적이 될 수 있다는 점을 실무자는 잘 알기 때문입니다. 심지어 감사인도 구체적인 문장을 요구하면서도, 너무 구체적이면 위험하다고 조언하는 모순된 위치에 서 있습니다. 이런 구조에서는 모두가 안전한 문장을 고르게 됩니다. 틀리지 않았지만 아무것도 말하지 않는 문장이죠.

여기서는 조금 조심해서 읽을 필요가 있습니다. 얇은 공시가 곧 아무 대비도 없다는 뜻은 아니기 때문입니다. 내부적으로는 보안팀이 모델 접근 통제를 하고, 법무팀이 계약 조항을 다듬고 있을 수도 있습니다. 다만 바깥에서 볼 수 있는 신호만으로는 그 노력을 확인할 방법이 없습니다. 회복력을 사회의 관점에서 묻는다면, 보이지 않는 대비는 없는 것과 비슷한 취급을 받을 수밖에 없는데요. 관찰자가 검증할 수 없는 안전은 사회 전체의 계획에 넣기 어렵기 때문입니다.

실질적이라는 판정은 어떻게 내려진 걸까

실질적이라는 말은 자칫 주관적으로 들립니다. 그래서 저자들의 분류 방식을 찬찬히 뜯어볼 필요가 있습니다. 이들은 언급 여부를 가리는 1단계와, 그중에서 구체성이 있는지를 가리는 2단계로 나눴습니다. 1단계가 그물이라면 2단계는 체에 가깝습니다. 넓게 건진 뒤에 남는 것을 다시 거르는 것이죠.

이 구분이 생각보다 중요합니다. 단순 키워드 검색만으로는 AI라는 단어가 들어간 인사말과 실제 위험 논의가 구분되지 않기 때문입니다. 예를 들어 최고경영자 메시지에서 AI 시대를 언급한 문장과, 위험 요인 항목에서 데이터 편향과 공급자 의존을 적은 문장은 무게가 전혀 다릅니다. 2단계 분류는 바로 그 무게를 재려는 장치입니다. 어디에 적혔는지, 무엇이 위험의 주체인지, 대응이 있는지 같은 맥락을 함께 보는 것이죠.

저는 이 설계를 꽤 현실적이라고 봅니다. 저희가 새로운 AI 분석 파이프라인을 볼 때도 정확도 숫자만 보지는 않습니다. 무엇을 양성으로 잡았고, 무엇을 놓쳤으며, 그 실수가 운영에서 어떤 비용을 만드는지를 함께 보니까요. 재현율 하나가 높다고 끝이 아니라, 라벨 수준에서 어디가 흔들리는지를 알아야 다음 개선이 가능하기 때문입니다.

474개 구절로 기계를 검증한다는 것

검증에는 사람이 직접 읽은 474개 구절이 쓰였습니다. 규모만 보면 9,821건에 비해 작아 보이지만, 역할을 생각하면 작지 않습니다. 기계가 대량으로 읽은 뒤에는 사람이 그중 일부를 다시 읽어 기계의 눈이 삐뚤어졌는지 확인해야 하기 때문입니다. 저자들은 이 비교에서 높은 재현율과 중간 수준의 라벨 일치를 보고했습니다.

이 표현은 곱씹을수록 맛이 있습니다. 높은 재현율은 위험 이야기를 대체로 놓치지 않고 건져냈다는 뜻입니다. 그물은 촘촘했다는 것이죠. 반면 중간 수준의 라벨 일치는 건져낸 것의 성격 규정은 사람마다, 혹은 기계와 사람 사이에 엇갈림이 있었다는 뜻입니다. 어떤 문장을 실질적이라고 부를지, 어디까지를 대응으로 볼지에 대한 경계가 흐릿했다는 것인데요. 저는 이 솔직함이 오히려 신뢰를 준다고 봅니다. 분류가 깔끔했다는 말보다 어디가 흔들렸는지를 밝히는 편이 다음 연구에 더 도움이 되기 때문입니다.

(참고로 이런 검증에서 사람이 만든 정답도 완전하지 않은 경우가 많습니다. 재무 공시 문장은 일부러 모호하게 쓰는 경우가 있어서, 전문가 두 명이 봐도 의견이 갈리기 쉽습니다.) 그럼에도 474개라는 버팀목이 있기에 뒤에 나오는 모든 백분율이 허공에 뜨지 않습니다. 기계가 읽은 9,821건의 무게 중심을 잡아주는 닻과 같은 것이죠.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 이런 파이프라인을 매년 돌리면 추세가 왜곡되지 않을까요. 모델이 바뀌거나 프롬프트가 조금만 달라져도 연도별 수치가 흔들릴 수 있기 때문입니다. 논문은 이 점을 완전히 해소하지는 못합니다. 다만 사람이 검증한 구간을 공개하고 재현율과 일치 수준을 함께 적었다는 점에서, 적어도 숫자를 그대로 믿기 전에 조건을 볼 수 있게 해줍니다. 저는 그래서 이 숫자를 확정된 진실보다 잘 만든 관측으로 읽었습니다. 관측이니까 다음 관측으로 고칠 수 있고, 그 과정 자체가 observatory라는 이름에 어울립니다.

Main Market과 AIM 사이에 벌어진 간격

시장별 차이도 눈에 띕니다. 런던 증권의 Main Market에 비해 AIM에 상장된 회사들의 AI 위험 공시율이 훨씬 낮았습니다. 같은 영국 보고서인데도 어느 시장에 있느냐에 따라 문장의 밀도가 달라진 것입니다.

이유는 어렵지 않게 짐작할 수 있습니다. Main Market에는 시가총액이 크고 외부 감시도 촘촘한 회사가 많습니다. 감사인, 기관투자자, 언론이 돌아가며 보고서를 읽기 때문에 위험 항목을 비워두기 어렵죠. 반면 AIM은 성장 단계의 작은 회사가 많아서 공시 자원이 빠듯하고, AI 위험보다 당장의 자금과 매출이 더 급합니다. 보고서 쓰는 사람의 하루가 다르다는 뜻인데요. 한쪽은 전담팀이 문장을 다듬고, 다른 쪽은 소수 인원이 여러 공시를 함께 처리합니다.

그렇다면 이 간격은 작은 회사가 AI를 덜 써서 생긴 걸까요. 꼭 그렇지는 않다고 봅니다. 작은 소프트웨어 회사야말로 외부 모델에 깊이 의존하는 경우가 많기 때문입니다. 문제는 노출이 큰데 서류는 얇다는 점입니다. 큰 회사는 내부 통제를 어느 정도 갖춘 뒤에 공시를 다듬지만, 작은 회사는 통제 자체를 만들 여력이 부족한 상태에서 공시까지 얇아지는 것이죠. 사회 전체로 보면 위험의 총량은 작은 회사들에도 꽤 쌓여 있는데, 지도에는 잘 찍히지 않는 셈입니다.

여기서 저는 공시 제도의 오래된 질문을 다시 떠올렸습니다. 같은 서식을 모든 회사에 요구하면 작은 회사는 형식을 맞추느라 지치고, 차등을 두면 비교가 어려워집니다. AI 위험처럼 빠르게 바뀌는 주제에서는 이 딜레마가 더 커집니다. 올해는 선택이던 문장이 내년에는 의무처럼 느껴지고, 그 사이에 작은 회사들은 대응할 틈이 없기 때문입니다. 그래서 시장 간 간격은 단순한 점수 차이가 아니라, 제도가 현실을 따라가는 속도의 차이로 읽힙니다.

에너지와 데이터 인프라는 왜 뒤에 남았을까

업종 이야기로 들어가면 더 뾰족해집니다. 다른 주요 인프라 영역에 비해 에너지와 데이터 인프라 쪽의 AI 위험 공시가 뒤처졌습니다. 언뜻 보면 의외입니다. 전력과 데이터센터야말로 사회가 멈추지 않게 붙드는 곳이기 때문입니다.

그런데 현장의 리듬을 생각하면 이해되는 구석이 있습니다. 에너지 회사의 위험 보고서는 전통적으로 설비 고장, 연료 가격, 안전 사고, 규제 변경 같은 항목에 맞춰져 있습니다. 수십 년 동안 같은 목차로 훈련된 조직이 갑자기 모델 오류나 데이터 편향을 같은 무게로 올리기는 쉽지 않죠. 데이터 인프라도 비슷합니다. 고객의 AI를 돌리는 쪽이지 자기 일에 AI를 쓰는 이야기는 뒤로 미루기 쉽습니다. 남의 위험은 잘 보이는데 정작 자기 공정의 위험은 문장으로 만들기 어려운 것입니다.

아침에 관제실 모니터가 깜빡이는 장면을 떠올려보겠습니다. 밤사이 수요 예측 모델이 어긋나서 예비력 계산이 틀어졌다고 가정해봅니다. 담당자는 모델을 고치기 전에 전화를 돌려 수급을 맞춥니다. 급한 불은 꺼지지만, 그날의 판단이 보고서의 위험 항목으로 옮겨지지는 않습니다. 운영에서는 해결된 사건이 공시에서는 증발하는 것이죠. 저는 이 단절이 인프라 영역의 낮은 수치를 어느 정도 설명한다고 봅니다. 말하자면 손은 바쁜데 기록은 조용한 상태입니다.

반면 금융이나 통신처럼 감독 당국의 질의가 잦은 업종은 문장이 빨리 늡니다. 질의응답을 몇 번 겪으면 보고서에 어떤 문장을 넣어야 하는지가 학습되기 때문입니다. 이 차이는 생각보다 중요합니다. 공시 수준이 위험의 크기가 아니라 감독과의 대화 횟수를 반영한다면, 조용한 업종일수록 사회의 지도에서 하얗게 남기 때문입니다. 하얀 부분은 안전한 부분이 아니라 아직 그려지지 않은 부분일 수 있습니다.

일곱 건이라는 숫자를 어떻게 읽어야 할까

전체 9,821건 가운데 위해를 알린 보고서는 일곱 건뿐이었습니다. 2025년 기준으로 41.2%가 위험을 언급했다는 사실과 나란히 놓으면 이 일곱이라는 숫자는 더 무겁게 느껴집니다. 위험을 말하는 곳은 많아졌는데, 실제로 벌어진 일을 적은 곳은 거의 없다는 뜻이니까요.

왜 이렇게 적을까요. 첫째, 위해를 인정하는 문장은 바로 책임으로 이어질 수 있습니다. 주주 소송, 고객 보상, 규제 조사로 번질 수 있으니 법무팀이 가장 깐깐하게 보는 대목입니다. 둘째, AI로 인한 피해와 기존 운영 실패를 가르는 경계가 흐릿합니다. 모델이 잘못 판단한 것인지, 입력 데이터가 늦은 것인지, 사람이 마지막 확인을 빼먹은 것인지가 뒤섞여 있으면 한 문장으로 적기 어렵죠. 셋째, 피해가 났어도 그 원인을 AI 탓으로 돌릴 유인이 약합니다. 차라리 일반적인 시스템 오류로 적는 편이 파장이 작습니다.

저는 이 일곱 건을 적다고만 읽지 않았습니다. 오히려 일곱 건이 있었다는 사실에 주목했습니다. 누군가는 그 문장을 쓸 수 있었다는 뜻이기 때문입니다. 어떤 조건에서 그 문장이 가능했는지를 물으면 다음 개선이 보입니다. 예를 들어 피해 규모가 확정된 뒤인지, 규제 보고와 연결된 건인지, 아니면 피해자 보상이 끝난 뒤인지 같은 조건 말입니다. 일곱 건의 공통점을 풀면 열 번째, 스무 번째 문장을 여는 열쇠가 될 수 있습니다.

그렇다면 위해 공시가 늘면 사회는 더 불안해질까요. 짧게 보면 그럴 수 있습니다. 사고 소식이 늘면 체감 위험은 커지니까요. 하지만 길게 보면 반대입니다. 어디에서 무엇이 터졌는지 알아야 예비 체계를 세울 수 있기 때문입니다. 비행 안전이 그렇게 좋아진 것도 추락을 숨기지 않고 기록했기 때문이듯, AI 사고도 기록이 쌓여야 패턴이 보입니다. 일곱 건의 공백은 그래서 단순한 통계가 아니라, 우리가 아직 배우지 못한 일곱 개 이상의 이야기가 있다는 신호로 읽힙니다.

마이크로소프트 이름이 자주 보인다는 사실이 말해주는 것

벤더 언급은 소수 대형 사업자에 몰려 있었고, 그 앞에는 마이크로소프트가 있었습니다. 보고서를 읽다 보면 특정 회사의 제품이나 클라우드 이름이 반복해서 등장한다는 뜻입니다. 저는 이 대목을 읽고 공급망 지도를 떠올렸습니다. 여러 회사의 보고서에 같은 이름이 찍힌다는 것은, 그 회사의 장애나 정책 변경이 여러 회사에 동시에 번질 수 있다는 뜻이기 때문입니다.

도입이 빠를수록 이런 집중은 심해집니다. 각 회사가 따로 검토할 여력이 없으니 이미 검증된 대형 사업자를 고르고, 그 선택이 다시 다음 회사의 선택을 쉽게 만듭니다. 효율적인 결정이지만, 결과적으로 사회 전체의 AI 의존은 몇 개의 매듭에 묶입니다. 매듭 하나가 흔들리면 여러 보고서의 위험 문장이 동시에 현실이 되는 것이죠. 은행마다 다른 금고를 쓰는 것 같지만, 사실은 같은 지하 창고에 넣어둔 셈입니다.

여기서는 조금 다른 질문도 필요합니다. 벤더 이름이 적혔다는 것이 곧 의존도를 정확히 보여줄까요. 꼭 그렇지는 않습니다. 계약상 이름은 적되 실제 호출 비중이나 장애 시 대체 수단은 적지 않는 경우가 많기 때문입니다. 이름의 빈도는 의존의 존재를 알려주지만, 의존의 깊이는 알려주지 않습니다. 깊이를 알려면 계약 구조, 데이터 보관 위치, 모델 전환 가능성까지 적혀야 하는데, 지금의 공시 문장은 거기까지 가지 않습니다. 그래서 벤더 집중은 지도에 찍힌 점이지, 아직 등고선까지 그려진 지형은 아닙니다.

공시 너머의 회복력을 묻는다면 무엇이 남을까

앞의 숫자를 다시 모아보겠습니다. 2020년 2.8%에서 2025년 41.2%로 위험 언급이 늘었고, 도입 언급도 45.2%까지 올랐습니다. 그러나 실질적 공시는 4.3%에 머물렀고, 위해 공시는 9,821건 중 일곱 건이었습니다. 시장은 Main Market과 AIM으로 갈라졌고, 업종에서는 에너지와 데이터 인프라가 뒤에 남았으며, 벤더 언급은 소수에 몰렸습니다. 검증된 관측이라는 점까지 합치면, 이 논문이 그리는 초상은 생각보다 또렷합니다. 말은 많아졌지만, 배울 수 있는 기록은 아직 적다는 것이죠.

저는 그래서 이 연구를 점수표가 아니라 숙제로 읽었습니다. 첫째 숙제는 실질의 기준을 더 또렷하게 만드는 일입니다. 어떤 문장이 실질적인지, 대응과 책임 주체가 어디까지 적혀야 하는지에 대한 예시가 쌓여야 합니다. 둘째 숙제는 작은 회사와 인프라 업종의 기록을 돕는 일입니다. 서식을 늘리기보다 쓸 수 있는 문장의 본보기를 주고, 감독과의 대화를 넓히는 편이 먼저입니다. 셋째 숙제는 위해 기록의 문턱을 낮추는 일입니다. 모든 사고를 공개하라는 말이 아니라, 적어도 규제 보고와 연결된 사실 관계는 공시에서도 이어지게 만드는 것입니다.

그렇다면 우리의 회복력은 지금 어디쯤 있을까요. 저는 문장이 아니라 복구 속도로 묻고 싶습니다. 모델이 어긋났을 때 며칠 만에 알아채고, 누구의 판단으로 멈추며, 어떤 예비 절차로 돌리는지가 적혀 있다면 그 회사는 회복에 가깝습니다. 반대로 위험을 언급하면서도 멈추는 방법과 책임지는 주체가 없다면, 그 문장은 아직 장식에 가깝습니다. 다음에 보고서를 읽을 때 저는 단어의 개수가 아니라 그 두 문장이 있는지를 먼저 찾으려 합니다. 멈추는 방법, 그리고 다시 시작하는 방법 말입니다.