사이버불링을 먼저 감지하면 돌봄이 달라질까

오늘 다루는 논문은 Can Artificial Intelligence Support Healthcare and Mental Health Through Early Cyberbullying Detection ? The Impact of Emotion-Aware AI on Proactive Online Safety이며, arXiv에 2609.09735번으로 공개된 연구입니다. 이 연구는 감정을 읽는 AI가 사이버불링을 일찍 찾아내면 의료와 정신건강 보호를 앞당길 수 있다고 주장하는데, 원문 논문 링크는 제목 아래에 걸려 있으니 자세한 정의와 실험 조건은 그곳에서 확인할 수 있습니다.

왜 이 논문을 집어 들었을까

안녕하세요, 패트릭 입니다.

여러 사람이 모인 단톡방에서 누군가 던진 농담 한마디가 하루 종일 마음에 남을 때가 있습니다. 말한 사람은 금방 잊어버리지만 들은 사람은 계속 곱씹게 되죠. 그렇다면 온라인에서 오가는 수많은 글 가운데 어떤 말이 누군가의 마음을 오래 흔들지 미리 알 수 있을까요.

제가 이 논문에서 가장 흥미롭게 본 부분은 탐지라는 말을 의료의 언어로 다시 쓴 대목이었습니다. 보통 유해 콘텐츠 탐지라고 하면 플랫폼의 신고 처리나 삭제 속도를 떠올리지만, 여기서는 출발점이 조금 다릅니다. 사이버불링과 해로운 온라인 상호작용이 의료 시스템과 정신건강, 그리고 공공의 안녕에 영향을 준다는 전제에서 시작하기 때문입니다. 그래서 정확도를 몇 점 올렸다는 이야기가 아니라, 도움이 필요한 신호를 얼마나 일찍 포착할 수 있느냐는 질문으로 이어집니다.

저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 이 논문도 같은 각도에서 읽으면 재미있습니다. 감정을 먼저 본다는 선택이 왜 계산량을 줄이는 방향으로 이어지는지, 그리고 왜 BERT 계열 모델 세 개를 함께 언급해야 했는지가 하나씩 풀리기 때문입니다.

사이버불링이 병원 이야기까지 이어지는 이유

온라인 괴롭힘을 플랫폼 문제로만 보면 대응은 신고와 삭제 주변에 머뭅니다. 누군가 신고하면 살펴보고, 규정에 어긋나면 지우는 방식이죠. 피해자의 시간으로 보면 이 순서는 이미 늦습니다. 글이 올라오고, 퍼지고, 마음이 무너진 뒤에야 시스템이 움직이기 때문입니다.

이 논문이 의료를 끌어오는 이유는 바로 이 시간차에 있습니다. 사이버불링이 반복되면 불안과 우울, 수면 문제나 등교 거부 같은 형태로 번질 수 있는데, 이런 변화는 병원이 아니라 일상에서 먼저 나타납니다. 밤늦게 올라오는 글, 갑자기 거칠어지는 말투, 친구들 사이에서 오가는 은근한 따돌림 같은 것들이 그 신호입니다. 그렇다면 병원에 오기 전에 이런 신호를 알아차릴 수 있다면 어떨까요.

물론 AI가 마음을 치료한다는 뜻은 아닙니다. 논문이 말하는 지원도 치료 행위가 아니라 조기 경보에 가깝습니다. 위험해 보이는 흐름을 일찍 표시해서 사람이 살필 수 있게 돕는 역할이죠. 저는 이 거리 두기가 오히려 신뢰가 간다고 봅니다. 모델이 진단이나 판정을 대신하겠다는 욕심을 부리지 않고, 관찰과 표시라는 역할에 머물기 때문입니다.

여기서 재미있는 질문이 생깁니다. 일찍 알았다는 것은 구체적으로 무엇이 달라졌다는 뜻일까요. 삭제가 빨라졌다는 뜻일 수도 있고, 상담이나 보호 개입이 빨라졌다는 뜻일 수도 있습니다. 논문은 후자에 가깝습니다. 온라인 안전을 플랫폼 운영의 문제가 아니라 돌봄의 앞 단계로 보기 때문입니다.

사후 차단과 사전 감지는 무엇이 다른가

신고 기반 대응은 증거가 분명합니다. 문제가 된 글이 있고, 규정이 있고, 처리 기록이 남죠. 반면 사전 감지는 증거가 흐릿한 상태에서 움직여야 합니다. 아직 삭제할 만큼 명백하지 않지만, 계속 지켜보면 나빠질 것 같은 흐름을 다루기 때문입니다.

그래서 사전 감지에서는 질문 자체가 달라집니다. 이 글이 규정을 어겼는가가 아니라, 이 흐름이 누군가에게 해로운 방향으로 가고 있는가를 묻게 됩니다. 전자는 문장 하나로 판단할 수 있지만 후자는 문맥과 감정의 결을 함께 봐야 합니다. 같은 문장이라도 친한 사이의 장난인지, 위계를 앞세운 괴롭힘인지에 따라 읽기가 달라지니까요.

이런 차이는 시스템 설계에도 영향을 줍니다. 사후 차단은 들어온 신고를 순서대로 처리하면 되지만, 사전 감지는 전체 대화를 계속 훑어야 합니다. 모든 글을 전부 정밀 분석하면 비용이 감당되지 않고, 너무 듬성듬성 보면 신호를 놓칩니다. 그래서 어디에 계산을 쓸지를 먼저 정하는 일이 커집니다. 논문이 감정 기반 필터링을 앞단에 두는 이유도 여기와 연결됩니다.

(참고로 저는 이 대목을 읽으면서 공항 검색대 같은 장면을 떠올렸습니다. 모든 가방을 다 열어볼 수는 없으니까 X선으로 먼저 훑고 의심스러운 것만 정밀 검사하는데, 물론 사람과 가방은 다르지만 한정된 검사 능력을 어디에 쓸지 정한다는 점에서는 닮았습니다.)

감정이 먼저 걸러준다는 발상은 어떻게 읽어야 할까

CareGuard라는 이름의 프레임워크는 조기 경보를 위한 설계로 소개됩니다. 전체 흐름을 길게 보면 결국 어디에 무거운 계산을 쓸지를 정하는 문제로 돌아옵니다. 모든 온라인 글을 같은 정밀도로 분석하면 모니터링 환경에서는 금방 한계에 부딪히는데, 감정적으로 두드러진 내용부터 골라내면 뒤쪽의 무거운 모델이 쉴 틈이 생기죠.

여기서 감정이라는 말은 기쁨이나 슬픔을 맞히는 감성 분석 퀴즈가 아닙니다. 괴롭힘과 함께 자주 나타나는 긴장, 적대감, 모욕, 위협 같은 신호에 가깝습니다. 그래서 감정 필터는 최종 판정을 내리는 판사가 아니라, 정밀 검사가 필요한 글을 앞으로 보내는 안내원에 가깝습니다. 저는 이 역할 분담이 설계를 읽는 출발점이라고 봅니다. 앞단이 가볍게 훑고, 뒤쪽이 무겁게 판단하는 구조이기 때문입니다.

문제는 그다음입니다. 가벼운 필터가 너무 많은 것을 버리면 위험한 신호까지 사라지고, 너무 많은 것을 통과시키면 뒤쪽이 다시 바빠집니다. 그래서 필터의 기준을 어떻게 잡느냐가 전체 효율을 좌우하는데, 논문이 의미 유사도와 감정적 두드러짐을 함께 본다고 말하는 대목도 이런 맥락에서 이해됩니다. 단어의 표면이 아니라 뜻이 가깝고, 감정적으로 살펴볼 만한 글을 남기겠다는 의미입니다.

그렇다면 감정이 없는 괴롭힘은 어떻게 할까요. 차분한 말투로 계속되는 따돌림이나 은근한 배제도 분명히 해롭습니다. 이 지점은 논문이 열어둔 숙제에 가깝습니다. 감정이 앞단을 가볍게 만드는 대신, 감정 없이 진행되는 해로움을 어떻게 놓치지 않을지가 다음 설계의 몫으로 남기 때문입니다.

라벨이 없을 때 제로샷이 먼저 나서는 이유

사이버불링 분야의 오래된 어려움은 라벨에 있습니다. 무엇이 괴롭힘인지에 대한 합의가 상황마다 다르고, 사람마다 다르게 느끼며, 시간이 지나면 표현도 바뀌기 때문입니다. 연구실에서 깔끔하게 라벨을 붙인 데이터만 기다리다 보면 현실의 말은 이미 다른 모양으로 바뀌어 있습니다.

제로샷 의미 라벨링은 이런 상황에서 먼저 나서는 방법입니다. 미리 정해둔 범주에 대한 설명만 있으면, 그 범주에 대한 학습 예시가 없어도 새로운 글을 그 의미 공간에 견주어 볼 수 있기 때문입니다. 민감한 카테고리를 다룰 때는 이 유연함이 도움이 됩니다. 새로운 은어나 우회 표현이 나와도 범주 설명을 손보면 대응할 수 있죠.

저는 여기서 조금 의심했습니다. 제로샷이 만능처럼 들리면 대개 어딘가에서 비용을 치르기 때문입니다. 실제로 제로샷은 넓게 볼 수 있는 대신 경계가 흐릿해질 수 있습니다. 장난과 괴롭힘의 경계처럼 미묘한 구분에서는 단독으로 쓰기 어렵습니다. 그래서 논문이 제로샷과 파인튜닝된 트랜스포머를 함께 묶는 선택은 균형 감각으로 읽힙니다. 넓게 훑는 눈과 깊게 가르는 눈을 같이 쓰겠다는 의미입니다.

생각해보면 사람도 비슷하게 배웁니다. 처음에는 대략적인 느낌으로 이상함을 알아채고, 경험이 쌓이면 그 느낌을 더 정확하게 나누기 때문입니다. 제로샷이 첫 느낌에 가깝다면, 파인튜닝된 모델은 그 느낌을 다듬는 훈련에 가깝죠. 두 단계가 같은 방향을 보고 있을 때 전체 판단이 안정됩니다.

BERT와 DistilBERT와 RoBERTa를 나란히 둔 감각

논문은 파인튜닝된 트랜스포머로 BERT와 DistilBERT, RoBERTa를 함께 언급합니다. 같은 계열의 모델을 여러 개 두는 선택은 처음 보면 중복처럼 보일 수 있지만, 운영 관점에서 보면 서로 다른 쓰임이 있습니다.

BERT는 문맥을 양쪽에서 함께 읽는 방식으로 문장의 결을 잘 잡습니다. 괴롭힘처럼 말의 순서와 맥락이 판단을 바꾸는 문제에서는 이런 읽기가 도움이 됩니다. RoBERTa는 같은 뿌리에서 학습 방식을 다듬은 변형으로, 문맥에 대한 이해를 더 단단하게 만드는 쪽에 가깝습니다. DistilBERT는 크기를 줄이고 속도를 끌어올린 변형이라서, 많은 글을 계속 처리해야 하는 모니터링 환경에서는 다른 매력이 있는데요.

같은 예산을 어디에 쓸지 고르는 일이라고 보면 이해가 쉽습니다. 정확도를 조금 더 끌어올릴지, 같은 정확도라면 더 많은 글을 볼지, 아니면 같은 글을 더 자주 볼지를 정해야 하기 때문입니다. 무거운 모델 하나만 두면 정밀도는 좋아질 수 있지만 처리량이 막히고, 가벼운 모델만 두면 처리량은 좋아지지만 미묘한 괴롭힘을 놓칠 수 있습니다. 여러 모델을 함께 언급하는 것은 이런 교환 관계를 실험으로 확인하겠다는 뜻으로 읽힙니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 모델 이름이 나열됐다고 해서 세 모델을 항상 함께 쓴다는 뜻은 아니기 때문입니다. 비교와 선택을 위한 후보군일 수 있고, 환경에 따라 조합이 달라질 수도 있습니다. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 어떤 글을 어떤 모델이 볼지, 그 배분은 누가 정할까요. 앞단의 감정 필터와 의미 스크리닝이 바로 그 배분의 실마리가 됩니다.

코사인 유사도가 계산량을 줄이는 방식

코사인 유사도라는 말을 들으면 수식이 먼저 떠오르지만, 하는 일은 직관적입니다. 글을 방향으로 바꿔놓고, 두 방향이 얼마나 같은 쪽을 보는지 재기 때문입니다. 길이가 다르거나 표현이 달라도 뜻이 가까우면 가깝다고 판단하죠.

모니터링에서는 이 성질이 도움이 됩니다. 욕설이 없어도 괴롭힘일 수 있고, 욕설이 있어도 친한 사이의 농담일 수 있기 때문입니다. 단어를 세는 방식으로는 이런 차이를 잡기 어렵습니다. 뜻의 방향을 비교하면 표면이 달라도 괴롭힘의 결에 가까운 글을 끌어올 수 있죠.

그래서 의미 스크리닝은 일종의 예선에 가깝습니다. 전체 글을 다 정밀 판독하는 대신, 괴롭힘 범주와 뜻이 가깝고 감정적으로 살펴볼 만한 글부터 앞으로 보내기 때문입니다. 앞선 감정 필터와 합쳐지면 두 개의 체가 겹쳐진 모양이 됩니다. 하나는 감정의 결을 보고, 다른 하나는 의미의 방향을 봅니다. 두 체를 통과한 글만 뒤쪽의 무거운 모델이 자세히 읽죠.

이 차이는 생각보다 큽니다. 무거운 모델이 보는 글의 양이 줄면 같은 장비로 더 넓은 대화를 볼 수 있고, 같은 대화를 더 자주 볼 수 있으며, 경보가 떴을 때 사람이 확인할 여유도 생기기 때문입니다. 다만 예선이 너무 빡빡하면 놓치는 신호가 생깁니다. 그래서 임계값을 어디에 두느냐는 기술적인 숫자가 아니라 돌봄의 태도에 가깝습니다. 놓치는 것을 줄일지, 헛된 경보를 줄지를 정해야 하기 때문입니다.

민감한 카테고리를 나눈다는 말의 실제 의미

괴롭힘은 한 가지 모양이 아닙니다. 욕설과 모욕, 위협, 따돌림, 외모나 정체성을 겨냥한 공격처럼 결이 다르고, 대응도 달라야 하죠. 그래서 논문이 말하는 문맥 인식 분류는 단순히 해로움과 멀쩡함을 가르는 이분법을 넘어섭니다. 어떤 종류의 해로움에 가까운지를 함께 보겠다는 뜻입니다.

이 구분이 의료와 연결되면 의미가 더 분명해집니다. 같은 괴롭힘이라도 위협이 섞인 경우와 은근한 따돌림이 계속되는 경우는 필요한 도움이 다를 수 있기 때문입니다. 전자는 안전과 즉각적인 보호가 먼저일 수 있고, 후자는 관계 회복이나 지속적인 관찰이 필요할 수 있습니다. 종류를 알면 경보의 말투도 달라집니다. 무조건 위험하다고 외치는 대신, 어떤 점에서 살펴봐야 하는지를 함께 전할 수 있죠.

하지만 카테고리가 많아질수록 경계도 많아집니다. 욕설 없는 모욕, 농담처럼 포장된 비하, 특정 집단만 알아듣는 은어 같은 것들은 범주 사이에 걸쳐 있기 때문입니다. 제로샷이 넓게 보고 파인튜닝된 모델이 깊게 나눈다는 구조는 이런 어려움을 정면으로 다루는 방식입니다. 넓게 놓치지 않고, 깊게 헷갈리지 않겠다는 의미입니다.

좋은데, 이걸 실제로 어디에 올릴까요. 학교 커뮤니티와 게임 채팅, 소셜 미디어는 말의 속도와 결이 전혀 다릅니다. 한 곳에서 잘 나눠진 기준이 다른 곳에서도 그대로 통할지는 별개의 문제입니다. 논문이 벤치마크 데이터셋에서 균형을 확인했다고 말하는 대목은 그래서 출발점으로 읽어야 합니다. 실험실의 균형이 현장의 균형으로 이어지는지는 다음 검증의 몫이기 때문입니다.

정확도와 효율 사이에서 무엇을 봐야 할까

정확도와 효율을 함께 이야기하는 논문은 많지만, 두 숫자를 같은 무게로 읽기는 어렵습니다. 정확도는 한 번의 판단에 대한 이야기이고, 효율은 수많은 판단이 쌓인 뒤의 이야기이기 때문입니다. 모니터링처럼 계속 돌아가는 시스템에서는 후자가 체감으로 다가옵니다. 하루에 몇만 건을 보는지, 밤사이에도 같은 속도가 나오는지, 장비가 늘지 않아도 버티는지 같은 것들이죠.

논문이 탐지 정확도와 계산 효율의 균형을 말하는 대목은 이런 운영의 언어로 바꿔 읽어야 합니다. 정확도를 지키면서 볼 글을 줄였다는 것은 같은 장비로 더 넓게 볼 수 있다는 뜻이고, 계산량을 줄이면서 정확도를 지켰다는 것은 더 오래 안정적으로 돌릴 수 있다는 뜻입니다. 어느 한쪽만 보면 반쪽짜리 해석이 됩니다. 정확도는 높은데 볼 수 있는 양이 적으면 현장에서는 도움이 줄고, 빠르게 보는데 놓치는 게 많으면 경보 자체를 믿기 어렵기 때문입니다.

여기서 제가 앞으로 보고 싶은 것은 오류의 모양입니다. 전체 정확도 하나보다 어떤 글을 틀리는지가 더 많은 것을 알려주기 때문입니다. 장난을 괴롭힘으로 착각하는 경우가 많은지, 조용한 따돌림을 멀쩡하다고 넘기는 경우가 많은지가 궁금합니다. 전자는 피로도의 문제이고, 후자는 안전의 문제이기 때문입니다. 같은 숫자라도 오류의 방향에 따라 다음에 고칠 곳이 달라집니다.

저희 팀 관점에서 보면 다음 질문이 자연스럽게 이어지는데, 임계값을 바꾸면 두 오류가 어떻게 움직일까요. 경보를 더 자주 울리면 놓치는 일은 줄지만 사람이 지치고, 경보를 아끼면 사람은 편하지만 놓치는 일이 늡니다. 이 교환은 모델만으로 풀리지 않습니다. 경보를 받는 사람의 여유와 개입 절차까지 함께 설계해야 하는 문제이기 때문입니다.

조기 경보가 돌봄이 되려면 무엇이 남았을까

기술적으로 보면 CareGuard의 흐름은 정리가 됩니다. 감정과 의미로 먼저 훑고, 트랜스포머로 깊게 나누고, 민감한 범주에 맞춰 경보를 보내기 때문입니다. 그런데 돌봄의 관점에서 보면 여기서부터가 진짜 시작입니다. 경보가 울린 다음에 누가, 어떤 말로, 얼마나 빨리 다가가느냐가 결과를 바꾸기 때문입니다.

예를 들어 밤 11시에 학교 커뮤니티에서 특정 학생을 겨냥한 글이 반복된다는 경보가 떴다고 해보죠. 이 경보를 교사나 상담자가 다음 날 아침에 차분하게 확인할 수 있다면, 그 하루의 간격이 아이에게는 길게 느껴질 수도 있고, 어른들에게는 개입을 준비하는 시간이 될 수도 있습니다. 경보 화면에 단순히 위험하다는 표시만 뜰지, 어떤 표현이 반복됐고 누구에게 향했는지가 함께 정리될지에 따라 다음 행동이 달라집니다. 모델의 출력이 사람의 다음 문장을 도와야 하는 이유입니다.

그래서 남은 질문들은 기술 바깥에 걸쳐 있습니다. 서로 다른 연령과 문화, 플랫폼에서 같은 기준이 통할지, 경보를 받는 과정에서 낙인이 생기지 않을지, 민감한 글을 다루면서 프라이버시를 어떻게 지킬지 같은 것들이 그 질문입니다. 논문이 의료와 정신건강을 전면에 두는 만큼 이런 질문을 피할 수 없습니다. 조기에 안다는 것은 조기에 개입할 책임까지 함께 가져오기 때문입니다.

그렇다면 이 흐름은 어디에서 더 단단해질 수 있을까요. 저는 현장의 피드백이 다시 모델로 돌아오는 고리에서 답을 찾고 싶습니다. 어떤 경보가 실제 도움이 됐는지, 어떤 경보는 헛수고였는지가 쌓이면 필터의 기준도 함께 자라기 때문입니다. 처음부터 완벽한 기준을 정하는 대신, 쓰면서 고치는 구조가 더 오래 간다는 것을 경험으로 알고 있습니다. 이 논문은 그 시작점으로 읽힙니다. 감정을 먼저 보는 가벼운 눈과 문맥을 깊게 읽는 무거운 눈을 함께 쓰면, 온라인 안전을 돌봄의 시간으로 조금 앞당길 수 있다는 제안이기 때문입니다.

그래서 저는 이 제안을 이렇게 기억하려 합니다

처음 이 논문을 열었을 때는 감정이라는 말이 조금 부드럽게 들렸습니다. 그런데 끝까지 읽고 나니 그 부드러움이 계산의 문제와 맞닿아 있었습니다. 모든 글을 똑같이 자세히 볼 수 없으니까, 살펴볼 만한 글부터 고르는 눈이 필요하고, 그 눈에 감정과 의미가 들어가기 때문입니다.

물론 아쉬운 자리도 남습니다. 감정 없이 진행되는 괴롭힘을 어떻게 놓치지 않을지, 서로 다른 커뮤니티에서 기준이 얼마나 통할지, 오류의 방향을 어떻게 다듬을지는 여전히 열려 있습니다. 실험실 데이터셋에서 확인한 균형이 현장의 밤을 지키는 균형으로 이어지려면, 경보 이후의 사람 절차까지 함께 그려야 합니다.

그렇다면 사람의 역할은 무엇일까요. 저는 모델이 표시한 흐름을 사람이 문장으로 완성하는 일이라고 봅니다. 어떤 말이 반복됐고, 누구에게 향했고, 지금 무엇을 도와야 하는지를 말하는 일입니다. 기술이 시간을 벌어주면, 그 시간을 어떤 돌봄으로 채울지는 결국 사람의 몫입니다. 이 논문이 남긴 가장 또렷한 장면도 그 시간입니다. 조금 더 일찍 알아차린 하루가 누군가에게는 훨씬 덜 외로운 하루가 된다는 것, 그 가능성을 시스템의 언어로 적은 것입니다.