Transcription
정 >> 정소 나보라고. 선생님 신고 출동했습니다. 그만하세요.
>> 뭔 신고해? 그냥 가라고. 내 여자 친구라고.
>> 이거 놓으세요. 마지막 경고입니다.
>> 잘 안 무섭지.
>> 버릇이. 응급 상황인데 차를 막으시면 어떡하실까?
>> 야 새끼야.
>> 어제도 설등 잠을 못 잤다.
>> 아버님 이렇게 흔드시면 상황이 더 커집니다. 위험해요. 일단 내려놓으세요.
>> 왜 자유민주의 국가에서 깃발하나? 못 흔들어.
>> 없애고 손 내려놔요.
>> 어 뭐라?
>> 손 나 손 풀어.
>> 다 죽여버릴 거야.
>> 경찰입니다. 손에든 거 내려놔.
>> 어 너까지 죽고 싶어.
대사진또 뒤크가 되어 있었고 인플루언서 연이 아주 다양하게 있었습니다. 홈페이지의 시스템을 보니까 엄청 간편하게 그냥 사진만 하나 넣으면 변화는 시킬 수 있어요. 그러니까 언제 어디서도 엄청 간단하게 할 수 있다는 거야. 전문가들조차도 [음악] 어 본인 스스로 그냥 솔직한 고백으로 지금 자기도 이걸 잘 못 따라가겠다고 얘기를 할 정도니까요. [음악] 그니까 이게 가보지 않은 길을 정말 가는 거 같아요.
>> 범죄 현장에서 피자를 검하고 술취한 주치자를 단속하는 경찰들. 앞서 보신 영상에서 혹시 이상한 점을 느끼셨습니까? 이 이 영상들은 모두 실제 상황이 아닌 AI가 만들어낸 영상물입니다. 최근 인공지능 기술이 급격히 발전하면서 유명인이나 일반 사람들의 얼굴을 합성한 AI 생성물이 많이 제작되고 있는데요. 심층 학습을 뜻하는 딥 러닝에 가짜를 뜻하는 페이크를 더해 딥 페이크라 불리는 AI 이미지 합성 기술. 이 이 놀라운 기술은 우리의 일상을 위협하는 범죄에 사용되기도 합니다.
서울의 한 지하철력. 이곳에서 화장품 가게를 운영하는 이해란 씨는 작년 4월 당혹스러운 전화 한 통을 받았습니다.
>> 우리는 핸드폰 번호로 전화를 오셨어요. 닫자마자 엄마 하면서 흔느꼈어요. 울었어요. 근데 그때가 저희 딸내이 목소리였어요. 너 왜 울어? 너 왜 울어? 여자가 너무 놀라서 외우러 외우려 했던 남자가 전화 받더라고요. 너무 놀라서 딸 바꿔 달라고 바로 바꿔 달라고 제가 그랬더니 울면서 너 왜 거기에서 빨리 내려 내려라고 제가 했던 했는데 안 내려준다고 못 나가게 한다고.
>> 중학생 딸을 데리고 있다는 낯선 남자의 전화. 딸의 울음소리에 놀란 이씨는 조용한 곳을 찾아 역사 안쪽으로 급히 이동했습니다.
>> 그리고 나서 제가 오영부하고 하니까 하 돈을 요구했어요. 돈 1천만 원을 요구했어요. 그때 이미 퇴근 시간이었어서 5시가 조금 안 됐을 무렵 왔다 갔다 시간 좀 달라고. 천만 원뿐만 아니라 내가 네 원하는 거 줄게. 일단 아이 먼저 풀어 줘라.
[음악]
>> 납치가 의심되는 긴박한 순간. 사무실 안쪽에서 이 통화를 듣고 있는 사람이 있었습니다.
>> 지금 너 어디야? 바로 문 밖에서 전화 통화 소리가 크게 들리면서 어 뭐 송금 관련 내용도 나오고 그다음에 납치 그다음에 뭐 협박 그다음에 송금해라 이런 단어들이 자꾸 들리니까 익숙한 목소리더라고요. 그래서 저거는 좀 이상하다. 이 장소가 그 저희 상가 종사자 사장님 분이 보이스 피싱 방마하고 통화를 하는 장소입니다. 찾아 들어오신 거죠.
>> 보이스 피싱이 의심되는 상황. 어떻게든 막아야겠다는 생각이 들었습니다.
>> 일단은 보이스 피싱 의심하고 물음표 찍어서 먼저 보여주고 그러고 나서 두 번째 송금하지 말라고 송금 X. 길게 쓸 수는 없으니까. 그래서 일단 하지 말라고. 그러고 나서 이제 딸이 어 정말로 납치됐는지 안 됐는지 안전을 일단 확인을 해야 되겠어서 배우자분 남편분 전번 이렇게 썼어요. 그리고 나서 사장님께서 이제 전화번호를 적어 주셨죠. 그래서 그 상황 설명드리고 따님하고 한번 통화를 먼저 빨리 시도하신 다음에 그 결과를 저희한테 빨리 알려 주십시오 했죠.
이씨의 남편과 연락해서 딸의 무사함을 확인한 부역장은 이 사실을 이씨에게 알렸고 이씨는 그제서야 안심하고 보이스 [음악] 피싱 전화를 끊었습니다.
>> 아이가 지금 무사하다고 그니까 무사하다는 거 남편이랑 통화했다는 거예요. 그래도 안 믿겨지는 거예요. 사실은 제가 목소리 들었던 아이가 우는 걸 제가 지금 계속 죽어받고 대화한게 있으니까 우리 아이한테 전화를 했더니 엄마가 뭐시피 걸릴 뻔 했다며 나 지금 여기 누구랑 신나고 있어 그 모습을 딱 드는 순간 여기서 바다 적다가 여기 털롱 주서 앉아서 역장님이랑 대리님이 저를 부축켜준 요소파에.
>> 부역장의 도움으로 큰 피해는 막았지만 이씨에겐 아직도 풀리지 않는 의문이 있습니다.
>> 저희 아이랑 얼마나 통화 많이 했어요. 그 목소리에 우는 톤 하나하나. 제가 너무 잘 알죠. 근데 똑같아. 그 운은 그 흔느낌의 그 템포 진짜 똑같았어요. 저한테 저희 따아의 목소리가 똑같은게 이렇게 전화가 왔지. 저도 지금까지도 너무 궁금해요.
>> 너무 궁금해요.
>> 보이스 피싱범은 어떻게 딸의 목소리를 완벽하게 제언한 걸까? 소리 전문가에게 확인해 봤습니다.
>> AI 기술 중에 딥러닝 기술이라는 걸 이용을 해서 가짜 음성이나 영상을 만드는 걸 우리가 디페이크라고 하거든요. 일반적으로는 영상을 많이 생각하는데 오디오도 많이 디페이크를 만들고 있습니다. 그래서 저희가 해보면 한 20초 분량 정도 이상만 있어도 거의 그 사람 목소리랑 비슷한 수준까지 지금 만들어내는 쪽으로 발전이 됐거든요. 그래서 상당히 급속도로 기술이 발전하고 있다라고 말할 수 있습니다.
녹음하실 건데.
>> 10초 정도의 음성 파일만 있다면 AI 프로그램을 통해 어떤 음성이라도 바로 복지할 수 있습니다.
>> 저는 KBS 출정신 이치봉피 PD입니다. 현재 [음악] 순실대학교에서 디페이크 영상 음성 이미지 탐지 기술 시현이 가능한지 와봤습니다. AI가 목소리를 학습해 복지하는 시간은 10초면 [음악] 충분합니다.
>> 숭실대학교에 [음악] 취재 왔습니다. 만나서 반갑습니다.
>> 아직 복제가 된 거예요?
>> 네네. 생성이 지금.
>> 한번 복재된 목소리는 어떤 문장이든 바로 만들어냅니다.
>> 크리스마스 다음 날이네요. 날씨가 많이 추워졌습니다. [음악] 감기 조심하세요. 크리스마스 다음 날이네요. 날씨가 많이 [음악] 추워졌습니다. 감기 조심하세요.
>> 조금 톤 비슷한 채가 볼 땐 좀 차이가 있네요.
>> 이게 왜 페이커?
[음악]
>> 놀랄만큼 빠르고 정교한 AI 음성복제. 복재된 디페이크 음성을 구분하기 위해서는 별도의 탐집 프로그램이 있어야 식별이 가능합니다. 안되기도 하고 아직은 좀.
>> 저희 [음악] AI번 연구 센터에서 개발한 디페이 금성 3G 시스템을 이제 웹 버전으로 구현한 곳이고요. 여기에 간단한 파일 이름과 그 파일의 어떤 길이라든지 이름이라든지 그런 정보가 뜨고 저희 탐지 결과를 한꺼번에 보실 수가 있습니다. 조금 전에 PD 님께서 녹음했던 목소리를 직접 생성한 그 페이크 샘플을 업로드를 하게 되면은 사람의 귀로는 구별이 불가능한 디페이크 음성. 그 발전 속도는 전문가도 따라잡기 힘들 정도입니다.
원래 그 사람 목소리가 아냐 따질 때는 이제 어떤.
>> 사실 처음에 합성할 때는 어떤 사람의 목소리 만들어내려면 그 사람 목소리를 몇 시간 분량이 필요했거든요. 그래서 그거를 충분히 학습을 시켜야지 만들어낼 수 있었는데 최근에는 이제 이게 점점 기술이 발전하면서 뭐 30초 분량만 있으면 된다. 뭐 10초 분량만 있으면 된다. 그러다가 요즘 이제 제로샷이라고 해서 한 2, 3초 분량 가지고도 어 만들어내는 수준까지 또 어 나왔습니다.
[음악]
>> SNS에 올리는 영상 속 짧은 음성만으로 범죄에 활용할 목소리를 만들 수 있는 시대. 이러한 AI 범죄는 음성에 국한되지 않습니다.
[음악]
>> 최근에는 다양한 범죄의 AI 기술이 사용되고 있습니다. 첫날만큼.
>> 서울에 사는 남은 2년 전 SNS를 통해 한 남성을 알게 됐습니다.
>> 페이스북으로 안녕하세요 하면서 말을 걸어오더라고요. 그래서 어 모르는 사람이니까 그냥 넘겼죠. 며칠을. 그런데 계속 오는 거예요. 안녕하세요. 안녕하세요. 오늘은 뭐 기분이 어떠세요? 이제 그런 식으로 접근을 해요. 그러다가 누구세요? 그 한마디가 이제 연결구리가 된 거죠.
>> 메시지를 보낸 사람은 스킨 스쿠버 강사라는 김모 씨. 김씨는 일상을 공유하며 신뢰를 쌓았고 얼마 뒤 남씨에게 지인까지 소개했습니다.
>> 올리시는 분들을 타켓을 잡고 아빠 지인이 어 주식 분석가로 있는데 그 분석가를 통해서 자기가 돈을 많이 벌고 있다 그러면서 어 누나도 나중에 기회가 되면 한번 교육을 받아서 한번 해 봐라 알아봐라 그렇게 얘기를 하더라고요. 링크를 주면서 유튜브 강의를 받게 해요. 근데 그 유튜브에 8시에 시작해서 9시에 끝나는 한시간 교육자리인데 수가 어마어마하게 많은 거예요.
>> 김씨의 소개로 알게 된 투자 전문가 박씨. 외환투자를 통해 돈을 벌 수 있다는 박씨의 유튜브를 보고 [음악] 남는 투자를 결심했습니다.
이 오후 2시에.
>> 처음에 저 같은 경우는 천만 원을 먼저 넣었어요. 1천만 원을 넣고 나서 어 수익이 생기다 보니까 조금 더 넣게 되고 인출을 인출을 한번 해 봐라 확인을 해서 돈이 빠지는지 보고 해라 그러더라고. 그래서 실제적으로 인출을 해 봐요. 그러면 한 10분 내로 돈이 들어와요. 들어오고 나서 아, 돈이 확실하게 들어오는 거를 확인한 다음에 믿게 되는 거죠.
>> 믿을 만한 투자차라고 [음악] 판단한 남은 박씨가 보내준 거래 프로그램을 다운받고 더 많은 돈을 투자했습니다.
>> 이렇게 올라가는 거 보이시죠? 이런 식으로 여기에서 종목을 시작해서 시작하면 이렇게 막 올라가요. 처음에는 수익이 난 듯 보였지만 두 달 뒤 출금은 막혔고 원금도 찾기 어려운 상황입니다.
빼 달라고 하니까 그쪽에서 뭐라냐면 강제 청산이 됐으면 이걸 표의 피해 복구의 방법을 알려 달라라고 얘기를 하니까 지금 현재 2억을 투자를 했으면 2억만 다시 넣으면 그 몇 배를 어 복구를 해 주겠다라고 얘기를 하더라고요. 어 나는 그래 못 하겠다. 그리고 너네 이거 다 사귄 줄 알고 있다. 내가 다 고소하겠다.
외환 투자는 처음부터 없었고 남씨에게 연락을 했던 김씨도 [음악] 타인의 계정을 사칭한 허구의 인물이었습니다.
>> 사칭을 해서 현재 한국의 모 금융 쪽에 있는 본부장님을 그 인스타에 일상 생활을 계속 다 그 사진을 가져와서 그걸 사용을 했던 거예요. 네. 그걸 나중에 알게 됐어요.
>> 캄보디아에서 범죄를 저지르고 국내로 송환된 피의자 11명이 구속되 검찰로 넘겨졌습니다. 8월 캄보디아.
>> 경찰조사 결과 이들은 지난해 세상을 떠들썩하게 했던 캄보디아 로맨스 스캠 조직원으로 밝혀졌습니다. 8월.
>> 최근 캄보디아에서 한국 경찰에 검거된 이들은 대규모로 범죄 조직을 운영하고 있었습니다.
>> 이들 범죄 조직에 보면 한국인 총책이 있는데 중국 중국인으로부터 자금을 조달 받습니다. 그래서 그 자금으로 캄보디안의 폐공장, 호텔 아파트, 농장 등을 구입 통째를 구입해서 그 범죄 단지를 형성한 후에 한국인 여러 명을 이렇게 모아서 그중에 관리 총책 인사팀, TM팀, 화력팀, 특수팀, 챕터 그 역할을 분담해서 범죄 단체를 구성하고.
>> 한국인 총책 밑에 다양한 세부 조직들을 두고 체계적으로 관리한 로맨스캠 조직. 특이한 점은 조직내 AI를 전담하는 팀이 따로 있었다는 [음악] 겁니다.
특수팀과 챕터를 맡은 조직원들이 중국 범죄 단체에 AI 기술을 습득을 하거나 교육을 받거나 아니면 프 만든 프로그램을 사와서 본건 범행에 접목해서 전문가들이 강의하는 것처럼 유튜브 동영상을 제작하고 피해자들의 링크 주소를 보내 시청하게 하거나 영상 통화를 할 때도 이 디페이크 기술을 사용합니다.
>> AI로 만든 얼굴로 친분을 쌓고 투자를 유도한 로맨스 스캠일당. 이로 인한 피해행만 120억 원이 넘습니다.
>> 피해자들은 가짜 영상이라는 걸 알았을까?
>> 전혀 몰랐죠. 저는 몰랐어요. 이걸 디페이크라고 의심을 할 수가 없었어요. 영상 통화하는 그 걸 봐도 전혀 이게음 디페이크다라는 느낌은 없었어요. 그이 맨 마지막에 유튜브 할 때 한머니가 이렇게 옮겼었는데 쳐 보니까 귀가 따라오는 거예요. 그래서 저거 왜 따라오지? 형 같이 와야 되는데 그래서 그때는 솔직히 사기라는 의심보다는 이상하네. 왜 귀가 다른 걸까? 아 저게 디테이크나.
>> 조직원 쉰 세 명이 건거됐지만 [음악] 한국인 총책 등 두 명은 여전히 한국으로 송환되지 않고 있습니다. 디페이크 영상을 활용한 범죄는 계속 진화하고 있습니다.
>> 저희 모든 돈을 다 제사를 이은 거니까 멘탈이 완전히 붕괴됐어요. 아, 근데 어떻게 저도 어떤 믿음에서 제 전재산을 거기에 넣는지 저도 지금 제 자신이 이해가 안 가요. 돈을 잃은 것보다도 제가 자살을 시도를 했던 것도 제 자신이 용서가 아니었던 거 같아요.
인공지능으로 목소리를 복재하고 새로운 얼굴을 만들어내는 AI 기술이 발전함에 따라 AI 범죄도 더욱 정교해지고 진흥화되어 가고 있습니다. 지난 4년간 보이스 피싱 피해 통계를 보면 피해 건수는 큰 변화가 없지만 범죄 피해 4년 사이에 두 배 넘게 늘었습니다. AI 기술과 범죄가 만났을 때 그 피해는 더 커질 수밖에 없는데요. 기존에 있던 범죄에 AI 기술이 더해지면서 이제는 피해자 개인의 부주이나 어리석음을 탓타기에는 무리가 있어 보입니다. 끊임없이 발전하는 AI 기술, AI를 활용한 범죄 역시 다양해지고 있습니다.
>> 지난해 2월 부산에 사는 정주현 씨는 남자 친구의 휴대폰에서 이상한 사진을 발견했습니다. 사진 촬영을 하고 사진 촬영이 된 사진을 확인해 보고자 앨범을 들어갔다가 어 뭔가 다수에 모르는 여자 사진들이 있더라고요. 막 그게 삭제하는 적도 있고 SNS라든지 어딘가에서 캡처된 사진들 그래서 수상함을 느껴서 휴대폰에 숨겨 놓는 발 기능이 있어요. 그걸 들어가 보니까 거기에 이제 AI로 변환한 집페이크 사진들이 다수의 사진들이 있었어요. 휴대폰에는 정씨의 얼굴과 나체 사진을 [음악] 합성해 만든 디페이크 사진이 가득했습니다.
>> 모르는 사람 숙격이는데.
>> 모르시겠어요?
>> 아니 모르는 사람이.
>> 보시기도요. 그렇죠. 그냥 나 사진 누가 뭐 직접 찍었거나 뭐 성인물 같기도 하고요.
>> 이렇게는 많이 들고 있었어요.
>> 네. 휴대폰에 있는 건 정시 사진뿐만이 아니었습니다. 정시 주변 지인과 인플루언서의 합성 나체 [음악] 사진도 있었습니다.
>> 제가 그 휴대폰에서 발견한 흔적들에는 어 외국 AI 변한 사이트를 이용했던 흔적을 발견을 했어요. 그 홈페이지 시스템을 보니까 엄청 간편하게 그냥 사진만 하나 넣으면 변환을 시킬 수 있어요. 그러니까 언제 어디서 엄청 간편하게 할 수 있다는 거예요. 그렇게 해왔더라고요. 만나는 동안.
>> 정시에 남자 친구가 실제로 사용했다는 AI 프로그램입니다. 얼굴 사진 한 장만 입력하면 누구나 손쉽게 나체 [음악] 합성 사진을 만들 수 있습니다.
단단하네. 이게 뭐냐고 제가 추궁을 했고 그때 아무 말 없이 그냥 제 눈앞에서 삭제를 급하게 하더라고요. 본인은 단순한 호기심이었는데 상처를 줘서 미안하다.
>> 정시의 신고로 수사가 진행됐지만 남자 친구는 관련 증거를 없앴고 정신은 경찰로부터 황당한 요청을 받기도 했습니다.
증거 자료를 확인을 하는데 나츠 사진이다 보니 이게 원래 나츠 사진인 건지 변환을 한 건지 구분 가기가 어렵다 그러면 좀 비해서 특정을 하기가 어렵다. 제가 원래 정상적으로 촬영을 했던 원래 온분 사진과 오른쪽에는 나라가 변놨는 사진. 그래서 이렇게 구분이 비교가 될 수 있도록 그 비프 애프터를 만들어 달라고 한 거예요. 그 처음에는 그 요구가 좀 당황스러웠어요. 근데 제가 이걸 하지 않으면 하지 않겠더라고요. 그래서 제가 SNS를 지어가면서 그 사진들을 지어 찾은 거예요. 그게 아까 말씀드린 40명 정도가 되고.
>> 정신은 수십장의 사진을 하나하나 검색. 주변 지인과 인플루언서 등 피해자명을 특정해 증거를 수집했습니다.
>> 저도 누군지 몰라요.
>> 하지만 정시에 전 남자 친구에게 어떠한 처벌이 내려질지는 아직 알 수 없습니다.
그까.
>> 제가 직접적으로 성성적인 피에 성폭행 간을 당한게 아니라 그냥 지식설 문제이다 보니까 그 수사관들의 입장은 유포가 되었나만 집중을 하세요. 유포가 안 되었을 거니까 걱정하지 말라. 근데 저는 유포가다는 아니거든요. 그리고 유포가 충분히 되었을 거라고도 생각합니다. 그 유포는 꼭 인터넷 사이트에 올리지 않아도 친구에게 보낼 수 있고요. 그리고 휴대폰을 전달하지 않아도 이렇게 직접 보여줄 수도 있죠. 만났을 때. 그런 것도 다 유포죠. 사실.
>> 디페이크 합성물이 유행처럼 번지면서 청소년들 사이에서는 선생님의 사진을 합성해 텔레그램에 공유하는 사건이 발생하기도 [음악] 했습니다.
중학교 졸업한 학생이 그 학교에서 알고 있었던 선생님들 또 졸업앨범에 있는 선생님들이 분들의 사진을 디페이크 좀 합성을 해서 선생님들과 이제 다른 그 나체 사진을 합성해서 유포를 한 사건입니다. 지역도 특정하고 선생님들 성함도 특정하고 나이도 특정하고 교과도 특정하고 그 선생님들의 충격이 굉장히 컸습니다.
2024년 여름 고등학교 1학년인 최구는 본인이 졸업한 중학교의 선생님 사진으로 디페이크 사진을 만들어 텔레그램에 공유했습니다.
>> 사명 중명은.
>> 피해 여교사는 총 다섯 [음악] 명. 당시 최군을 가르쳤던 선생님은 가해자 최군을 이렇게 기억합니다.
[음악]
>> 학업을 그렇게 열심히 하는 학생은 아니었는데 전반적으로 선생님들한테 싹하고 이미지가 좋은 학생이었어요. 근데 작년 10월인가 경찰 사이버 수사대에서 이제 연락이 왔어요. 텔레그램에 올라온 재작물이 있다. 선생님이 와서 한번 확인해 보시라. 경찰서에서 [음악] 사진을 확인한 교사들은 충격을 받을 수밖에 없었습니다.
>> 다른 선생님들이랑 같이 경찰서에 가서 사진을 확인하고 왔는데 그게 잔상처럼 남다 보니까 더 힘들더라고요. 그리고 당시에는 디페이크 사안이 심각하다 보니까 학교에서 아이들 대상으로 교육을 하라고 하는데 심지어 저는 피해자인데도 그 아이들을 교육을 해야 되는 상황이 온 거죠. 아이들은 그걸 심각하게 받아들이지도 않고 심지어는 웃고 떠드는데 이걸 교육하는 저는 너무 힘들었던 거 같습니다.
>> 최군을 징계하기 위한 교건 보호 위원회가 열렸지만 결국 최군은 실질적인 처벌은 받지 않았습니다.
[음악]
징계 처분을 내리기 위해서 교건 보호 위원회를 열었는데 그 아이가 처분이 내려지기 직전에 이제 자퇴를 하면서 처분을 안 받게 된 거죠. 그래서 좀 그때 많이 허무했고 이렇게 자퇴하면서 회피할 수 있는 그 법의 사각 지대에 대해서 좀 많이 화가 났고 그래서 구조적인 또 제도적인 부분에 있어서 많이 화가 났었던 거 같아요.
>> 학교를 자퇴한 최구는 현재이 사건으로 재판을 받고 있습니다. 선생님들은 삽비를 들여 소송에 대응하고 있습니다. 당시 전국적으로 파악된 학교 디페이크 피해만 504건. 피해자는 [음악] 833명에 달합니다. 교사들은 지금도 유사한 사건이 끊이지 않는다고 말합니다.
사실 현장에는 굉장히 많은 사건들이 [음악] 묻히고 있어요. 그냥 학생이 선생님 죄송합니다 하고 전화가 버려요. 중고등에서는 많이 그러고요. 또 이제 초등에서는 나체 사진과 이런 성범죄로 연결되진 않지만 그냥 뭐 교장 선생님 마음에 안 들어임 선생님 마음에 안 들어 그러면 사진 자기들끼리 그냥 합성해서 유포하는 거죠. 초중고등학생들 세대와 지금의 2, 30대와는 또 다른 갭을 갖고 있더라고요. 그 문화 지체는 더 커요.이 학생들이 성장해 나가고 AR 받아들이는 그 습득 속도는 성인들이 따라갈 수 없는 정도.
2024년 성폭력 처벌법 개정 이후 성적 수치심을 느낄 수 있는 디페이크 제작물에 대한 처벌 규정이 강화됐습니다. 하지만 디페이크 범죄는 좀처럼 줄어들지 않고 있습니다. 특히 가해자의 연령층이 낮아지면서 디페이크가 범죄라는 인식을 하지 못하는 경우가 많습니다.
제가 그 문자에 어제 드렸던 거.
>> 상담을 받다 보면은이 피해자 10대 피해자 연령이 점점 낮아지는게 이제 눈에 [음악] 띄게 드러나거든요. 초등학생이나 중학교 1, 2학년의 피해자들이 계속 발생하고 있는 걸 좀 알 수 있습니다. 실제로 그 사람을 내가 막 성적으로 이런 걸 찍거나 성 착취를 직접적으로 하지 않고 이걸 약간 나의 기소를 좀 과시하는 부분도 있고 아니면 상대에게 좀 성적으로 괴롭히고자 하는 그런 의도를 가지고 하는 경우도 있고 하다 보니까 가해자들이 연령도 낫고 이게 얼마나 심각한지에 대한인지는 다른 디지털 성지에 비해서는 좀 낮게 나타나는 거 같습니다.
[음악]
AI가 대중화되기 시작한 2024년부터 디페이크 범죄자는 크게 늘었고 피의자 중 80%가 10대인 경우도 있었습니다.
[음악]
디페이크 기술은 성범죄를 넘어죄에 악용되기도 합니다.
[음악]
태광 지역의 경제 활성화를 위해 설립된 강원랜드에는 내국인 출입이 가능한 유일한 카지노가 있습니다. 그런데 최근 강원랜드 카지노를 사칭하는 불법 광고가 기승을 부리고 있습니다.
이게 저희 강원랜드뿐만 아니라 문채부까지 지금 4층에서 페이스북에 올라와 있는 홍보물입니다.데 여기에 강원랜드 로고를 보면은 색깔 그다음에 디자인 그다음에 글자의 어떤 폰트 똑같아. 지금 모르신 분이 보면 강원랜드가 문체부 어라는 어떤 기관과 같이 이제 해서 이걸 운영하는 [음악] 걸로 보이 보여질 수가 있습니다.
언뜻 강원랜드 카지노를 홍보하는 광고로 보이지만 광고 속 링크를 클릭하면 불법 온라인 도박 사이트로 연결됩니다.
[음악]
강원랜드는 자체 검색 시스템까지 갖추고 불법 광고를 맡고 있지만 완전한 해결은 못 하고 있습니다.
이 이 불법도박 사이트가 어 예를 들면은 하나 이름으로 한 개만 있는게 아니고 그 한 개의 이름 아래 여러 가지 그 1 2 3 4로 해서 다양한 또 부법 사이트들이 존재하고 있습니다. 그래서 저희가 신고한 사이트가 차단이 되고 폐쇄이 되더라도 재생산 반복적으로 이게 금방 생성이 됩니다. 어 뭐 한 몇 분 사이에 그 사이트를 다시 좀 만들 수가 있는 부분이 있습니다.
가장 중요한 점. 모든 당첨금은 단 5분 만에 은행 카드로 입금됩니다. 지금 애플리케이션을 설치하고 보너스를 받아 전설적인 향구원랜드 온라인 카지노를 즐겨 보세요.
>> 그.
>> 최근에는 손흥민 선수의 디페이크 광고까지 등장해 강원랜드측은 경찰의 수사를 의뢰했습니다.
기관을 4층에서 불법 또박 사이트를 홍보하는 거는 간간히 있어 왔습니다. 근데 이번에는 더 나가서 뭐 8월 달에 이게 되게 급속도로 확산이 됐는데 이 디페이크 기술이 접목되면서 굉장히 좀 확산이 많이 됐죠. 게임 광고처럼 가장했지만 불법인 온라인 도발.
디페이크 기술이 발전하면서 유명 가수와 배우까지 디페이크 불법 광고의 표적이 되고 있습니다.
>> KBS의 뉴스 프로그램으로 위장하기도 [음악] 합니다. 소개해드릴.
>> 2년 전 얼굴이 알려진 유명인을 사칭한 온라인 피싱 범죄와 투자 사기가 문제가 된 적이 있습니다. 유명인 4층 온라인 피싱 범죄 해결을 강력히 촉구합니다. 최근 유명인을 4층한 사기 범죄가 온라인 플랫폼에서 횡행하고 있습니다. 지금은 사진이나 영상을 도용하는 것을 넘어 뒤페이크로 피해자들을 속이고 있다고 합니다.
>> 광고에 나오는데 유수진 자산 관리사 하면서 홍보가 나오죠. 주식 거에 관련된 걸 나오더라고요. 뭐 무료 가입 무료 추천에 뭐 부 경제적 자유를 누릴 수 있다.
>> 바로이 영상 아래에 [음악] 링크를 클릭하면 제가 계속 사용하고 있는 단독방으로 들어올 수 있어요. 예. 수 나오잖아요. 그 여기서 이제 관심 씀.
>> 이렇게 누르면.
>> 예.
>> 이렇게 나와요.
>> 하루에 뭐 수익 얼마로 나가냐 그래가지고 여기 클릭을 해서.
>> 광고에 있는 링크를 누르면 단체 대화방으로 초대되고 담당 매니저가 안내를 시작합니다.
이방 지.
>> 여기는 세 명 있네요. 계속 이제.
>> 오네요. 예합니다. 막 그렇게 나오잖아요. 거기서 내가 이제 들어가면 그 매니저라는 사람들이 뭐 질문하고 이렇게 반겨 주거든요. 그러면서 제가 이제 유수인과 자산 관리사가 대표님이세요? 그랬더니 어떠는 거예요? 사람.
>> 하지만 단체 대화방을 이끄는 사람은 유수진 씨가 아닌 투자 전문가 김모씨였습니다. 김씨일당은 투자를 위한 별도의 사이트가 있다며 [음악] 박씨에게 주식거래 사이트를 보내왔습니다.
프로네요.
>> IBK 럭셔리 라이프라고 돼 있네요. IBK 투자 중권이라고 로보도 박아놨네요.
>> 네. 이게 지금 이거예요. 익스트림 스피드 매매. 2억 원이 넘는 돈을 투자했지만 수익이 나도 돈을 뺄 수가 없었습니다. 사기를 눈치챈 박씨는 투자금을 입금했던 계좌를 지급 정지시켰지만 잔액은 거의 남아 있지 않습니다.
7 얼마 있고 거의 제로예요. 거의 제로 행인지 세개인가 저하잖아요. 투자를 도았던 매니저도 연락이 두절된 상태.
지금 거신 번호는 당분간 통화하실 수 없습니다.
>> 디페이크란 걸 알면서도 박씨는 여전히 광고속 유시가 야속하기만 합니다.
카도 AI라고 하니까 좀 부정이스럽게 좀 보이긴 하는데 내가 처음 할 때는 그 아까 김경 씨하고도 나와 갖고 둘이 대담하면서 그거 나온 것도 지금도 나오거든요. 근데 AI로 하였던 어쨌든 자기 이름을 이렇게 팔려고 하면은 유진 씨가 가만 있으면 안 되죠. 사실은.
>> 당사자인 유수진 씨는 이런 사실을 알고 있을까?
>> 나가실 수 있으며 별도의 비용 없이 편안하게 투자 경험을 나누실 수 있습니다. 단체방 안에서는 서로 도움기가 형성되어 있어 여러분의 투자 실력 향상에도 큰 도움이 될 것입니다.
>> 지금 영상 속에서 얘기하는 사람은 본인이 많나요?
>> 아니죠. 좀 목소리도 이상하고 얼굴도 좀 뭔가 엉성하고 아 이거 뭔가 합성을 했나 뭐 이런 느낌이 드는데 하나는 목소리를 거의 똑같이 흉내를 냈네요. 근데 이제 또 그거는 화면하고이 입 모양이 맞지 않지만 얼핏 보면은 그 정도면 속을 것 같네요.
>> 제 목소리랑 진짜 거의 비슷하게 구현을 한 거 같은데요.
>> 도의적인 책임이죠. 유시를 사칭하는 사람들은 수년 전부터 있어왔지만 [음악] AI 디페이크 광고는 유시도 최근 들어 알게 됐다고 합니다.
>> 디페이크 광고를 막기 위해 경찰서를 찾아가 신고했지만 [음악] 문제는 해결되지 않았습니다.
저도 가만히 있을 수가 없어서 이거 사이버 경찰청에 [음악] 일단 접수를 했어요. 그랬더니이 사건은 본인이 금전적 피해를 본 것이 없기 때문에 우리는이 사건을 접수를 해 줄 수가 없습니다라고 답변을 받았고 그럼 제가 초상권은 그러면 도용당했지 않습니까? 그럼 이것에 대해서는 저는 법적인 보호를 못 봤나요라고 했을 때 거기서의 답변은 이거는 일단 사이버 경찰 소관이 아니고 그리고 이게 대부분은 해외에 서버를 두고 작업을 하기 때문에 저희가 현실적으로 잡는 것이 거의 불가능합니다.
>> 잡는 사람도 있고.
>> 유시는 광고를 지우는 업체를 고용해 사비로 광고를 지우고 있습니다. 하지만 큰 효과는 없습니다. 스승이 없었기 때문입니다.
이 이 회사에 제가 한 달에 몇백만 원씩을 내고 지금 벌써 3년째이 게시물들을 다 없애고 있어요. 근데 한 달에 몇백 개를 없애도 몇백 개가 더 새로 생기니까 도대체 이게 없어지지가 않는 거예요. 근데 그렇다고 해서 제가 손 놓고 그냥 있을 수도 없고 그거 말고는 제가 할 수 있는게 없는 거죠.
유명인의 얼굴을 이용한 디페이크 범죄가 가능한 건 AI 기술의 놀라운 발전 덕분입니다. 2023년 미국의 유명 얼굴로 만든 디페이크입니다. 조악한 얼굴 생김과 어설픈 움직임. 누군지 알아보기도 힘든데요. 3년 만에 얼굴이 또렷해지고 움직임은 자연스러워졌습니다. AI 디페이크로 만든 영상이란 걸 알아보기 힘들 정도로 기술이 빠르게 변화한 겁니다. 진짜와 가짜를 구별하기 힘들어진 세상. 우리는 어떤 대비를 해야 할까요?
머릿속 상상을 눈앞에 현실로 만드는 AI는 때로 가짜를 진짜로 만들기도 합니다.
>> 고생시키지 마세요. 비만 세포만 없애도 아이 다이어트는 훨씬 쉬워집니다.
>> 여성 비뇨과.
>> 최근 유튜브를 중심으로 퍼지고 있는 의사들의 약품 광고.
>> 실제 임상 데이터에서도 체지방이 83.7% % 감소됐다는 결과를 받을 정도로 효과는 의심 안 하셔도 돼요. 제가 장담합니다.
>> 3, 4개월 만에.
>> 약을 추천하는 의사들은 모두 진짜가 아닌 AI가 만들어낸 가짜 의사입니다. 효과를 알 수 없는 약들이 의사가 추천하는 약처럼 팔리고 있는 겁니다.
[음악]
얼핏 보면 진짜와 가짜를 구분하기 어려운 영상들. 의사에게 가짜 의사 광고를 보여줬습니다.
결과를 받을 정도로 효과는 의심 안 하셔도 돼요. 동양인 전용 위고비라고 별명까지 있을 정도로 효과는 위고비보다 훨씬 좋은데 부작용이 없어요. 기재에 뒀는데도 많이 들어요.
>> 위고비를 써도 이런 얘기 안 하거든요. 저희가 이제 이런 식으로 특히 효과에 대해서 굉장히 과장하고 그다음에 뭐 100%입니다 뭐 이런 식으로 확신을 주고 그런 건 있을 수가 없어요. 실제로 의사가 어떤 약품을 광고하는 건 어 불가능합니다. 일반 의약품은 가능하지만 전문 의약품은 아예 불가능하고요. 그리고 또 하나는 이 광고들을 보면 약 대신에 써도 이게 더 낫다. 이런 식으로까지 광고가 되더라고요. 만약에 환자라고 한다면 적절한 시기에 적절한 치료를 받을 수 있는 타이밍을 놓칠 수 있다는 거. 그러니까 약을 먹어서 호전될 수 있는 사람이 이 건강기능 식품을 사용을 해서 호전될 수 있는 기회를 놓칠 수 있다는 거. 저희가 볼 땐 그게 제일 위험한 거죠.
식약처는 문제가 된 식품 판매 업체 12곳을 적발하고 관할 기관의 행정 처분을 요청했습니다. 문제의 업체를 찾아가 봤습니다. 공유시대. 홈페이지에 나와 있는 주소는 공유 오피스로 회사 [음악] 관계자를 만나기는 어려웠습니다.
>> 아, 저 말씀해 줄게요. 여기에이라는 회사가 있나요?
>> 아니, 지금은 없는 거 같은데 여기 모르겠네요.
>> 아, 모르세요? 고습니다.
>> 연결이 되지 않아 음성 사서 연결되며.
>> 아 이렇게 멘트를 작성해 주.
>> 의사가 등장하는 AI 광고를 만드는 건 생각보다 간단합니다. 오픈 AI의 구체적인 형태의 의사 이미지를 요청하고 AI 프로그램의 음성 내용만 입력하면 광고가 완성됩니다.
추정 60분에서 만든이 약은 항암과 염증 치료에 탁월한 효과가 있습니다. 여러분께 자신있게 권합니다. 사람들은 이런 AI 생성물을 얼마나 구분해 낼 수 있을까? AI에 익숙하지 않은 노령칭일수록 이런 광고에 더 취약할 수밖에 없습니다.
예쓰기 위해서.
>> 유튜브에 들어가면은 [음악] 약사라고 해가지고 무슨 약이 좋다 뭐 얼굴에 뭐 뭐가 난게 좋다 해서 그게 진짜인 줄 알았거든요.데 나중에 이제 이렇게 보다 보면은 이제 그 AI 가짜라는게 또 얘기가 또 나오더라고요. 이분은 가짜였다. 그러니까 가짜였구나 얘기가 나오니까 내가 아는 거지.
>> 유튜브 이용하시는 분 손 들어 보세요.
[음악]
>> 평소 휴대폰을 자주 사용하는 노인들에게 2년 전 AI로 제작된 영상 여섯 개를 보여주고 진짜 영상을 찾게 했습니다.
[음악]
>> 요거 진짜 같은데.
>> 진짜 같다고 느끼시는 거 뭔 소리냐? 뭔 소리냐? 2년 전 [음악] 제작된 영상에선 비교적 많은 노인들이 진짜 영상을 찾아냈습니다.
>> 진짜는 2번만 진짜고 나머지 나갔잖아.
>> 그렇다면 최근에 나온 AI 영상물은 어떨까?
[음악]
>> 자 이건 어떠세요? 진짜라고 생각하시는 분 손 들어보실래요? 진짜.
[음악]
>> 예.
>> 세 번째는 어떻게.
>> 진짜데?
>> 진짜라고 생각하시는 분 선.
>> 아.
>> 진짜 아니다.
>> 가짜라고 생각하시는 분.
>> 기 올라가잖아.이 [음악]
>> 중에 진짜는 하나도 없습니다. 웬이야. 다 가짜입니다.
>> 진짜인 줄 알았더니 가짜였고요. 가짜인 줄 알았더니 진짜인 거 전혀 분간이 안 가요. 모르겠어요.
>> AI 생성물로 인한 혼란과 범죄를 예방하기 위해 정부는 올해부터 AI 기본법을 시행하고 모든 AI 생성물의 표시를 의무화하기로 했습니다.
인공지능 기본부 30제 투명성의 원리인데 어 그래서 AI2를 만드는 데서 어떤 영상이나 글을 쓸 때 이건 AI로 만들었다고 아예 처음부터 딱 옷을 박아 버리는 거죠. 그런데 문제는 뭐냐면 그걸 이제 이용자들이 빼냅니다. 빼내거나 삭제하거나 심지어 그런 거를 제공해 주지 않은 그 정상적이지 않은 AI 프로덕트가 또 존재해요. AI로 만들었는지 안 맞는지를 이제 구분해서 AI로 만들었다면 혹시 이게 어느 부분이 사실이고 아닐까를 또 판별할 수 있는 능력도 갖춰야 되겠죠.
AI 기술이 발전하면 할수록 더 기승을 부리는 AI 범죄.이를 막기 위해 한 통신사는 보이스 피싱범의 생체 정보를 활용해 목소리를 식별, 보이스 피싱 피해를 막는 프로그램을 자체 개발에 사용 중입니다.
>> 통화 내용이 그대로 지금 전사가 되는 것을 보실 수 있어.
>> 지금 본인을 위해서 말씀드리는 건데. 네. 네. 그래도 되는 거고요. 일단 이렇게 합시다. 일단 지금 사건이 지금 접수가 돼서 접수가 돼서 지금 확인차 연락드린 건데 본인께 자꾸 이렇게 그 이렇게 협조 안 하시면은.
>> 통화 내용에 대해서 AI가 통화 음성을 텍스트로 변환하고 텍스트 변환한 걸 가지고 이게 어떤 보이스 피싱 시나리오인지를 탐지하는 AI 모델이 들어간 부분이 1.0. 그래서 저희가 일반 부르기는 이제 문맥기만 탐지다.
>> 아빠 무서워요. 여기 어딘지 모르겠어요.
>> 민서야.
>> 당신 딸 우리가 데리고 있습니다.
>> 야 너 누구야? 민서야 어디야?
>> 보이스 피싱.
>> 그래 우리 딸은 한 번도 존댓 말을 안 적이 없지.
>> 당신 보이슨? 다 보였어.
>> 당신 혹시? 저희가 국가스한테 저번에 한번 물어보니까 30번 이상 동일한 사람 계속 이렇게 신고되는 파일이 계속 노출되는 거 봐서는 그 동일한 사람들 여러 번의 꺼에 대해서 하고 있는데 저희가 이번에처럼 이렇게 목소리를 탐지하거나 여러 가지 이제 생체 정보를 활용할 수 있다면 조금 더 다른 접근을 통해서 해결할 수 있을 거라서 예상하고 있습니다. 이게 탐지하는 부분인데요. 대략적으로 한 10초 사이에서 지금 녹음을 하고 있고 그 녹음한 내용에 대해서는 기존과는 완전히 다른 내용을 말하더라도 어떤 바라 상태도 상관없이 목소리 탐질이 되는 부분입니다. 이렇게 해서 빨간색으로 뜨는 부분 같이 제가 어 동일한 목소리라고 이렇게 알려 주는 거고.
[음악]
>> 보이스 피싱 이외에도 유명인의 얼굴과 목소리를 복재 변형하는 디페이크는 정치 사회적 혼란까지 가져올 수 있습니다. 이에 국내 한 대학에서는 보이스와 같은 음성북제를 원천적으로 차단하는 프로그램을 개발 [음악] 실험 중입니다.
근데 이제 저희가 여기에 노이즈를 좀 추가를 하면 이렇게.
>> 뒤에 노이즈가 조금 깔리게 되는데요.이 샘플로 이제 DTS를 만들었을 때는.
>> 이런 식으로 합성기가 교란이 돼서 잘 생성이 되지 않는 것을 확인하실 수 있습니다.
노이즈가 약간 들어가 있긴 하지만 사실은 별 차이가 없이 제니 목소리인데 그 노이지가 들어가는 음성을 갖고 합성을 했을 때는 완전히 망가져 버리는 거죠.
>> 음.
>> 그래서 요런 이제 프로텍션 기술 이용을 하면은 뭐 연예인이라든가 정치인들 이제 그 SNS나 인터넷에 음성을 올려 놓을 때 아예 이렇게 프로텍션 해 가지고 처리해서 올려 놓으면은 그걸 갖고 합습을 해 가지고 못 만들게끔 그렇게 할 수가 있는 겁니다.
최신 기술을 활용한 다양한 범죄들을 수사하는 국립과학 수사 연구원은 빠르게 발전하는 AI 기술을 가장 먼저 체감하고 있습니다.
>> 2024년도에는 [음악] 사실 육관으로 봐도 좀 티나는 경우가 많았어요. 그리고 귀로 들었을 때 약간 어 이건 음질이 굉장히 떨어진다라는 느낌을 많이 받아서 사실상 어 이거 조금 연구 개발을 굳이 빠르게 안 해도 어느 정도 청강 그 관능적으로 이게 좀 어느 정도 디텍이 되니까 크게 문제는 없겠다라고 생각을 했는데 점점점 오면 올수록 이게 굉장히 빨리 진화를 하더라고요.
>> 그 세계.
>> 지난 2년 사이 AI의 기술은 얼마나 발전했을까?
>> 술 먹고 있는 거 한 샷으로 만들어 줘.이 이 둘 중에 원본이 뭔 거 같았어요? 눈을 감은 거를 눈을 뜨게 한 겁니다. 그 지금 나머지는 전혀 움직임이 없는 상태에다가 딱 눈만 뜨게 해 달라라는 명령어로 만든 프롬프트로 만든 거거든요. 굉장히 정규하죠. 이렇게 되면은 이게 지금 최신 기술인데 지금 현재는음 저희.
>> 저희 거 기준으로는 아직 검출이 안 돼요.
>> 얼굴에 움직임을 바꾼 AI 사진이지만 현재 국가수의 기술로는 식별해 [음악] 내지 못합니다.
이.
>> 국수 진짜 맛있는 거 같아. 내가 먹어 본 중에 최고야.이 [웃음]
>> 동룡사도 가짜라는 거죠. 원래 자진데 눈 저 왼쪽 눈이 좀 이상하네요.
>> 그렇죠. 이제 요런 것들이 이제 시멘틱한 특징이다라고 보시면 돼요.
>> 저희는 이번.
>> 과학 수사를 전문으로 하는 국가수지만 빠르게 변화하는 인공지능의 속도를 따라잡기란 쉽지 않습니다.
>> 완전 다른 사람으로 바뀌네. 학교에서 많이 연구를 하고 그 학기를 다 받으면서 그때 당시만 해도 이제 가장 빠른 트렌드를 선도한다라는 자부심으로 이제 공부를 학원을 마치고 국가소에 왔는데 아무래도 범죄자들은 항상 앞서 있고 저희는 그거를 어떻게 하면 또 빨리 쫓아서 갈까 손에 닿을 듯하지만은 항상 또 한 발장 멀어져가 있는게 지금 현실이거든요. 이제 막 시작된 AI 시대. 진짜보다 더 진짜 같은 AI 생성물과 이를 이용한 범죄가 늘고 있습니다. 이미 시작된 [음악] 변화의 물결을 막을 수 없다면 우리는 어떤 대비를 해야 할까요?
비독개.
>> 앞으로 아마 3년 내지 5년 이내 70%에서 80%의 인터넷 콘텐츠가 디페이크로 제작이 될 거다라는 지금 이미 예측이 나오고 있거든요. 그런 콘텐츠에 대해서 무작 무조건 신뢰하기보다는 뭐 다른 콘텐츠하고 비교한다든가 소스를 확인해 본다든가 여러 가지 이제 자기 나름대로 다시 한번이 사람이 이런 거를 진짜 하는게 맞나 하고 좀 더 서치해 본다든가 그런 이제 소위 디지털 리트러시 문회력을 좀 높여야 되겠죠.
인공지능으로 인한 피해를 막기 위한 AI 기본법이 1월 22일부터 시행됩니다. AI 기본법 시행으로 AI 사업자의 책은 강화되고 AI 생성물림을 알리는 워터마크 표시도 의무화됩니다.이는 이는 전 세계에서 가장 먼저 시행되는 AI 포괄 법령으로 우리 사회가 AI를 어떻게 받아들이고 책임질 것인가를 처음으로 정리한 법이기도 합니다. 하지만 법으로 모든 범죄를 막을 순 없습니다. 디지털 세상에 넘쳐나는 진짜와 가짜 정보.이를 이를 분별할 수 있는 각자의 노력과 주의가 필요한 때입니다. 입니다.
[음악]
[음악]
>> [음악]
[음악]