| 소싯적에 누군가는 이런 엉뚱한 생각을 해 봤을 것이다. ‘나 대신 글짓기 숙제를 해주는’ 또는 ‘말만 하면 보고서가 만들어지는’ 또는 ‘내 눈에 안 보이는 소스 코드 결함, 빨리 찾고 자동으로 고쳐주는’ 또는 ‘여러 논문의 핵심을 요약해주는’ 그런 시대가 언젠가 온다면 가급적 빨리 왔으면 하는 생각 말이다. 생성형 AI가 드디어 우리의 소원을 들어줄 수 있는 시대가 되었다. 챗GPT의 출시를 기점으로 생성형 AI의 혁신적인 기능이 주목을 받고 있지만, 그에 따른 부작용과 다양한 보안 이슈도 동시에 발생한다. 생성형 AI 기술을 활용한 피싱 메일 생성, 금전적 이득이나 개인정보 유출 등의 목적으로 진짜와 유사한 가짜 웹 사이트를 생성하고, 공개된 생성형 AI의 API를 통해 정보유출을 시도하는 등 생성형 AI는 기대와 반하하는 우려를 동시에 갖고 있다. 생성형 AI가 잘못된 정보를 생성하거나, 악의적으로 AI 모델을 이용하여 생성한 코드를 기반으로 가짜 사이트에 접속을 유도하고, 훈련 데이터나 대화 기록 등의 데이터 유출이 발생할 수 있고, 생성 AI의 기능 확장을 위한 플러그인, 확장 프로그램, API 등이 오히려 해커가 생성형 AI 모델을 공격할 수 있는 공격 포인트가 되기도 한다. 보안 전문가들은 생성형 AI의 성능이 좋아질수록 사이버 범죄에 악용될 가능성을 크게 전망하였으며, 이 분야 기술 리더들은 생성형 AI 활용에 대한 제약 조건 및 윤리적 책임, 정부 차원의 규제강화 등을 요구하고 있다. 한편 금융계, 교육계 및 일부 해외 기업들은 생성형 AI 사용이 초래하는 부작용을 해결하기보다는 사용 금지 조치를 우선 취하고 있다. 국가정보원 및 한국인터넷 진흥원 등에서 제시하는 보안 가이드라인을 살펴보면, 생성형 AI 질의-응답 과정, 각종 프로그램과 연동하는 과정, 생성형 AI 모델에 대한 공격 대응을 포함한 보안 대책을 발표하고 있다. 생성형 AI가 등장하기 전부터 적용되어 온 전통적이지만 매우 중요한 보안원칙들이 그대로 적용되어야 하며, 훈련 데이터의 활용이나 생성형 AI 모델과 사용자 간의 상호작용, 생성형 AI 모델 그 자체에 대한 공격 등을 방어할 수 있는 생성형 AI에 특화된 보안 대책 등도 고려되어야 한다. |
I. 생성형 AI에 대한 기대와 우려
2022년 11월 인공지능 연구소 OpenAI가 GPT-3.5 기반의 챗GPT를 공개함으로써, 생성형 AI에 대한 큰 반향을 불러일으켰다. 이듬해 2023년 3월 OpenAI는 성능이 개선된 GPT-4를 공개하고, 챗GPT 유료서비스를 게시함으로써 생성형 AI 시장의 주도권을 이어갔다. 1백만 사용자 확보에 단 5일이 걸린 전례 없는 기록을 세울 정도로 세간의 주목을 한몸에 받았다. 언론과 대중의 긍정적인 호응과 함께 허위정보, 불투명성, 프라이버시 침해 가능성 등으로 논란의 주인공이 되기도 하였다.
[그림 1] 1백만 사용자 달성 소요기간 (출처:NIA)
생성형 AI 기술이란 이미지, 비디오, 오디오, 텍스트 등을 포함한 대량의 데이터를 학습하여 사람과 유사한 방식으로 문맥과 의미를 이해하고 새로운 데이터를 자동으로 생성해주는 AI 기술을 의미한다. 기존 AI 기술이 회귀(regression), 분류(classification) 등 판별적 AI 기술이라면, 생성형 AI 기술은 이용자의 질문과 과제를 해결하기 위해 주어진 데이터를 기반으로 패턴과 규칙을 학습하고, 이를 통해 새로운 컨텐츠를 생성한다.
사이버 보안 위협 요소가 다양한 형태로 확산하는 가운데, 갈수록 지능적이고 고도화되는 사이버 공격 기법이 챗GPT와 같은 생성형 AI를 악용했을 때 파급력에 대한 우려가 심화되고 있다. 챗GPT는 코드를 생성하거나, 프로그래밍 언어를 바꿔 소스를 변환하거나 악성코드를 사용하여 기존 보안체계가 경험하지 않은 새로운 위협을 만들어 낼 수 있다.
예를 들면 텍스트 창작 능력과 알고리즘을 이용하여 피싱 메일을 스스로 개량하거나, 사용자들을 속일 만한 신빙성 높은 ‘가짜’ 웹 사이트를 생성하거나, 챗GPT를 통해 API 문서를 확인하여 해당 API에 대한 정보를 추출하고 악용한다. 이렇게 생성형 AI의 기능을 활용한 다양한 변종 공격이 실행될 때 과연 기존의 보안체계가 제대로 작동할 수 있을지 예측하기 어렵다.
II. 생성형 AI의 보안 위협
2023년 3월 삼성전자의 기업 내부 정보가 임직원에 의해서 챗GPT를 통해 노출되는 사고가 발생하였다. 챗GPT 사용을 허용한 지 20여 일 만에 발생한 유출 사고였다. 사고 인지 즉시 질문당 업로드 용량을 1024B로 제한하는 등의 긴급조치를 취했지만, 기업의 중요 데이터가 외부 서버에 저장되고 학습 데이터로 활용된 사고로 챗GPT 활용의 위험성을 드러내는 사례이다.
[표 1] 국내 대기업 생성형 AI 보안사고 사례
| 구분 | 사고 내용 | 유출정보 |
| 소스 코드 업로드 | – 반도체 설비 계측 데이터베이스(DB) 다운로드 프로그램 소스 코드를 실행 중 오류 확인 – 소스 코드 전부를 복사해 챗GPT에 입력하여 오류 해결 방법 문의 | 설비정보 |
| – 수율·불량 설비 파악을 위해 작성한 프로그램 소스 코드를 챗GPT에 입력 – 코드 최적화 요청 | 설비정보 | |
| 회의자료 업로드 | – 스마트폰으로 녹음한 회의 내용을 네이버 클로바 애플리케이션(앱)을 통해 문서 파일 변환 – 챗GPT에 입력한 후 회의록 작성 요청 | 회의 내용 |
한편 지난 5월 중국에서 한 남자가 챗GPT를 이용하여 가짜뉴스를 생성하고 배포한 혐의로 체포되었다. 징역 5년 이상 선고 가능한 중대 범죄라고 중국 경찰이 밝혔다. 1인 미디어 운영자가 중국 내 유행하는 여러 이야기를 조합해 4월에 기차 충돌로 9명이 사망했다는 가짜뉴스를 생성하고, 이득을 취할 목적으로 바이두 블로그 등에 공유하여, 1만 5천 회 이상 조회 수를 기록한 것으로 알려졌다.
삼성전자와 중국의 사례는 각각 데이터 유출 및 잘못된 정보에 해당하는데, 이를 포함한 생성형 AI 기술의 7가지 주요 보안 위협을 지금부터 살펴보자.
[그림 2] 생성형 AI의 주요 보안 위협
첫 번째 보안 위협인 ‘잘못된 정보’는, 최근 사건에 대한 질문이나 생명 및 안전에 대한 질문에 대하여 AI 학습 모델이 가진 편향과 최신 데이터에 대한 학습 부족, 환각(hallucination)1으로 인해, 사용자에게 잘못된 정보를 전달하는 경우를 말한다.
[표 2] 잘못된 정보의 주요 원인
| 주요 원인 | 내용 | 가능한 피해 상황 |
| 편향 | – 학습 데이터의 불균형 또는 데이터 편향 – AI 모델 편향 일으키어 사용자에게 사실과 다른 정보를 제공함 | 편향된 텍스트 데이터를 학습한 후, AI 모델이 특정 그룹이나 주제에 대한 편견이 있는 결과를 생성 |
| 최신 데이터 학습 부족 | – 학습 이후 발생한 사건이나 정보에 대해 알지 못함 – 부정확한 정보 제공 | 현재 진행 중인 사건이나 빠르게 변화하는 정보에 대한 정확한 답변 생성에 제한이 있음 |
| 환각 현상 | – AI 모델의 결과물이 정확한 것 같으나, 실제는 거짓인 경우 | 새로운 콘텐츠 생성은 가능하지만, 잘못된 정보나 미 존재 정보를 생성하는 경우가 발생함 |
[그림 3] 챗GPT 잘못된 정보 생성 사례
두 번째 보안 위협은 ‘AI 모델 악용’이다. 이 경우, 사용자의 요청에 대응하여 다양한 결과물을 생성하는 AI의 특성을 악용하여 적대적 시스템 메시지를 보내 해로운 결과를 생성한다. 사용자 요청에 대한 검증이나 적절한 제약 조건이 없는 경우 폭력적 컨텐츠, 피싱 이메일, 멀웨어 생성 등의 심각한 결과를 초래할 수 있다.
[그림 4] AI 모델 악용
세 번째 생성형 AI의 보안 위협은 ‘유사 AI 모델 서비스를 모방’하는 경우이다. 정상적인 AI 모델 서비스를 가장한 악성 AI 서비스 URL을 제공하여 악성코드 배포를 시도한다. 사용자는 반드시 공식 웹 사이트를 통해서 AI 모델 서비스에 접근하여야 하며, 비정상적 경로를 통해 악의적 목적을 가진 유사 AI 서비스에 접근할 경우, 악성코드가 담긴 확장 프로그램을 내려받는 등 피해가 발생할 수 있다.
네 번째 생성형 AI의 보안 위협은 ‘데이터 유출’이다. AI 모델은 학습용 훈련 데이터를 사용하여 새롭게 합성 문자열을 생성하지만, 기존 훈련 데이터의 부분 또는 전체를 그대로 사용할 가능성도 있다. 또한, 훈련 데이터 내 비식별처리된 민감정보나 개인정보를 외부 정보와 결합하여 추측할 가능성도 있다. 외부 AI 모델 서비스를 이용할 경우, 사용자 부주의로 인해 내부 업무정보나 개인정보가 입력될 수 있다. 이 정보는 AI 모델의 훈련 데이터로 사용되거나, 다른 정보와 결합하여 제3자의 추론 작업에 활용되거나 제3자의 대화 결과에 노출될 수 있다.
[그림 5] 데이터 노출
[그림 4] 국내 유명 포털사이트 사칭하여 계정정보 탈취 목적 피싱 메일 생성 사례(출처:KISA)
다섯 번째 생성형 AI의 보안 위협은 ‘플러그인 취약점’이다. 최근 AI 모델은 플러그인을 통해 다양한 데이터 및 플랫폼과 결합하여 활용 범위를 확장하고 있다. 단순한 질문-답변 시스템을 넘어서 추가적인 기능을 제공할 수 있다.
입력 데이터의 전처리, 결과의 후처리, 외부 서비스 통합 등 다양한 기능을 수행할 수도 있으나 확장성 때문에 새로운 취약점을 초래할 수 있다. AI 모델의 빠른 기능 확장과 발전 속도에 반해, 사전 안정성 검증이 충분히 이루어지지 않는 경우, AI 모델이 예상치 못한 방식으로 작동하거나 새로운 보안 위협에 노출될 위험이 있다. 결국, AI 모델 플러그인 기능이 해커에게는 새로운 공격 도구가 될 가능성이 있다.
역으로 AI 모델 플러그인 자체는 안정성 검증이 이루어졌더라도, 연결된 서비스에 취약점이 있는 경우, 해당 서비스의 취약점이 AI 모델 사용자에게 역 전파되어 정보유출이나 시스템 오작동을 일으킬 가능성도 있다.
여섯 번째 생성형 AI의 보안 위협은 ‘확장 프로그램 취약점’이다. 사용자의 활용성과 편의성 제공을 위해 개발되는 프로그램으로서, 입력 데이터를 전처리하거나, 결과를 후처리하여 특정 요구사항에 맞게 가공하는 기능을 제공한다. 해커는 이러한 확장 프로그램을 악용하여 백도어(backdoor)를 설치하거나, 코드를 변조하여 원래 기능 외에 개인정보 수집, 시스템 취약점 공격 시도할 수 있다. 확장 프로그램을 활용하는 AI 서비스 제공자의 부적절한 보안 대책이나 보안 업데이트의 부재가 데이터 유출, 악성코드 유입 등을 초래할 수 있다.
일곱 번째 생성형 AI의 보안 위협은 ‘API 취약점’이다. API 활용 시, API 키를 소프트웨어 개발자가 제3의 애플리케이션과 서비스 간에 통신 인증 시에 사용한다. 미흡한 API 키 관리는 취약점을 노출할 수 있으며, 데이터 및 시스템 보안을 위협할 수 있다. 또한, AI 모델은 일반적인 프로그래밍 언어와는 달리 데이터와 명령을 명확하게 구분하지 않는 특성이 있다. AI 모델은 입력된 데이터를 명령으로 오인하거나 명령을 잘못 이해하여 예상하지 못한 응답을 생성할 수 있다. 예를 들어 해커는 공격 명령이나 악의적 의도를 숨긴 데이터를 입력으로 제공하여 AI 모델이 부적절한 응답을 생성하도록 유도할 수 있다.
[표 3] 생성형 AI 기술에 대한 보안 위협
| 보안 위협 | 주요 원인 | 보안 위협 유형 |
| 잘못된 정보 | – 편향 – 최신 데이터 학습의 부족 – 환각 현상 | – 고위험 의사 결정 – 잘못된 의사 결정 유도 – 사회적 혼란 조장 |
| AI 모델 악용 | – 적대적 시스템 메시지 | – 피싱 이메일 및 인물 도용 – 사이버 보안 위협 코드 작성 – 대화형 서비스를 악용한 사이버 범죄 커뮤니티 활성화 – 사회 공학적 영향 – 가짜뉴스 생성 |
| 유사 AI 모델 서비스 모방 | – 유사 악성 서비스 접근 유도 | – 스쿼팅2 URL 및 확장 프로그램 – 가짜 애플리케이션 |
| 데이터 유출 | – 데이터 합성 과정의 문제 – 과도한 훈련 데이터 암기 문제 – 대화 과정에서 개인정보 및 민감정보 작성 | – 훈련 데이터 유출 – 데이터 불법 처리 우려 – 기밀 유출 – 대화 기록 유출 – 데이터베이스 해킹 및 회원 추론 공격 |
| 플러그인 취약점 | – AI 모델의 적용 범위 확장 – 안전성 확인 미흡 – 해커 공격 범위 확장 – 취약점이 있는 서비스와 연결 | – 새로운 도메인에서의 모델 오작동 – 에이전트화된 AI 모델의 악용 – 멀티모달 악용 |
| 확장 프로그램 취약점 | – 확장 프로그램 내부의 악성 서비스 설치 – 서비스 제공 업체의 보안 조치 미흡 | – 개인정보 수집 – 시스템 공격 – 호스팅 서버 및 스토리지 시스템 위협 |
| API 취약점 | – 미흡한 API 키 관리 – 데이터와 명령 사이의 불분명한 경계 | – API 키 탈취 – 악의적인 프롬프트 주입 |
Ⅲ. 생성형 AI의 보안 대응방안
OpenAI는 챗GPT가 안전하고 책임감 있게 활용되기 위해 사용정책을 마련하여 해당 서비스의 활용을 허용하지 않는 용도를 구체적으로 제시하고, 위반 시 활용의 일시 중지 및 정지 조치까지 취할 수 있음을 명시한다.3 또한 OpenAI의 최고기술책임자(CTO) 미라 무라티는 ‘AI 도구들이 오용되거나 나쁜 행위자들에 의해 사용될 수 있다’라고 우려하며, AI 악용 가능성을 경고하고 정부의 규제 필요성을 강조한다.4
[그림 5] 챗GPT 서비스 이용 제한 기준
가트너는 챗GPT로 인해 다양한 보안 위협이 발생할 수 있으며, 챗GPT를 활용하는 데 필요한 기업의 위험 관리 방안을 제시하였다.5
- 사람이 부정확하거나 잘못된 정보, 혹은 편향된 정보를 생산하는지 모니터링
- 보안 및 규정 준수 제어 기능을 제공하는 생성형 AI 플랫폼 제품을 사용
- 직원이 챗GPT에 기업의 기밀 데이터를 공개하는 질문을 금지하는 정책 구현
IDG의 보안 매거진 CSO는 AI가 작성한 이메일 피싱 공격에 대비하기 위해 기술적 보안 대책 강화와 피싱 방지 교육이 필요함을 강조한다.6
- 기업 네트워크에 대한 접근을 막는 워드 문서 및 기타 첨부 파일을 위한 샌드박싱(Sandboxing)
- 온프레미스 및 원격 사용자를 모두 보호하기 위한 보안 웹 게이트웨이를 통한 웹 트래픽 검사
- 이메일 게이트웨이 보호
- URL에서 악의적인 내용 혹은 타이포스쿼팅(typosquatting)7 확인
- DMARC, DKIM, SPF 등 도메인 스푸핑 및 콘텐츠 변조 방지에 도움이 되는 이메일 보안 프로토콜 배포
- 의심스러운 이메일을 쉽게 보고할 수 있는 방법 제공
다른 한편에서는 글로벌 금융기업과 대기업, 특히 교육계는 생성형 AI 도입으로 인한 부작용을 고려하여, 사용을 금지하는 조치를 취하고 있다.
[표 4] 생성형 AI 기술 사용 금지 조치 기업
| 구분 | 내용 | 해당 기업 |
| 글로벌 금융업계 | – 챗GPT 사용 시 개인정보 및 기업 기밀 사항 유출 등이 우려됨에 따라 챗GPT 접근 및 사용을 금지 | – (미국) JP 모건은행, 뱅크오브아메리카, 씨티그룹, 골드만삭스 – (일본) 소프트뱅크, 미즈호 파이낸셜 그룹, 미쓰비시 UFJ 은행, 미쓰이스미토모은행 – (그 외) 도이체방크 등 |
| 교육계 | – (미국) 학교 내 단말기, 네트워크 장비 등에서 챗GPT 접속 및 사용 차단 조치(’23.1) – (영국) 보고서 및 논문표절 우려, 윤리적 문제 등의 이유로 사용 금지(’23.3) – (프랑스) 표절, 허위정보 작성 방지를 위해 사용 금지(’23.1) – (호주) 시험 중 챗GPT를 활용한 부정행위, 논문표절 등이 발견되어, 평가 방법 및 관련 프로그램, 표절 탐지 방법 등을 개선 및 강화 예정(’23.1) – (캐나다) 논문 보고서 표절 우려 사용 금지(’23.2) | – (미국) 뉴욕시, 시내 관할 학교 – (영국) 옥스브리지, 멘체스터, 브리스톨, 에든버러 등 8개 대학 – (프랑스) Sciences Po 대학 – (호주) 주요 대학(뉴사우스웨일스, 시드니 대학 등) – (캐나다) 토론토대, 맥길대, 매니토바대, 서스캐처원대, 앨버타대, 브리티시컬럼비아대(UBC) |
| 그 외주요기업 | – 챗GPT 사용 시 기업 정보 유출 우려 등의 이유로 사용 금지 조치 | – 아마존, 히타치, 후지쯔, 파나소닉 홀딩스 및 산하 기업 등 |
국가정보원이 발표한 생성형 AI 활용 보안 가이드라인을 기반으로 생성형 AI 보안 강화를 위해 서비스 사용, AI 서비스와 대화 시, 플로그인 사용 시, 확장 프로그램 사용 시, AI 모델 생성기반 공격에 대한 관점에서 각각 보안 대응방안을 살펴본다.
[그림 6] 생성형 AI 보안 가이드라인
서비스 접근과 계정 보안은 AI 모델 사용의 첫 단계로 중요한 보안 요소이다. 안전한 사용을 위해 다음을 준수한다.
[표 5] 서비스 사용 시 보안
| 구분 | 구분 | 내용 |
| 서비스 접근 시 보안 강화 | 공식 사이트 사용 | – 서비스의 공식 사이트를 확인하고 접속 – 피싱 공격 및 거짓 사이트 방지를 위해 SSL 인증서 유무 확인 |
| 안전한 NW 환경 | – 암호화된 Wi-Fi 및 VPN 사용 등을 통한 네트워크 보안 – 공공 Wi-Fi 등 암호화되지 않은 NW 사용 시 보안주의 | |
| 웹 브라우저 보안 | – 최신 웹 브라우저 사용 및 업데이트 수행 – 브라우저 보안 설정 및 광고, 악성코드 차단 프로그램 사용 | |
| 내부망 사용 제한 | – 기관 내부(업무)망에서 서비스 사용 시, 별도의 지정된 서비스로 한정하여 사용 – 인터넷망 사용 시, 민감 데이터 활용 금지 조치 | |
| 적절한 버전 사용 | – 보안취약점 해소된 최신 버전의 서비스 이용 | |
| 계정 보안 강화 | 강력한 비밀번호 설정 및 관리 | – 강력한 비밀번호 설정 – 정기적인 비밀번호 변경 및 재사용 금지 |
| 이메일 인증 | – 이메일 인증을 통한 본인 인증 적용 | |
| 이중 인증 설정(MFA) | – MFA 설정을 통해 계정 정보 보호 강화 |
생성형 AI 사용 시, 대화형식으로 정보를 생성할 때 정확성 및 유해성을 검증하거나 개인정보 및 민감정보 처리를 주의해야 한다. 다음을 준수하여 AI와 수행한 대화에 대한 보안을 강화한다.
[표 6] AI 서비스와 대화 시 보안
| 구분 | 구분 | 내용 |
| 답변 검증(정확성 측면) | 다중 출처 비교 | – 인터넷 검색, 전문가 의견 자문 등 다양한 출처 참조를 통한 AI 모델 답변 정확성 검증 |
| 공식 문서 및정책 참조 | – 공식 문서 및 정책 참조를 통한 AI 모델 답변 신뢰성 검증 | |
| 최신 데이터 확인 | – 서비스 결과 데이터에 대한 최신 여부 확인을 통한 답변이 유효한지 검증 | |
| 답변 현실성 검토 | – 사용자의 상식 및 기본 지식 검토를 통한 AI 모델 답변 현실성 검증 | |
| 답변 검증(유해성 측면) | 결과물 검토 | – AI 모델 답변 검토하여 유해성 차단 |
| 유해 답변 필터 설정 | – 유해한 답변을 필터링하는 사용자 정의 환경 및 서비스 제공자 환경 설정 | |
| 사용자 신고 기능 활용 | – 유해 서비스 학습 데이터 및 알고리즘 개선을 위한 신고 기능 제공 및 활용 | |
| 교육 및 인식 제고 | – 유해한 결과 사용 및 전파 차단 | |
| 법률 및 규정 숙지 | – 유해한 결과 사용 시 법적 문제 발생에 대한 교육 등 사전 예방 | |
| 지적 재산권 검토 | – 타인 저작물 인용 및 사용 시 원저작자 동의 선행, 부적절한 재사용 금지 | |
| 민감정보 처리 주의 | 데이터 제어 설정 | – 데이터 제어 설정을 통한 채팅 기록 및 모델 학습 비활성화 |
| 개인정보 및 민간정보, 인증정보 입력 금지 | – 신용카드, 은행계좌, 비밀번호 등 피해를 초래하는 개인정보 입력 금지 – 건강, 종교, 정치성향 등 민감정보 입력 금지 – 아이디, 비밀번호, 인증 코드 등 인증정보 입력 금지 | |
| 보안 질문 회피 | – 보안 관련 질문 및 답변 제한 | |
| 서비스 생성 데이터 관리 | 데이터 보관, 삭제 정책 준수 | – 데이터 보관 및 삭제 정책 숙지 – 데이터 보관 기간 만료 후 삭제 조치 |
| 데이터 보안 | – 데이터 보관 시 암호화, 접근제어 적용 – 데이터 백업 및 복원 방안 적용 – 보관 시 개인정보보호 법 등 규제 준수 – 사용 및 이동 이력에 대한 로그 기록 및 감사 추적 기능 적용 – 유출 시 대응 메뉴얼 마련 및 훈련 | |
| 책임감 있는 사용 | 윤리적 사용 | – 서비스 사용 시 윤리적 가치 고려를 통해 긍정적 사용자 경험 및 유익 결과 지향 |
| 악의적 행위 금지 | – 악의적 행위(사기, DDoS. 스팸, 협박 등) 저지를 통한 법적 문제 방지 및 서비스 이용 경험 보호 | |
| 서비스 약관 준수 | – 서비스 제공자 이용 약관 준수 | |
| 올바른 서비스 사용 | 이용 목적 명확화 | – 사적 이용과 공적 이용에 대한 구분 |
| 계정 분리 | – 사적 이용과 공적 이용 시 계정 분리하여 사용 |
AI 모델 서비스 플러그인 사용 시에는, 정신 배포된 플러그인 사용, 플러그인 제공 업체의 신뢰성 확인, 악성 플러그인 중의, 취약 프로그램과 연결된 플러그인 주의 등을 확인하고 활용한다. 또한, 해당 플러그인의 정기적인 점검이 필요한데, 플러그인의 업데이트 확인을 통해 최신 버전을 유지하고, 사용빈도 낮은 플러그인이나 성능이 낮은 플러그인은 제거한다. 플러그인 사용 권한 및 부적절한 권한을 거부하고, 플러그인이 접근하는 데이터에 대해서 적절성을 주기적으로 검토한다.
플러그인을 통해 사용하는 정보 중 개인정보와 민감정보는 데이터에 대한 가명화 또는 익명화를 적용하고, 접근 데이터에 대한 인증정보 및 권한 정보를 강력하게 통제한다.
확장 프로그램 사용 시, 신뢰할 수 있는 출처를 통해 다운로드하고, 불법 사이트나 알 수 없는 사이트 등 출처가 의심스러운 경우, 원천적으로 설치를 금지한다. 설치 시 권한을 확인하고, 확장 프로그램에 대한 전문가 평가를 확인하여 신뢰성을 검증하고, 가능한 경우 보안 프로그램을 적용한다. 확장 프로그램 역시, 최신 버전의 업데이트가 중요하며 사용빈도와 성능이 낮은 경우에는 삭제한다. 확장 프로그램을 통해 개인정보와 민감정보를 처리하는 경우, 데이터 저장 및 전송 보안, 허가되지 않은 데이터 공유 제한, 적절한 개인정보 보호 조치를 적용해야 한다.
마지막으로 AI 모델 생성기반 공격은 생성형 AI가 생성한 텍스트를 이용하여 악의적인 목적을 달성하는 공격이다. 이러한 공격은 편견, 혼란 및 불신 조장, 피싱 및 사기를 통한 개인정보 및 기밀정보 탈취, 사람들의 신념을 조작하거나 특정 의견을 전파하는 사회적 공학 공격 등 다양한 목적으로 수행되어 정부, 기업과 개인에게 심각한 영향을 미칠 수 있다. AI 모델 생성기반 공격에 대한 대응은 다음과 같이 수행한다.
[표 7] AI 모델 생성기반 공격 대응방안
| 구분 | 내용 |
| AI 생성 콘텐츠 특징 파악 | – AI 모델 생성 콘텐츠 특성(급격한 주제 전환, 논리적 모순 등) 이해를 통한 사람 작성 콘텐츠와 구별 |
| AI 생성 콘텐츠 감지 도구 사용 | – AI 생성 콘텐츠 감지 도구(GPTZero, DetectGPT 등)를 사용한 AI 모델 생성 여부 구별 |
| 공격 대응체계 구축 | – AI 생성 기반 공격 대응체계 구축을 통한 실시간 공격 감지 및 대응 – 인공지능 기반 보안 솔루션 도입 및 수동 감시 |
| AI 생성 콘텐츠위험인지 | – 사실 여부 확인 및 객관적 분석을 통한 비판적 콘텐츠 수용 – 감정적 자극 유도 및 소셜 미디어 서비스 콘텐츠에 대한 비판적 자세 견지 |
| 보안 정책 및 교육 강화 | – AI 생성기반 공격 관련 정책 수립 – 기관 차원의 AI 생성기반 공격 교육을 통한 사용자 인식 향상 |
마지막으로 국가정보원에서 발표한 생성형 AI 활용에 대한 보안수칙을 소개하면서 이 글을 마무리한다.
[각주]
- 환각(hallucination) 현상: AI 모델의 결과물이 정확한 것처럼 생성되었으나 실제로는 거짓인 경우를 말한다. ↩︎
- 스쿼팅: 사이버 스쿼팅 또는 도메인 스쿼팅을 포함한 유사 이름 위협을 의미함 (예: 철자가 조금 다른 URL을 불법 취득하여 여기에 실수로 접속한 사용자를 위협하는 행위) ↩︎
- OpenAI – Usage policies https://openai.com/policies/usage-policies. ↩︎
- The Creator of ChatGPT Thinks AI Should Be Regulated, TIME, ’23.2. ↩︎
- Manage ChatGPT Risk before it Manages You, Gartner, ’23.2. ↩︎
- How AI chatbot ChatGPT changes the phishing game, CSO, ’23.1 ↩︎
- 타이포스쿼팅(Typosquatting): 다른 말로 URL 하이재킹이라고 불리는 사회공학적 기법 중 하나. URL의 철자를 속여서 교묘하게 사이트를 위장하는 사이버 공격. ↩︎
[참고 문헌]
[1] 챗GPT 등 생성형 AI 활용 보안 가이드라인. 국가정보원. 2023.
[2] ChatGPT(챗GPT) 보안 위협과 시사점, 한국인터넷진흥원(KISA). 2023.
[3] 2023 생성형 AI 주요 이슈와 의미, 정보통신정책연구원, 임영신, August. 2023.
[4] ChatGPT, 기회인가 위협인가, ChatGPT 이해와 영향 분석, 삼일PwC경제연구원, March. 2023.
[5] “中, 챗GPT 악용 첫 체포 사례 발생”, AI 타임즈, 임대신 기자, 9, May, 2023.
[6] “우려가 현실로…삼성전자, 챗GPT 빗장 풀자마자 ‘오남용’ 속출“, 이코노미스트, 정두용 기자. 30, March. 2023.