인공지능(AI)의 잠재적 위험과 취약점을 찾아내는 공개 챌린지 행사가 열린다.
과학기술정보통신부와 한국정보통신기술협회(TTA)는 오는 11일부터 이틀간 서울 강남구 코엑스에서 '생성형 인공지능 레드팀 챌린지'를 개최하고, 행사에 참여할 국민 1천 명을 모집한다고 21일 밝혔다.
AI 레드팀이란 통제된 환경에서 적대적 방법을 사용해 AI 시스템의 유해하거나 차별적인 결과, 시스템 오용 등의 결함과 취약성을 식별하기 위한 구조화된 테스트 활동을 가리킨다. 오픈AI, 구글, 네이버클라우드 등 국내외 AI 기업들이 자체 AI 레드팀을 운영 중이다.
국가 차원의 대규모 생성형 AI 레드팀 챌린지를 개최하는 것은 미국에 이어 두 번째라고 과기정통부는 전했다.
국내 AI 기업의 대형언어모델(LLM)을 집중적으로 점검하기 위한 이번 행사는 네이버클라우드, SK텔레콤[017670], 업스테이지, 포티투마루 등 대표적인 AI 기업들의 모델을 대상으로 참가자가 잠재적 위험과 취약점을 식별하는 공개 챌린지 방식으로 진행된다.
과기정통부는 이번 레드팀 챌린지 결과를 분석해 생성형 AI 분야의 공통적이고 포괄적인 위험을 도출하고, 업계에서 활용할 수 있는 '생성형 AI 레드팀 수행 가이드라인'을 마련하는 등 표준화된 AI 위험 발굴·대응체계를 구축할 계획이다.
챌린지 참가 희망자는 다음 달 10일까지 행사 홈페이지(www.aiignite.org)를 통해 신청하면 된다. AI 모델의 위험과 취약점을 가장 많이 발견한 5명의 우수 참가자에게는 과기정통부 장관상과 총 1천700만원의 상금을 수여된다.
행사 2일 차에는 코히어의 에이단 고메즈 대표, 스태빌리티AI의 이마드 모스타크 대표, 프론티어모델포럼의 크리스 메세롤 의장, xAI의 댄 헨드릭스 안전담당 고문, 네이버 하정우 퓨처AI센터장, SK텔레콤 에릭 데이비스 부사장, 셀렉트스타 김세엽 대표, 카카오[035720] 김경훈 이사, 카이스트 오혜연 교수 등 국내외 대표 AI 기업인과 전문가가 '글로벌 AI 안전 콘퍼런스'에 참여해 생성형 AI의 안전과 신뢰성 확보 방안을 논의한다.
강도현 과기정통부 2차관은 "이번 행사를 계기로 국내 산업계에 AI 안전성 확보를 위한 자발적인 노력이 확산하고, AI를 활용하는 일반 국민도 AI 윤리의 중요성에 대한 인식이 커지기를 기대한다"고 말했다.