🎓GeoAcademyGeoVerse Lab
← AI·컴퓨팅과학대학

AI 안전·정렬 센터

AI 안전·정렬 센터는 첨단 AI 시스템을 고위험 환경에 배치할 때 요구되는 안전성·통제가능성·유익성을 평가하고 확보하는 능력을 기른다. 학생은 RLHF 등 정렬 기법의 원리를 익히고, 기계적 해석가능성 도구로 모델 내부를 분석하며, 강건성 시험과 레드팀 공격을 직접 설계·수행하는 실습을 반복한다. 또한 확장 가능한 감독(scalable oversight) 체계를 설계하는 과제를 통해, 사람이 모델의 판단을 신뢰성 있게 검증하는 방법을 체득한다. 이 과정을 마친 학생은 과학·사회적으로 민감한 영역에 배치되는 AI 시스템의 위험을 사전에 식별하고 완화 조치를 설계할 수 있다.

⚙️ 지오아카데미시스템관리대학🖥️ AI·컴퓨팅과학대학🔬 기초과학대학⚡ 지능형지구물리탐사대학🛢️ 자원에너지공학대학🌍 응용지구과학대학💼 경제정책미래전략대학🎓 교육훈련대학🚀 혁신국제협력대학
머신러닝학과컴퓨터비전학과자연어처리학과고성능컴퓨팅학과양자컴퓨팅학과생성형AI·파운데이션모델 센터강화학습·에이전트 센터AI 안전·정렬 센터과학을 위한 AI 센터로보틱스·임바디드 AI 센터

연구분야 기반 커리큘럼 · 15

이 학과 교수진이 GeoVerse Lab에서 담당하는 연구분야를 그대로 커리큘럼의 뼈대로 씁니다 — 클릭하면 해당 분야를 어떻게 가르치는지 볼 수 있습니다.

가치정렬/사이버네틱스제어
가치정렬/사이버네틱스제어
문자 그대로의 훈련목적과 인간 의도 사이 간극을 다루는 가치정렬을, 보상해킹 사례 분석과 RLHF 파이프라인 실습으로 배우는 과목이다.
W. 로스 애슈비
선호학습/보상모델링
선호학습/보상모델링
쌍별 선호비교에서 보상모델을 학습하고 이를 강화학습 미세조정의 목표로 쓰는 현대 AI정렬 파이프라인을 배우는 과목이다. 절대점수 대신 비교판단을…
프랭크 P. 램지
신경표상의 메커니즘적 해석가능성
신경표상의 메커니즘적 해석가능성
훈련된 신경망의 가중치를 역설계해 인간이 이해하는 알고리즘으로 읽어내는 메커니즘적 해석가능성을, 회로 탐색·제거 실습으로 배우는 과목이다.
도널드 O. 헵
적대적강건성/보안평가
적대적강건성/보안평가
평균사례 정확도가 아니라 최악사례 실패를 찾는 적대적강건성 평가와 레드티밍을 직접 수행해 보는 보안실습 과목이다.
오귀스트 케르크호프스
확장가능한감독/다중에이전트토론
확장가능한감독/다중에이전트토론
평가자가 직접 검증할 수 없는 초능력 시스템을 약한 판정자가 어떻게 감독할지 묻는 확장가능한감독을, 다중에이전트 토론 실험으로 배우는 과목이다.…
존 포브스 내시 주니어
AI 거버넌스/기술책임윤리
AI 거버넌스/기술책임윤리
완벽히 안전한 시스템도 잘못된 제도 환경에서는 해를 일으킨다는 관점에서, AI를 둘러싼 규칙·제도·유인을 설계하는 AI 거버넌스를 배우는 과목이…
한스 요나스
형식검증/안전필수 AI시스템
형식검증/안전필수 AI시스템
유한한 시험과 수학적 증명의 근본적 차이를 이해하고, 신경망을 감싸는 안전필수 코드에 형식검증을 적용하는 법을 배우는 과목이다. 플로이드의 단언…
로버트 W. 플로이드
실존적위험분석/장기 AI안전
실존적위험분석/장기 AI안전
전례 없는 저확률·고결과 위험을 직접 경험 없이 구조적으로 추론하는 방법을 배우는 과목이다. 냉전기 RAND의 시나리오플래닝 방법론을 첨단 AI…
허먼 칸
역강화학습/메커니즘·인센티브설계
역강화학습/메커니즘·인센티브설계
인간의 시연과 제도적 규칙이라는 두 가지 '간접 증거'로부터 AI가 최적화할 목표를 안전하게 만드는 법을 배우는 과목이다. 보상을 손으로 설계할…
레오니트 후르비치
알고리즘 공정성/AI 분배정의
알고리즘 공정성/AI 분배정의
동일한 정확도 아래에서 오류와 이익의 집단 간 분포를 다루는 알고리즘 공정성을, 상호양립불가능한 공정성 기준 실습과 정의론적 논의로 배우는 과목…
존 롤스
신뢰가능한 AI/인간-AI공생
신뢰가능한 AI/인간-AI공생
인간감독자가 AI를 정확히 받을 만한 만큼만 신뢰하도록 상호작용을 설계하는 법을 배우는 과목이다. 리클라이더의 인간-컴퓨터 공생 비전을 신뢰보정…
J. C. R. 리클라이더
안전공학/복합 AI시스템의 시스템적위험
안전공학/복합 AI시스템의 시스템적위험
개별 부품이 아니라 부품 간 상호작용에서 발생하는 시스템 전체의 실패를 분석하는 능력을 기르는 과목이다. 페로의 정상사고이론으로 복합 AI시스템…
찰스 페로
머신에씩스/의무론적 제약설계
머신에씩스/의무론적 제약설계
AI의 가치체계를 결과주의적 보상과 의무론적 경성제약 중심으로 설계하는 머신에씩스를, 철학적 구분과 시스템 설계 실습으로 잇는 과목이다.
이마누엘 칸트
캘리브레이션/AI안전을 위한 불확도추정
캘리브레이션/AI안전을 위한 불확도추정
모델이 말하는 신뢰도가 실제 정답빈도와 일치하는지 측정하는 캘리브레이션을, 신뢰도도표 실습과 안전시스템 설계로 배우는 과목이다.
브루노 데 피네티
제어이론/자율에이전트의 교정가능성
제어이론/자율에이전트의 교정가능성
자율에이전트가 인간의 정지·교정을 장애물이 아닌 당연한 상위 명령으로 받아들이게 하는 교정가능성을, 최적제어 관점에서 배우는 이론·설계 과목이다…
레프 폰트랴긴