언어 모델의 거부 행동은 단일 방향에 의해 매개됨

18억~720억 매개변수 규모의 오픈소스 대화 모델 13개에서 모델별 단일 활성화 방향을 제거하면 유해한 요청의 거부가 줄고, 반대로 더하면 무해한 요청도 거부하는 현상을 확인함 유해한 지시와 무해한 지시에 대한 평균 활성화의 차이로 거부 방향을 추출하며, 이를 잔차 스트림에서 제거하는 개입은 가중치의 랭크 1 수정으로도 구현 가능함 가중치 직교화는 기울기 기반 최적화나 유해한 답변 예시 없이 거부를 우회하지만, 성공률은 모델과 시스템 프롬프트에 따라 크게 달라짐 일반 성능 벤치마크의 변화는 대체로 작았으나 TruthfulQA 성능은 일관되게 하락했고, Qwen 7B와 Yi 34B에서는 일부 다른 평가에서도 유의한 저하가 나타남 Qwen 1.8B의 적대적 접미사 분석에서는 주요 어텐션 헤드가 유해한 지시 대신 접미사에 집중하면서 거부 신호가 억제됨. 다만 분석은 모델 하나와 접미사 하나에 한정됨 연구 질문과 실험 범위 안전 미세조정을 거친 대화 모델이 무해한 요청에는 응답하고 유해한 요청은 거부하는 과정에서, 거부를 매개하는 내부 표현이 무엇인지 조사함 모델이 실제 세계에서 행동하고 자율성이 커질수록 유해한 요청을 안정적으로 거부하는 능력이 중요해짐 모델 내부를 해석해 기존 취약성을 이해하고 새로운 행동 제어 방법을 찾는 것이 연구의 목표임 실험 대상은 5개 모델 계열, 총 13개 대화 모델임 Qwen Chat: 1.8B, 7B, 14B, 72B Yi Chat: 6B, 34B Gemma IT: 2B, 7B Llama-2 Chat: 7B, 13B, 70B Llama-3 Instruct: 8B, 70B Qwen과 Yi는 미세조정 기반 정렬(AFT), 나머지는 선호 최적화 기반 정렬(APO)을 사용함 유해한 지시 학습 표본은 AdvBench, MaliciousInstruct, TDC2023에서, 검증 표본은 HarmBench에서 추출함 무해한 지시는 Alpaca를 사용하며, 유해/무해 데이터 각각 학습용 128개와 검증용 32개로 구성함 학습, 검증, 평가 데이터 사이에 지시가 겹치지 않도록 필터링함 거부 우회는 JailbreakBench의 유해한 지시 100개로, 거부 유도는 Alpaca의 무해한 지시 100개로 평가함 JailbreakBench는 괴롭힘/차별, 악성코드/해킹, 신체적 위해, 경제적 위해, 사기/기만, 허위정보, 성인 콘텐츠, 개인정보, 전문적 조언, 정부 의사결정의 10개 범주를 포함함 HarmB...