Anthropic Economic Index: Claude 3.7 Sonnet의 영향

1 day ago 3

Anthropic이 Claude 3.7 Sonnet 출시 이후 AI 경제 영향에 대한 두 번째 연구 보고서 발표
이 보고서는 새롭고 가장 강력한 모델인 Claude 3.7 Sonnet의 출시 이후 Claude.ai 사용 데이터 분석
데이터셋은 자유롭게 다운로드 가능하도록 공개됨

주요 발견

Claude 3.7 Sonnet 출시 이후 코딩, 교육, 과학, 의료 애플리케이션에서의 사용 비중 증가
Claude 3.7 Sonnet의 새로운 "확장 사고(extended thinking)" 모드는 주로 기술적 작업에 사용됨
- 컴퓨터 과학 연구원, 소프트웨어 개발자, 멀티미디어 애니메이터, 비디오 게임 디자이너와 관련된 작업에 주로 활용
직무 및 직업 수준에서의 보조/자동화 분석 데이터 공개
- 카피라이터 및 편집자와 관련된 작업은 가장 높은 수준의 작업 반복(인간과 모델이 함께 작성)을 보임
- 번역가 및 통역사와 관련된 작업은 가장 높은 수준의 지시적 행동(모델이 최소한의 인간 참여로 작업 완료)을 보임
Claude.ai에서의 사용에 대한 상향식 분류 체계 최초 공개
- 630개의 세분화된 카테고리를 포함하는 새로운 데이터셋 제공
- 이 분류는 기존의 하향식 접근 방식에서 놓칠 수 있는 사용 사례를 파악하는 데 도움이 될 것으로 기대

Claude 3.7 Sonnet 출시 이후 변화

출시 후 11일 동안 100만 개의 익명화된 Claude.ai 무료 및 Pro 대화를 분석
코딩, 교육, 과학 분야의 사용 비중이 소폭 증가
코딩 사용 증가는 Claude 3.7 Sonnet의 코딩 벤치마크 점수 향상 때문으로 예상
다른 카테고리 증가는 AI의 경제 전반에 걸친 확산, 해당 도메인에 대한 코딩의 새로운 적용, 또는 모델의 예상치 못한 능력 향상을 반영할 수 있음

확장 사고 모드(extended thinking) 사용 패턴

확장 사고 모드는 주로 기술적 및 창의적 문제 해결 상황에서 사용됨
컴퓨터 및 정보 연구 과학자 관련 작업이 거의 10%로 가장 많이 사용
소프트웨어 개발자(약 8%), 멀티미디어 아티스트(약 7%), 비디오 게임 디자이너(약 6%) 관련 작업에서도 상당한 사용률 보임
이 새로운 모델 기능에 대한 추가 연구를 위해, 각 작업과 관련된 사고 모드 비율을 매핑하는 데이터셋 공개

보조 vs 자동화 비율 변화

보조 사용과 자동화 사용 간의 균형은 새로운 데이터에서도 기본적으로 변함없이 보조가 57%를 차지
자동화 및 보조 유형에서 일부 변화 관찰
- 사용자가 다양한 주제에 대한 정보나 설명을 요청하는 학습 상호작용이 ~23%에서 ~28%로 증가
사회 서비스 작업은 75%에 가까운 보조 사용률을 보임
생산 또는 컴퓨터 및 수학 직업과 관련된 작업은 보조/자동화 비율이 50-50%에 가깝게 나타남
자동화가 지배적인 직업 카테고리는 없음

상향식 분류 체계

Claude.ai 사용에 대한 상향식 데이터셋 공개
Clio를 사용하여 생성되고 동일한 익명화된 대화 데이터셋 사용
630개의 세분화된 클러스터로 구성되며, 관련 설명, 보급 지표, 자동화/보조 분석 포함
계층 구조의 3단계로 구성됨
특히 흥미로운 클러스터 예시:
- 수자원 관리 시스템 및 인프라 프로젝트 지원
- 대화형 시각화 기능이 있는 물리 기반 시뮬레이션 생성
- 폰트 선택, 구현 및 문제 해결 지원
- 구직 지원 자료 생성 및 개선 지원
- 배터리 기술 및 충전 시스템에 대한 지침 제공

결론 및 향후 계획

모델이 발전함에 따라 경제적 영향에 대한 측정도 발전해야 함
Claude 3.7 Sonnet 출시 이후 데이터에서 코딩, 교육, 과학적 사용 사례의 비교적 소폭 증가와 보조/자동화 균형에는 변화가 없음
확장 사고 모드는 기술 도메인과 작업에서 가장 높은 빈도로 사용됨
작업 및 직업 전반에 걸친 자동화/보조 패턴에서 패턴 확인
향후 몇 개월 동안 이러한 지표를 계속 추적하고 능력이 향상되고 모델이 경제 전반에 계속 적용됨에 따라 새로운 지표 개발 예정

Read Entire Article