2024년 LLMs에 대해 배운 것들

2 weeks ago 8

GPT-4 장벽이 완전히 무너짐
- 2023년 말까지 GPT-4는 최고 수준의 모델로 여겨졌으나, 2024년에는 18개 조직이 GPT-4보다 뛰어난 모델을 개발함.
- Google의 Gemini 1.5 Pro는 비디오 입력 기능과 200만 토큰 입력 길이를 제공하며, GPT-4 수준의 출력을 생성함.
- Anthropic의 Claude 3 시리즈는 GPT-4를 능가하는 성능을 보여줌.
일부 GPT-4 모델이 내 노트북에서 실행됨
- 2023년 M2 MacBook Pro에서 GPT-3 수준 모델을 실행할 수 있었으나, 이제는 GPT-4 수준 모델도 실행 가능해짐.
- Meta의 Llama 3.2 모델은 작은 크기에도 불구하고 뛰어난 성능을 보여줌.
LLM 가격 급락
- 경쟁과 효율성 증가로 인해 LLM의 실행 비용이 크게 감소함.
- OpenAI의 GPT-4o는 이전보다 12배 저렴해졌으며, 다른 모델 제공자들은 더 낮은 가격을 제시함.
멀티모달 비전이 일반화됨
- 2024년에는 거의 모든 주요 모델 제공자가 멀티모달 모델을 출시함.
- 이미지, 오디오, 비디오 입력을 지원하는 모델들이 등장함.
음성 및 라이브 카메라 모드의 등장
- 음성 입력과 출력 기능이 추가되며, 실시간 카메라 피드를 공유할 수 있는 기능이 도입됨.
프롬프트 기반 앱 생성이 일반화됨
- LLM을 통해 HTML, CSS, JavaScript를 사용하여 인터랙티브 애플리케이션을 생성할 수 있음.
- Anthropic의 Claude Artifacts는 이러한 기능을 제공하며, GitHub Spark와 Mistral Chat도 유사한 시스템을 구축함.
최고의 모델에 대한 보편적 접근이 짧은 기간 동안만 지속됨
- GPT-4o, Claude 3.5 Sonnet, Gemini 1.5 Pro가 무료로 제공되었으나, 이제는 유료 서비스로 전환됨.
"에이전트"는 아직 실현되지 않음
- "에이전트"라는 용어는 명확한 정의가 부족하며, LLM의 신뢰성 문제로 인해 실질적인 활용이 어려움.
평가의 중요성
- LLM 기반 시스템의 유용성을 높이기 위해 자동화된 평가가 필수적임.
Apple Intelligence는 실망스러우나, MLX 라이브러리는 훌륭함
- Apple의 MLX 라이브러리는 다양한 모델을 Apple Silicon에서 실행할 수 있도록 지원함.
추론 확장 "추론" 모델의 부상
- OpenAI의 o1 모델은 추론 토큰을 사용하여 문제를 해결하는 새로운 방식의 모델임.
중국에서 훈련된 최고의 LLM?
- DeepSeek v3는 685B 파라미터 모델로, 저렴한 비용으로 훈련되었으며 높은 성능을 자랑함.
환경적 영향 개선
- 모델의 효율성 증가로 인해 에너지 사용량과 환경적 영향이 크게 감소함.
환경적 영향 악화
- 대규모 데이터센터 구축으로 인한 환경적 영향이 우려됨.
"슬롭"의 해
- "슬롭"은 요청되지 않고 검토되지 않은 AI 생성 콘텐츠를 의미하는 용어로 자리 잡음.
합성 훈련 데이터의 효과
- 합성 데이터를 사용한 훈련이 모델 성능 향상에 기여함.
LLM 사용이 더욱 어려워짐
- LLM은 강력하지만 복잡한 도구로, 이를 효과적으로 사용하기 위해서는 깊은 이해와 경험이 필요함.

Read Entire Article

1. 나경원

2. 김건희

3. DRX

4. 리플

5. Epl

6. CNN

7. BYD

8. MBC

9. SRT

10. 연말정산

2024년 LLMs에 대해 배운 것들

GPT-4 장벽이 완전히 무너짐

일부 GPT-4 모델이 내 노트북에서 실행됨

LLM 가격 급락

멀티모달 비전이 일반화됨

음성 및 라이브 카메라 모드의 등장

프롬프트 기반 앱 생성이 일반화됨

최고의 모델에 대한 보편적 접근이 짧은 기간 동안만 지속됨

"에이전트"는 아직 실현되지 않음

평가의 중요성

Apple Intelligence는 실망스러우나, MLX 라이브러리는 훌륭함

추론 확장 "추론" 모델의 부상

중국에서 훈련된 최고의 LLM?

환경적 영향 개선

환경적 영향 악화

"슬롭"의 해

합성 훈련 데이터의 효과

LLM 사용이 더욱 어려워짐

Related

Show GN: 프로그래매틱 광고 생태계 시뮬레이터 (TypeScript)

예제로 배우는 FFmpeg

AI 에이전트 시장 지도

GitHub Git 운영 중단

ZFS raidz 확장 기능을 포함한 ZFS 2.3 출시

온라인 구인 공고 5개 중 1개는 가짜이거나 채워지지 않는다는 연구 결과

Google OAuth 로그인은 실패한 스타트업 도메인을 사버리는 경우 보호 불가능

애플, TSMC의 애리조나 공장에서 '미국산' 칩 공급 예정

Tips

게임 정보

취업 정보

온라인 툴

유용한 정보

유튜브

Trending

Popular

1월 둘째 주, 마켓PRO 핫종목·주요 이슈 5분 완벽정리 [위클리 리뷰]

"이러다, 다 죽어!"…'오징어게임2' 망하면 큰일 난다는데 [김소연의 엔터비즈]

"근처 갈 만한 커피숍 알려줘"…'이 번호' 누르자 챗GPT가 받았다 [송영찬의 실밸포커스]

프롬프트 엔지니어링으로 메뉴 이미지 품질 검수하기: GPT 기반 업무 자동화

“폐암으로 가는 길”…내주부터 담뱃값 경고 그림·문구 바뀐다

겨울철 심해지는 허리디스크… ‘최소침습 내시경 수술’로 부담 줄여

구글 검색사업관련 미 법무부의 매각명령에 대한 역제안 발표

How a “Bold, Curious” Tech Approach Led RAUMEDIC to New Succ...

일론 머스크 우주 천하 깨지나…블루오리진 '도전장'

Google Deepmind의 Project Mariner - 브라우저 자동화 도구