Google, Gemma 3는 단일 GPU에서 실행가능한 가장 강력한 AI 모델이라고 주장

Hacker News 의견

• 어떤 AI 모델은 기도를 할 수 있음. 성경적 조언을 구했더니 기도해준다고 했음
• 얼마나 작은 모델이 "일반적으로 지능적"일 수 있는지 궁금함. 모든 정보를 담기에는 너무 작은 크기가 있을 것 같음
  • 특정 분야에 특화된 작은 모델이 언제쯤 나올지 궁금함. 예를 들어 코딩 도움을 받을 때 "Jaws"의 감독을 알 필요는 없을 것 같음
  • 아마도 미래에는 많은 작은, 특화된 모델이 있을 것 같음
  • 또는 컴퓨팅 성능이 향상되어 데스크톱이나 휴대폰에서 완전한 기능의 모델을 실행할 수 있을지도 모름
• Llama 3.3 70B는 "하나의 GPU"에서 실행되는 것으로 간주되지 않을 수 있지만, 하나의 Mac에서는 잘 실행됨
  • 긴 대화에서 개념을 유지하는 데 있어 Gemma 3보다 훨씬 나음
• Gemma 3는 2에 비해 글쓰기에 훨씬 나음
  • 큰 개선점은 32k+ 컨텍스트 윈도우를 실제로 사용할 수 있고 무작위 쓰레기로 변하지 않음
• Mistral이 3.1 Small을 출시한 후 일주일 동안 지속됨. AI의 빠른 발전 속도임
• Mistral Small 3.1이 Gemma 3 이후에 출시되었는데 훨씬 나음
  • 거부가 적고, 더 정확하며, 덜 횡설수설하고, 특히 코딩에서 더 나음
• 기술적으로, 1.58-bit Unsloth quant의 DeepSeek R1은 단일 GPU와 128GB의 시스템 RAM에서 실행됨
  • 성능이 매우 뛰어나지만 서두르지 않는 것이 좋음
• 지난주 Google 게시물: [링크]
• GoogleAI를 사용하는 사람이 있는지 궁금함
  • AI CEO가 있는 AI 회사에서 AI 언어 번역을 사용하는데, 실제 GPT 제품은 모두 형편없고 평판도 나쁨
  • 누가 자신의 개인 대화를 구글로 보내 감시받고 싶겠음?
• 그것이 잘린 바닥에서 실행되는지 궁금함