OpenAI o1-pro, 이제 API로 접근 가능

Hacker News 의견

• 이 모델은 새로운 Responses API를 통해서만 사용할 수 있음. Chat Completions를 사용하는 코드를 가지고 있다면, 이를 지원하기 위해 Responses로 업그레이드해야 함
  • 내 LLM 도구에 지원을 추가하는 데 시간이 걸릴 수 있음
• 가격: 입력 토큰 100만 개당 $150, 출력 토큰 100만 개당 $600임
  • 매우 비싸지만, ChatGPT Pro 구독과 함께 사용해본 결과 놀라울 정도로 능력 있음
  • 100,000 토큰의 코드베이스를 제공하면 내가 완전히 간과한 미묘한 버그를 찾아냄
  • API 가격과 내가 지불하는 구독 가격을 비교하면 약간 미안한 느낌이 듦
• 펠리컨이 자전거를 타는 SVG를 렌더링하는 데 94센트가 들었음
• 연봉 $160k의 동기 부여된 사무직 근로자가 하루에 6시간을 듣거나 말한다고 가정하면, 100만 토큰당 비용은 약 $10k임
  • OpenAI는 이제 그들의 최전선 모델 가격으로 고도로 숙련된 인간과 비슷한 수준에 도달함
  • o3 pro가 이 상황을 바꿀 수 있지만, o3가 곧 출시될 예정이었다면 이 모델을 출시하지 않았을 것이라고 생각함
• 2023년 지식 컷오프와 200k 컨텍스트 윈도우를 가짐
  • 다소 실망스러움
• o1-pro는 Grok 3 think와 Claude 3.7 think를 포함한 다른 모든 릴리스와 비교해도 여전히 뛰어남
  • 프로 구독을 취소하려고 했지만, 4.5는 비코딩/수학 작업에 너무 좋음
  • o3 pro를 기다릴 수 없음
• 테스트해보고 좋아한 사람들 있음
  • Sonnet 3.7에 매우 자신감이 있음
  • 더 빠르기를 바람
  • 대부분의 문제는 실행 문제이며, AI가 내가 직접 코딩하는 것보다 더 빠르게 해주기를 원함
• o1-pro는 스위치인 도구나 코드베이스를 이중 확인하는 용도로 사용될 것 같음
  • 가격이 낮아도, Sonnet의 10배 속도를 얻기 위해서는 많은 작업과 도메인 지식이 필요할 것이라고 가정함
• o1-pro는 스트리밍을 지원하지 않음
  • 여러 답변을 검색하기 위해 best-of-n 유형의 기술을 사용하는 것으로 추정됨
  • llm-consortium을 사용하면 훨씬 낮은 가격으로 유사한 결과를 얻을 수 있을 것이라고 생각함
  • 여러 모델을 프롬프트하고, 그 중 최고의 응답을 선택하거나 합성할 수 있음
  • 신뢰 임계값에 도달할 때까지 반복할 수 있음
• 처음에는 플랫폼에 추가할 수 있다고 생각했지만, 가격을 보고 대다수 사용자에게 모델을 활성화하는 것이 망설여짐
  • 부유한 기업을 제외하고는 대부분의 사용자가 스스로 발등을 찍을 것임
• o1-Pro가 o1 모델의 워크플로우일 가능성을 항상 의심했음
  • 8개의 o1 인스턴스로 분산하고 결과를 집계하는 방식일 가능성이 있음