소프트웨어가 세상을 먹어 치웠고, 이제 하드웨어가 소프트웨어를 먹고 있다

2 hours ago 4

SaaS 시대에는 인터페이스와 애플리케이션이 75~90%의 총마진을 확보했지만, AI에서는 가치 중심이 반도체·컴퓨팅·데이터·추론 플랫폼으로 내려가며 애플리케이션 계층이 얇아지고 있음
막대한 자본과 CoWoS·HBM·전력의 물리적 병목, 데이터 전환 비용, 애플리케이션 로직의 대체 가능성이 가치의 중심을 하위 계층에 고정함
NVIDIA 데이터센터 매출은 2026년 4월 종료 분기에 752억 달러로 전년 대비 92% 늘었고, 4대 하이퍼스케일러의 2026년 1분기 설비투자는 1,310억 달러에 달해 물리적 기반 계층으로 자본이 집중되고 있음
공개 가중치 모델의 성능 격차와 가격은 빠르게 낮아지지만, 높은 처리량과 낮은 지연시간을 제공하는 추론·최적화 플랫폼, 독점 데이터 플랫폼, 최상위 성능과 기업 유통망을 갖춘 소수 프리미엄 모델은 가치를 유지함
AI 애플리케이션은 추론비가 평균적으로 매출의 23%를 차지해 총마진이 50~60%에 머물 수 있으므로, 독점 데이터 루프·기록 시스템·규제 워크플로·유통력·성과 기반 가격 가운데 하나를 갖춰야 기존 소프트웨어 수준의 방어력을 확보할 수 있음

AI가 뒤집는 가치의 이동 방향

SaaS에서는 사용자 한 명을 추가로 지원하는 한계비용이 0에 가까웠고, 인터페이스·워크플로·기록 시스템을 소유한 기업이 75~90%의 총마진을 확보했음
AI에서는 추론이 가변 매출원가가 되면서 가치 중심이 애플리케이션에서 하위 계층으로 이동함
- 반도체와 컴퓨팅, 데이터 플랫폼, 공개 모델을 실행하는 추론 엔진, 소수의 프리미엄 최전선 모델이 주요 가치 계층을 이룸
애플리케이션이 사라지는 것은 아니지만 계층이 얇아지고 있음
- 모델과 데이터의 가치평가는 높아지는 반면, 차별화되지 않은 래퍼 애플리케이션은 마진과 매출 배수가 낮아짐
닷컴 붕괴 이후 민간 자본은 자본 집약적이고 경기순환적인 반도체를 떠나, 80% 이상의 총마진과 반복 매출을 제공하는 클라우드·SaaS로 이동했음
AI는 이 흐름을 뒤집어 자본을 실리콘·패키징·전력·데이터 인프라·추론 기반으로 되돌리고 있음
- 기술 분야에서 가장 가치 있는 프랜차이즈가 다시 칩 기업이 됨
- 추론 및 데이터 플랫폼은 기록적인 속도로 성장하는 인프라 사업이 됨
- 이전 자본 이동의 목적지였던 자산 경량형 애플리케이션은 AI 스택에서 불리한 마진 구조를 갖게 됨

가치가 하위 계층에 쌓이는 네 가지 이유

AI 스택의 각 계층은 다음 1달러의 가치를 다른 곳이 얼마나 쉽게 대체할 수 있는지에 따라 평가할 수 있음
자본 집약도가 진입장벽으로 작용함
- 4대 하이퍼스케일러는 연환산 5,000억 달러가 넘는 설비투자를 집행 중이며, 2026년에는 6,000억 달러 이상으로 향하고 있음
- 막대한 자본을 지속해서 투입해야 하는 시장에서는 자본 자체가 해자가 됨
물리적 병목은 단기간에 자금만으로 해소하기 어려움
- CoWoS 첨단 패키징, 고대역폭 메모리(HBM), 전력이 명확한 제약으로 작동함
- 희소한 제약 조건을 통제하는 기업이 가치를 확보함
전환 비용과 관성은 데이터 플랫폼에 가치를 축적함
- 같은 환경에 파이프라인·테이블·모델이 추가될수록 이전 비용이 높아짐
- 공개 가중치는 이동 가능하도록 설계됐으므로, 모델 자체보다 이를 제공하는 플랫폼으로 가치가 이동함
표면 계층의 대체 위험은 계속 커지고 있음
- 범용 애플리케이션 로직은 모델이 직접 수행할 수 있어 스택에서 가장 쉽게 대체될 수 있음

계층 1: 반도체와 컴퓨팅

NVIDIA와 하이퍼스케일러 설비투자
- NVIDIA의 데이터센터 매출은 2026년 4월 종료 분기에 752억 달러로 전년 대비 92% 증가함
- 총마진은 약 75%, 연환산 매출은 약 3,000억 달러임
- 다음 분기 전체 매출 가이던스는 910억 달러이며, AI 가속기 매출 기준 점유율은 약 80%임
- 4대 하이퍼스케일러의 2026년 1분기 설비투자는 약 1,310억 달러에 달함
  - Amazon은 442억 달러, Alphabet은 357억 달러를 지출함
  - Microsoft는 309억 달러, Meta는 198억 달러를 투입함
- 이 투자 규모는 연환산 약 5,250억 달러이며, 2026년 연간 가이던스인 6,000억 달러 이상을 향해 증가하고 있음
- Goldman Sachs는 2025~2030년 하이퍼스케일러의 누적 설비투자를 5조3,000억 달러로 추산함
컴퓨팅·메모리·스토리지의 공급 제약
- 세계 반도체 매출은 2025년 7,930억 달러로 전년 대비 21% 증가했으며, 2026년에는 1조 달러에 근접할 전망임
  - WSTS 전망은 약 9,750억 달러로 전년 대비 25% 증가하는 수준임
  - Gartner 전망은 이보다 더 높음
- AI는 전체 반도체 매출의 약 30%를 차지하며, 2029년에는 50% 이상으로 높아질 전망임
- 컴퓨팅 부문에서는 AI 가속기 시장이 2024년 약 800억 달러에서 2029년 2,800억 달러 이상으로 확대될 것으로 예상됨
- 메모리 부문도 빠르게 압박받고 있음
  - HBM 수요는 2025년 약 130% 늘었고, 2026년에는 추가로 약 70% 증가함
  - 일반 DRAM 계약 가격은 2026년 1분기에 전 분기 대비 약 90% 상승함
  - AI 데이터센터가 고급 DRAM의 약 70%를 흡수하고 있음
- NAND 시장은 2026년 약 650억 달러에 이르며, 전체 비트의 5분의 1이 AI에 사용됨
  - 2027년까지 수요 증가율은 20~22%로 공급 증가율 15~17%를 앞설 전망임
패키징·전력 병목과 수익률 위험
- 핵심 제약은 칩 설계에서 패키징과 전력으로 이동하고 있음
- TSMC의 CoWoS 생산능력은 2025년 월 약 7만 웨이퍼에서 2026년 약 11만 웨이퍼로 늘어나지만, 사실상 매진 상태임
- NVIDIA는 2027년까지 공급의 과반을 예약했음
- 2025년에 발표된 신규 AI 데이터센터 용량은 10GW를 넘었으며, 현재 패키징 기반이 지원할 수 있는 용량은 약 18GW임
- Google TPU, AWS Trainium, Broadcom ASIC 같은 하이퍼스케일러의 맞춤형 실리콘은 2,000억 달러 이상의 가속기 시장으로 성장하고 있음
  - 장기적으로 NVIDIA의 점유율을 낮출 수 있지만, 가치를 반도체 계층 밖으로 이동시키지는 않음
- 가장 큰 위험은 매출보다 투자 수익률임
  - 연간 5,000억 달러가 넘는 설비투자와 2~3년의 가속기 내용연수를 고려하면, 설치 기반의 이용률이 충분히 높아야 마진을 유지할 수 있음
  - 경쟁보다 설비 이용률이 전체 AI 스택의 수익성을 좌우하는 가장 큰 변수임

계층 2: 공개 모델과 추론 플랫폼

모델 성능 수렴과 공급 확대
- Stanford AI Index 기준 Chatbot Arena에서 최고 폐쇄형 모델과 최고 공개 가중치 모델의 격차는 2024년 1월 8.04% 에서 2025년 2월 1.70%로 줄어듦
- MMLU에서는 2023년 약 17.5점이던 격차가 사실상 사라짐
- DeepSeek R1은 최전선급 추론에 1억 달러대 학습 예산이 필수적이지 않다는 사례를 만들었음
- Qwen은 Hugging Face에서 Llama를 제치고 가장 많이 다운로드된 모델 계열이 됨
- Hugging Face에는 220만 개 이상의 모델이 등록돼 있으며, 카탈로그는 약 24개월 만에 두 배로 증가함
- 수천 개의 유사한 공개 모델이 존재하면 가중치 자체보다 이를 효율적으로 실행하는 능력이 희소해짐
  - 처리량과 지연시간, 토큰당 비용을 최적화해야 함
  - 모델 라우팅과 캐싱, 미세조정과 평가, 가드레일도 필요함
비미국권 공개 모델과 플랫폼 가치
- 공개 가중치 최전선에서 비미국 개발자의 비중이 커지고 있음
- 2024년 8월부터 2025년 8월까지 중국 개발자는 Hugging Face 다운로드의 17.1% 를 차지함
  - 미국 개발자의 비중은 15.8%였음
- Qwen은 Llama를 제치고 다운로드 1위 모델 계열이 됨
- 공개 모델의 상품화에는 경제 문제뿐 아니라 공급망과 정책 변수도 포함됨
- Linux 자체보다 Red Hat과 클라우드가 경제적 가치를 확보했듯, 공개 가중치에서도 모델보다 이를 안정적이고 저렴하게 제공하는 플랫폼이 지출을 흡수함
- 지속 가능한 사업은 공개 모델 자체보다 추론·최적화 플랫폼에 가까움
  - 이동 가능한 모델을 프로덕션에서 신뢰성 있고 저렴하게 운영하는 기능은 쉽게 상품화되지 않음
추론 플랫폼의 성장과 비용 구조
- Fireworks AI는 약 3년 만에 연환산 매출 8억 달러를 넘었고 전년 대비 4배 이상 성장했다고 공개함
- Together AI도 비슷한 규모로 알려졌으며, Baseten은 전년 대비 5배 이상 성장해 약 6억 달러에 도달함
- 이 기업들은 모델 연구소가 아니라 공개 가중치를 프로덕션에서 사용할 수 있도록 만드는 기반 사업자임
- 월 500억 개의 출력 토큰을 처리하는 중간 규모 AI 기능을 가정하면 비용 차이가 큼
  - 최전선 API의 출력 가격이 100만 토큰당 약 10~15달러라면 월 비용은 약 50만~75만 달러임
  - Llama, Qwen, DeepSeek 같은 공개 모델을 추론 플랫폼에서 100만 토큰당 약 0.40~1달러로 제공하면 월 비용은 약 2만~5만 달러임
- 비용 감소 폭은 90% 이상이며, 플랫폼은 절감액 일부를 마진으로 확보함
- 이 계산은 예시이며 실제 비용은 모델, 문맥 길이, 이용률에 따라 달라짐

계층 3: 소수의 프리미엄 모델

공개 모델의 수렴은 평균 성능 격차를 줄이지만 최전선 자체를 없애지는 않음
복잡한 에이전트 작업, 장기 실행 신뢰성, 프로덕션 코딩, 안전성처럼 추가 성능 한 점에 비용을 지불할 영역에는 프리미엄 계층이 남음
Anthropic의 연환산 매출은 2024년 말 약 10억 달러에서 2026년 5월 약 470억 달러로 늘었으며, 연말에는 약 1,000억 달러가 예상됨
- 연간 100만 달러 이상을 지출하는 기업 고객이 1,000곳을 넘음
OpenAI의 연환산 매출은 2024년 말 약 60억 달러, 2025년 말 약 200억 달러, 2026년 중반 약 300억 달러이며 연말에는 약 600억 달러로 향하고 있음
두 연구소는 서로 다른 매출 기준을 사용하고, 2026년 연말 수치는 추정치이므로 절대 규모보다 성장 궤적에 초점을 맞춰야 함
프리미엄 계층은 2023년 예상보다 좁으며, 방어 가능한 위치를 확보하려면 최전선 성능뿐 아니라 기업 고객에게 도달하는 유통망도 필요함

계층 4: 데이터 플랫폼

데이터 플랫폼은 파이프라인·테이블·온톨로지가 쌓일수록 이전 비용이 커지는 데이터 중력을 형성함
Databricks의 연환산 매출은 69억 달러를 넘어 약 80% 성장했음
- AI 제품은 이미 매출의 약 26%를 차지함
- 비상장 기업가치는 약 1,700억 달러임
Palantir는 기업 데이터를 통제된 의사결정으로 연결하는 운영 계층임
- 2026년 1분기 매출이 전년 대비 85% 증가해 약 65억 달러의 연환산 규모에 도달함
- 미국 상업 부문 매출은 133% 증가함
- Rule of 40 수치는 145%임
- 시가총액은 약 3,500억 달러이며 매출의 약 50배로 평가받음
모델은 서로 수렴하지만 기업의 독점 데이터와 그 위에 구축된 워크플로·온톨로지는 대체되지 않음
모델 계층이 상품화될수록 데이터와 의사결정 루프를 소유한 플랫폼이 지속적인 지렛대를 확보함
Palantir의 약 50배, 기반 모델 기업의 25~50배 같은 높은 매출 배수는 범용 소프트웨어 표면보다 독점 데이터와 결합된 계층에 집중됨

계층 5: 얇아지는 애플리케이션

총마진 압박
- 전통적 SaaS는 추가 사용자 지원 비용이 거의 없어 75~90%의 총마진을 기록할 수 있었음
- AI 네이티브 애플리케이션은 요청마다 모델을 다시 실행해야 하므로 총마진이 50~60% 수준임
- ICONIQ의 2026년 데이터에서 성장 단계 AI 기업의 추론비는 평균적으로 매출의 약 23% 를 차지함
- SaaS의 매출원가와 달리 규모가 커져도 추론비 비중이 자동으로 낮아지지 않음
- 극단적으로 얇은 래퍼는 총마진이 25%까지 내려갈 수 있음
가치평가의 양극화
- 시장은 AI 스택의 계층에 따라 서로 다른 매출 배수를 적용하고 있음
  - 기반 모델 기업은 25~50배로 평가받음
  - AI 네이티브 플랫폼은 25~30배 수준임
  - 전통적 SaaS의 중앙값은 2021년 정점 18.6배에서 약 6.7배로 하락함
  - AI 래퍼는 5~8배로 기존 SaaS와 같거나 더 낮음
- 모델과 데이터에는 높은 가치가 붙지만, 차별화되지 않은 애플리케이션 표면은 낮게 평가됨
- 지속 가능한 애플리케이션에는 모델이 흡수하기 어려운 자산이 필요함
  - 독점 데이터 루프나 기록 시스템을 보유해야 함
  - 규제된 워크플로와 실질적인 유통망이 방어력을 제공함
  - 성과 기반 가격은 추론비를 마진으로 전환할 수 있음
- 이런 요소가 없으면 애플리케이션은 상품화되는 모델 위에 프롬프트와 연결 코드를 얹은 얇은 계층에 머물게 됨

가치가 다시 애플리케이션으로 이동할 조건

애플리케이션이 상호작용 데이터를 빠르게 축적하면 자체적인 데이터 플랫폼이 되어 데이터 중력을 확보할 수 있음
- 기록 시스템 역할을 하는 애플리케이션은 계층이 얇아지는 흐름에서 예외가 될 수 있음
프리미엄 모델 연구소가 추론을 소유하고 에이전트를 구축해 애플리케이션까지 직접 판매하면 세 계층의 가치를 내부화할 수 있음
- 이는 가치를 위쪽으로 재분배하기보다 한 기업에 집중시키지만, 독립 추론 플랫폼과 애플리케이션 계층을 약화할 수 있음
추론 비용이 예상보다 빠르게 상품화되면 AI 애플리케이션의 총마진이 SaaS 수준으로 회복될 수 있음
- LLMflation은 지능 한 단위의 비용이 연간 약 10배 하락하고, 2024년 초 이후 중앙 가격 하락 속도가 연간 약 200배에 이른다고 봄
- 추론이 거의 무료가 되면 애플리케이션 계층의 마진 문제는 약해짐
- 다만 비용이 0이 돼도 표면 계층의 대체 가능성은 남으므로 가치평가 문제는 대체로 유지됨
같은 비용 하락이 반도체와 추론 플랫폼의 가격을 압박하는 동시에 애플리케이션의 마진을 회복시킬 수 있지만, 표면 계층의 구조적 대체 위험은 지속됨

투자자·창업자·기존 기업의 대응

투자자는 인터페이스보다 통제 지점을 평가해야 함
- 컴퓨팅과 패키징·전력·메모리 같은 물리적 병목을 살펴야 함
- 독점 데이터를 계속 축적하는 데이터 플랫폼이 포함됨
- 공개 모델의 풍부한 공급을 수익화하는 추론·최적화 플랫폼도 대상임
- 최전선 성능과 기업 유통망을 모두 갖춘 소수의 프리미엄 모델을 구분해야 함
애플리케이션에는 데이터 루프나 기록 시스템을 요구하고, 입증되기 전까지 80% 이상이 아니라 50~60%의 총마진을 가정해야 함
창업자는 독점 데이터 루프를 소유하거나 기록 시스템이 되어야 함
- 또는 성과 기반으로 가격을 책정해 추론비 하락이 고객의 절감액에만 머물지 않고 자사 마진으로 이어지게 해야 함
기존 기업은 막대한 자본이 필요한 기반 계층의 해자를 임대할 수는 있어도 직접 소유하기는 어려움
- 컴퓨팅이나 최전선 모델과 경쟁하기보다 데이터·학습·서빙을 한곳에 유지하는 데이터 계층에서 방어력을 확보하는 편이 적합함

향후 4개 분기에 확인할 지표

하이퍼스케일러 설비투자 대비 매출이 25~30%를 넘어서도 마진이 유지되면 기반 계층의 수익률 논리가 유지됨
- 투자자본수익률이 무너지면 전체 스택의 가치가 다시 평가될 수 있음
Fireworks AI, Together AI, Baseten의 연간 반복 매출이 각각 약 10억~20억 달러로 증가하면 모델보다 추론 계층에 가치가 모인다는 근거가 됨
에이전트·코딩 같은 어려운 벤치마크에서 공개 모델과 폐쇄형 모델의 격차가 약 2점 이내에 머물면 모델 계층의 상품화가 굳어짐
성장 단계 AI 애플리케이션의 총마진이 50~60%에 머물면 얇아지는 애플리케이션 논리가 유지되고, 75% 이상으로 회복되면 약해짐
DRAM과 HBM 가격이 분기마다 두 자릿수로 계속 상승하면 물리적 제약과 마진이 기반 계층에 남아 있음을 확인할 수 있음