바닥난 컴퓨팅 자원…앤스로픽 또 '대기 시간'
앤스로픽의 인공지능 service를 이용하는 기업들이 또다시 장시간 downtime에 시달렸다. 15일(현지시간) 오전 10시53분부터 약 3시간 동안 클로드 서비스가 unstable하게 작동하며 접속 지연과 partial outage가 발생했다. 사용자들은 다운디텍터에 15분 만에 7000건 이상의 report를 올렸고, 서비스는 오후 1시42분에야 완전히 restored .
전문가들은 급증하는 수요에 비해 computing resources가 부족한 상황에서 발생한 overload로 분석한다. 특히 기업들이 AI 에이전트를 쉬지 않고 가동하면서 연산 demand가 폭증했고, 이는 기존 인프라의 capacity를 초과하는 결과를 낳았다. AI 인프라 기업 코어위브의 제이 카드웰 CEO는 "지금과 같은 용량 부족 현상은 전례가 없다"고 지적했다.
이러한 상황을 감안해 앤스로픽은 기업용 클로드의 pricing model을 전면 수정했다. 과거에는 월 200달러를 내고 정해진 토큰량을 사용하는 방식이었지만, 이제는 월 기본료 20달러에 더해 usage-based fees를 부과하는 pay-as-you-go로 전환했다. 이로 인해 heavy users는 비용이 최대 2~3배까지 increased .
한편, AI 인프라 전반의 cost는 천정부지로 spiking . 오른(Ornn) 조사에 따르면 엔비디아 블랙웰 칩 임대 가격은 시간당 4.08달러로, 두 달 전보다 48% higher . 코어위브 역시 작년 말 AI 칩 임대료를 20% raised . 이처럼 인프라 부담이 커지면서, AI 스타트업들의 확장성과 수익성에 대한 concern이 커지고 있다.
3시간 대기라니…중요한 업무 자동화에 쓰는 기업 입장에선 다운타임 비용이 만만치 않을 거예요.
사용량 기반 요금제라니, 소규모 회사는 부담이 커지겠어요. 무료 티어도 줄었다고 하던데요.
AI 열풍은 좋지만, 전력도 부족하고 데이터센터도 못 따라가는데 이거 진짜 확장 가능한 모델인지 의문이에요.
앤스로픽만 문제는 아니에요. 전반적인 컴퓨팅 공급이 수요를 따라가질 못하고 있죠.
비용이 이렇게 치솟는데, AI 스타트업의 수익 구조가 버틸 수 있을지 걱정됩니다.
진짜 병목 현상은 이제 하드웨어야. 소프트웨어는 이미 훨씬 앞서 나가고 있어요.