규모 확장을 돕기 위해 기업이 AI 시스템을 배포하는 것을 도와주는 과거 Meta 엔지니어들로 구성된 스타트업 TrueFoundry가 Intel Capital을 주도로 1900만 달러를 조달했습니다.
ChatGPT가 2022년 11월에 출시된 후 GenAI가 등장하면서 모든 규모의 기업이 AI를 받아들일 방법을 찾고 있습니다. 그러나 GenAI는 지능을 제공하기 위해 대형 언어 모델을 활용하며 이는 상당한 컴퓨팅 파워를 요구합니다. 모든 기업이 수백 대 또는 수천 대의 GPU에 접근할 수 있는 혜택을 가지고 있는 것은 아니기 때문에 GPU 최적화가 필수적입니다. 더 나아가 기업은 자사의 운영에 AI 시스템을 관련성 있게 만들기 위해 여러 모델을 실험하고 기존 모델을 세밀하게 조정해야 합니다.
TrueFoundry는 플랫폼-서비스 모델 하에서 사용 가능한 소프트웨어로 완전한 스택 데이터 과학자를 대상으로 하고 있으며, 자동 확장, 선행적 유지보수, 중앙 집중식 액세스 제어 및 실시간 모니터링과 같은 기능을 제공하여 엔드투엔드 AI 배포를 간소화합니다.
Meta 엔지니어인 니쿤지 바자지와 아빗세크 차우다리, 그리고 그들의 IIT 카라가푸르 동기인 아누라아그 구트기튀아에 의해 2021년 6월에 설립된 TrueFoundry는 처음에는 머신 러닝 배포를 가속화하기 위한 크로스 클라우드 네이티브 소프트웨어를 제공했습니다. 그러나 2023년에 GenAI가 주류가 되자 스타트업은 시스템을 수정하여 GenAI 능력을 지원하도록 했습니다.
“이전에는 데이터 과학자들이 모델과 함께 작업하고 실험했지만, 대부분의 배포는 ML 엔지니어들에게 맡겼습니다. 우리가 가능하게 하는 것은 데이터 과학자들이 실제로 이 복합적인 시스템을 직접 만들고 규모의 테스트를 수행하고 마지막 배포를 위해 플랫폼 팀에 전달할 수 있도록 하는 것입니다,” Gutgutia는 독점 인터뷰에서 말했습니다.
스타트업은 AI를 사용하여 로그와 메트릭을 확인하여 GPU 사용량을 조정하고 메모리 요구 사항을 수정하여 AI 애플리케이션의 규모를 확장하는 자율주행 시스템이라는 소프트웨어 솔루션을 제공합니다.
자율 주행 시스템을 사용하여 Gutgutia는 TechCrunch에게 TrueFoundry의 고객 중 한 명이 2명의 작은 팀으로 초당 1000만 요청을 처리했다고 말했습니다.
TrueFoundry는 현재 전 세계적으로 30개의 유료 고객을 보유하고 있으며, 실험을 위해 오픈 소스 RAG 프레임워크에 액세스하는 '많은' 사용자들이 있습니다. 이들 고객 가운데 GPU 거대인 NVIDIA는 소프트웨어를 사용하여 GPU 클러스터를 최적화하는 에이전트를 구축 및 배포하고 있습니다. 메디텍 회사 레스메드는 내부 AI 플랫폼 개발을 위해 TrueFoundry의 솔루션을 사용하고 있습니다. 마찬가지로 시멘스 헬스니어스, 자동화 어니웨어, 게임 24x7, Whatfix도 고객 사례 중 하나입니다.
스타트업은 주요 Kubernetes를 사용하여 소프트웨어를 설계하여 멀티 클라우드 준비 및 AWS, Google Cloud Platform 및 Azure를 비롯한 모든 주요 클라우드 플랫폼과 호환되도록 했습니다. 또한 기업은 플랫폼을 기업 내부에 원활하게 배포할 수 있습니다.
TrueFoundry를 사용하는 기업은 2개월 안에 자사의 내부 AI 플랫폼을 구축 및 출시하고 14개월의 산업 평균 대비 4개월 안에 투자 수익률을 달성했습니다. Gutgutia는 TrueFoundry 사용자들에게 에이전트, RAG, 복합 딥 러닝 모델 또는 세밀하게 조정된 모델을 다루더라도 40~50%의 인프라 비용 절감 및 배포 속도 향상을 제공했다고 말했습니다.
아마존의 Sagemaker나 Google Cloud의 Vertex와 같은 AI 모델 구축 및 배포를 쉽게 하는 소프트웨어를 제공하기 시작한 클라우드 벤더도 있지만, Gutgutia는 TrueFoundry의 솔루션이 여전히 중요하다고 말했습니다. 이는 클라우드 공급업체의 컴퓨팅 사용을 가속화하고 AI 앱의 시장 진입 시간을 단축하며 전체 비용을 줄이기 때문입니다.
파트너로부터의 투자를 통해 Eniac Ventures, Peak XV Partners, Jump Capital 및 Gokul Rajaram, Mohit Aron, Cyan Bainster와 같은 천사 투자자들의 참여를 보았습니다.
스타트업은 이번 자금을 활용하여 인도에 기반을 둔 45명의 팀을 확장하고 미국의 영업, 고객 성공 및 제품 마케팅 포지션으로 이동할 계획입니다. 또한 클라우드 벤더들과의 파트너십에 투자하고 AWS Marketplace를 시작으로 중요한 클라우드 마켓플레이스에 나열하기 위한 과정 중에 있습니다.
또한 TrueFoundry는 올초 펀딩을 통해 합계 2100만 달러를 조달했으며, 지난해 고객 기반을 네 배로 늘렸고 ML 작업을 위해 고객 클러스터에 1000개 이상을 배포했습니다. Gutgutia는 TechCrunch에게 '매출이 150만 달러를 초과했으며, 올해 이를 두 배로 늘릴 예정이다.'라고 말했습니다.
