클라우드플레어, 에이전트 최적화 AI 플랫폼 발표...단일 API로 14개 제공업체 70여 모델 통합 지원

[한국정보기술신문] 글로벌 콘텐츠 전송 네트워크 기업 클라우드플레어가 AI 에이전트 개발에 특화된 AI 플랫폼을 발표했다고 16일(현지시간) 공식 블로그를 통해 밝혔다. 이 플랫폼은 단일 API를 통해 여러 AI 모델 제공업체의 서비스를 이용할 수 있게 해준다.

클라우드플레어 AI 게이트웨이는 'AI를 위한 통합 추론 레이어'로 설계됐다. 개발자들은 OpenAI, 앤트로픽, 구글 등 14개 이상의 제공업체에서 70여 개 모델에 단일 API 엔드포인트로 접근할 수 있다. 코드 한 줄만 수정하면 다른 모델로 전환이 가능하다.

이번 플랫폼의 핵심은 AI 에이전트 개발에 특화된 기능이다. 일반적인 AI 애플리케이션과 달리 에이전트는 여러 단계의 추론 호출이 연결되어 있어 단일 제공업체 지연이 전체 성능에 큰 영향을 미친다. 클라우드플레어는 전 세계 330개 이상 데이터센터를 통해 지연시간을 최소화하고 다단계 워크플로우의 안정성을 높인다고 설명했다.

플랫폼은 여러 제공업체에 걸친 AI 지출을 중앙화하여 관리할 수 있게 해준다. 사용자는 고객별, 사용자 등급별, 워크플로별로 비용을 추적하기 위해 맞춤 메타데이터를 추가할 수 있다. 또한 자동 장애 조치 기능을 통해 한 제공업체에 장애가 발생하면 요청을 대체 제공업체로 라우팅한다.

리플리케이트의 Cog 기술과 통합하여 개발자들은 자체 미세조정 모델을 컨테이너화하고 워커스 AI 인프라에 배포할 수 있다. 스트리밍 응답이 독립적으로 버퍼링되어 중복 요금 없이 재연결이 가능하다.

현재 워커스 바인딩을 통한 AI.run() API를 지원하며, REST API 지원도 곧 추가될 예정이다. 장기 실행 애플리케이션을 위한 에이전트 SDK도 제공한다.

클라우드플레어는 이번 플랫폼이 여러 모델 제공업체 간 유연성과 세밀한 비용 가시성이 필요한 AI 기반 애플리케이션 및 에이전틱 시스템 개발자들을 대상으로 한다고 밝혔다.