“생성형 AI 앱 및 에이전트 개발 간소화 역량 강화”··· 데이터브릭스, 신규 업데이트 발표

데이터레이크하우스 기업 데이터브릭스는 기업이 생성형 AI 기반 애플리케이션과 AI 에이전트 개발을 보다 효과적으로 제어할 수 있도록 지원하는 네 가지 신규 기능을 발표했다.이번 업데이트에 포함된 주요 기능 중 하나는 중앙화 거버넌스(Centralized Governance)로, 오픈소스 및 상업용 대형 언어 모델(LLM)을 관리할 수 있도록 모자이크 AI 게이트웨이(Mosaic AI Gateway) 내에서 제공된다. 현재 퍼블릭 프리뷰 단계로 출시돼있다.컨설팅 기업 ISG의 전무 이사 데이비드 메닝거는 ” AI 이니셔티브와 관련해 기업의 핵심 우려 사항이 거버넌스다. 여러 요소가 복잡하게 얽혀 있기 때문”이라고 말했다.컨설팅 기업 웨스트 먼로의 기술 및 경험 부문 디렉터 더그 맥윌리엄스는 중앙화 거버넌스 기능을 두고 “상당한 수준의 단순화를 제공하는 기능”이라며 “일관된 보안, 접근 제어 및 규정 준수를 보장하는 동시에 중복 제거와 라이선스 비용 절감을 통해 비용을 절감할 수 있다. 또한 드리프트(모델 성능 저하)나 편향 같은 문제를 모니터링하고 수정하는 과정도 한층 쉬워진다”라고 설명했다.또한 맥윌리엄스는 “결과적으로 법무, 규제 준수, 보안 팀이 단일 인터페이스를 통해 모델을 검토하고 승인할 수 있어 승인 프로세스 또한 간소화될 것”이라고 표현했다.단일 SQL 쿼리로 배치 추론 실행데이터브릭스는 기업이 별도의 인프라를 구축하지 않고 AI 쿼리를 실행할 수 있도록 프로비저닝 없는 배치 추론(Provision-Less Batch Inference) 기능을 새롭게 추가했다.이 기능은 퍼블릭 프리뷰 단계에 있으며, 기업이 모자이크 AI에서 단일 SQL 쿼리로 배치 추론을 실행할 수 있도록 지원한다. 데이터레이크하우스 기업인 데이터브릭스는 “기업은 사용한 인프라에 대해서만 비용을 지불하면 된다”라고 설명했다.맥윌리엄스는 “프로비저닝 없는 배치 추론은 AI 배포에 있어 중요한 발전이다. 필요할 때만 리소스를 사용하므로 확장이 쉬워지고 비용 절감 효과도 크다”고 말했다.메닝거는 이 기능을 “사전 설정 없이 실행 가능한 서버리스(serverless) 기능”이라고 평가하며 “이 기능이 없으면 개발자는 AI 추론 요청을 처리하기 위해 별도의 리소스를 프로비저닝하고 설정하는 추가 작업이 필요하다”라고 설명했다.또한 맥윌리엄스는 SQL 기반 인터페이스 덕분에 ML옵스 경험이 없는 데이터 애널리스트도 배치 추론을 활용할 수 있다고 밝혔다. 그는 “예를 들어, 수백만 건의 고객 지원 티켓을 밤사이에 처리해 트렌드를 파악하거나, AI 생성 설명을 활용해 제품 카탈로그 데이터를 보강하고, 정기적으로 규정 준수 검사를 실행하며, 고객 이탈 위험을 예측하는 작업도 가능하다. 이 모든 작업을 별도의 인프라 구축 없이 수행할 수 있다”라고 설명했다.데이터브릭스는 기존 에이전트 평가 리뷰 앱을 업그레이드했다. 이제 도메인 전문가가 직접 평가를 제공하고, 레이블링을 위한 추적 데이터를 전송하며, 맞춤형 평가 기준을 정의할 수 있다. 이 과정에서 스프레드시트나 별도의 맞춤형 애플리케이션이 필요하지 않다.데이터브릭스는 “구조화된 피드백을 보다 쉽게 수집할 수 있어 AI 에이전트의 성능을 지속적으로 개선하고 체계적인 정확도 향상을 추진할 수 있다”라고 설명했다.지난해 12월 데이터브릭스는 모자이크 AI 에이전트 평가 모듈(Mosaic AI Agent Evaluation module)을 업데이트하며 합성 데이터 생성 API를 추가했다. 이를 통해 기업이 AI 에이전트를 더욱 빠르게 평가할 수 있도록 지원할 계획이다.지니 API, 데이터 분석을 맞춤형 및 생산성 애플리케이션으로 확장데이터브릭스는 또한 AI/BI 기반 지니 대화 API(Genie Conversation API) 제품군을 퍼블릭 프리뷰로 공개했다. 이 API는 마이크로소프트 팀즈, 셰어포인트, 슬랙 같은 생산성 도구나 맞춤형 애플리케이션에 자연어 기반 챗봇을 직접 내장할 수 있도록 지원한다.지니는 별도의 코딩 없이 사용할 수 있는 도구로, 사용자가 자연어로 질문을 하면 데이터를 분석하고 시각화된 결과를 제공하는 인터페이스를 갖추고 있다.데이터브릭스는 블로그를 통해 “지니 API를 활용하면 사용자가 지니 UI에서와 동일한 방식으로 프롬프트를 제출하고 인사이트를 얻을 수 있다. 또한, API는 상태를 유지하는 방식이어서 대화가 이어지는 동안 맥락을 기억하며 후속 질문을 처리할 수 있다”라고 설명했다.IDC의 리서치 부사장 아르날 다야라트나는 “이 API는 데이터브릭스의 데이터를 활용하는 대화형 AI 비서의 확장성을 높일 뿐만 아니라 데이터 접근성과 활용성을 개선해 더욱 신속한 의사결정이 가능하도록 돕는다”라고 말했다.API의 또 다른 장점은 기술적 장벽을 낮추어 누구나 쉽게 데이터를 활용할 수 있게 한다는 점이다. SQL과 같은 전문 기술 없이도 비즈니스 사용자가 자연어로 데이터를 조회하고 분석할 수 있게 된다.반면, 개발자의 경우 API가 미리 구축된 대화 기능을 제공하므로 인터페이스를 처음부터 개발할 필요 없이 핵심적인 업무에 집중할 수 있다. 맥윌리엄스는 “이 API 덕분에 개발자는 대화형 기능을 직접 구축하는 대신 더 중요한 작업에 집중할 수 있다”라고 말했다.맥윌리엄스는 지니 API를 최근 출시된 세일즈포스의 에이전트포스 API(Agentforce API)와 비교하며 “데이터브릭스의 API는 데이터레이크 및 BI 도구와 더욱 밀접하게 통합되어 있어 분석 과정이 더 자연스럽게 대화형 방식으로 진행된다. 반면, 세일즈포스는 독립적인 에이전트 구축에 초점을 맞추고 있다”라고 설명했다.컨설팅 기업 무어인사이트앤스트래티지의 수석 애널리스트 제이슨 앤더슨은 “데이터브릭스의 접근 방식은 AWS가 아마존 베드록을 통해 제공하는 방식과 상당히 유사하다”라고 평가했다.데이터브릭스의 전략과 에이전트 시장에서의 입지이번 업데이트에 대해 업계 전문가들은 데이터브릭스가 엔터프라이즈 사용자와의 접점을 확대하고 자사 솔루션의 활용도를 높이려는 전략의 일환으로 보고 있다.맥윌리엄스는 “데이터에서 AI로 이어지는 전체 파이프라인을 하나로 통합하면서 데이터브릭스는 원시 데이터 처리부터 운영 AI까지 모두 관리할 수 있는 플랫폼을 구축하고 있다”라며 “이를 통해 기업이 별도의 제품을 추가로 도입할 필요성을 줄이고, 플랫폼 활용도를 높이며, 고객 이탈을 방지할 수 있다”라고 설명했다.ISG의 메닝거는 데이터브릭스가 에이전트 시장에서 경쟁 우위를 확보할 가능성이 크다고 분석했다. 메닝거는 “데이터브릭스의 접근 방식은 기술 중심적이어서 더 복잡한 에이전트를 구축하고 다양한 데이터 기반 자동화 작업을 수행할 수 있다”라고 말했다.그러나 그는 “이 접근 방식의 단점은 에이전트를 생성할 수 있는 사용자가 제한될 수 있다는 점이다. 기술적 지식이 없는 비즈니스 사용자가 직접 만들기는 쉽지 않다”라고 지적했다.메닝거는 또한 “모든 벤더가 에이전트 경쟁에서 우위를 점하려고 하지만, 현재 진행 중인 많은 논의는 실제로는 ‘에이전트 워싱(agent washing)’에 불과하다. 즉, 기존 챗봇을 에이전트라고 부르는 수준에 그치는 경우가 많다”라며 “진정한 에이전트 기능은 여전히 복잡한 프로그래밍이 필요하다”라고 설명했다.이어 “세일즈포스와 서비스나우는 대화형 기능을 강화해 에이전트 구축을 쉽게 만들고 있지만, 그만큼 에이전트가 수행할 수 있는 작업의 범위는 제한될 수 있다”라고 평가했다[email protected]