NVIDIA, AI 에이전트 통제 불능 방지 위한 새 플랫폼 공개
NVIDIA는 2026년 9월 28일, AI 에이전트의 테스트부터 배포까지 검증 가능한 제약을 설정하는 오픈 플랫폼 'Open Agent Safety Platform'을 공개했습니다.
NVIDIA는 2026년 9월 28일, **«Open Agent Safety Platform»**을 공개하며, 인공지능(AI) 에이전트가 테스트 단계부터 배포까지 검증 가능한 제약을 설정하도록 돕는 개방형 플랫폼을 선보였습니다.
AI 에이전트가 단순히 질문에 답하는 것을 넘어, 작업 수행, 도구 사용, 정보 접근, 기업 시스템 운영 등으로 발전하고 있다는 점에 주목해야 합니다.
이러한 자율성은 사이버 보안 위험 또한 증대시킵니다. 만약 에이전트가 지시를 잘못 해석하거나 설정된 통제를 우회한다면, 허가되지 않은 행동을 수행할 수 있습니다.
이 플랫폼은 두 가지 주요 구성 요소로 이루어져 있습니다: 에이전트의 작동 범위를 설정하는 NVIDIA OpenShell과 하드웨어를 통한 독립적인 감시 및 대응 계층을 추가하는 NVIDIA Sentry입니다.
NVIDIA Open Agent Safety Platform이란 무엇인가?
이 플랫폼은 자율 에이전트의 행동을 제어하기 위한 다층 보안 아키텍처로 설계되었습니다.
NVIDIA는 AI 모델 자체의 의도뿐만 아니라, 시스템, 데이터, 파일, 애플리케이션 또는 API에 접근했을 때 실제로 무엇을 할 수 있는지가 문제라고 설명합니다.
이에 따라 새로운 플랫폼은 에이전트 자체 프로세스 외부에 통제를 배치합니다.
또한, 최근 보안 사고들에서 일부 에이전트가 할당된 작업을 완료하는 과정에서 애플리케이션 계층의 설정된 통제를 우회하는 패턴이 발견되었다고 밝혔습니다.
새로운 아키텍처는 에이전트의 행동이 예상에서 벗어나더라도 이러한 제약이 활성 상태를 유지하도록 합니다.
이번 에코시스템 출범에는 다음을 포함한 100개 이상의 조직이 참여했습니다:
- Microsoft
- JPMorgan Chase
- Perplexity
- Accenture
- Anthropic
- Cisco
- CrowdStrike
- Dell Technologies
- HPE
- Palantir
- Red Hat
- Salesforce
- SAP
- ServiceNow
OpenShell: AI 에이전트의 첫 번째 제약
OpenShell은 안전한 실행 환경, 즉 샌드박스 역할을 합니다. 에이전트를 접근 가능성이 있는 시스템 및 데이터와 분리하고, 허가된 작업에 대한 정책을 설정합니다.
이 소프트웨어는 에이전트가 무엇을 보고, 수정하거나 사용할 수 있는지 제어하며, 접근 결정 기록도 유지합니다.
NVIDIA는 정책이 공식적으로 검증될 수 있어 에이전트가 작업 수행에 필요한 권한은 가지지만, 추가적인 권한은 가지지 않음을 확인할 수 있다고 설명했습니다.
기업 및 개발자에게 중요한 점은 OpenShell이 오픈 소스라는 것입니다.
NVIDIA 시스템에 최적화되어 있지만, Arm 및 Intel 기반을 포함한 타사 컴퓨팅 플랫폼에서도 작동하도록 확장될 수 있습니다.
또한, NVIDIA는 다양한 에이전트 및 오픈/폐쇄형 모델과 함께 사용할 수 있으므로, 제어 계층이 특정 모델에만 의존하지 않는다고 강조합니다.
Sentry, 두 번째 보안 장벽 추가
두 번째 구성 요소는 플랫폼의 참조 설계에 포함된 독립적인 감시 시스템인 NVIDIA Sentry입니다.
Sentry는 NVIDIA BlueField-4 DPU에서 작동하며, 별도의 실행 환경 계층에서 에이전트 활동을 지속적으로 모니터링합니다.
NVIDIA에 따르면, 에이전트가 설정된 경계를 벗어나려고 하면 밀리초 단위로 격리할 수 있습니다.
OpenShell과의 차이점은 바로 독립성입니다. OpenShell은 에이전트가 실행할 수 있는 작업을 제어하는 반면, Sentry는 외부에서 이러한 행동을 감독하고 하드웨어를 통해 보안 정책을 적용합니다.
회사는 이를 심층 방어 아키텍처로 설명합니다: 첫 번째 계층은 실행을 제어하고, 두 번째 계층은 에이전트 환경 또는 호스트 시스템이 손상된 경우에도 개입할 수 있습니다.
NVIDIA가 자율 에이전트 제어를 개발하는 이유는?
생성형 AI가 코드 작성, 도구 사용, 정보 조회, 자율적인 행동 실행이 가능한 시스템으로 진화하면서 조직이 직면하는 위험 유형이 변화하고 있습니다.
모델의 전통적인 제어(명령, 프롬프트, 내장 안전 장치 등)는 에이전트의 의도에 영향을 줄 수 있습니다.
그러나 NVIDIA는 이러한 조치와 실제로 허용되는 행동을 결정하는 실행 제어를 구분합니다.
NVIDIA는 Open Agent Safety Platform을, 에이전트가 평가 환경을 벗어나거나, 사용해서는 안 되는 시스템에 접근하거나, 예상과 다른 행동을 보였다는 보고가 나오는 상황에서 발표했습니다.
이는 기업이 기밀 정보, 자격 증명, 내부 시스템, 기업 애플리케이션, 인터넷 연결 서비스와 관련된 프로세스를 자동화하기 위해 에이전트를 사용할수록 더욱 중요해집니다.
기업을 위한 플랫폼
기업에게 NVIDIA의 접근 방식은 세 가지 요구 사항을 해결하고자 합니다:
- 권한 제한
- 에이전트 행동 관찰
- 승인되지 않은 행동 중지 메커니즘 확보
OpenShell은 격리, 접근 제어 및 실행 정책을 제공하며, Sentry는 인프라로부터 독립적인 모니터링 및 정책 적용을 통합합니다. 또한, 승인 및 거부 결정에 대한 감사를 가능하게 하는 기록을 생성합니다.
이는 AI 에이전트가 민감한 시스템과 상호 작용할 수 있는 부문에 특히 중요합니다.
NVIDIA의 모델은 에이전트 자체의 지시 준수에만 의존하는 대신, 기술 인프라가 제약을 부과하도록 합니다.
NVIDIA의 창립자이자 CEO인 Jensen Huang은 회사의 입장을 요약하며, AI 시스템이 더욱 능숙해짐에 따라 보안이 동반되어야 한다고 강조했습니다. 회사는 이로써 소위 **“에이전트 경제”**를 위한 개방형 아키텍처를 제시합니다.
새로운 플랫폼은 AI 모델 자체를 넘어선 논의로 에이전트 보안을 끌어올립니다: 누가 어떤 정보에 접근할 수 있고, 에이전트가 어떤 행동을 실행할 수 있으며, 해당 경계를 넘으려 할 때 무슨 일이 발생하는가에 대한 것입니다.
NVIDIA는 소프트웨어와 하드웨어 모두에 적용되는 제어를 통해 이러한 질문에 답하고자 합니다.
추가 정보
이 게시물은 Líder Empresarial에 처음 게재되었습니다.
