일관되지 않은 결과와 환각 현상, 그리고 결과의 불완전함을 감내할 수 있는 실질적 활용 사례의 부족으로 인해 기업 현장에서 생성형 AI에 대한 기대가 식어가고 있다.
기업 시장에서 생성형 AI에 대한 열풍은 이미 정점을 지났으며, 가트너 하이프 사이클의 ‘환멸의 골짜기’로 더 깊이 빠져드는 가운데 다시 관심을 불러일으키려면 더 적합한 활용 사례와 더 정확한 결과가 필요하다고 전문가들은 지적한다.
가트너 수석 디렉터 애널리스트 비르기 타머소이는 “생성형 AI는 여전히 기업에 큰 잠재력이 있지만, 기술의 견고성과 신뢰성에서 문제가 드러나면서 기대치가 낮아졌다”라며 “지금까지의 과대광고는 실제 성과를 얻기 위해 필요한 노력을 과소평가했다”라고 말했다.
타머소이는 “데이터를 넣으면 마법처럼 모든 것이 해결된다는 식의 이야기는 현실이 아니다. 성능, 견고성, 신뢰성을 보장하기 위한 철저한 검증이 필요하다”고 강조했다.
그는 생성형 AI의 ‘환각’과 불일치하는 결과가 기대치를 낮춘 주요 원인이라고 설명했다. 이 때문에 일부 IT 리더는 오류를 감내할 수 있는 활용 사례를 찾는 데 어려움을 겪었으며, AI 파일럿 프로젝트의 실패율도 상당히 높게 나타났다. 타머소이는 “AI 시스템은 필연적으로 실수를 한다. 성공의 관건은 이를 보완할 장치를 어떻게 구축하느냐에 달려 있다. 더 깊이 있는 기술 평가가 필요하다”고 전했다.
또한 생성형 AI가 더 복잡한 문제를 다루면서 비용과 에너지 소비도 주요 고려사항이 됐다. 경우에 따라 에너지 비용이 수백만 달러에 달하기도 하며, 기업은 비용 대비 효과를 따져봐야 한다고 타머소이는 지적했다.
더 나은 결과가 필요하다
다른 AI 전문가들은 신뢰성 부족이 기대감이 꺾인 가장 큰 이유라고 지적한다. AI 기반 영상 플랫폼 두이통(Doitong)의 CEO 드미트리 미슈닌(Dmitry Mishunin)은 “생성형 AI는 사용자에게 확신을 주지 못하는 경우가 너무 많다”고 말했다.
미슈닌은 “지금 생성형 AI는 일종의 미스터리 박스 게임과 같다. 걸작이 나올 수도 있지만, 전혀 쓸 수 없는 결과가 나올 수도 있다. 설령 걸작이 나왔다고 해도 그 다음번에는 다시 쓸 수 없는 콘텐츠가 나올 위험에서 벗어날 수 없다”고 설명했다.
그는 또 사용량 기반 과금 체계가 실험을 위축시킨다고 분석했다. “무료로 제공되더라도 생성형 AI는 실패를 일으킬 수 있지만, 시도가 아니라 결과에 요금을 부과하는 방식이 정착되면 업계는 빠르게 성장할 것”이라고 강조했다.
가트너는 생성형 AI가 ‘환멸의 골짜기’를 벗어나 ‘계몽의 경사’를 지나 ‘생산성 정점’ 단계에 도달하기까지 2~5년이 걸릴 것으로 전망했다. 가트너는 또한 이 기술이 지난해 이미 기대치의 정점에 이르렀다고 평가하며, 이는 CIO들이 ‘놀이나 실험’에서 ‘실질적 활용’으로 전환하던 시점과 맞물렸다고 덧붙였다.
에이전트에 대한 불신
또 다른 과대광고의 중심에 선 AI 기술인 AI 에이전트는 현재 가트너 하이프 사이클에서 ‘과도한 기대의 정점’에 있지만, 생성형 AI처럼 곧 환멸 국면에 진입할 것으로 보인다. 가트너의 타머소이는 자율형 에이전트에 대한 불신이 결국 기대를 꺾게 될 것이라며, 이는 생성형 AI 결과에 대한 신뢰 부족과 같은 맥락이라고 지적했다.
타머소이는 “신뢰하지 못하는 것을 자동화할 수는 없다. 지금 많은 AI 에이전트가 LLM을 기반으로 하고 있는데, 이는 곧 생성형 AI 모델을 두뇌로 삼고 있다는 의미다. 따라서 불확실성과 신뢰성 문제가 동시에 존재한다”라며 “무언가를 완전히 자동화하려면 그만큼 확실히 신뢰할 수 있어야 한다”고 말했다.
AI 기반 엔터프라이즈 검색 기업 루시드웍스(Lucidworks)의 CEO 마이크 시노웨이도 “생성형 AI에 대한 신뢰가 약화된 것은 에이전트에 대한 과도한 기대와 현실의 괴리 때문이다”라고 언급했다. 루시드웍스의 ‘2025 생성형 AI 현황 보고서’에 따르면, 전자상거래 기업 중 에이전트형 AI 솔루션을 부분적으로라도 도입한 곳은 6%에 불과했으며, 3분의 2 이상은 에이전트를 효과적으로 운영할 인프라조차 갖추지 못한 것으로 나타났다.
시노웨이는 “가장 유망한 생성형 AI 활용처가 바로 에이전트였는데, 리더들은 걷기 전에 달리려 하듯 성급하게 에이전트 솔루션을 도입했다”고 분석했다. 그는 그러나 “앞으로는 개별 에이전트가 아닌, 다양한 모델에 업무를 효율적으로 분배하는 오케스트레이션 및 조정 기술이 발전하면서 생성형 AI의 잠재력이 본격적으로 열릴 것”이라고 내다봤다.
복합 AI의 가능성
타머소이는 새로운 돌파구가 마련되기 전까지 CIO들이 생성형 AI 도구를 더 철저히 평가하고 테스트해 자사에 맞는 적합성을 확인해야 한다고 조언했다. 일부 기업은 개별 도구의 한계를 보완하기 위해 복수의 AI 기술을 결합해 사용하는 추세다.
가트너의 ‘AI 하이프 사이클’에서 혁신 촉발 단계에 위치한 기술 중 하나가 바로 복합 AI(Composite AI)다. 이는 컴퓨터 비전, 머신러닝, 에이전트 등 다양한 AI 기법을 조합해 비즈니스 문제를 해결하는 접근 방식이다. 타머소이는 “복합 AI는 각 기술의 장단점을 인정하고, 서로의 한계를 보완하기 위해 여러 기법을 결합하는 것이 성공적인 해법이 될 수 있다”며 가장 주목할 만한 차세대 기술로 꼽았다.
전략 포트폴리오 관리 기업 플랜뷰(Planview)의 최고데이터과학자 리처드 소넨블릭은 “우리가 AI의 단기적 잠재력을 과대평가한 이유는 모델 평가 체계가 부재했고, 대화형 컴퓨터의 신선함에 매료돼 흐려졌기 때문”이라며 “그러나 LLM의 중장기적 영향은 결코 과소평가하지 않았다”라고 설명했다.
잠재력은 여전히 크다
소넨블릭은 더 정교한 평가 프레임워크, 지속적으로 개선되는 추론 모델, 잘 정제된 데이터가 갖춰진다면 생성형 AI가 막대한 효율성을 제공할 것이라고 내다봤다. 그는 “챗GPT와 같은 초기 경험이 주었던 놀라움과 실제 반복되는 환각, 비즈니스 목적에 맞게 모델을 제어하기 어려운 현실 사이의 괴리로 인해 신뢰가 흔들린 것”이라며 “그럼에도 위험을 감수하고 빠르게 실패하는 태도는 장려되어야 한다. 100개의 프로젝트 중 단 하나만 성과를 내더라도, 장기적으로는 투자 가치를 충분히 정당화할 수 있다”고 말했다.
타머소이 역시 “생성형 AI와 관련 기술의 잠재력은 여전히 막대하다. 다양한 활용처에서 가치를 창출할 수 있지만, 기업은 실제 비즈니스 성과를 확보하기 위해 반드시 철저한 검증을 거쳐야 한다”라고 표현했다.
dl-ciokorea@foundryco.com
