지난주 뉴스레터에서 ChatGPT와 같은 LLM이 왜 ‘환각’ 현상을 보이는지, 그리고 그 문제가 왜 근본적으로 해결하기 어려운지를 수학적으로 입증한 Open AI의 연구보고서를 소개드린 바 있습니다. 핵심 내용을 다시 정리해드리면서, 연구서가 제시한  해법에 대한 비판적 시각을 함께 전해드립니다.

🤔 왜 환각은 피할 수 없는가?

• 수학적 필연성: LLM은 개연성을 바탕으로 다음 단어를 예측하는 방식으로 답변을 생성하기 때문에, 문장이 길어질수록 오류가 누적됩니다.

• 희귀 데이터 문제: 학습 데이터에서 자주 등장하지 않는 사실일수록 잘못된 답을 내놓을 가능성이 높습니다.

⚖️ 평가 시스템의 함정

더 근본적인 문제는 이진 평가(binary grading) 방식에 있습니다.

• AI가 “모르겠다”고 답해도 완전히 틀린 답변과 동일하게 0점을 받습니다.

• 이 때문에 정답 가능성이 낮더라도 무조건 답을 하는 전략이 유리해집니다.

🛠️ OpenAI의 제안

OpenAI는 AI가 스스로 답변의 확신도(confidence)를 고려하도록 하자는 해법을 제시했습니다.

• 평가 방식을 바꾸어, “모르겠다”는 답변은 0점 처리, 틀린 답변은 감점하는 방식입니다.

• 이를 통해 AI가 정답 확률이 충분히 높을 때만 답변하도록 유도하는 것이죠.

❗ 하지만, 문제는 남아 있다

일견 획기적으로 보이는 이 제안에 대해, 쉐필드대 Wei Xing 교수는 두 가지 근본적인 한계를 지적합니다.

1. 사용자 경험:
   만약 ChatGPT가 정답 확률이 75% 이상일 때만 답한다면, 전체 질문 중 약 30%에서 “모르겠다”고 대답할 수 있습니다. 과연 사용자가 지금처럼 ChatGPT를 폭넓게 사용할까요?

2. 경제성:
   정답 확률 계산을 위해서는 훨씬 더 많은 연산 자원이 필요합니다. 하루 수백만 건을 처리하는 소비자용 서비스에는 치명적인 비용 부담이 따릅니다. 반면 의료, 금융, 국방처럼 오류 비용이 큰 분야에서는 오히려 OpenAI의 방식이 경제적으로 설득력을 가집니다.

Wei Xing 교수는 OpenAI의 연구가 환각 문제 해결에 의미 있는 방향을 제시했지만, “빠르고 자신감 있는 답변”을 원하는 소비자 경험과 “정확성보다 속도와 확장성”을 우선하는 현 비즈니스 모델에는 맞지 않는다고 지적합니다.

AI 환각은 기술적 문제가 아닌 산업 구조와 시장 인센티브의 문제라는 점을 다시 한 번 보여주고 있습니다.

분기 실적? 반기 실적?...미 자본시장 규제완화 논란

- 기업 부담 완화냐 투명성이냐...개인투자자 투자 기회 확대 의견도   

뉴욕증권거래소(NYSE)와 나스닥(Nasdaq)에 이은 또 하나의 미국 주식 거래소 Long-Term Stock Exchange(LTSE)가 최근 SEC(미 증권거래위원회)에 청원을 제출했습니다. 상장기업의 분기 실적 보고서를 반기 단위로 전환하자는 것입니다.

🤔 왜 바꾸자는 걸까?

LTSE는 기업들이 분기마다 촘촘하게 실적을 내놓는 구조가 오히려 단기 성과에 집착하게 만들고, 기업 운영 부담과 비용만 키운다고 지적합니다. 실제로 미국 상장기업들은 분기 보고서 작성에 평균 180시간, 연간 보고서에는 2,200시간 이상을 투입하고 있습니다. 여기에 드는 비용만 연간 약 200만 달러. S&P 기업들은 회계감사에만 매년 50억 달러 이상을 쓰고 있습니다.

트럼프 대통령 역시 자신의 SNS를 통해 “반기 보고로 전환하면 기업들이 경영에 더 집중할 수 있고 불필요한 비용도 줄일 수 있다”며 공개 지지 의사를 밝혔습니다.

📉 상장 기업 감소와 자본시장 왜곡의 이유?

상장기업 자체가 줄고 있다는 점도 이유입니다. 1997년 이후 미국 상장기업 수는 55% 감소한 반면, 같은 기간 비상장기업은 5배 이상 증가했습니다. IPO 이후 기업들이 감당해야 할 인적·금전적 부담이 커지면서, 유망 기업들이 아예 기업공개를 피하고 있기 때문입니다. 

그 결과, 일반 투자자들은 성장 과실을 공유할 기회를 잃고, 주식 시장의 자금은 초대형 우량 기업으로 쏠리는 현상이 심화되고 있습니다. 현재 시총 상위 1, 2, 3위인 애플·마이크로소프트·엔비디아는 미국 전체 증시 시가총액의 17.5%를 차지합니다.

⚖️ 반론도 있다

물론 반론도 만만치 않습니다. “투자자 보호를 위해선 분기 보고가 필요하다”는 주장입니다. EU는 이미 2013년부터 반기 보고 체제를 도입했지만, 연구 결과에 따르면 분기 보고를 유지하는 기업일수록 미래 실적 예측력이 더 높다는 분석도 있습니다.

또 다른 시각은 규제 방향 자체를 바꿔야 한다는 겁니다. 상장기업의 규제를 완화하는 대신 비상장기업의 정보 공개를 강화해야 한다는 주장입니다. 예컨대, 오라클이 오픈AI와 3,000억 달러 규모의 계약을 맺었지만, 정작 오픈AI의 재원 조달 능력은 일반 투자자들로서는 알 수 없었습니다. 이는 심각한 정보 비대칭 문제를 드러냅니다.

💡 새로운 해법: AI와 투자 플랫폼의 시도

기업 부담을 줄이면서도 투명성을 유지할 수 있는 방안으로는 AI 기반 보고 자동화가 거론됩니다. 이를 통해 실적 보고의 시간·비용을 크게 줄일 수 있다는 것이죠.

IPO 이전에 개인투자자들의 투자 기회를 확대하려는 시도도 있습니다. 

로빈후드는 개인 투자자도 유망 스타트업에 투자할 수 있도록 ‘벤처스 펀드’ 설립 승인을 SEC에 요청했습니다. 승인된다면 스페이스X, 앤트로픽, 오픈AI 같은 비상장 스타트업에도 개인 투자자들의 펀딩이 가능해집니다. 로빈후드는 특수목적법인이 비상장 기업의 지분을 매입한 후 그 주식을 토근화해 거래하는 방식도 제시했습니다.  

미국 시장은 글로벌 투자시장의 기준점입니다. 신흥국 평균 PER이 15배인데 비해, 미국 시장의 평균 PER은 27배에 달합니다. 이는 투명성을 위한 엄격한 규제로 투자자를 보호한다는 신뢰가 일부 반영된 결과입니다.

과연 이번 논란의 끝은 어떻게 맺을 것이며, 미국을 비롯한 글로벌 투자 시장에 어떤 영향을 미치게 될까요? 

원두를 팔 것인가? 까페 라떼를 팔 것인가?

- 원자재 취급받는 파운데이션 모델, 활용 서비스가 전면으로

“AI 하면 오픈AI, 앤트로픽, 구글 같은 초거대 연구소가 떠오른다.” 불과 얼마 전까지만 해도 이런 생각은 당연했습니다. 세상을 바꿀 기술은 초거대 모델에서 나오고, 그 이익은 이 회사들이 독점할 거라고 믿었습니다

하지만 최근 조금씩 달라지는 흐름이 목격됩니다. 

🔄 모델보다 중요한 건 ‘활용법’

기업들은 이제 GPT 같은 LLM을 특별하게 보지 않습니다. 오히려 “대체 가능한 부품”, 일종의 Commodity처럼 취급합니다. 중요한 건 모델 자체가 아니라, 그걸 어떻게 다듬고 어디에 쓰느냐죠.

예를 들어, 코딩 도구를 만든다고 할 때, 수십억 달러를 더 들여 초거대 모델을 새로 학습시키는 대신, 기존 모델을 잘 튜닝하고 인터페이스를 편리하게 만드는 쪽이 훨씬 효과적입니다.

📉 “스타벅스에 원두만 파는 격”

만약 이 흐름이 굳어진다면, 오픈AI 같은 회사는 어떻게 될까요?
한 창업자는 “원두만 납품하는 사업자”에 비유했습니다. 하지만 커피 시장에서 진짜 주인공은 스타벅스이지, 원두 납품업체가 아닙니다.

오픈소스 기반의 대안 모델이 많아지면서, “원두 가격”마저 떨어질 수 있습니다. 실제로 오픈AI가 처음 내놓았던 코딩·이미지·영상 모델은 빠르게 경쟁사들에 추월당했습니다.

🚀 그래도 강점은 남아 있다

그렇다고 LLM 기업들이 당장 몰락할 것처럼 보이지는 않습니다. 

• ChatGPT, Gemini 같은 선두 대형 모델의 브랜드 파워

• 선도 기업들의 천문학적인 자본력

• 데이터 센터 등 막강한 글로벌 인프라

이들의 무기는 여전히 강력합니다. 게다가 AI 발전 속도가 워낙 빨라, 6개월 뒤면,  “LLM간의 경쟁”이 다시 화제의 중심이 될지도 모릅니다.

🔮 답해야 할 질문들

AI 산업은 이제 “한 회사가 독점하는 왕좌의 게임”이 아니라, 다양한 서비스가 공존하는 생태계 게임으로 바뀌고 있습니다.

앞으로 AI의 진짜 주인공은 초거대 모델 기업일까요, 아니면 그 위에서 새로운 서비스를 만들어내는 플레이어들일까요?

Y Combinator의 뜨거운 여름: 투자자들이 주목한 9개 스타트업

매년 열리는 Y Combinator의 여름 데모데이, 올해는 160여 개의 스타트업이 무대에 올랐습니다. 이번 배치 역시 AI 중심의 프로젝트가 다수를 차지했지만, 특히 AI 에이전트와 이를 위한 인프라·툴에 초점이 맞춰진 것이 특징이었습니다. 그중에서도 음성 AI와 AI Economic을 겨냥한 광고·마케팅 툴 등이 눈길을 끌었습니다.

TechCrunch가 투자자들의 주목을 받았다 언급한 스타트업 9곳은 다음과 같습니다:

🚀 주목받은 스타트업 9곳

1. Autumn – AI 스타트업을 위한 결제 인프라 
   AI 특유의 복잡한 과금 구조를 쉽게 관리하는 오픈소스 결제 인프라. 벌써 수백 개 AI 앱과 40여 개 YC 스타트업이 사용 중.

2. Dedalus Labs – AI 에이전트용 개발플랫폼
   AI 에이전트 개발·배포를 자동화하는 인프라. 복잡한 오토스케일링과 로드밸런싱을 클릭 몇 번으로 해결.

3. Design Arena – AI 디자인 평가 플랫폼
   AI가 만든 방대한 디자인을 크라우드소싱 방식으로 평가해 품질 향상을 돕는 솔루션. 이미 일부 대형 AI 연구소 고객 확보.

4. Getasap Asia – 동남아 리테일 공급망 혁신
   14살에 불과한 창업자가 시작한 스타트업. 소매점·식당·대형마트에 8시간 내 공급망 서비스를 제공하며 수익 수백만 달러 달성.

5. Keystone – AI 버그 해결사
   생산 환경에서 발생하는 버그를 자동으로 탐지·수정하는 AI. 창업 1년 만에 인수 제안을 거절할 만큼 빠른 성장세.

6. RealRoots – 여성을 위한 친구 매칭 AI
   연애가 아닌 우정을 위한 AI 매칭 서비스. 한 달 매출 78만 달러, 유료 사용자 9천 명 확보.

7. Solva – AI 보험 청구 자동화
   보험 청구 절차를 AI로 단순화, 부적절한 지급까지 방지. 론칭 10주 만에 연간 반복 매출(ARR) 24만5천 달러 달성.

8. Perseus Defense – 드론 요격 미니 미사일
   중국 드론 위협에 대응하는 저비용 요격 시스템. 미군의 시연 요청을 받으며 국방 계약 가능성 확대.

9. Pingo AI – AI 외국어 튜터
   실제 대화 연습을 제공하는 AI 기반 언어 학습 앱. 월 성장률 70%, 매출 25만 달러 기록 중.

이번 데모데이는 단순한 기술 과시보다는 실질적 문제 해결형 서비스가 주류를 이뤘으며, 빠른 매출 성과와 시장 적합성을 입증한 팀들이 투자자들의 마음을 사로잡았다는 평입니다.