실시간 AI 스트리밍: WebSocket으로 완성하는 끊기지 않는 대화
실시간 AI 경험에서 중요한 건 단순히 모델이 얼마나 빨리 답을 내놓느냐가 아닙니다. 사용자가 체감하는 품질은 “정답이 만들어지는 과정을 얼마나 자연스럽게 보여주느냐”에서 더 크게 드러납니다. LLM(대규모 언어모델)은 문장을 한 번에 완성하지 않고 토큰 단위로 조금씩 생성합니다. 브라우저는 이 조각들을 이어 붙여 사용자에게 보여주죠. 검색 엔진처럼 한 번에 결과가 나오는 것과 달리, 대화형 AI에서는 문장이 만들어지는 과정 …