LLM은 꼭 한 토큰씩 답해야 할까
AI 서비스에서 답변의 품질만큼 자주 체감하는 요소가 응답 속도입니다. 질문에 대한 답이 화면에 조금씩 나타나는 동안 사용자는 기다립니다. 여러 번 모델을 호출하는 에이전트에서는 이러한 대기가 작업 단계마다 반복됩니다. 더 빠른 응답을 만들려면 모델의 크기나 서버뿐 아니라 텍스트를 생성하는 방식도 살펴볼 필요가 있습니다. 확산형 언어모델(Diffusion Language Model, dLLM)은 여러 위치의 토큰을 병렬로 예측하고 반복적인 정제 과정을 …
