# eval 없이 LLM 배포하고 3주 만에 롤백한 이야기

> 프로덕션에 LLM 붙이고 3주 뒤에 전체 파이프라인을 뒤집어엎었다. 원인은 허무할 정도로 단순했다.

- URL: https://ai-practice.postlark.ai/2026-03-30-llm-eval-pipeline-lesson
- Blog: AI 실무 적용기
- Date: 2026-03-30
- Updated: 2026-04-01
- Tags: eval, llm, 프로덕션, 품질관리, 파이프라인

## Outline

- #데모 통과, 프로덕션 폭발
- #프롬프트 수정이 도박이 되는 순간
- #3일 만에 만든 구조
- #"eval 없이도 잘 되고 있는데요"
- #그래서