> ## Content Index
> Fetch the complete content index at: https://damonday.im/llms.txt
> Use this file to discover other available public pages before exploring further.

# 쉬우면서도 쉽지 않은 AI 제품 개발
- URL: https://damonday.im/not-so-easy-ai-product/
- Published: 2025-10-21T23:03:23.000Z
- Updated: 2026-10-11T14:58:36.000Z
- Description: 결국은 컨셉과 퀄리티의 승부!
- Author: 조영수
- Tags: PM Log

LLM을 활용한 제품을 만들어보면, 겉으로 보이는 UI/UX는 비교적 빠르게 구현할 수 있지만 사용자가 실제로 체감하는 '대화의 퀄리티'를 높이는 과정은 예상보다 훨씬 복잡하고 어려운 영역임을 직접적으로 느끼게 됩니다.

대화의 퀄리티를 높이기 위해서는 \[프롬프트\], \[로컬 DB\], \[벡터 DB\]를 조화롭게 사용하면서도, 언어 모델에 대한 이해, 비용 통제를 위한 토큰 수를 적절히 관리해야 하는데, 위에 언급된 요소중 일부만 변경되더라도 대화의 퀄리티는 즉각적으로 달라지게됩니다. 이 말은 즉, 프롬프트에 추가된 한 단어, 한 줄의 텍스트일지라도 즉각적으로 서비스 품질에 영향을 준다는 의미입니다.

특히, 저희처럼 글로벌 고객을 대상으로 서비스를 운영할 때는 각 국가별 언어 사용자를 세심히 고려해야 합니다. 언어에 대한 충분한 배려가 부족하면 대화 메시지에 다른 언어가 섞여 나오며 품질이 저하될 수 있습니다. 

다행히도 팀의 신속한 대응 덕분에 이러한 이슈를 빠르게 해결할 수 있었습니다.

![](https://storage.ghost.io/c/3f/ac/3fac3229-60a9-406d-bac5-2dd3eaf548bf/content/images/2025/10/nationa-001-1.png)

DAE 리포팅

LLM은 누구나 동일한 조건으로 사용할 수 있는 언어 모델이기에 LLM을 어떻게 요리하느냐는 전적으로 쉐프의 영역이고, 맛을 평가할 수 있는 명확한 내부 기준도 필요합니다.

그래서, 저희는 '정성평가'와 '정량평가'를 병행합니다. 

정성평가는 내부 직원(영국인,한국인)이 각 언어별로 직접 진행하고, 정량평가는 AI Lab에서 자체 제작한 대화 내역 평가 모델을 활용합니다. 

![](https://storage.ghost.io/c/3f/ac/3fac3229-60a9-406d-bac5-2dd3eaf548bf/content/images/2025/10/nationa-002.png)

made by 허채영

가끔 주변에서 제 근황을 물어봐주시는데,  
저는 현재 AI 스타트업 '[네이션에이(NationA)](https://nation-a.com/?ref=damonday.im)'에서 제품본부장으로 재직 중입니다.

![](https://storage.ghost.io/c/3f/ac/3fac3229-60a9-406d-bac5-2dd3eaf548bf/content/images/2025/10/nationa-003.png)

우수한 회사 실적들\_01

![](https://storage.ghost.io/c/3f/ac/3fac3229-60a9-406d-bac5-2dd3eaf548bf/content/images/2025/11/1762430035593.jpeg)

우수한 회사 실적들\_02

오랜 시간 IT 업계에서 일을 해오다보니 PC 웹 → 모바일 앱 → 최신 AI 제품에 이르기까지 시대의 변화를 현장에서 직접 경험하고 있네요! 

특히, 빠르게 진화하는 AI 기술의 최전선에서 일하며 배우는 것들이 요즘 저에게 큰 동기부여가 되고 있습니다.

앞으로 회사에서 쌓아가는 새로운 경험과 인사이트들을 종종 공유드리겠습니다.