LLM을 활용한 제품을 만들어보면, 겉으로 보이는 UI/UX는 비교적 빠르게 구현할 수 있지만 사용자가 실제로 체감하는 '대화의 퀄리티'를 높이는 과정은 예상보다 훨씬 복잡하고 어려운 영역임을 직접적으로 느끼게 됩니다.
대화의 퀄리티를 높이기 위해서는 [프롬프트], [로컬 DB], [벡터 DB]를 조화롭게 사용하면서도, 언어 모델에 대한 이해, 비용 통제를 위한 토큰 수를 적절히 관리해야 하는데, 위에 언급된 요소중 일부만 변경되더라도 대화의 퀄리티는 즉각적으로 달라지게됩니다. 이 말은 즉, 프롬프트에 추가된 한 단어, 한 줄의 텍스트일지라도 즉각적으로 서비스 품질에 영향을 준다는 의미입니다.
특히, 저희처럼 글로벌 고객을 대상으로 서비스를 운영할 때는 각 국가별 언어 사용자를 세심히 고려해야 합니다. 언어에 대한 충분한 배려가 부족하면 대화 메시지에 다른 언어가 섞여 나오며 품질이 저하될 수 있습니다.
다행히도 팀의 신속한 대응 덕분에 이러한 이슈를 빠르게 해결할 수 있었습니다.
LLM은 누구나 동일한 조건으로 사용할 수 있는 언어 모델이기에 LLM을 어떻게 요리하느냐는 전적으로 쉐프의 영역이고, 맛을 평가할 수 있는 명확한 내부 기준도 필요합니다.
그래서, 저희는 '정성평가'와 '정량평가'를 병행합니다.
정성평가는 내부 직원(영국인,한국인)이 각 언어별로 직접 진행하고, 정량평가는 AI Lab에서 자체 제작한 대화 내역 평가 모델을 활용합니다.
가끔 주변에서 제 근황을 물어봐주시는데,
저는 현재 AI 스타트업 '네이션에이(NationA)'에서 제품본부장으로 재직 중입니다.
오랜 시간 IT 업계에서 일을 해오다보니 PC 웹 → 모바일 앱 → 최신 AI 제품에 이르기까지 시대의 변화를 현장에서 직접 경험하고 있네요!
특히, 빠르게 진화하는 AI 기술의 최전선에서 일하며 배우는 것들이 요즘 저에게 큰 동기부여가 되고 있습니다.
앞으로 회사에서 쌓아가는 새로운 경험과 인사이트들을 종종 공유드리겠습니다.
댓글
글에 대한 질문이나 의견을 남겨 주세요. 댓글은 구독자만 작성할 수 있어요.
이미 구독 중이라면 로그인