[ 인공지능 ] 사내에 활용되는 경량화 언어 모델

https://zdnet.co.kr/view/?no=20230801154835 

"AI로 내 기업 잘 아는 '자비스' 만든다"

---

본문 내용 정리

"인공지능(AI)은 사업에 효율적으로 쓰여야 의미 있습니다. 다큐브는 AI 문자, 음성만으로 직원 업무를 실질적으로 돕는 비서 '자비스' 역할을 합니다. 실무자는 기업 내 어려운 소프트웨어(SW) 시스템을 기존보다 쉽고 원활하게 이용할 수 있습니다."

 

다큐브는 기업 실무자가 문자와 음성만으로 SW 시스템을 쉽고 효율적으로 이용할 수 있도록 돕는 서비스를 운영 중이다. 사람이 데이터에 대한 지식이나 전문성 없어도 시스템을 손쉽게 다룰 수 있다.

 

예를 들어, 직원이 기업 내 전사적자원관리(ERP) 시스템에서 데이터 분석을 원할 경우, 문자나 음성으로 요청하기만 하면 된다. 기존에는 프로그래밍 언어나 데이터 분석 지식이 필수였다.

 

진주영 대표는 데이터가 아닌 질의 학습에 초점 맞춘 이유도 알렸다. 진 대표는 "일반적으로 기업 시스템 이용 시 나오는 질문은 한정적"이라고 설명했다. 직원이 기업 SW 시스템을 이용할 때 할 수 있는 질문 개수와 형식은 정해져 있다는 의미다. 산업군마다 하는 질문도 비슷하다.

 

그는 "다큐브는 산업군마다 나올 수 있는 질의 형식을 표준 모델로 보유한다"며 "이에 해당하는 기업 특성에 적절히 파인튜닝 해 서비스한다"고 말했다. 그는 "다큐브 서비스는 고객사 지식과 용어를 전문적으로 아는 자비스 역할을 한다"고 강조했다. 반면 고객사 산업군과 관련 없는 질문에는 답할 수 없다.

 

고객사 한 곳을 제외하고 모두 서비스형 소프트웨어(SaaS)로 서비스를 이용 중이다. 서비스가 기업 데이터를 학습하지 않는다는 이유에서다. SaaS는 온프레미스보다 기업 운영비를 최대 10분의 1까지 낮출 수 있다. 진주영 대표는 "데이터 아닌 질의를 생성하기 때문에 기업 데이터 보안도 안전하다"고 덧붙였다.

 

그는 "현재 거대언어모델(LLM)이 등장하긴 하지만 실질적인 비즈니스에서는 경량화 모델도 효율적이라"며 "세상 모든 정보를 제품에 넣을 필요도, 넣을 수도 없다"고 말했다.

---

인사이트 및 키워드

서비스형 소프트웨어 (Software as a Service, SaaS):
클라우드 컴퓨팅을 통해 제공되는 소프트웨어 서비스 모델. 소프트웨어는 제공자의 서버에서 호스팅되며, 사용자는 웹 브라우저를 통해 인터넷에 연결된 기기로 접근 가능. 구독 형태로 사용하며, 자체 설치나 관리 필요 없음. 예: 구글 드라이브, 마이크로소프트 오피스 365.

전사적 자원 관리 (Enterprise Resource Planning, ERP):
기업의 모든 부서와 기능에 걸친 자원을 효과적으로 관리하기 위한 통합된 소프트웨어 시스템. 핵심 비즈니스 프로세스를 자동화하고 통합하여 생산성과 효율성을 향상. 주요 기능으로 재고관리, 자재구매, 생산계획, 회계, 급여 관리, 판매와 마케팅 등. 모든 부서와 사용자들이 단일 데이터베이스에 접근 가능하며, 협업성과 의사결정 프로세스를 개선함.

거대 언어 모델 (Large Language Model, LLM):
자연어 처리 분야에서 사용되는 매우 큰 규모의 인공지능 모델. 대규모 데이터셋을 사용하여 사전에 학습되며, 자연어 이해, 생성, 분류, 번역 등 NLP 작업을 수행함. 딥러닝 알고리즘과 큰 컴퓨팅 리소스를 사용하여 개발. GPT-3는 거대 언어 모델의 한 예로, 자연어 처리 응용 분야에서 뛰어난 성능을 보여줌.

---

개인 의견

각 산업군에 최적화된 챗봇의 수요는 분명이 있다고 판단 된다. 전 산업군에 걸쳐서 신입 교육에 대한 수요가 꾸준하기 때문에 챗봇 도입이 필요한 회사가 많을 것이다. 회사에서 쌓이는 질의 응답, 고객사와 소통하는 과정에서 생기는 질의 응답 데이터들을 놓치지 않고 기록해둔다면 사내 프로젝트로 챗봇을 만들어보면 좋을 것이다. 

 

챗봇으로 사업화를 하는 것은 개인적으로 어렵다고 판단된다. 사내 데이터를 공유하는 것 자체가 노하우를 노출하는 것이기 때문에 중소기업에서는 간혹 이용할 수 있으나, 중견기업 이상이 된다면 축적된 데이터를 기반으로 챗봇을 직접 개발하려고 할 것이기 때문이다. 특정 산업에 대한 이해도도 챗봇 개발자에겐 진입장벽이기 때문에 사내 프로젝트로 성과를 내보는 것이 좋아보인다.

 

서비스형 소프트웨어로 개발을 하게 된다면 장기적으로 로컬 컴퓨터에 서버를 설치하여 서버 유지보수 비용을 줄이는 방법도 있을 것이다. 

 

ERP의 경우, 프론트엔드, 백엔드, 챗봇 기능, 데이터 분석 파이프라인 이 어우러져서 작동이 되어야 하기 때문에 ERP 서비스를 제공하는 회사의 경우에 도입해서 고객의 데이터 접근성을 높이는 방법도 추친해보면 좋을 주제로 보인다.