기존 모델 대비 성능은 99% 유지, 모델 크기는 70% ↓

BC카드 본사 전경. <사진=BC카드>

BC카드는 AI 모델 크기를 줄이면서 업무 처리 속도는 3배 가까이 향상시킨 기술을 개발 및 적용 완료했다고 19일 밝혔다.

BC카드에 따르면 AI 성능을 최대한 유지하면서 모델이 사용하는 숫자의 정밀도를 낮춰 크기와 연산 부담을 줄이는 ‘양자화’ 기술을 적용하고, 이를 통해 모델 구성 숫자의 정밀도를 16비트에서 4비트로 낮추는 데 성공했다는 것이 골자다.

실제 BC카드가 310억개의 파라미터를 가진 AI 모델(31B)에 해당 기술을 적용한 결과 모델 용량은 기존 62.5GB에서 19.5GB로 69% 감소했다. 동일한 GPU 환경에서 한국어 생성 처리량은 초당 205토큰에서 530토큰으로 약 2.6배 증가했으며, 평균 응답 완료 시간은 24초에서 9초로 단축됐다.

모델을 경량화한 이후에도 성능은 원본의 98.7% 수준을 유지했다. BC카드는 원본 모델과 경량화 모델을 대상으로 한국어 이해 및 추론 능력 등 8종의 성능 평가를 진행해 이 같은 결과를 얻었다.

이 결과 최근 과학기술정보통신부가 주관하고 제 3자 기관이 직접 채점하는 ‘K-AI 리더보드’ 내 한국어 평가 대형 모델(30B 초과) 부문에서 종합 10위, 한국어 지식 평가 항목(KMMLU-Pro)에서는 7위를 기록했다. 리더보드 등재 모델 가운데 4비트 양자화를 명시한 모델은 BC카드가 유일하다.

BC카드는 경량화 과정에서 한국어 성능 저하를 최소화하는 기술 2건에 대해서도 특허 출원을 진행하고 있다. 아울러 지난 7월부터 사내 금융 특화 생성형 AI 플랫폼 ‘BCGPT’와 ‘MOAI’에 경량화 모델을 적용했다. 이를 통해 GPU 한 대에서 동시에 처리할 수 있는 업무량을 늘리는 등 AI 인프라 운영 효율을 높였다.

오성수 BC카드 상무는 “AI 모델의 성능을 유지하면서 비용과 속도를 함께 개선하는 것이 실제 업무 활용의 핵심”이라며 “이번 경량화 기술을 사내 AI 서비스에 적극 적용하고 외부에도 공개해 보다 효율적인 AI 활용 환경을 만드는 데 기여할 것”이라고 말했다.

[CEO스코어데일리 / 이지원 기자 / easy910@ceoscore.co.kr]