처음 보는 용어들도 나오는데 배경지식을 배워간다는 느낌으로 읽어보련다.
코덱스는 자연어 기반 코드 생성 모델이다. 언어 모델이 소통을 위한 언어 생성이라고 한다면 코덱스는 코드생성 모델이다. 코드는 자연언어가 아닌 프로그램 언어이다. 자연어든 프로그램 언어든 무엇이든 생성할 수 있는 인간과 같은 지식을 가지게 될 것이다.
생성 AI는 머신러닝 알고리즘을 활용하여 기계가 학습데이터를 기반으로 텍스트, 이미지,
오디오, 비디오 콘텐츠와 같은 새로운 인공 콘텐츠를 만드는 기술이다. 좀더 자세히 말하자면 사용자가 생성 AI에게 어떤 것을 만들어달라는 요구를 함에 따라서 결과를 만들어 내는데,
AI가 학습에 활용한 데이터를 기반으로 출력을 만들어 내고 있다.
특히 초거대 언어모델의 확산은 ‘트랜스포머‘라는 모델 덕분이다.
트랜스포머는 수학적 기법을 이용해서 멀리 떨어진 데이터끼리의 상관관계를 감지하는 방식이다.
현재 AI 분야에 주로 사용되는 반도체는 그래픽 처리장치(GPU)이다. GPU는 본래 그래픽 처리 속도를 높이기 위해 만들어진 프로세서지만, 데이터를 한 번에 대량으로 처리하는 ‘병렬처리방식‘ 을 취하고 있다는 특성 때문에 AI분야에서 각광을 받고 있다.
특히 신경망 처리장치(NPU)는 인간의 신경망과 같은 구조로 빅데이터를 처리하는 프로세서를 말한다. GPU는 애초에 AI 처리를 위해 만들어진 프로세서가 아니기 때문에 GPU로 생성AI나 초거대AI 처리를 하기 위해서는 코어 수를 늘려야하는데, 그 과정에서 가격이 높아지고전력 소모가 커진다. 또한 프로그램을 돌리기에도 무겁고 효율성이 낮아지는 것이다.
또한 생성AI가 역할을 하기 위해서는 NPU 이외에 대용량 고속 메모리가 필요하다. 거대 AI모델을 저장하기 위해서는 지금의 메모리와 같은 구조나 크기로는 감당할 수 없기 때문이다. 인간의 뇌는 아날로그 형식으로 데이터를 저장하고 추론하는데 반해, 컴퓨터는 반도체라는 형식으로 구성되어 있다. 거대 생성AI모델과 관련된 응용시장이 커질수록 결국 프로세서와 메모리의 해결이 반드시 필요할 것으로 예상된다.
|