생성형 AI (ChatGPT, Gemini, MS Copilot..) (4) 썸네일형 리스트형 생성형 AI 용어 이해-③ LoRA, 효율적 파인튜닝으로 특정 분야만 심화학습 LoRA : Low-Rank Adatation 는 적은 비용과 자원을 사용하여 LLM을 파인튜닝하는 기술이다. LLM을 파인튜닝 하지만 전체를 다시 학습 시키는 방식이 아니라서 유한한 자원을 활용해야하는 경우에 각광을 받고 있다. 기본 foundation 모델의 Parameter weight value (가중치) 는 건드리지 않고 추가 학습할 부분만 add하여 처리한다. LoRA가 왜 필요한가?현재 나온 GPT모델들은 클라우드 서비스로 제공한다. Open AI, Gemini, MS copilot 등 개인 사용자 입장에서 그냥 활용하면 되나 기업의 입장에서는 다르다. 기업에서 사용하는 기술적인 용어나 설계/개발/제조상 소통하는 내용들이 여과없이 GPT에 공유되고 학습된다면 노하우를 지킬 수 없다. 그래서.. 생성형 AI 용어 이해-② Fine Tuning 으로 전문분야 지식을 높인다. 파인 튜닝은 기본적인 LLM모델에 특정 지식을 추가 학습하여 해당 분야에 대한 보다 더 높은 지식수준을 갖추는 과정이다. 기본 LLM모델인 Meta, OpenAI, Ms, Claude 등은 아주 방대한 데이타를 바탕으로 범용적인 지식수준을 높여왔다.웬만한 단어 정의, 문장의 의미 해석은 굉장히 높은 수준이나 너무나 방대한 데이타 학습을 위하여 컴퓨팅 리소스가 천문학적으로 필요하다. 하지만 파인튜닝은 상대적으로 적은 리소스를 사용하여 특정 분야의 학습이 가능하다. 고등학교까지의 국어,수학,과학등 기초지식을 갖추고 대학의 전공분야별 특정 지식을 갖추는 과정과 유사할 듯 하다. 그렇다면 파인튜닝하는 특정분야의 지식은 기존 모델에도 영향을 줄까? 당연하지 않을까? 대학가서 배우다 보면 과거 중,고등학교에 배운.. 생성형 AI 용어 이해-① Generative Adversarial Networks (GANs) 생성형 AI를 구성하는 요소들의 용어들을 이해하면서 GPT가 어떻게 만들어지고 발전하게 되는지 알아보고자 한다. Generative Adversarial Networks (GANs)는 실제 데이터와 유사한 새로운 데이터를 생성하는 데 사용이 된다GAN은 두 개의 신경망, 생성자(Generator)와 판별자(Discriminator)로 구성되어 있고이 두 신경망 모델은 서로 경쟁하며 학습을 진행하는데, 생성자는 실제와 같은 데이터를 생성하려고 시도하고, 판별자는 진짜 데이터와 생성된 데이터를 구별하려고 한다. 그리고 서로가 상호 작용을 하면서 성능이 향상된다.즉 생성자가 생성한 데이타를 판별자가 오류라고 판단하면 생성자는 다시 더 사실에 가까운 데이타를 생성하려고 노력한다. 그렇다면 판별자가 똑똑하지 않다.. chatgpt(open ai)와 MS/bing copilot의 차이점 GPT4를 사용하면서 느끼는 것인데, 최신기사나 뉴스를 가져오는 데 한계가 많이 보인다. RAG기능이라 해서 현재 학습된 정보외에 웹 브라우징을 통한 정보취득에 제한이 많이 있는 듯 하다. 이는 각 사이트별 로봇 크롤링에 제약을 두기 때문이다. 문제는 데이타나 정보를 자산 축적하고 있는 소유자들은 더더욱 접근제한을 유지할 가능성이 높다. 그에 비하여 MS 의 bing은 상대적으로 최신정보 검색에 자유롭다. Bing의 검색엔진이 그역할을 해주기 때문이다. 실제 GPT에 물어봐도 아래와 같은 대답이 나온다. Microsoft의 Copilot과 GPT(특히 여기서 사용되는 ChatGPT 버전)는 둘 다 AI 기술을 활용하지만, 그 목적과 사용 방식에 차이가 있습니다. 이 차이점은 주로 데이터 접근.. 이전 1 다음
