ChatGPT의 기반인 Transformer 모델의 주요 기능, Word Embedding과 뇌의 해마 기능의 유사성

펌) ChatGPT의 기반인 Transformer 모델의 주요 기능, Word Embedding과 뇌의 해마 기능의 유사성 ChatGPT로 대표되는 대규모 언어 모델(LLM)이 어떻게 이토록 자연어를 잘 처리할 수 있는지 아직 제대로 밝혀지지 않았습니다. LLM이 기반한 Transformer 모델은 크게 두가지 기능이 핵심이라고 봅니다. 구글이 2017년 Transformer 모델을 처음 발표한 논문의 제목이 "Attention is all you need"인데서 알 수 있듯이 Attention 이 그 중에서도 Self Attention 이 하나의 핵심적인 역할을 하고 있습니다. "Attention Is All You Need" https://arxiv.org/abs/1706.03762 그리고 단어(정확..

2023.04.03