무지의 공부 일기

Formal Algorithms for Transformers Mary Phuong and Marcus Hutter, DeepMind 이 글은 아래 논문을 번역하고, 관련 단어들을 리서치하며, 트랜스포머의 기본 개념에 대해 탐구하는 글입니다. This document aims to be a self-contained, mathematically precise overview of transformer architectures and algorithms (not results). It covers what transformers are, how they are trained, what they are used for, their key architectural components, and a preview..

이 글은 조선일보 쫌아는기자들 프로젝트의 2022년 신년 기사를 토대로 선정된 유망 스타트업들의 현황을 알아보는 시리즈입니다! 자세한 사항은 이 기사를 참고해주세요 올거나이즈 (이창수 대표) 유니콘은 어떻게 만들어지는가 (류중희 퓨처플레이 대표) 올거나이즈의 이창수 대표도 한국에서 창업한 파이브락스라는 회사가 미국 탭조이에 인수되며 글로벌 M&A 경험을 했고, 실리콘밸리에서 탭조이에 근무하며 더 큰 시장에 대한 경험과 꿈의 크기를 키워냈다. 올거나이즈도 B2B 영역의 플랫폼 회사다. (중략) 올거나이즈는 강력한 AI 기술, 특히 자연어처리(NLP) 기술을 활용해서, 고객이나 임직원이 바로 알아야하는 정보를 별다른 사전 처리 없이 내부에 쌓인 문서들을 학습하고 인식하여 정확히 제공하고 있다. 다른 글로벌 ..

* 이 글은 박지호 님의 jiho-ml Weekly NLP의 내용을 기반으로 하고 있습니다. 밀려왔던 주간 뉴스레터의 내용을 훑어보면서, 인상 깊은 부분, 기록하고 싶은 부분만을 남긴 글로, 더 깊이 알아보고 싶으시다면 아래의 원본 출처 주소로 이동해주세요. https://jiho-ml.com/weekly-nlp-0/ Week 3 - 지구용사 벡터맨? Vector 기초 잡기! Vector (벡터)는 방향도 포함합니다. Vector는 몇 차원의 공간에서 표현되느냐에 따라 크게 달라집니다. 이처럼 vector는 N차원 공간에 사는 존재입니다. 이를 euclidean space라고도 부르죠. 그렇다면 10차원 같이 4차원 이상의 vector는 어떻게 이해해야 할까요? 4차원 이상의 공간은 우리가 눈으로 볼 수..

* 이 글은 박지호 님의 jiho-ml Weekly NLP의 내용을 기반으로 하고 있습니다. 밀려왔던 주간 뉴스레터의 내용을 훑어보면서, 인상 깊은 부분, 기록하고 싶은 부분만을 남긴 글로, 더 깊이 알아보고 싶으시다면 아래의 원본 출처 주소로 이동해주세요. https://jiho-ml.com/weekly-nlp-0/ Week 1 - 컴퓨터에게 언어는 어떤 의미일까? 컴퓨터는 모든 것을 숫자로 봅니다. 처음 태어났을 때도 0101로 이루어진 이진법 숫자로 모든 계산이 이루어졌고, 지금도 그 시스템을 기반으로 발전해왔습니다. 이것을 디지털이라고 합니다. 그렇다면 언어의 가장 작은 단위, 단어는 어떻게 숫자로 표현이 될 수 있을까요? 일단 단어를 숫자로 표현하기 위해서는 알고 있는 모든 단어의 명단을 만들어..