AIは合成関数、そして魂はWeightsに宿る！

AIは合成関数、 そして魂はWeightsに宿る！ ～ by Daichi ～

自己紹介  名前：Daichi Ito  職業：ITエンジニア  趣味：  サーバー構築  AIを自作 (今は 簡易LMを自作中)  SNS等  X: @BlackHat0710  LinkedIn

機械学習って何ぞや? 教師あり  予測と正解の差を減らすように学習パラメータを調整する作業  この LTでは、学習パラメータ全般を Weights とする  例) w (weight), b (bias) など

MLP (Multi Layer Perceptron)

学習前

Demo

学習後

推論 学習

推論

LM (Language Model) GPT Generative Pre-trained Transformer

約 6300万 個 Token 数 : 37000 各Layer数 : 6 出典：Vaswani et al., “Attention Is All You Need” (2017)

私は、猫が好きです。 Encoder Loop 2 Loop 1 ＜SOS＞ Loop 3 ＜SOS＞ I Loop 4 ＜SOS＞ I like ＜SOS＞ I like cats Decoder Decoder Decoder Decoder I like cats ＜EOS＞

AIは合成関数、 そして魂はWeightsに宿る！