Semantics? NLP??? ???? ?? ?? ???? ??? ?????. ?? ????? ?? ???? ?? ? ??? ??? Word ?????? ?? ???? ??? ???? ???? Word (Cbow)???. CBOW? Word2Vec ??? ??? ???? ??? ?? ? ???? ??? ??? ???? ??? ??? ??? ?????. ? ???? ??? CBOW ??? ??? ? ?? ??? ?? ?? ????.

?? ??

• Cbow ??? ??? ??????.
• Cbow? Skip-Gram? ???? ?????.
• ?? ??? ??? Python?? Cbow ??? ??????.
• Cbow? ??? ??? ??????.
• cbow? ?? ?? ? ?? ???? ?? ??? ??????.

??

• ???? ?? ??? ??????
• ???? ??? ??? ?????
• Cbow ????? ??? ???????
• ?? CBOW ?? (Python ?? ??)
• ???? ?? ??? ??
• ???? ?? ??? ??
• ?? ?? ??

???? ?? ??? ??????

???? ?? ? (cbow)? ?? ???? ???? ?? ???? ??? ? ???? ???? Tomas Mikolov? Word2Vec ??? ?????. Cbow? ??? ???? ??? ???? ???? ??? ?? ?? ??? ????????. ????? ?? ?? ??? ?? ? ? ???? ? ??? ???? ??? ??? ???? ?????.

?? ??, “???? ??? ?? ????” ????, ???? ? ??? 2 ? ??, “sat” ? ???? ??? [“The”,“Cat”,“On”,“The”] ?? ??? ??? “sat”??? ??? ???? ????.

CBOW? ???? ??? ???? (? : ??? ??) ?? ??? ?? ??? ???? ?? ??? ???? ?????. ??? ?????? ???? ??? ?? ?? ??, ??? ????? ??? ??? ? ?? ??? ???? ?? ??? ?????? ?? ???? ?????.

??? ??, ?? ??? ? ?? ??? ?? ?? ?? ??? ??? ??? ????? ???? ???? ??? ???? ?????.

???? ??? ??? ?????

Cbow? ??? ?? ??? ??? ???? ?? ???? ?? ????? ?? ?? ????? ???? ?? ? ?????. ? ????? CBOW ???? ??? ?? ???? ???? ??? ???? ???? ???? CBOW ??? ????? ?? ????? ???? CBOW ?? ?? ???? ???? ????? ?? ??? ? ???? ?????.

??? ?? ??? ?????

Cbow? ???? ??? ?? ??? ? ?? ?? ??? ?????.

• ???? ?? : ?? ? ? ?? ??? ?? ??? ??? ?????. ?? ??, ???? :
  "?? ?? ??? ??? ?? ?? ????."
  ?? ??? "??" ?? ???? ? ??? 2 ? ?? ???? ??? [ "??", "??", "??", "??"] ???.
• ?? ?? : ??? ???? ??? ??? ? Cbow? ???? ?? ????? ?????. ?? ??? ?? ??? "Fox" ???.

Cbow? ???? ??? ?? ?? ?? ??? ?????? ?? ?? ?? ?? ??? ???? ???? ?????.

cbow? ??? ????

??? Cbow? ?? ??? ?? ?????. ??? :

1 ?? : ??? ??

• ??? ??? (? : ?? ?? ??)? ??????.
• ???? ??? ?? ??? ??? ??????.
• ???? ? ?? NNN (? : ??? 2 ??)? ??????.

2 ?? : ????-?? ?? ?????

• ???? ? ??? ?? ? ??? ?? ?? ???? ??? ??????.
• ? : “I Love Machine Learning” ? n = 2n = 2n = 2 ??? ??, ?? ??? ????. ?? ?? ?? ?? ?? [“i”,“machine”] ?? [“??”,“??”]]

STEP3 : ? ?? ???

?? ??? ?? ???? ??? ?? ??? ? ?? ??? ??????. ?? 5? ??? ??, "??"??? ??? ?? ??? [0, 1, 0, 0, 0] ?? ?? ? ????.

STEP4 : ??? ?

??? ?? ?? ? ?? ??? ? ???? ??? ??????. ? ?? ? ??? ?? ? ?? ??, ????? ?? ???? ? ?? ?????.

5 ?? : ???? ??

?? ???? ??? ???? ?? ?? ???? ??? ??? (? : ??? ?? ??)? ???? ??????.

6 ?? : ??

• ?? ? ???? ??? SoftMax ?? ???? ?? ??? ??? ???? ??????.
• ? ??? ??? ?? ?? ??? ???? ???? ?? ????? ??? ?????.

Step7 : ?? ?? ? ???

• ?? ???? ?? ??? ???? ?? ? ?? ??? ?? ?? ?? ??? ??? ??????.
• ??? ? ?? ??? ???? ???? ?? ??? ?? ?????.

Step8 : ?? ?? ?? ??????

??? ?? ? ??? ???? ?? ???? ?? ?? ?? ????? ??????.

Cbow ????? ??? ???????

CBOW (Continuous Bag of Word) ??? ????? ?? ???? ??? ???? ?? ??? ????? ???????. ????? ???? ??? ?? ?? ??????. Cbow ????? ?? ?? ??? ?????.

?? ??

• ?? ?? :
  ??? ?? ??? ??? ??? ? ?? ? ???? ???? ?????.
  • ?? ??? V ? ??, ? ??? ??? ???? ???? ?? 1? ?? ??? 1 ?? ?? v? 1 ?? ??? ?????.
  • ?? ??, ??? [ "???", "?", "??", "??", "?"]?? "fox"?? ??? ? ?? ?? ? ??, ? ??? [0,0,1,0,0] [0, 0, 1, 0, 0] [0,0,1,0,0]???.
• ???? ? :
  ???? ? ?? n? ?? ? ???? ??? ?? ?????. n = 2 ? ?? ?? ??? ??? ? ??? ?????.
  • ??? ?? : “?? ?? ??? ??? ?? ?? ?? ????? ?? “??” , n = 2 ? ???? ??? [“Quick”,“Brown”,“Jumps”,“Over”] ???.

??? ?

• ?? :
  ? ?? ?? ??? ???? 1 ?? ??? ?? ???? ?? ?? ??? ?????. ?? ??? ???? ??? ??? 0 ?? ?? ??? ????, ??? ????? ? ??? ?? ??? ?? ??? ???? ??? ??? ?? ??? ?? ?????? ??? ?????.
• ?? ??? ???? :
  ??? ?? ?? v × d? ?? ??? ?? w? ????, ??? V? ?? ???? d? ??? ?????.
  • w? ? ?? ??? ???? ?????.
  • 1- ?? ?? XXX? ??, ??? w^tx x? ?????.
• ???? ?? ??? :
  ? ???? ??? ??? ??? ???? ?? ?? ? ??? ?????. ? ?? n = 2?? 4 ?? ???? ????? ??? ??? ???? ?????.

??? ? : ???? ??

• ?? :
  ???? ??? ???? ?? ???? ??? ???? ?? ?????.
• ?? ?? :
  • ??? : ???? ??? ???? ?? ?? ???? ??? ???? ??????.

• ?? : ????? ?? ???? ?????.

• ?? ???? ?? : ??? ?? ?? ? ?? HHH??, ?? ?? ??? ?? ? ????? ?????.

?? ???

• ?? : ?? ?? ???? ?? HHH? ???? ?? ??? ?????.
• ??? ??? ??? : ???? ?? HHH? ??? ??? ?? ???? ??? ? ??? ?? ?? ??? ?????. ? ??? ???????.
• SoftMax ?? : ??? SoftMax ??? ?? ???? ??? ?? ?? ??? ?????.

• ?? ? ?? ?? : ? ?? ??? SoftMax ???? ??????? ?? ??? ??? ?? ?? ??? ???? ?????.

?? ??

• ?? ???? ??? ?? ? ?? ??? ?? ?? ?? (?? ??)? ???? ? ?????.
• ?? ? ?? ?? (SGD) ?? ???? ?? ??? ??? ???? ??? ??????.

???? Cbow? ?

?? :
?? : “?? ?? ??? ????” , ?? ?? : “??” , ?? ?? : [“I”,“Love”,“Learning”] .

??? ??? :
?? : [“?”,“??”,“??”,“??”,“ai”]]]

• 1 ? ?? :
  • "I": [1,0,0,0,0] [1, 0, 0, 0, 0] [1,0,0,0,0]
  • "??": [0,1,0,0,0] [0, 1, 0, 0, 0] [0,1,0,0,0]
  • "??": [0,0,0,1,0] [0, 0, 0, 1, 0] [0,0,0,1,0]

??? ??? :

• ??? ?? : d = 3.
• ??? ???? W ??:

??? :

• “I”: [0.1,0.2,0.3]
• "??": [0.4,0.5,0.6]
• "??": [0.2,0.3,0.4]

?? :

• ??? ?? :

?? ??? :

• ??? ???? SoftMax? ???? ?? ??? ??????.

Cbow ???? ?????

 ?? ?? : [ "I", "Love", "Learning"]]]
    -> ? ?? ???
    -> ??? ???
        -> ?? ? ???
        -> ?? ? ???? ??
        -> ??? ??? ??? SoftMax
?? : ?? ? ?? "machine"

?? CBOW ?? (Python ?? ??)

?? Python?? Cbow ??? ???? ??? ????.

cbow? ?? ??? ??

? ?? ????? ???? ???? ???? ????. ??? ?? ??? ?? ? ??? ????? ?? ???? ?? ??? ???? ?????.

 ??? = "?? ?? ??? ??? ?? ?? ???"
Corpus = corpus.lower (). split () # ?? ? ? ??? ??

# ?? ???? ? ??
c = 2
context_target_pairs = []

# ????-?? ?? ?????
IN RANGE (C, LEN (Corpus) -C)? ?? :
    ?? = ??? [i -c : i] ??? [i 1 : i c 1]
    ?? = ??? [i]
    context_target_pairs.append ((????, ??))

print ( "Context-target ? :", context_target_pairs)

??:

 ??-?? ? : [[ 'The', 'Quick', 'Fox', 'jumps'], 'brown'), 'brown'), ([ 'Quick', 'Brown', 'Jumps', 'Over', 'Fox'), 'fox'), 'fox'), 'fox'), 'fox', 'over', ''], ''fox ',' '', '', ',', ',' ',' ',' ',' ',' ',' ',' ',' ',' ' 'Over', 'Lazy', 'Dog'], 'The')]]]

?? ?? ???

??? ?? (?? ? ?? ??)? ?? ? ?? ? ??? ?? ? ??? ???? ?? ? ???? ??? ?? ? ??? ???????.

 # ?? ?? ? ? ??? ??? ??????.
?? = ?? (???)
Word_to_index = {Word : idx? ?? idx, enumerate (vocab)}}
index_to_word = {idx : Word? Word, idx in Word_to_index.items ()}

print ( "??? ???? ?? :", word_to_index)

??:

 ??? ?? : { 'brown': 0, 'dog': 1, 'Quick': '2,'Jumps ': 3,'Fox ': 4,'Over ': 5,'The ': 6,'Lazy ': 7}

??? ??? ??

?? ?? ????? ? ??? ??? ???? ??? hot ???? ??? ???? '1'? ?? ??? ??? '0'? ????.

 def one_hot_encode (Word, Word_to_index) :
    ONE_HOT = np.zeros (len (word_to_index))
    ONE_HOT [Word_to_index [Word]] = 1
    one_hot? ??????

# "??"??? ?? ??
context_one_hot = [ 'the', 'quick']?? Word? ?? [one_hot_encode (Word, Word_to_index)]]]
print ( "Quick '??? ?? ??? :", context_one_hot [1])

??:

 'Quick'? ?? ?? ??? : [0. 0. 1. 0. 0. 0. 0.]

Cbow ??? ???? ?????

? ????? ? ?? ????? ?? ???? ????. ??? ?? ?????? ?? ?? ??? ???? ??? ???? ??? ???? ????? ????? ????? ?? ?????.

 ??? Cbow :
    def __init __ (self, vocab_size, embedding_dim) :
        # ??? ? ?? ???? ?? ???? ???? ??????.
        self.w1 = np.random.randn (vocab_size, embedding_dim)
        self.w2 = np.random.randn (embedding_dim, vocab_size)
        
    def forward (self, context_words) :
        # ??? ??? ?? (????? ?? ??)
        h = np. mean (context_words, axis = 0)
        # ?? ?? ?? (SoftMax ??)
        ?? = np.dot (h, self.w2)
        ?? ??
    
    Def Backward (self, context_words, target_word, learning_rate = 0.01) :
        # ??? ??
        h = np. mean (context_words, axis = 0)
        ?? = np.dot (h, self.w2)
        
        # ?? ? ?????? ?????
        ERROR = target_word- ??
        self.w2 = Learning_rate * np.outer (h, ??)
        self.w1 = Learning_rate * np.outer (context_words, ??)

# cbow ?? ??? ?
vocab_size = len (word_to_index)
embedding_dim = 5 # 5 ?? ???? ?? ? ???

cbow_model = cbow (vocab_size, embedding_dim)

# ?? ???? ?? ? ?? ?? (??)
context_words = [ '', 'Quick', 'Fox', 'Jumps']? Word? ?? [one_hot_encode (Word, Word_to_index)]]]]]
context_words = np.array (context_words)
context_words = np.mean (context_words, axis = 0) # ?? ???? ??
target_word = one_hot_encode ( 'brown', word_to_index)

# CBOW ??? ?? ?????
output = cbow_model.forward (context_words)
print ( "Cbow Forward Pass? ?? :", ??)

??:

 Cbow Forward Pass? ?? : [[-0.20435729 -0.23851241 -0.08105261 -0.14251447 0.20442154 0.14336586
  -0.06523201 0.0255063]
 [-0.0192184 -0.12958821 0.1019369 0.11101922 -0.17773069 -0.02340574
  -0.2222151 -0.23863179]
 [0.21221977 -0.15263454 -0.015248 0.27618767 0.02959409 0.21777961
   0.16619577 -0.20560026]
 [0.05354038 0.06903295 0.0592706 -0.13509918 -0.00439649 0.18007843
   0.1611929 0.2449023]
 [0.01092826 0.19643582 -0.07430934 -0.16443165 -0.01094085 -0.27452367
  -0.13747784 0.31185284]]

Cbow? ???? ?? Tensorflow? ?????

Tensorflow? ???? ??? ???? ?? ??? ???? ?? ?? ? ?? ???? ??? ?? ??? ?? ???? ???? ???? ???? ????? ??????.

 ?? ???? tf? ?????

# Tensorflow? ???? ??? Cbow ??? ??????
??? cbowmodel (tf.keras.model) :
    def __init __ (self, vocab_size, embedding_dim) :
        Super (cbowmodel, self) .__ init __ ()
        self.embeddings = tf.keras.layers.embedding (input_dim = vocab_size, output_dim = embedding_dim)
        self.output_layer = tf.keras.layers.dense (vocab_size, activation = 'softmax')
    
    DEF CALL (self, context_words) :
        embedded_context = self.embeddings (context_words)
        context_avg = tf.reduce_mean (embedded_context, axis = 1)
        output = self.output_layer (context_avg)
        ?? ??

# ?? ??
model = cbowmodel (vocab_size = 8, embedding_dim = 5)
context_input = np.random.randint (0, 8, size = (1, 4)) # ?? ???? ??
context_input = tf.convert_to_tensor (context_input, dtype = tf.int32)

# ??? ??
output = model (context_input)
print ( "Tensorflow Cbow ??? ?? :", output.numpy ())

??:

 Tensorflow Cbow ??? ?? : [[0.12362909 0.12616573 0.12758036 0.12601459 0.12477358 0.1237749
  0.12319998 0.12486169]]

Cbow? ? Gensim ??

Gensim? Word2Vec () ???? Cbow? ??? ??? ?????. ??? Gensim? ??? ????? Word Embedings? ????? ??? ??? ?? ? ??? ????.

 ?? ??
gensim?? ?? import Word2Vec

# ??? ?? (?? ?? ??)
Corpus = [[ "The", "Quick", "Brown", "Fox"], [ "??", "Over", "The", "Lazy", "Dog"]]]]]]

# cbow? ???? Word2Vec ??? ??????
model = word2vec (corpus, vector_size = 5, window = 2, min_count = 1, sg = 0)

# ??? ?? ??? ?????
?? = model.wv [ 'fox']
print ( "Fox '? ?? ?? :", ??)

??:

 '??'? ?? ?? : [-0.06810732 -0.01892803 0.11537147 -0.15043275 -0.07872207]

???? ?? ??? ??

??? ?? ???? ?? ??? ??? ?? ? ????.

• ?? ??? ?? ???? ?? : cbow? ???? ??? ???? ??? ?? ?? ? ?? ??? ????? ????. ?? ?? ???? 1 ? ???? ?? ?? ??? ??? ????? ???.
• ??? ??? ????? : Cbow? ? ?????? ??? ???? ?? ?? ?? ?? ??? ?????. ?? ?? ??? ?? ?? ? ?? ??? ?? ??? ??? ?? ???, ??? ? ?? ??? ?? ???? ?? ? ????.
• ?? ? : CBOW ??? ?? ???? ??? ??? ??? ????? ?? ? ? ?????? ?? ?? ? ?? ??? ???? ?? ??? ?? ??? ?????? ?? ????? ?????.
• ??? ?? ??? : Cbow? ??? ?? ?? (?, ?? ??? ?)? ?? ? ? ?????, ?? ??? ???? ? ??? ?? ??? ????? ?? ???? ?????.
• NLP ??? ?? ? ?? : Cbow? Word Embeddings? ??? ?? ??? ???? ??? ??, ????? ??? ??? ?? ? ?? ??? ?? ?? ??? NLP ??? ??? ??????.

???? ?? ??? ??

?? cbow? ??? ?? ?????.

• ???? ? ??? ?? ?? : Cbow? ??? ???? ? ??? ?? ?????. ?? ?? ?? ?? ? ?? ? ? ??? ? ?? ??? ???? ??? ? ? ????. ??? ???? ??? ?? ?? ????? ?? ??? ? ? ????.
• ?? ?? ??? ?? : Cbow? ?? ??? ??? ??? ?????. ?, ??? ??? ??? ???? ????. ? ??? ?? ?? ?? ? ?? ??? ? ?? ?? ??? ?? ?? ??? ??? ??? ??? ? ? ????.
• ?? ? ??? ??? : Cbow? ????? ??? (OOV) ??? ?? ???? ???? ???? ? ???? ?? ????. ? ??? ????? ????? ?? ??? ?? ?? ???? ?? ??? ???? ? ????.
• ?? ?? ??? ?? : Cbow? ?? ??? ???? ?? ??? ???? ??, ???? ?? ? ??? ??? ??? ??? ??? ???, ???? ?? ??? ???? ??? ?? ??? ???? ??? ??????.
• ?? ??? ? ?? ? ?? : ?? ????? ?? (??)? cbow?? ??? ? ? ????. ??? ? ??? ?? ?? ???? ???? ??? Bert ?? Elmo ? ?? ?? ??? ?? ??? ?? ???? ?? ??? ?? ??? ???? ?? ? ????.

??

???? ?? (CBOW) ??? ?? ????? ???? ?? ???? ?????? ????? ??? ? ????? ???????. Cbow? ?????? ???? ????? ?? ?? ???? ???? ?? ?? ??? ??? ???? ???? NLP ?? ????? ???????. Cbow? ?? ????, ?? ? ??? ?????? NLP ??? ??? ?? ? ?? ???? ????. Cbow? ??? ????? ??? ??? ?? ?? ?? ??? ?????? ??????.

?? ??? ??

• Cbow? ?? ????? ???? ?? ??? ???? ????? ???? ????.
• ??? ?? ??? ? ???? ?? ???? ?????.
• Cbow? ?? ???? ???? ?? ??? ?? ?????.
• Cbow? ?? ?? ??? ??? ?????? ?????.
• ?? ?? ?????? ?? ??, ??? ?? ? ??? ?? ??? ?????.

?? ?? ??

A : Cbow? ???? ??? ???? ?? ??? ???? ?? Skip-Gram? ?? ??? ???? ???? ??? ?????.

A : CBOW? ?? ???? ??? ??? ???? ?? Skip-Gram? ? ?? ??? ????? ?????.

A : ???, Skip-Gram? ????? ?? ??? ?? ??? ? ????.

A : ??? ?? ?? ? ??? ??? ?? ? ???? ???? ?? ??? ?????.

A : ?????. Bert? ?? ?? ??? ????? Cbow? ?? ???? ?? ???? ?? ????.

? ??? ???? ?? ?? ?? (cbow)? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!