健行科技大學eclass易課平台
×
登入
回學校
健行科技大學 首頁
招生資訊
電資學院
工程學院
商管學院
民生創意學院
通識教育中心
手機版
系統教學
功能特色
線上教學
翻轉教學應用分享
開放課程
位置:
生成式AI研討
>
教材
>
自然語言處理 Natural language Processing 字詞量化
> 回應列表
安文
字詞要如何量化?
03-13
1 樓
顯示先前的回應
9 則當中的 3 則
M11433002
字詞量化就是把文字轉換成一串數字(座標),讓電腦能像算數學一樣,計算出詞與詞之間的語意距離,影片中是透過程式來將相關字詞量化。
03-13
2 樓
B11115009
在電腦的世界裡,所有的資訊最終都要變成數字。要把人類感性的文字轉化為電腦感性的數據,這個過程我們稱為文字表示法或向量化
03-13
3 樓
c11333119
科學家發現,與其只算字數,不如把每一個詞都轉換成一個「高維度的座標空間」。
作法: 透過閱讀海量的文本,AI 會學習到「常一起出現的詞,意思通常相近」。例如,電腦會把「狗」轉換成類似 [0.21, -0.45, 0.88, ...] 這樣由 300 個數字組成的向量。
奇妙的化學反應: 當字詞變成空間中的座標點後,我們就可以對文字做數學運算!
距離代表相似度: 在這個多維空間裡,「蘋果」和「橘子」的座標距離會非常近,而它們離「汽車」的距離會非常遠。
語意加減法: 最經典的例子是:向量(國王) - 向量(男人) + 向量(女人) ≈ 向量(女王)。電腦透過數字的加減,竟然推導出了性別與階級的關係。
當你在設定和執行本機 AI 模型時,這些語言模型底層正是極度依賴這種「詞嵌入」的向量化過程。模型會將你輸入的提示詞切塊、轉換成這些高維度向量,並在巨大的神經網路矩陣中進行計算,最後再將算出來的向量結果轉換回我們看得懂的文字。
03-13
4 樓
武氏金英
字詞量化是指把原本無法直接計算的文字,轉換成可以用數字表示的形式,讓電腦能進行分析與運算;常見方法包括用詞出現次數表示的 詞袋模型、考慮詞在文件重要性的 TF-IDF,以及利用神經網路學習語意向量的 Word2Vec 等。
03-13
5 樓
M11433003
透過閱讀大量文本資料,AI 會學到一個規律:「經常一起出現的詞,通常在語意上也比較接近。」因此,電腦會把像「狗」這樣的詞轉換成一串數字,例如 [0.21, -0.45, 0.88, ...],這可能是一個包含 300 個數值的向量。
神奇的地方在於:
當每個詞都被表示為空間中的座標後,文字就能用數學方式來處理與分析。
距離代表語意接近程度:
在這個多維度空間裡,「蘋果」與「橘子」的位置會非常靠近,而它們與「汽車」之間的距離則會相對遙遠,因為語意差異較大。
語意也能做加減運算:
一個經典例子是:
向量(國王) − 向量(男人) + 向量(女人) ≈ 向量(女王)。
透過簡單的數學運算,電腦竟然能推導出性別與角色之間的關係。
在本機運行 AI 模型時:
這種稱為「詞嵌入」(Word Embedding)的技術是核心基礎。當你輸入提示詞時,模型會先把文字切分成小單位,轉換成高維度向量,接著在龐大的神經網路矩陣中進行運算,最後再把計算得到的向量轉換回人類可以理解的文字。
03-13
6 樓
鄧萱琳
字詞量化是透過自然語言處理技術,將具備語義的文字轉換為電腦可運算的數值向量,讓原本模糊的詞彙能根據出現頻率(如 TF-IDF)或上下文關聯性(如 Word Embedding)在多維座標空間中定位,進而計算詞與詞之間的相似度與邏輯關係。
03-13
7 樓
c11333119
在電腦的世界裡,所有的資訊最終都要變成數字。要把人類的文字轉化為電腦的數據,這個過程我們稱為文字向量化
03-18
8 樓
M11433011
字詞量化是透過自然語言處理技術,將具有語意的文字轉換為電腦能處理的數值向量,使原本抽象的詞彙能以數學方式表示。常見方法如 TF-IDF,依據詞語出現頻率衡量其重要性;或透過詞嵌入,根據上下文關係將詞映射到多維向量空間中。如此一來,不僅能定位詞語位置,也能進一步計算詞與詞之間的相似度與語意關聯,提升模型對語言的理解與應用能力。
03-20
9 樓
m11433004
在人工智慧與自然語言處理(NLP)領域,將「字詞量化」的過程稱為向量化(Vectorization)。因為電腦只理解數字,無法直接處理文字,所以我們必須將文字轉換成數值向量。
04-09
10 樓