网页资讯视频图片知道文库贴吧地图采购
进入贴吧全吧搜索

 
 
 
日一二三四五六
       
       
       
       
       
       

签到排名:今日本吧第个签到,

本吧因你更精彩,明天继续来努力!

本吧签到人数:0

一键签到
成为超级会员,使用一键签到
一键签到
本月漏签0次!
0
成为超级会员,赠送8张补签卡
如何使用?
点击日历上漏签日期,即可进行补签。
连续签到:天  累计签到:天
0
超级会员单次开通12个月以上,赠送连续签到卡3张
使用连续签到卡
05月10日漏签0天
人工智能吧 关注:114,150贴子:505,541
  • 看贴

  • 图片

  • 吧主推荐

  • 视频

  • 游戏

  • 5回复贴,共1页
<<返回人工智能吧
>0< 加载中...

想问下,word2vec的程序的流程是怎样的?

  • 只看楼主
  • 收藏

  • 回复
  • whygod3
  • T1000
    11
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
看到原理,但是看花眼了,还不明白程序实现过程。
代码网址:http://word2vec.googlecode.com/svn/trunk/
程序原理:
word2vec(word to vector)顾名思义,这是一个将单词转换成向量形式的工具。通过转换,可以把对文本内容的处理简化为向量空间中的向量运算,计算出向量空间上的相似度,来表示文本语义上的相似度。
word2vec为计算向量词提供了一种有效的连续词袋(bag-of-words)和skip-gram架构实现,word2vec遵循Apache License 2.0开源协议。
如何转换?
word2vec主要是将文本语料库转换成词向量。它会先从训练文本数据中构建一个词汇,然后获取向量表示词,由此产生的词向量可以作为某项功能用在许多自然语言处理和机器学习应用中。
在举例子之前,引入余弦距离(Cosine distance)这个概念(摘自维基百科):
通过测量两个向量内积空间的夹角的余弦值来度量它们之间的相似性。0度角的余弦值是1,而其他任何角度的余弦值都不大于1;并且其最小值是-1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时,余弦相似度的值为1;两个向量夹角为90°时,余弦相似度的值为0;两个向量指向完全相反的方向时,余弦相似度的值为-1。在比较过程中,向量的规模大小不予考虑,仅仅考虑到向量的指向方向。余弦相似度通常用于两个向量的夹角小于90°之内,因此余弦相似度的值为0到1之间。然后可以通过distance工具根据转换后的向量计算出余弦距离,来表示向量(词语)的相似度。


  • 尊阳子
  • 铁皮人
    8
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
没看明白,但是标记下,以后看


2025-05-10 04:29:52
广告
  • zhdgk
  • 人脸辨识
    1
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
LZ你好,我也是刚看word2vec,我还没看实现原理,我猜测是跟LSA一样加入主题层这个隐含层。这样把每一个词表示成主题向量。是这样么


  • 宇宙无敌观察者
  • 贾维斯
    9
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
有空研究一下。


  • 宇宙无敌观察者
  • 贾维斯
    9
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
anarchism originated as a term of abuse first used against early working class radicals including the diggers of the english revolution and the sans culottes of the french revolution whilst the term is still used in a pejorative way to describe any act that used violent means to destroy the organization of society it has also been taken up as a positive label by self defined anarchists the word anarchism is derived from the greek without archons ruler chief king anarchism as a political philosophy is the belief that rulers are unnecessary and should be abolished although there are differing interpretations of what this means anarchism also refers to related social movements that advocate the elimination of authoritarian institutions particularly the state the word anarchy as most anarchists use it does not imply chaos nihilism or anomie but rather a harmonious anti authoritarian society in place of what are regarded as authoritarian political structures and coercive economic institutions
很想知道这段话为什么没有标点。。


  • 宇宙无敌观察者
  • 贾维斯
    9
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
unsigned long long a, hash = 0;
for (a = 0; a < strlen(word); a++) hash = hash * 257 + word[a];
hash = hash % vocab_hash_size;
return hash;
貌似SHA.散列算法。


登录百度账号

扫二维码下载贴吧客户端

下载贴吧APP
看高清直播、视频!
  • 贴吧页面意见反馈
  • 违规贴吧举报反馈通道
  • 贴吧违规信息处理公示
  • 5回复贴,共1页
<<返回人工智能吧
分享到:
©2025 Baidu贴吧协议|隐私政策|吧主制度|意见反馈|网络谣言警示