1.embedding_lookup()函数

调用参数

tf.nn.embedding_lookup(params, ids, partition_strategy='mod', name=None)

params参数：可以是一个二位矩阵，也可以是张量的列表，在这种情况下，ids表示多个张量的索引组合。例如，给定ids：[0, 3]，[1, 4]，[2, 5]，得到的张量都是[2, 64]的列表。

ids参数：按照ids从params中检索对应的行。

partition_strategy参数：可以控制ids在列表中的分配方式。当矩阵可能太大而无法合为一体时，分区策略对于较大规模的问题很有用，例如(假设您在tf.InteractiveSession()内)，将返回[10 20 30 40]，因为params的第一个元素(索引0)是10，params的第二个元素(索引1)是20，依此类推。

params = tf.constant([10,20,30,40])
ids = tf.constant([0,1,2,3])
print tf.nn.embedding_lookup(params,ids).eval()

功能:实现将id特征映射成一个低维稠密向量

embedding_lookup函数检索params张量的行。该行为类似于对numpy中的数组使用索引。例如：

matrix = np.random.random([1024, 64])
# 64-dimensional embeddings
ids = np.array([0, 5, 17, 33])
print matrix[ids]
# prints a matrix of shape [4, 64]

2.embedding_lookup()函数中的输入矩阵如何得到？

embedding_lookup理论上就是用矩阵相乘实现的，就可以看成一个特殊的“全连接层”。

假设embedding权重矩阵是一个[vocab_size, embed_size]的稠密矩阵W，vocab_size是需要embed的所有item的个数（比如：所有词的个数，所有商品的个数），embed_size是映射后的向量长度。

所谓embedding_lookup(W, id1)，可以想像成一个只在id1位为1的[1, vocab_size]的one_hot向量，与[vocab_size, embed_size]的W矩阵相乘，结果是一个[1, embed_size]的向量，它就是id1对应的embedding向量，实际上就是W矩阵的第id1行。

以上过程只是前代，因为W一般是随机初始化的，是待优化的变量。因此，embedding_lookup除了要完成以上矩阵相乘的过程（实现成“抽取id对应的行”），还要完成自动求导，以实现对W的更新。

def forward(self, X):
"""
:param X: SparseInput
:return: [batch_size, embed_size]
"""
self._last_input = X
# output: [batch_size, embed_size]
output = np.zeros((X.n_total_examples, self._W.shape[1]))
for example_idx, feat_id, feat_val in X.iterate_non_zeros():
embedding = self._W[feat_id, :]
output[example_idx, :] += embedding * feat_val
return output
def backward(self, prev_grads):
"""
:param prev_grads: [batch_size, embed_size]
:return: dw
"""
dW = {}
for example_idx, feat_id, feat_val in self._last_input.iterate_non_zeros():
# [1,embed_size]
grad_from_one_example = prev_grads[example_idx, :] * feat_val
if feat_id in dW:
dW[feat_id] += grad_from_one_example
else:
dW[feat_id] = grad_from_one_example
return dW

参考：

1.https://www.zhihu.com/question/48107602?sort=created

2.github中embedinglayer的实现：https://github.com/stasi009/NumpyWDL/blob/master/embedding_layer.py

3.TensorFlow中文社区文档：http://www.tensorfly.cn/tfdoc/api_docs/python/nn.html#embedding_lookup

最后

以上就是坚定小虾米为你收集整理的TensorFlow中embedding_lookup()函数的意义，查表中的矩阵如何得到1.embedding_lookup()函数2.embedding_lookup()函数中的输入矩阵如何得到？的全部内容，希望文章能够帮你解决TensorFlow中embedding_lookup()函数的意义，查表中的矩阵如何得到1.embedding_lookup()函数2.embedding_lookup()函数中的输入矩阵如何得到？所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。