task0-pytorch情感分析简介

60 阅读 0 评论 40 点赞

我是靠谱客的博主粗犷红酒，最近开发中收集的这篇文章主要介绍task0-pytorch情感分析简介，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

该文档为datawhale情感分析组队学习的笔记
Github地址：team-learning-nlp/Emotional_Analysis at master · datawhalechina/team-learning-nlp (github.com)

学习内容

本次组队学习主要从一下几个方面进行学习：

利用RNN进行情感二分类
利用RNN的各种变体，如LSTM, BiLSTM等进行情感二分类
利用更快的模型FastText进行情感二分类
利用CNN进行情感二分类
情感多分类
利用BERT进行情感分类

前两个Text将介绍情感分析的常用方法：递归神经网络（RNN）；第三个Text介绍了FastText模型；最后一个task的学习覆盖一个卷积神经网络（CNN）模型。

还有两个额外的“附录”。第一部分介绍如何使用torchtext加载自己的数据集，第二部分简要介绍torchtext提供的经过预训练的单词嵌入。这部分自由学习，在组队学习中不做要求。

环境配置

①要安装Pytorch，请参阅Pytorch网站上的安装说明。

②要安装torchtext，请执行以下操作：

pip install torchtext

③若安装速度较慢，可改为以下命令：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torchtext

④此外，我们还将使用spaCy来标记数据。要安装spaCy，可以按照spaCy官网的指令来安装，或者执行以下命令：

python -m venv .env
.envScriptsactivate
pip install -U pip setuptools wheel
pip install -U spacy[transformers,lookups]
python -m spacy download zh_core_web_sm
python -m spacy download en_core_web_sm

⑤对于Taxt6，我们将使用transformers库，可以通过以下方式安装（更改为清华源）：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple transformers

这些教程是使用的transformers版本为4.3。

配置环境碰到的问题以及解决

问题

在运行以下两条命令的时候报错

python -m spacy download zh_core_web_sm
python -m spacy download en_core_web_sm

报错内容为：requests.exceptions.ConnectionError: HTTPSConnectionPool(host=‘raw.githubusercontent.com’, port=443): Max retries exceeded with url: /explosion/spacy-models/master/compatibility.json (Caused by NewConnectionError(’<urllib3.connection.HTTPSConnection object at 0x000002604F1A3790>: Failed to establish a new connection: [Errno 11004] getaddrinfo failed’))
（应该是网络的问题）

解决

使用离线下载的方式，点击以下两条链接进入github下载 .tar.gz后缀的
- Release zh_core_web_sm-3.1.0 · explosion/spacy-models (github.com)
- Release en_core_web_sm-3.1.0 · explosion/spacy-models (github.com)
下载后运行以下两条命令进行安装（注意把下载好的文件放到对应目录下）

!pip install zh_core_web_sm-3.1.0.tar.gz
!pip install en_core_web_sm-3.1.0.tar.gz

情感分析

近年来，随着互联网的飞速发展，越来越多的互联网用户从单纯的信息受众，变为互联网信息制造的参与者。互联网中的博客、微博、论坛、评论等这些主观性文本可以是用户对某个产品或服务的评价，或者是公众对某个新闻事件或者政策的观点。潜在的消费者在购买某个产品或者服务时获取相关的评论可以作为决策参考，政府部门也可以浏览公众对新闻事件或政策的看法了解舆情。这些主观性的文本对于决策者制定商业策略或者决策都非常重要，而以往仅靠人工监控分析的方式不仅耗费大量人工成本，而且有很强的滞后性。因此采用计算机自动化进行情感分析称为目前学术界和工业界的大趋势。