ArticlePDF Available

Análise de sentimento de tweets com foco em notícias

Authors:

Abstract

The curiosity for knowing what people think and how they feel about daily events has always existed. This study aims to satisfy this need and analyze if people react in a positive or negative way to news reported in the media. To this end, 3 distinct topics were selected and, for each one of them, information published on the microbblogging service Twitter was collected, analyzed and had its polarity identified. The experiment was held using language classifiers and, besides verifying how people feel in relation to the selected news, it was able to identify between 3 different linguistic models which one has the best outcome classifying tweets. Resumo. A curiosidade por saber o que as pessoas pensam e como se sentem em relação aos acontecimentos do dia a dia sempre existiu. qual a opinião da população em relação às notícias selecionadas, foi possível identificar dentre 3 modelos linguísticos distintos qual deles obteve melhor resultado ao classificar tweets.
Análise de sentimento de tweets com foco em notícias
Paula Nascimento, Rodrigo Aguas, Débora de Lima, Xiao Kong, Bruno Osiek,
Geraldo Xexéo, Jano de Souza
Programa de Engenharia de Sistemas e Computação
Instituto Alberto Luiz Coimbra de Pós-Graduação e Pesquisa de Engenharia
Universidade Federal do Rio de Janeiro Rio de Janeiro Brasil
{pcn,rodrigoaguas,dlima,xiao,baosiek,xexeo,jano}@ufrj.br
Abstract. The curiosity for knowing what people think and how they feel about
daily events has always existed. This study aims to satisfy this need and
analyze if people react in a positive or negative way to news reported in the
media. To this end, 3 distinct topics were selected and, for each one of them,
information published on the microbblogging service Twitter was collected,
analyzed and had its polarity identified. The experiment was held using
language classifiers and, besides verifying how people feel in relation to the
selected news, it was able to identify between 3 different linguistic models
which one has the best outcome classifying tweets.
Resumo. A curiosidade por saber o que as pessoas pensam e como se sentem
em relação aos acontecimentos do dia a dia sempre existiu. Este trabalho tem
por objetivo satisfazer essa necessidade e analisar se as pessoas reagem de
forma positiva ou negativa em relação às notícias divulgadas na mídia. Para
isso, foram selecionados 3 tópicos e, para cada um deles, informações
publicadas no serviço de microblogging Twitter foram coletadas, analisadas e
tiveram sua polaridade identificada. O experimento realizado utilizou
classificadores de linguagem e, além de verificar qual a opinião da população
em relação às notícias selecionadas, foi possível identificar dentre 3 modelos
linguísticos distintos qual deles obteve melhor resultado ao classificar tweets.
1. Introdução
O conceito de microblogging surgiu em meados de 2006, quando uma nova iniciativa de
rede social foi criada com uma proposta simples: permitir aos seus usuários divulgarem
o que estão fazendo
1
. Nascia então o Twitter, considerado, na época, apenas mais uma
rede social. Com ele surgia também uma nova forma de comunicação na Internet, onde
as pessoas podiam divulgar qualquer tipo de informação, em tempo real, para todos
aqueles ligados à sua rede. No princípio, o limite de 140 caracteres parecia uma simples
limitação da plataforma, mas foi determinante para o uso que as pessoas dariam e o
modo como elas se expressariam nessa rede. Esse modelo de rede social permitiu que,
mais tarde, o Twitter se tornasse uma rede baseada na troca de informações, onde o dado
transmitido é a opinião dos usuários
2
.
1 http://www.140characters.com/2009/01/30/how-twitter-was-born/
2 https://twitter.com/about
Dois fatores influenciaram fortemente para que o Twitter não fosse mais visto
apenas como mais uma rede social. O primeiro deles é o alto nível de popularidade
atingido por esta ferramenta. Em janeiro de 2011, segundo o próprio Twitter, a
plataforma possuia cerca de 200 milhões de usuários e gerava cerca de 110 milhões
de posts por dia
3
. O segundo está relacionado ao uso dado a esta rede pelos seus
usuários. Eles não somente a utilizam para divulgar informações sobre si, como previsto
inicialmente, mas também a utilizam para compartilhar opiniões e informações sobre
fatos e eventos em geral [Naaman and Boase 2010]. A união destas duas características
torna o Twitter uma importante fonte de opiniões e sentimentos sobre eventos e
acontecimentos, que podem ser analisados e, posteriormente, utilizados em diversas
áreas, como política, social e até mesmo marketing empresarial, conforme verificado
por [Li and Li 2011]. No estudo realizado, os autores puderam observar que, atualmente,
existe uma necessidade de buscar a opinião do cliente e agir em relação a ela, ao invés
de apenas reagir.
A importância de avaliar o sentimento das mensagens divulgadas no Twitter, os
tweets, foi identificada em diversos trabalhos. Dentre eles está [Kwak et al 2010],
cujo objetivo é justamente avaliar o potencial do Twitter como uma rede de informação.
Este estudo mostrou que mais de 85% dos tweets criados estão relacionados a
manchetes de jornal e demais notícias divulgadas na mídia. Além disso, o fato de o
Twitter permitir o compartilhamento em tempo real faz com que essa ferramenta
permita captar o sentimento do usuário no momento em que ele soube da notícia em
questão, o que o motiva a expressar sua emoção antes que outros fatores o influenciem e
diminuam a intensidade do sentimento gerado [Sloman et al 2005].
Este trabalho visa avaliar a reação das pessoas em relação às notícias
compartilhadas na mídia através da análise de publicações feitas no Twitter. O objetivo
é concluir, a partir dos sentimentos expostos nos tweets, se a população achou um
determinado fato positivo ou negativo. Foram escolhidas três categorias de assunto a
serem investigadas e, para cada uma delas, foi verificado se as notícias daquele dado
tópico são vistas de modo positivo ou negativo. A análise de sentimento dos tweets foi
realizada através de experimento supervisionado utilizando classificadores de
linguagem. Este trabalho também busca realizar uma comparação entre três diferentes
classificadores de linguagem para verificar qual deles se adequa melhor às
características das mensagens coletadas através do Twitter e consegue obter melhor
resultado ao tratar textos em português brasileiro.
2. Trabalhos relacionados
Segundo [Pang and Lee 2008], descobrir o que as pessoas pensam sempre foi objeto de
interesse. Com a popularização de plataformas que fornecem acesso à grande
quantidade de dados subjetivos, a tarefa de identificar a polaridade e tentar classificar
qual emoção um texto possui passou a ser o foco de diversas pesquisas. Esta área de
estudo ficou conhecida como análise de sentimento e, aliado a ela, novos desafios no
tratamento de texto foram apresentados. Isso se deve ao fato de que o enfoque está em
extrair a opinião expressa em um determinado documento e não apenas descobrir sobre
3 http://www.forbes.com/sites/oliverchiang/2011/01/19/twitter-hits-nearly-200m-users-110m-tweets-per-day-focuses-on-global-
expansion/
qual assunto ele trata. Esta nova perspectiva faz com que o objetivo da análise dos
termos que compõem o texto seja verificar qual sentimento eles representam e decidir se
o documento exprime uma opinião positiva, negativa, neutra ou, até mesmo, tentar
classificar qual emoção está presente, como raiva, felicidade, tristeza, etc.
Neste contexto, o Twitter se mostrou uma rica fonte de informação devido ao
seu formato de microblogging. Ao permitir que usuários compartilhem curtas
mensagens frequentemente, esta plataforma deu origem a um corpus com grande carga
subjetiva, porém com novos desafios a serem vencidos, como por exemplo o
vocabulário utilizado, de caráter extremamente informal e inconsistente [Brew et al
2011]. Estas características permitem que abreviações e variações na escrita de uma
palavra representem um mesmo significado [Jiang et al 2011], o que dificulta o
tratamento dos textos coletados. Para auxiliar a tarefa de identificar o sentimento
presente em um tweet, [Pak and Paroubek 2010; Davidov et al 2010; Li and Li 2011;
Zhang et al 2011; Jiang et al 2011] fizeram uso de emoticons ícones ou sequência de
caracteres que transmitem o estado emotivo da mensagem que acompanham
4
. Segundo
[Li and Li 2011], esta estratégia permite reduzir o esforço necessário para identificar a
emoção expressa na publicação, que cerca de 87% dos tweets coletados desta forma
possuem o sentimento representado pelo emoticon presente no texto. No entanto, esta
abordagem desconsidera uma grande quantidade de tweets que não carregam emoticons
em suas frases, limitando os documentos que serão avaliados durante o estudo.
Diversas pesquisas buscando compreender as opiniões que os usuários do
Twitter exprimem foram conduzidas. Em 2009, [Bollen et al 2009] desenvolveu um
dos primeiros trabalhos com enfoque de classificar emoções presentes em tweets. O
objetivo do estudo realizado foi analisar a flutuação de sentimento dessas mensagens e
buscar eventos sócio-econômicos e políticos que pudessem estar relacionados às
oscilações identificadas. Para isso, os autores utilizaram um instrumento chamado
POMS-ex, que classifica os tweets em 6 categorias diferentes de humor, a partir da
comparação dos termos que compõem a mensagem com termos, definidos previamente,
associados a cada uma das categorias. Em 2010, [Pak and Paroubek 2010] utilizou um
classificador Naïve-Bayes para categorizar tweets em positivo ou negativo, com base em
N-gramas e na classificação gramatical de partes do texto. Já [Davidov et al 2010]
buscou categorizar os tweets utilizando mensagens com hashtags palavras precedidas
de # que representam o sentimento e/ou o assunto alvo daquela mensagem e emoticons
contidos no texto para treinar o classificador utilizado e categorizar tweets entre diversas
emoções. Além disso, aspectos como pontuação e as palavras utilizadas também foram
consideradas para a extração de sentimento.
Outra vertente da análise do conteúdo gerado no Twitter é a extração de
informação a partir do estudo de posts publicados nessa rede. [Sakaki et al 2010] e
[Achrekar et al 2011] promoveram pesquisas cujo objetivo era detectar acontecimentos
de forma mais rápida através da análise das mensagens divulgadas. Nesses casos, a
intenção era criar uma ferramenta capaz de detectar terremotos e epidemias de gripe,
respectivamente, antes mesmo de tais eventos serem anunciados oficialmente. Já em [Li
and Li 2011], o objetivo era utilizar as opiniões compartilhadas no Twitter para auxiliar
4 http://pt.wikipedia.org/wiki/Emoticons
empresas a tomarem decisões em suas campanhas de marketing. A ideia foi utilizar a
análise de sentimento de tweets para tornar possível o acompanhamento da opinião dos
clientes em relação a serviços e produtos e permitir que empresas tomassem decisões
antes mesmo de os clientes chegarem até elas com reclamações e sugestões.
Dentre os trabalhos citados, podemos verificar que nenhum deles buscou
analisar sentimento relacionado a fatos divulgados na mídia. Na verdade, a estratégia
sempre foi inversa: analisar os sentimentos e buscar ocorrências que pudessem estar
associadas a eles. Este estudo visa preencher esta lacuna e ser um primeiro passo para
uma série de trabalhos onde o foco está em analisar sentimentos relacionados a
acontecimentos que tiveram grande repercussão e foram amplamente divulgados por
jornais e revistas. Vale ressaltar que este trabalho também está entre os poucos que trata
tweets escritos em português brasileiro.
3. Metodologia
O objetivo deste trabalho é buscar um mecanismo que consiga lidar com as
características presentes em textos oriundos de plataformas de microblog, ou seja, textos
informais e ruidosos. Para isso, optou-se pelo uso de modelos de linguagem ou modelos
N-grama. A escolha pelo uso desses modelos deu-se pela simplicidade e, ao mesmo
tempo, poder de processamento desses algoritmos [Russell 2011].
De acordo com [Jurafsky and Martin 2008], estes modelos estatísticos permitem
prever a probabilidade de um grupo de palavras aparecerem em uma determinada
sequência a partir das N-1 palavras do N-grama sequência de N palavras. Por
funcionar de acordo com um paradigma conhecido por treinamento e teste, este modelo
permite utilizar um corpus de treinamento que terá a função de ensinar ao classificador
quais sequências de palavras estão associadas a uma determinada classificação [Jurafsky
and Martin 2008]. Como o objetivo deste trabalho é a extração de sentimento, o
conjunto de treinamento possui documentos que mostram ao classificador quais
sentenças caracterizam uma opinião cuja classificação é positiva, por exemplo Dilma
fazendo história na ONU. #Orgulho #DilmaDay”, e quais são consideradas negativas,
como no caso de “Emissoras de TV,principalmente a Globo,só falam do POP In RIO e ñ
passaram nem uma notinha da #MarchaContraCorrupcaoRJ Pq será?C liga Brasil”. Este
conjunto de treinamento foi selecionado de forma aleatória entre o corpus total de
tweets coletados, sendo a probabilidade de um tweet ser escolhido para fazer parte do
conjunto de treinamento de 70%.
De acordo com este paradigma, ainda é necessário um outro grupo de
documentos, o conjunto de teste [Jurafsky and Martin 2008]. Os documentos que
compõem este conjunto são submetidos ao modelo treinado para calcular a
probabilidade de cada um deles se encaixar em uma das classificações do problema.
Neste trabalho, 30% dos tweets coletados fazem parte do corpus de teste.
Este processo permite reduzir o trabalho de limpeza dos textos a serem
classificados e, ao mesmo tempo, alcança resultados bastante significativos quando se
trata do processamento de textos com características similares às das mensagens tratadas
neste estudo [Russell 2011].
Como um dos objetivos deste trabalho é também comparar o desempenho de
implementações diferentes de modelos N-grama, foram utilizados 3 classificadores
distintos. São eles:
UNIGRAMA: Este classificador segue o modelo N-grama e calcula a
probabilidade de cada texto ser positivo ou negativo, analisando cada palavra
separadamente.
OCTOGRAMA: Este classificador segue o modelo N-grama e calcula a
probabilidade de cada texto ser positivo ou negativo, analisando sequências de 8
palavras.
NAIVE_BAYES: Classificador onde os textos são representados como bag of
words, ou seja, suas posições exatas são ignoradas, e o classificador é montado
com base em um modelo probabilístico baseado no teorema de Bayes,
assumindo independência entre as variáveis [Jurafsky and Martin 2008].
Também calcula a probabilidade do texto ser positivo ou negativo.
4. Experimento
4.1. Criação do corpus
A etapa de criação do corpus pode ser analisada em 2 momentos.
4.1.1. Seleção de notícias
O primeiro passo foi a escolha das notícias a serem consideradas no estudo. Este
processo foi realizado manualmente e contou com o apoio de uma coluna da seção de
Tecnologia e Games do jornal online G1 onde, para cada dia da semana, os Trending
Topics principais assuntos falados no Twitter brasileiros são apresentados,
explicados e associados às notícias correspondentes
5
. Após analisar esses dados por um
período de cerca de 2 meses, observamos que dentre os assuntos mais populares 3
categorias se destacam: Policial, Política e Entretenimento. Sendo assim, optou-se por
classificar tweets que estivessem relacionados a esses 3 tópicos com a intenção de
maximizar a ocorrência de textos subjetivos, ou seja, que “expressam a avaliação,
emoção, julgamento, incertezas, crenças e outras atitudes e afetividades” [Wiebe 1990]
sobre o assunto debatido.
Durante a janela de tempo considerada, foram selecionadas notícias que não
apenas tiveram grande repercussão entre os usuários do microblog, mas que também
foram bastante divulgadas através de jornais e revistas escritos e televisionados. Para
cada categoria escolhida, foram selecionadas entre 2 e 3 notícias, apresentadas na tabela
abaixo e ordenadas pela data em que foram divulgadas.
5 http://g1.globo.com/tecnologia/noticia/2012/04/assuntos-no-twitter-segunda-feira-23042012.html
Tabela 1. Notícias selecionadas para o experimento
Notícia
Categoria
Data
Exames confirmam que ator Reynaldo Gianecchini
tem câncer
Entretenimento
10/08/2011
Juíza é baleada e morta em Niterói
Policial
12/08/2011
Perícia diz que sobrecarga provocou desabamento
de camarote em SP
Entretenimento
21/08/2011
Público protesta contra corrupção e impunidade no
centro do Rio
Política
20/09/2011
Dilma defende Estado palestino e exalta papel da
mulher na política
Política
21/09/2011
Câmara derruba criação de novo imposto para a
saúde
Política
21/09/2011
Rock in Rio
Entretenimento
08/10/2011
Condenado por chefiar tráfico no Rio, Polegar é
preso no Paraguai
Policial
19/10/2011
4.1.2. Coleta e filtragem de tweets
Após selecionar as notícias a serem consideradas no experimento, o passo seguinte foi
coletar tweets relacionados a elas e filtrar essas mensagens de forma a obter apenas
tweets subjetivos para serem utilizados na etapa de classificação automática.
A coleta das mensagens foi realizada através da interface de busca oferecida pelo
próprio Twitter
6
. Para cada uma das notícias, palavras-chave foram utilizadas de forma
que os tweets retornados estivessem relacionados a elas. Por exemplo, para a notícia
Dilma defende Estado palestino e exalta papel da mulher na política” a busca realizada
foi “dilma onu” e para a notícia “Juíza é baleada e morta em Niterói” os termos da busca
foram “juiza patricia”. Dessa forma, para cada notícia, foram coletados cerca de 400
tweets e o fator tempo se mostrou extremamente importante nesta fase do experimento.
Quanto mais distante da data de divulgação da notícia o processo de coleta fosse
realizado, menos subjetivos e menos relacionados aos fatos eram os textos das
mensagens.
Essas observações foram possíveis de serem feitas devido ao passo seguinte do
processo de coleta e filtragem de tweets. Cada tweet foi considerado um documento e,
para cada um deles, 3 dos pesquisadores envolvidos neste trabalho emitiram suas
opiniões sobre o sentimento presente nas mensagens. Este processo foi realizado para
que fosse possível cruzar os votos de cada um dos pesquisadores e eleger qual
sentimento classificaria cada tweet. O objetivo desta análise foi classificar as mensagens
entre positivo e negativo para que depois esta categorização manual fosse utilizada
6 http://twitter.com/#!/search
como base para a ferramenta de classificação automática. Optou-se, assim como em
[Pang et al 2002], por não se considerar tweets neutros, já que não foi possível encontrar
na literatura um consenso sobre quais seriam as características típicas de textos
classificados desta forma. A intenção da filtragem era obter um corpus anotado
composto apenas por textos que expressassem sentimentos e, após este processo, foi
criada uma base com cerca de 850 documentos, divididos em cerca de 50% positivos e
50% negativos.
Vale ressaltar que o processo de classificação manual não considerou apenas os
significados isolados das palavras utilizadas nos tweets. Casos como ironias e
abreviações foram considerados para determinar a polaridade do texto analisado. O
objetivo era verificar se os classificadores utilizados conseguiriam classificar
corretamente esses documentos.
4.2. Ferramenta de classificação automática
Este experimento contou com a criação de uma ferramenta de classificação automática
capaz de estabelecer, para um dado tweet, a polaridade da opinião contida no texto
analisado, conforme mostrado na Figura 1. Para apoiar o processo de classificação
automática, foi utilizada “uma biblioteca para processamento de texto usando linguística
computacional”
7
, chamada LingPipe. Escolheu-se usar este recurso na ferramenta
construída por viabilizar a criação de classificadores baseados em modelos N-grama e
permitir extrair resultados estatísticos das classificações realizadas7. Além disso, esta é
uma biblioteca bastante estável e utilizada em diversos trabalhos de pesquisa
8
.
7 http://alias-i.com/lingpipe/
8 http://alias-i.com/lingpipe/web/citations.html
Figura 1. Processo de classificação de tweets
5. Resultados
Nesta seção apresentamos os resultados obtidos após a execução de 10 rodadas de
treinamento e testes realizadas com cada um dos classificadores considerados. Como é
possível observar na Tabela 2, a diferença entre os resultados obtidos pelos
classificadores dentro de uma mesma categoria não justifica a escolha absoluta por um
deles, que a performance alcançada pelos 3 foi muito similar. No entanto, podemos
concluir que, para o conjunto de dados utilizados no experimento, o classificador que
segue o algoritmo Naïve-Bayes foi o que obteve melhor resultado ao categorizar textos
com características de microblog. Outro ponto que podemos observar é que, conforme
previsto por [Jurafsky and Martin 2008], ao se trabalhar com N-gramas de tamanho 8, o
resultado é melhor do que quando se trabalha com unigramas. Essa conclusão é possível
de ser feita através da análise da acurácia dos classificadores para cada uma das
categorias de notícia, conforme mostrado na Tabela 2. Esse valor foi calculado de
acordo com a seguinte fórmula, também utilizada por [Pak and Paroubek 2010]:
Acur = Número de classificações corretas (1)
Total de classificações
Tabela 2. Acurácia dos classificadores para cada uma das categorias testadas
UNIGRAMA
NAIVE_BAYES
Acur.
Var.
Acur.
Var.
Acur.
Var.
Entretenimento
0.74
0.0018
0.74
0.0007
0.75
0.0011
Policial
0.76
0.0021
0.77
0.0029
0.81
0.0038
Política
0.68
0.0018
0.71
0.0008
0.69
0.0018
Os resultados obtidos nas categorias Entretenimento e Policial são bastante
satisfatórios se considerarmos que a capacidade humana de avaliar corretamente a
subjetividade de um texto varia de 72% [Wiebe et al 2006] a 85% [Golden 2011].
Considerando essa margem como o objetivo a ser alcançado com o experimento,
podemos verificar que, para as duas categorias citadas, todos os classificadores
utilizados obtiveram resultados dentro dessa margem, o que demonstra que o método
escolhido é eficaz na classificação de tweets.
para o caso da categoria Política, acredita-se que a razão para os resultados
obtidos estarem abaixo dos 72%, considerado o mínimo esperado de uma classificação
humana, está no fato de os textos relacionados a esta categoria possuírem construções
mais difíceis de serem analisadas automaticamente, como é o caso da ironia e do
sarcasmo, conforme mostrado na Tabela 3. Além disso, algumas dessas mensagens
estão bastante ligadas ao contexto a que estão relacionadas, fator que dificulta ainda
mais a classificação, tanto automática como manual. Esta última característica do texto
não fez parte do objetivo de estudo deste trabalho.
Tabela 3. Casos de classificação incorreta de tweets
Tweet
Classificação
manual
Classificação
automática
Ufa!! Os parlamentares em Brasilia, não aprovarão
mais um Imposto, para pagar o doente sistema de
saúde no Brasil
POSITIVO
NEGATIVO
só achei que faltou jogar a caneta na cabeça do obama:
"seu incompetente!" #dilmaday
POSITIVO
NEGATIVO
Contra a corrupção:desde o cafezinho do guarda até os
mensalões milionários #MarchaContraCorrupcaoRJ
POSITIVO
NEGATIVO
Prestem atenção, pois um novo imposto pode estar a
caminho. Os deputados estão pensando em criar uma
taxa destinada à saúde! Isso é ABSURDO
NEGATIVO
POSITIVO
Brasil é assim: SE #RedeGlobo tivesse divulgado,Se
ela tivesse mostrado a #MarchaContraCorrupcaoRJ
teriam 100/200.000 pessoas.Infelizmente!
NEGATIVO
POSITIVO
No entanto, algumas dessas ocorrências também foram classificadas
corretamente, conforme exposto na Tabela 4.
Tabela 4. Casos de classificação correta de tweets
Tweet
Classificação
manual
Classificação
automática
show do guns vai ser pra fechar o rock in rio ou abrir o
swu?
NEGATIVO
NEGATIVO
Todo mundo vira rockeiro durante o rock in rio!
IMPRESSIONANTE
NEGATIVO
NEGATIVO
KKKKKKKKKKKKKKKKKKKKKKKKKKKKKK
KKKKKKKKKKKKKKKKKKKKKKKKKKKKKK
KKKKKKKKKKKKKKKKKKKKKKKKKKKKK
Camarote do show de Ivete caiu :x parei
POSITIVO
POSITIVO
polegar se ferrou!
POSITIVO
POSITIVO
A casa vai cair pra todos #MarchaContraCorrupcaoRJ!
POSITIVO
POSITIVO
6. Considerações finais
Este trabalho teve como objetivo analisar o sentimento de tweets relacionados aos fatos
divulgados na mídia e que foram amplamente propagados dentro do Twitter. O estudo
propôs uma classificação automática dos tweets com base em classificadores de
linguagem e o resultado obtido foi validado junto à classificação manual das mensagens,
realizada previamente. Acredita-se que este trabalho se caracteriza como uma primeira
tentativa de realizar a associação entre tweets e notícias escritos em português brasileiro
e extrair o sentimento gerado na população por esses eventos.
Após o experimento realizado, foi possível observar que não houve um
classificador que se destacasse como o melhor absoluto. Dentro de uma mesma
categoria, o desempenho dos 3 classificadores foram bastante próximos, como
demonstrado na Tabela 2, o que configura que a escolha por qualquer um dos 3 métodos
utilizados traria resultados muito semelhantes.
Acredita-se que o resultado obtido é satisfatório, pois a acurácia dos
classificadores se manteve dentro do percentual de acertos corresponde à capacidade
humana de classificar a subjetividade de um texto. Além disso, os resultados
encontrados estão alinhados com os obtidos por [Pak and Paroubek 2010] que também
verificaram que a acurácia variava de 70% a 80% quando cerca de 30% dos tweets
fossem classificados pelo sistema. No entanto, acredita-se que ainda é possível melhorar
a estratégia de classificação e pré-processamento do texto, principalmente para casos
que tratam construções complicadas de serem classificadas automaticamente.
Não se pode esquecer, porém, que uma das principais dificuldades da
automatização deste procedimento é identificar quais tweets são de fato relacionados à
notícia desejada. Neste estudo, a coleta e classificação de tweets foi feita de forma
manual, tornando possível assegurar que todos os tweets coletados são realmente
relacionados à notícia em questão. Futuramente, pretende-se desenvolver um módulo de
busca e identificação de tópicos para que a coleta e associação de tweets e notícias sejam
realizadas automaticamente.
Referências
Achrekar, H., Gandhe, A., Lazarus, R., Yu, S., Liu, B. (2011). “Predicting Flu Trends
using Twitter data”, Proceedings of 2011 IEEE Conference on Computer
Communications Workshops (INFOCOM WKSHPS), pp. 702 707.
Bollen, J., Pepe, A., and Mao, H. (2009). Modeling public mood and emotion: Twitter
sentiment and socio-economic phenomena.”, Proceedings of the Fifth International
AAAI Conference on Weblogs and Social Media (ICWSM 2011), 17-21 July 2011,
Barcelona, Spain.
Brew, A., Greene, D., Archambault, D., and Cunningham, P. (2011). Deriving Insights
from National Happiness Indices.”, 2011 IEEE 11th International Conference On
Data Mining Workshops (ICDMW), pp. 53 60.
Davidov, D., Tsur, O., and Rappoport, A. (2010). Enhanced sentiment learning using
Twitter hashtags and smileys.”, Proceedings of the 23rd International Conference on
Computational Linguistics: Posters, (Stroudsburg, PA, USA: Association for
Computational Linguistics), pp. 241249.
Golden, P. (2011). “Write here, write now.”. Disponível em <http://www.research-
live.com/features/write-here-write-now/4005303.article>.
Jiang, L., Yu, M., Zhou, M., Liu, X., and Zhao, T. (2011). Target-dependent Twitter
sentiment classification.”, Proceedings of the 49th Annual Meeting of the
Association for Computational Linguistics: Human Language Technologies -
Volume 1, (Stroudsburg, PA, USA: Association for Computational Linguistics), pp.
151160.
Jurafsky, D., and Martin, J. H. (2009). Speech and language processing: an introduction
to natural language processing, computational linguistics, and speech recognition,
Prentice Hall, 2nd Edition.
Kwak, H., Lee, C., Park, H., and Moon, S. (2010). “What is Twitter, a social network or
a news media?”, Proceedings of the 19th International Conference on World Wide
Web, (New York, NY, USA: ACM), pp. 591600.
Li, Y.-M., and Li, T.-Y. (2011). Deriving Marketing Intelligence over Microblogs.”,
Proceedings of 44th Hawaii International Conference On System Sciences (HICSS),
pp. 1 10.
Naaman, C.-H. L. Mor., and Boase, J. (2010). “Is it all About Me? User Content in
Social Awareness Streams”, Proceedings of the 2010 ACM Conference on Computer
Supported Cooperative Work, 2010.
Pak, A., and Paroubek, P. (2010). “Twitter as a corpus for sentiment analysis and
opinion mining.”, Proceedings of the 7th Conference on International Language
Resources and Evaluation (LREC’10).
Pang, B., Lee, L., and Vaithyanathan, S. (2002). Thumbs up?: sentiment classification
using machine learning techniques.”, Proceedings of the ACL-02 Conference on
Empirical Methods in Natural Language Processing - Volume 10, (Stroudsburg, PA,
USA: Association for Computational Linguistics), pp. 7986.
Pang, B., and Lee, L. (2008). “Opinion Mining and Sentiment Analysis”, Foundation
and Trends in Information Retrieval, Vol. 2 (1-2), pp. 1-135.
Russell, M. A. (2011). Mining the Social Web, O’Reilly Media, Inc, 1st Edition.
Sakaki, T., Okazaki, M., and Matsuo, Y. (2010). Earthquake shakes Twitter users: real-
time event detection by social sensors.”, Proceedings of the 19th International
Conference on World Wide Web, (New York, NY, USA: ACM), pp. 851860.
Sloman, A., Chrisley, R., Scheutz, M. (2005). “The architectural basis of affective states
and processes.”, Who Needs Emotions?: The Brain Meets the Machine, v. 3, pp.
203244.
Waltinger, U. (2009). Polarity reinforcement: Sentiment polarity identification by
means of social semantics.”, AFRICON, 2009, pp. 1 – 6.
Wiebe, J.M. (1990). Identifying subjective characters in narrative.”, Proceedings of the
13th Conference on Computational Linguistics - Volume 2, (Stroudsburg, PA, USA:
Association for Computational Linguistics), pp. 401406.
Wiebe, J., Wilson, T., Cardie, C. (2006). “Annotating Expressions of Opinions and
Emotions in Language”, Language Resources and Evaluation, v. 39, n. 2-3, pp. 165
210.
Zhang, K., Cheng, Y., Xie, Y., Honbo, D., Agrawal, A., Palsetia, D., Lee, K., Liao, W.,
Choudhary, A. (2011). SES: Sentiment Elicitation System for Social Media Data.”,
Proceedings of 11th International Conference on Data Mining Workhops (ICDMW),
pp. 129 136.
... No Brasil, também há poucas pesquisas sobre a aplicação da análise de sentimento em dados extraídos de mídias sociais. Nascimento et al. (2012) publicaram o estudo "Análise de sentimento de tweets com foco em notícias", que foi o pioneiro no país quanto à aplicação da análise de sentimento a partir de notícias compartilhadas no Twitter. O trabalho foi uma primeira tentativa de aplicação da técnica em português brasileiro, utilizando-se dados não estruturados. ...
... A cada 60 menções classificadas manualmente, equivalente a 10% do total, foi realizada a classificação automatizada de toda a base de teste e, assim, contabilizados os acertos, até conseguir uma precisão satisfatória. A precisão foi calculada, dividindo-se o número de classificações corretas pelo total de classificações (NASCIMENTO et al., 2012;EIRINAKI;PISAL;SINGH, 2012). Após classificadas manualmente 30% das menções, a precisão da classificação automatizada chegou aos 81%. ...
... Após classificadas manualmente 30% das menções, a precisão da classificação automatizada chegou aos 81%. Na literatura, uma ferramenta que gera em média 80% de acertos é considerada satisfatória (NASCIMENTO et al., 2012;MOSTAFA, 2013;YOON;ELHADAD;BAKKEN, 2013;DUAN;CAO, 2013). Desse modo, o conjunto de treino considerado para este estudo é de 30% das menções coletadas para cada tema, conforme distribuídos na Tabela 1. ...
Article
Full-text available
This study sought to identify as sentiment analysis, based on texts taken social media can be a measuring instrument of public opinion on the government’s performance in order to contribute to the evaluation of public administration. This is an applied study, interdisciplinary, exploratory, qualitative and quantitative. The main theoretical and conceptual formulations on the subject were reviewed and conducted practical demonstrations using an opinion mining tool which provided satisfactory precision in data processing. For demonstration purposes, themes were selected that motivated the wave of protests involving millions of people in Brazil in June 2013. They were collected, processed and analyzed approximately 130,000 messages posted on Facebook and Twitter on these topics in two distinct periods. Through this analysis, it was observed that the sentiment analysis can reveal the polarized opinions of citizens about the government’s performance.
... Redes sociais online são redes formadas a partir da interação entre pessoas, grupos ou instituições motivadas por interesses ou objetivos comuns que se relacionam através de mídias digitais. É imensa a quantidade de usuários publicando informações de diferentes tipos e em diferentes idiomas nessas redes [Gonçalves et al. 2012;Nascimento et al. 2012]. ...
... As publicações nessa plataforma são limitadas a um número pequeno de caracteres. Essa característica obriga que os usuários expressem sua opinião, sentimento ou qualquer informação através de mensagens curtas [Nascimento et al. 2012]. O Twitter possui mais de 200 milhões de usuários que geram aproximadamente 110 milhões de tweets por dia. ...
... A verificação da polaridade (apoio ou repúdio as manifestações) das mensagens da base tweets criada foi realizada por meio do emprego de algoritmos de aprendizagem estatística Naive Bayes. A escolha desses algoritmos se deu a partir da observação dos trabalhos na literatura que empregam essa mesma técnica de análises demonstram resultados satisfatórios [Lucca et al. 2013;Nascimento et al. 2012]. ...
Conference Paper
Full-text available
The sentiment analysis of citizens is possible by using suitable techniques of analyzes applied to a massive database which is composed by messages provided by persons on Web. The goal of this paper is to analyze the opinion about protests that occurred in Brazil in 2013. For this, a database composed by tweets written in Brazilian Portuguese was used. This database was pre-processed for the corpus' creation. We observed that polarity (agreement or disagreement with the protests) of these messages and the final results have shown that the majority of messages are agreement ones.
... The Política (Politics) corpus was designed and applied in the work of Nascimento et al. (2015) that used language classifiers n-grams and Naïve Bayes. This resource contains 567 training tweets extracted between August and September 2011 regarding Brazil's political situation. ...
... The Entretenimento (Entertainment) dataset, created and tested by the same group as Política (Nascimento et al. 2015), contains 384 training tweets extracted between August and September 2011 regarding Brazilian leisure and culture. The messages were tagged by three different investigators as negative (N), positive (P) and neutral (NEU). ...
Article
Full-text available
Today, the electronic word-of-mouth (eWOM) statements expressed on blogs, social media or shopping platforms are much frequent and enable customers to share his/her point of view about acquired products or services. These eWOM statements can be used for the industry to improve its products and services and for customers for making better purchase decisions. Sentiment analysis (SA) techniques can be used to extract and analyze these eWOM statements. Research in recent years on SA has advanced considerably, and its applications in business management have grown exponentially. Automatic techniques (such as machine learning, deep learning and statistic approaches) have been used for this purpose. However, training a machine for processing or analyzing sentiments is a hard task, mainly due to the complexity of the natural language. This task is more complicated in multilingual environments. There is still a great paucity regarding training datasets, one of the key resources in achieving more favorable results. Training datasets, in fact, are a reservoir of information serving to teach and refine the skills of automatic techniques. Hence, the higher the quality of the training datasets, the better predictive power of sentiment analysis tasks. English datasets are relatively easy to find in the literature; however, datasets in other languages are very scarce. So, this paper therefore describes and compiles information concerning 25 datasets gleaned from short messages (statements expressed in social media and shopping platforms) in seven different languages, for the most part from Twitter. For quality issues, all the resources were human-tagged, and they are currently available to the scientific community. A new sentiment dataset in English extracted from Twitter has also been drawn up and each message evaluated subjectively. The current survey therefore aims to provide essential quality information for future research related to automatic sentiment analysis in monolingual or multilingual scenarios.
... Most of the research on emotion classification targets English, but there is work in Portuguese. Few works focus on automatic emotion classification specifically [9], but there is much more work on sentiment analysis [20,13]. ...
Chapter
New forms of communication, like emojis, are frequent today in social media. Having in mind their strong connection with expressed emotions, we exploit emojis towards the creation of a model for emotion recognition in Portuguese. We gather short texts from Twitter and follow a traditional text classification task, where emojis are used as labels. After the process of feature engineering, two types of Naive Bayes and SVM classifiers are trained: one for classifying emotion, based on related emojis; another for predicting emojis. Interesting but debatable results were obtained on the former task, while the latter revealed to be more challenging, mainly due to emoji similarity. Yet, this also suggests that we can rely on them as an alternative to manually labelling emotions.
... Another important work to be mentioned is the study of Nascimento et al. [21] where it is possible to observe the polarity of sentiments of the population in relation to reports disclosed by the media. In the methodology three topics in Portuguese language were previously selected for data collection, then the authors performed the manual labeling of content to analyze it through the use of three methods, one of them being the Naive Bayes. ...
Conference Paper
Full-text available
The objective of this study was to analyze sentiments of users of online social network twitter to understand how people manifested toward the article published by the magazine Veja on 04-18-16 entitled "bela, recatada e do lar" (beautiful, demure and from home) in an attempt to understand how this behavior evolved in two weeks and to assess which events had aroused greater reaction from people. To this end, a data mining technique known as sentiment analysis was used with the help of the ETL (Extract, Transform & Load) methodology and the Naive Bayes probabilistic learning algorithm. Moreover, the null hypothesis was formulated and tested to see whether two events that took place during the collection period influenced, in fact, the polarity of analyzed sentiments in the generated database.
Conference Paper
Full-text available
Atualmente, as redes sociais são muito difundidas no mundo globalizado e neste contexto, há um grande volume de usuários, pessoas de todas as culturas, se conectando e trocando experiências. No âmbito computacional, o grande volume de pessoas em um ambiente informatizado cria condições para o reconhecimento de padrões, para a extração de informações que podem gerar conhecimento. Um destes ambientes é o Twitter, no qual um usuário escreve uma expressão com até 280 caracteres e outras pessoas podem ver ou compartilhar novamente essa mesma expressão ou a sua própria. Este artigo apresenta um trabalho que tem como objetivo consumir o grande repositório de dados que é o Twitter, e, a partir dele criar um Data Warehouse no qual é possível analisar os textos, as expressões contidas. Nesta proposta, são incluídos métodos de pré-processamento dos textos. Também para enriquecer essa base com a análise de sentimento, além do projeto do banco de dados a proposta inclui um método classificador para os textos, utilizando aprendizado de máquina, que é capaz de predizer um sentimento relacionado a um Tweet, seja ele bom, neutro ou ruim. O algoritmo foi treinado com um conjunto de 1300 Tweets e atingiu a acurácia de 70%. E assim foram qualificados os demais textos, 107393, totalizando os 108693 tweets. Assim, cabe apenas ao usuário explorar a base, realizando consultas dos mais variados tipos. Sendo possível identificar padrões nos dados, conforme as tabelas e gráficos mostrados na seção de resultados.
Preprint
Full-text available
Social networks are increasingly impacting everyday people and organizations, in this context Twitter, in which a user writes an expression with up to 280 characters and other people can see or share that phrase again or their own. This paper presents a work that aims to consume the great data repository that is Twitter, and from it to create a Data Warehouse in which it is possible to analyze the texts, the expressions contained. In this proposal, methods of preprocessing texts are included. Also to enrich this base with the analysis of feeling, in addition to the project of the database the proposal includes a classifier method for the texts, using machine learning, that is able to predict a feeling related to a Tweet, be it positiva, neutral or negative.
Research
Full-text available
Análise de Sentimento sobre as eleições de Campina Grande - PB de acordo com as postagens do Twitter, utilizando o ambiente de desenvolvimento Rapidminer
Chapter
This article describes the process of creation and annotation of a tweets corpus for Sentiment Analysis at sentence level. The tweets were captured using the #masterchefbr hashtag, in a tool to acquire the public stream of tweets in real time and then annotated based on the six basic emotions (joy, surprise, fear, sadness, disgust, anger) commonly used in the literature. The neutral tag was adopted to annotate sentences where there was no expressed emotion. At the end of the process, the measure of disagreement between annotators reached a Kappa value of 0.42. Some experiments with the SVM algorithm (Support Vector Machine) have been performed with the objective of submitting the annotated corpus to a classification process, to better understand the Kappa value of the corpus. An accuracy of 52.9% has been obtained in the classification process when using both discordant and concordant text within the corpus.
Article
Full-text available
RESUMO Investidores formam suas expectativas sobre os fluxos de caixa futuros das empresas considerando as informações quantitativas e qualitativas a que têm acesso. O entendimento de como os preços de mercado incorporam as informações qualitativas divulgadas pela mídia, especialmente em um mercado com menor nível de eficiência como o Brasil, ajuda na compreensão de quais tipos de notícia mais sensibilizam os investidores. Nesse contexto, este trabalho estuda a relação entre o teor das edições diárias da mídia financeira especializada no Brasil, capturado por uma métrica de tom textual, e a rentabilidade e volatilidade dos índices de mercado. A base de dados estudada contém 1.237 edições diárias do jornal Valor Econômico, compreendendo o período entre 2/1/2012 e 30/12/2016. Os resultados indicam que o mercado avalia com maior peso palavras de incerteza e negativas divulgadas nas notícias. A aparição de termos do tipo “incerteza” tem relação negativa com a rentabilidade, e há indícios mais fracos de que termos relacionados a palavras “negativas” têm associação positiva com a sua volatilidade. Tomadas em conjunto, as evidências obtidas neste estudo apontam para a existência de conteúdo informativo nas notícias veiculadas pela mídia especializada no Brasil, especialmente notícias com palavras “negativas” e de “incerteza”.
Chapter
Full-text available
This chapter examines the architectural basis of affective states and processes in robots. It shows how 'architecture-based' concepts can extend and refine folk-psychology concepts in ways that make them more useful both for expressing scientific questions and theories, and for specifying engineering objectives. It recommends the CogAff schema as a generic framework that distinguishes the types of components there may be in an architecture, operating concurrently with different functional roles.
Conference Paper
Full-text available
Reducing the impact of seasonal influenza epidemics and other pandemics such as the H1N1 is of paramount importance for public health authorities. Studies have shown that effective interventions can be taken to contain the epidemics if early detection can be made. Traditional approach employed by the Centers for Disease Control and Prevention (CDC) includes collecting influenza-like illness (ILI) activity data from “sentinel” medical practices. Typically there is a 1-2 week delay between the time a patient is diagnosed and the moment that data point becomes available in aggregate ILI reports. In this paper we present the Social Network Enabled Flu Trends (SNEFT) framework, which monitors messages posted on Twitter with a mention of flu indicators to track and predict the emergence and spread of an influenza epidemic in a population. Based on the data collected during 2009 and 2010, we find that the volume of flu related tweets is highly correlated with the number of ILI cases reported by CDC. We further devise auto-regression models to predict the ILI activity level in a population. The models predict data collected and published by CDC, as the percentage of visits to “sentinel” physicians attributable to ILI in successively weeks. We test models with previous CDC data, with and without measures of Twitter data, showing that Twitter data can substantially improve the models prediction accuracy. Therefore, Twitter data provides real-time assessment of ILI activity.
Conference Paper
Full-text available
Twitter, a popular microblogging service, has received much attention recently. An important characteristic of Twitter is its real-time nature. For example, when an earthquake occurs, people make many Twitter posts (tweets) related to the earthquake, which enables detection of earthquake occurrence promptly, simply by observing the tweets. As described in this paper, we investigate the real-time inter- action of events such as earthquakes, in Twitter, and pro- pose an algorithm to monitor tweets and to detect a target event. To detect a target event, we devise a classifier of tweets based on features such as the keywords in a tweet, the number of words, and their context. Subsequently, we produce a probabilistic spatiotemporal model for the tar- get event that can find the center and the trajectory of the event location. We consider each Twitter user as a sensor and apply Kalman filtering and particle filtering, which are widely used for location estimation in ubiquitous/pervasive computing. The particle filter works better than other com- pared methods in estimating the centers of earthquakes and the trajectories of typhoons. As an application, we con- struct an earthquake reporting system in Japan. Because of the numerous earthquakes and the large number of Twit- ter users throughout the country, we can detect an earth- quake by monitoring tweets with high probability (96% of earthquakes of Japan Meteorological Agency (JMA) seis- mic intensity scale 3 or more are detected). Our system detects earthquakes promptly and sends e-mails to regis- tered users. Notification is delivered much faster than the announcements that are broadcast by the JMA.
Conference Paper
Full-text available
In this work we examine the characteristics of social activity and patterns of communication on Twitter, a prominent example of the emerging class of communication systems we call "social awareness streams." We use system data and message content from over 350 Twitter users, applying human coding and quantitative analysis to provide a deeper understanding of the activity of individuals on the Twitter network. In particular, we develop a content-based categorization of the type of messages posted by Twitter users, based on which we examine users' activity. Our analysis shows two common types of user behavior in terms of the content of the posted messages, and exposes differences between users in respect to these activities. Author Keywords Social media, Twitter, communication systems.
Conference Paper
Full-text available
Sentiment analysis on Twitter data has attracted much attention recently. In this paper, we focus on target-dependent Twitter sentiment classification; namely, given a query, we classify the sentiments of the tweets as positive, negative or neutral according to whether they contain positive, negative or neutral sentiments about that query. Here the query serves as the target of the sentiments. The state-of-the-art approaches for solving this problem always adopt the target-independent strategy, which may assign irrelevant sentiments to the given target. Moreover, the state-of-the-art approaches only take the tweet to be classified into consideration when classifying the sentiment; they ignore its context (i.e., related tweets). However, because tweets are usually short and more ambiguous, sometimes it is not enough to consider only the current tweet for sentiment classification. In this paper, we propose to improve target-dependent Twitter sentiment classification by 1) incorporating target-dependent features; and 2) taking related tweets into consideration. According to the experimental results, our approach greatly improves the performance of target-dependent sentiment classification.
Conference Paper
We propose a combination of machine learning and socially constructed concepts for the task of sentiment polarity identification. Detecting words with polarity is difficult not only due to limitations in current sentiment dictionaries but also due to the colloquial terms that are often used. Current approaches disregard the dynamics of language, i.e. that new words are often created comprising different polarities. In fact, the online community is very creative in coining terms about certain subjects such as ldquotweetuprdquo (a request by a user to meet with friends via Twitter) or ldquowhackrdquo (Street slang, meaning bad). Our approach utilizes a user generated dictionary of urban term definitions as a resource for polarity concepts. Therefore, we are not only able to map newly created words to their respective polarity but also enhance common expressions with additional features and reinforce the polarity, strengthening our initial finding. We empirically show that the use of polarity reinforcement improves the sentiment classification.
Conference Paper
With rapid growing popularity, microblogs have become a great source of consumer opinions. Confronting unique properties and massive volume of posts on microblogs, this paper proposes a summarization framework that provides compact numeric summarization for microblogs opinions. The proposed framework is designed to cope with four major tasks: 1) topics detection, 2) sentiment classification, 3) credibility assessment and 4) score aggregation. The experiment is held on twitter, the largest microblog platform, for proving the efficiency and correctness of the framework. We found the consideration of user credibility and opinion quality is essential for aggregating microblog opinions.
Conference Paper
Automated identification of diverse sentiment types can be beneficial for many NLP systems such as review summarization and public media analysis. In some of these systems there is an option of assigning a sentiment value to a single sentence or a very short text. In this paper we propose a supervised sentiment classification framework which is based on data from Twitter, a popular microblogging service. By utilizing 50 Twitter tags and 15 smileys as sentiment labels, this framework avoids the need for labor intensive manual annotation, allowing identification and classification of diverse sentiment types of short texts. We evaluate the contribution of different feature types for sentiment classification and show that our framework successfully identifies sentiment types of untagged sentences. The quality of the sentiment identification was also confirmed by human judges. We also explore dependencies and overlap between different sentiment types represented by smileys and Twitter hashtags.