Medir a qualidade dos comentários online: uma proposta metodológica a partir de sites jornalísticos em Portugal, Brasil e Espanha*
Measuring the Quality of Online Comments: A Methodological Proposal from Journalistic Sites in Portugal, Brazil and Spain
Medición de la calidad de los comentarios online: una propuesta metodológica a partir de páginas web periodísticas en Portugal, Brasil y España
Fábio Ribeiro, Carlos Assunção
Medir a qualidade dos comentários online: uma proposta metodológica a partir de sites jornalísticos em Portugal, Brasil e Espanha*
Signo y Pensamiento, vol. 41, 2022
Pontificia Universidad Javeriana
Carlos Assunção
Universidade de Trás-os-Montes e Alto Douro, Portugal
Recepção: 15 Fevereiro 2021
Aprovação: 18 Novembro 2021
Publicação: 15 Agosto 2022
Resumo: Ao longo da última década, tem-se assistido a um intenso debate sobre a relevância dos comentários às notícias online. Alguns investigadores questionam o discurso de ódio verificado nesses espaços, outros destacam a partilha de opiniões entre cidadãos. Este artigo propõe uma ferramenta metodológica de medição da qualidade dos comentários às notícias online, utilizando uma amostra de 300 comentários em sites com grande visibilidade em Portugal (Público. Sapo), Espanha (El País. 20 Minutos) e Brasil (UOL. Folha S. Paulo). Os resultados revelam que os comentadores utilizam tendencialmente um nome próprio, uma argumentação pouco pessoal (82,3%), relevante para a discussão em causa (60,3%), com um número reduzido de erros ortográficos/gramaticais (14,7%) e intervenções agressivas (31,7%). Seguindo o Modelo de Avaliação de Políticas dos Comentários Online (mapco), comprovou-se que sites que apostam em sistemas classificados de qualidade na moderação dos comentários conseguem atrair intervenções mais relevantes e oportunas.
Palavras-chave:média, online, comentário, notícias, qualidade.
Abstract: In the last decade there have been several debates about the relevance of online news comments. While some question the hate speech that is verified in these spaces, others highlight the possibility of exchanging opinions. This paper proposes a methodological tool to measure the quality of online news comments, using a sample of 300 comments on highly visible websites in Portugal (Público; Sapo), Spain (El País; 20 Minutos) and Brazil (UOL; Folha S. Paulo). The results determine that commentators tend to use a little personal argumentation (82.3%), although relevant to the discussion in question (60.3%), with few grammatical errors (14.7%) or aggressive interventions (31.7%). Following the Online Comment Policy Evaluation Model (Known in Spanish as mponc), it is concluded that websites with quality comment moderation systems attract more relevant and timely interventions.
Keywords: Media, online, comments, news, quality.
Resumen: A lo largo de la última década, se ha visto un intenso debate sobre la relevancia de los comentarios a las noticias online. Algunos investigadores cuestionan el discurso de odio registrado en estos espacios, otros destacan el intercambio de opiniones entre ciudadanos. Este artículo plantea una herramienta metodológica de medición de la calidad de los comentarios a las noticias online, utilizando una muestra de 300 comentarios en páginas web de gran visibilidad en Portugal (Público. Sapo), España (El País. 20 Minutos) y Brasil (UOL. Folha S. Paulo). Los resultados revelan que los comentaristas utilizan tendencialmente un nombre propio, un argumento poco personal (82,3%), relevante para la discusión en cuestión (60,3%), con un número reducido de errores ortográficos/gramaticales (14,7%) e intervenciones agresivas (31,7%). Siguiendo el Modelo de Evaluación de Políticas de Comentarios Online (mapco), se ha demostrado que las páginas web que apuestan por sistemas clasificados de calidad en la moderación de los comentarios logran atraer intervenciones más relevantes y oportunas.
Palabras clave: medios, online, comentarios, noticias, calidad.
O comentário online como ato participativo
Provavelmente nunca teremos ouvido falar tanto de “participação” como na atualidade. Flutuando por diferentes níveis de fascínio, devaneio, promessa política ou conjuntural (Carpentier, Dahlgren e Pasquali, 2013), é hoje relativamente pacífico considerar que a popularização da World Wide Web, a partir dos anos 1990, tornou a ideia de intervenção no espaço público, especialmente no digital, numa exigência crescente e com formatos que convidam o interesse generalizado.
Para tal concorre a ideia de que o público assume um papel determinante para o ecossistema participativo. Seguindo a proposta de Dayan e Abrantes (2006), o público implica uma determinada conceção de socialidade, envolvimento e performance, através de uma identidade partilhada, mas outros autores avançam com propostas mais audazes do ponto de vista teórico. Gallagher (2018) considera os diferentes públicos online como autênticos “processos emergentes” de produção de sentido e significado, propondo que se pense neste grupo de pessoas para além de simples variáveis demográficas. O autor refere, por isso, que o processo de produção jornalística deverá invariavelmente ponderar eventuais contributos por parte dos públicos.
No que se refere a investigação nesta área científica, o contributo do cidadão para o espaço público social tem vindo a ocupar o interesse de diversos académicos ao longo da História. Um dos enquadramentos conceptuais mais conhecidos reside na teoria do ator-rede, de Michel Callon, Madelaine Akrich, John Law, entre outros, que remonta ao final dos anos 1980. Bruno Latour, um dos investigadores que também participou nesta corrente de pesquisa, explicaria que esta teoria aborda as mobilidades do cidadão num espaço cívico, as repercussões da sua atividade como átomo social: “todos os indivíduos fazem parte de uma matriz cujas linhas e colunas se relacionam entre si” (2011, p. 806). A teoria do ator-rede representa espécie de inovação técnica e tecnológica, em que a ciência e os saberes práticos dos atores sociais prevalecem como agendas de mudança social, uma vez que a estabilização de um núcleo central de ativismo implicará sempre processos de deslocação, tradução e evolução até à concretização de alterações sociais efetivas (Santaella e Cardoso, 2015).
O convite para integrar uma determinada circunstância participativa sugere a natureza mínima daquilo que se entender por participação. Independentemente da esfera e do contexto a que reporta, podemos sistematizar a argumentação que justifica a necessidade de uma participação mais ativa de acordo com três lógicas (Carpentier, Melo e Ribeiro, 2019): política (como proteção social ou o cumprimento de um desígnio de Direitos Humanos); social (como ferramenta educativa, de integração ou de desenvolvimento); fantasmagórica (como uma atividade de recreio, fruição ou lazer).
A ideia de participação apresenta igualmente uma conotação política, numa espécie de herança social que remonta a períodos temporais longínquos da atualidade (Held, 1996). Desde a intervenção dos cidadãos na Antiguidade Clássica greco-romana na discussão de assuntos de interesse público, em espaços como os fóruns ou tribunais de opinião (Simón, 2006), passando pelas primeiras cartas do leitor publicadas em Inglaterra do século xvii (Silva, 2012), a atualidade profundamente tecnológica reconfigurou decisivamente a ideia de participação, muito embora diversos postulados teóricos tenham explicado, ao longo das últimas décadas do século xx, a centralidade do indivíduo no contributo da causa comum.
No caso do presente artigo, discute-se a intervenção dos utilizadores de sites de informação jornalística nas caixas de comentários que normalmente se seguem às notícias online. De acordo com estudos anteriores, este comportamento retoma a ideia de interatividade navegacional online proposta por Mark Deuze (2001), que permite a consulta de várias páginas, entre ferramentas que permitem voltar ao início e ainda os botões de scroll. Boczkowski (2004) acrescentaria ainda uma outra tipologia de interatividade, a de contacto, uma possibilidade que o online trouxe de contacto entre utilizadores e os proprietários de uma página, proporcionando um diálogo entre utilizadores. Ora, se a participação é entendida como a redistribuição do poder, entendida neste caso como aquela que permite a qualquer cidadão a capacidade de intervir, outro ponto particularmente relevante nesta área teórica relaciona-se com as intensidades da participação.
Seguindo estudos de Hamilton (2003), Rosa Moreno (2006) ou Ribeiro (2017), o comportamento participativo parte do pressuposto da existência de diversos níveis de participação dos cidadãos com os média. Num patamar básico considera-se que o mero acompanhamento da atividade mediática de um determinado órgão de comunicação social constitui um ato participativo, considerado como passivo ou recetivo. No entanto, quando um cidadão participa na esfera mediática, através de um determinado contributo concreto (carta, telefonema, e-mail, caixas de comentário), assiste-se a nível de participação instrumental ou reativo, o que supõe um compromisso mais robusto entre estes dois agentes sociais. Contudo, ainda se pode admitir um outro nível mais intenso de participação, sobretudo quando a intervenção do cidadão se configura como um elemento relevante e utilizado pelos média para os seus formatos participativos; este comportamento define-se como participação ativa ou substantiva. A principal limitação deste apontamento teórico, que versa sobre os níveis de intensidade da participação, assenta na forma como avalia apenas mecanicamente a intervenção dos cidadãos. Apenas se discute, nessa perceção, o grau de envolvimento da participação e não se reflete sobre a qualidade e o valor da mesma.
Esta aparente debilidade teórica tem vindo a ser abordada nos estudos que se inserem na interseção entre os média e a participação. Cristina González-Pedraz e Ana Victoria Pérez-Rodríguez estudaram quase 3000 comentários online às notícias sobre carnes vermelhas e cancro, no site do jornal espanhol El País. As autoras concluíram que os botões de “gosto” e “não gosto”, promovidos na secção de comentários, incitam claramente à participação, além de que existe um perfil de comentador: “um utilizador que comenta habitualmente através de um pseudónimo (…) ou amparados num anonimato que permite a realização de comentários agressivos ou que transmitem estereótipos” (2019, p. 101). Ainda neste contexto, João Gonçalves estudou 1000 comentários nos sites dos jornais portugueses Público, Jornal de Notícias e A Bola, concluindo que a agressividade latente verificada parte da “construção de uma narrativa da opinião pública, uma narrativa que não se faz de factos e argumentos, mas sobretudo de experiências e emoções” (2014, p. 73). Num estudo idêntico, Maria Lebre analisou os comentários do Grupo Globo de Comunicação, nomeadamente no site G1, e encontrou um conjunto de vocabulário “recheado de opiniões e narrativas de cunho sociopolítico nas críticas sobre os acontecimentos focalizados” (2020, p. 145). Ambos os trabalhos oferecem pistas para se pensar em categorias de análise dos comentários, que servem de base ao ponto metodológico que seguidamente se apresentará no apartado metodológico.
Perceções não convergentes sobre comentários às notícias online
Como já se referiu brevemente, o comentário online, como categoria isolada, envolve um conjunto de dúvidas e representações negativas. Aplicados à esfera da atividade mediática, estes níveis de representação não são diferentes. No entanto, não parece ser líquido considerar-se que a mera existência dos comentários online justifica a pouca crença no potencial participativo dos cidadãos. Tal como referem diversos autores, esta falta de confiança pode efetivamente relacionar-se com uma ideia mais ampla, até com o próprio sistema democrático. Como referiu Perry (1973), a democracia nem sempre viveu sob o olhar entusiasta e imaculado com que muitos intelectuais sonhavam. Aliás, Chantal Mouffe já por várias vezes sublinhou a ideia de que a reputação da democracia só poderá ser suficientemente robusta através “combate vibrante entre diferentes posições políticas democráticas” (2000: 104).
Independentemente do marco contextual que problematiza esta ideia de participação, hoje discute-se o papel ativo dos meios de comunicação relativamente aos comentários que acolhem nas suas páginas online. A Entidade Reguladora para a Comunicação Social (erc), a instituição pública que em Portugal é responsável pela monitorização dos meios de comunicação social, recebe queixas frequentes sobre o nível de agressividade dos comentários online. Numa das últimas deliberações referentes a situações desta natureza, em 2017, contra o jornal SOL, a erc fazia um apelo importante à intervenção dos média: “A presença dos órgãos de comunicação social online não pode estar subjugada à lógica de um mero fórum de discussão online, com termos de uso e condições de utilização frágeis e moderação inexistente ou débil”. Como se depreende, não existe um consenso alargado sobre forma como se gerem os comentários, uma questão que permanece atual, mas que reside num plano exterior das preocupações deste artigo.
Uma das críticas mais recorrentes sobre a qualidade dos comentários refere-se ao conhecimento que os cidadãos apresentam para se posicionarem sobre determinados assuntos. A forma como a sociedade constrói a perceção de um acontecimento configura um interesse científico que se multiplica por diversas áreas. A partir das repercussões sociais que se fizeram sentir depois de uma série de assaltos a bancos em Pittsburgh, nos EUA, em meados dos anos 1990, dois académicos e psicólogos da Universidade de Cornell desenvolveram um estudo que provou, por um lado, a incapacidade das pessoas em reconhecer a sua incompetência para opinar e, por outro, atribuir autoridade para o comentário de outras. Os investigadores criaram assim o efeito Dunning e Kruger (1999), que se fundamenta na crença de que todos podemos opinar sem ter qualquer ideia do facto que está em discussão. Na verdade, este trabalho recorda um outro estudo mais antigo, de Walter Lippman, que, em 1922, já defendia que, perante um facto desconhecido, os indivíduos optam por abordá-lo recorrendo a factos ou situações similares, que lhe aconteceram a si ou a mais próximos, sem que haja um princípio de identificação ou conhecimento rigorosos.
Outra das críticas comuns aos comentários reside na agressividade que por vezes se verifica nesses espaços. Conforme refere Lebre (2020), os editores do site brasileiro G1 optam frequentemente por excluir a possibilidade de comentários em notícias que abordam conteúdos relativos à comunidade lgbt, racismo e feminismo, pelos temores de uma escalada de violência verbal. D’Haenens, Willen e Heinderyckx (2019) referem que um dos alvos mais recorrentes para campanhas de ódio online relaciona-se com a questão dos migrantes que procuram um refúgio na Europa. Por seu turno, Gonçalves (2014) defende que a agressividade não existe num quadro valorizo de “boa” ou “má”, mas numa intenção clara de hostilizar um interveniente ou uma questão retratada. Cho e Kwon (2015) acreditam que a espiral da negatividade dos comentários leva à criação de “chamas inflamadas”, de uma eterna diatribe de comentários que comprometem seriamente o potencial democrático-deliberativo que o debate online teoricamente proporciona.
No entanto, é possível encontrar estudos que se dedicam a estudar o outro lado da questão até agora retratada. Para Jang, Kim e Jung (2016), a existência de uma negatividade declarada nos comentários apenas representa parte do problema, uma vez que existem motivações para justificar a continuidade destes formatos. Para estes autores, que desenvolveram uma investigação sobre ciberbullying, os utilizadores de espaços online referem três aspetos que determinam a validação positiva destas ferramentas: partilhar relatos pessoais tendo em vista fenómenos de identificação; exercer influência positiva junto de outros; usufruir experiências marcantes capazes de diminuir alguns tipos de ansiedade social.
Joseph Reagle, autor de diversos livros sobre tecnologia, internet e comportamento humano, desafia esta conceção do comentário online como profundamente negativa, embora admita que a intervenção dos cidadãos nestes espaços possa ser desesperadora. No livro “Reading the Comments”, de 2015, o autor parte de uma premissa muito simples, que retoma parte da discussão anterior sobre o nível mínimo de participação. Reagle admite que a mera realização instrumental de um botão de interação, como um “gosto”, sugere, indiretamente, um determinado comentário. Nesta obra, o professor de Comunicação da Northeastern University, nos EUA, recorre a um estudo com mais de 8500 comentadores online, concluindo que existe uma parte significativa de comentários que podem revestir-se de uma função positiva: informar, aprimorar, moldar comportamentos ou atitudes. Neste sentido, Reagle apresenta algumas das razões principais para a realização dos comentários: “corrigir um erro” (19%); “acrescentar algo à discussão” (18%); “apresentar uma perspetiva pessoal” (10%); “representar um ponto de vista” (10%) e “ser engraçado” (8%).
Tendo por base algumas das considerações teóricas anteriormente apresentadas, este estudo apresenta com o objetivo de avaliar os comentários às notícias online de diversos órgãos de comunicação. Deste modo, estruturamos as seguintes Questões de Pesquisa (QP):
QP1: quais as categorias que se podem utilizar para analisar os comentários às notícias online?
QP2: como se caracterizam, genericamente, os comentários às notícias online, do ponto de vista técnico e semântico?
QP3: que características deverá apresentar um comentário online de qualidade?
QP4: o sistema de moderação das intervenções dos utilizadores influencia a qualidade no comentário?
Descrição e métodos
Este estudo utiliza a técnica de análise de conteúdo, tendo em vista o cumprimento de desígnios metodológicos quantitativos e qualitativos. A partir de trabalhos anteriores (Silva, 2012; Ribeiro, 2017; Gonçalves, 2014), construiu-se uma grelha interpretativa dos comentários realizados às notícias online que pretende avaliar a qualidade dos contributos dos internautas. Relativamente à amostra, decidiu-se igualmente incidir a observação nos sites jornalísticos mais visitados em Portugal, Espanha e Brasil, de acordo com dados do relatório Digital News Report, de 2019, do Reuters Institute.
De acordo com o estudo realizado por Ribeiro (2020), os principais sites jornalísticos portugueses, espanhóis e brasileiros, podem organizaram-se quanto à qualidade da moderação dos comentários em quatro categorias. Deste modo, o Modelo de Avaliação das Políticas para os Comentários Online (mponc, na sua sigla em inglês) contempla os seguintes níveis: inexistente (não é possível publicar comentários às notícias online); básico (não existe moderação, nem regras de participação); sólido (existem regras de participação e a moderação é feita pela comunidade); alta qualidade (sistema de moderação robusto, com regras bem definidas e visíveis para os utilizadores).
Este estudo, que se insere numa lógica exploratória com objetivos de replicabilidade e atualização metodológica, procura observar de que modo a qualidade dos comentários às notícias online estará eventualmente relacionada com índices de qualidade na moderação desses mesmos contributos. Neste sentido, selecionou-se para esta amostra três meios de comunicação – um por país – para dois níveis de moderação definido no estudo de Ribeiro (2020), nomeadamente o básico e o de alta qualidade. Esta definição prende-se com a intenção de perceber a qualidade de comentários, relacionando-as com as políticas de moderação. Assim sendo, no nível alta qualidade escolheu-se, por via aleatória, os sites do UOL (Brasil), Público (Portugal) e El País (Espanha); no patamar básico de moderação, os sites Folha de S. Paulo (Brasil), Sapo (Portugal) e 20 Minutos (Espanha) 1.
Posteriormente, decidiu-se incluir analisar os referidos comentários, pelo que se estabeleceram diversos parâmetros: reunir 50 comentários por cada órgão de comunicação social, totalizando 300 comentários para análise. Para tal, foram consideradas apenas as notícias incluídas no tópico “Política”, onde foram retirados um máximo de 10 comentários por notícia. Também foi decidido não analisar notícias com uma carga demasiado negativa, pois poderiam interferir na essência geral dos comentários, uma vez que se pode supor que títulos jornalísticos onde fica evidente o confronto entre personagens políticas ou a exarcebação de diversas polémicas pode servir de caldo cultural para a agressividade online. A recolha de comentários para esta amostra teve início a 29 de março de 2020 e terminou a 13 de abril de 2020.
O universo deste estudo inclui comentadores de notícias online em espaços disponibilizados por órgãos de comunicação social, especialmente aqueles com enfoque jornalístico. Este processo de amostragem não probabilística (Quivy e Campenhoudt, 1992) envolve a seleção de uma parte da população em estudo e usa um julgamento subjetivo para analisar convenientemente as unidades de seleção, economizando custos com pesquisas de entrevistas pessoais. Do ponto de vista da observação que subjaz a esta amostra não-probabilística, construída por conveniência, seguimos o entendimento de Bengtsson (2016), que propõe modelos de análise de factos sociais e mediáticos com base em duas técnicas de análise: manifesta (o investigador retira conclusões a partir do discurso apresentado, numa análise tão próxima do texto quanto possível) e latente (o investigador avança para uma interpretação subjetiva do texto). Este artigo utiliza ambas formulações, uma vez que se dedica a analisar a informação concreta e visível nos sites das plataformas, ao mesmo tempo que desenvolve interpretações próprias a partir de trabalhos jornalísticos sobre o objeto de estudo representado. Neste sentido, estabeleceu-se um conjunto de sete categorias de observação dos comentários, que podem ser descritos da seguinte forma:
Nível de interação: a) com as notícias; b) para um comentário; c) para uma cadeia de comentários (dois ou mais comentários);
Autoria do comentário: a) anónimo; b) pseudónimo, isto é, a identificação de autores pela sigla ou pela conjugação de determinadas partes de um nome e apelido; c) nome comum (embora possa representar uma categoria especulativa, parte-se do pressuposto que um nome comum implica um comentador real);
Destinatário do comentário: a) externo (citar autores ou situações distantes da notícia ou dos comentários); b) interno (para o jornalista que escreveu a notícia; um ou mais comentadores); c) protagonistas (personalidades diretamente envolvidas na notícia); d) indefinido (não é impossível atribuir um destinatário);
Relevância para a discussão: a) direta (contribui de alguma forma para a discussão trazida pela notícia); b) indireto (comentário apenas remotamente direcionado para a notícia); c) irrelevante (intervenção totalmente fora de contexto);
Personificação da argumentação: a) direto (o comentador fala por si mesmo, na primeira pessoa); b) indireto (usa expressões em terceira pessoa – singular / plural);
Agressividade: a) sim (o comentador profere uma declaração agressiva, injuriosa, para com os protagonistas, comentadores, etc.); b) não (o comentário contribui, direta ou indiretamente, para a discussão).
Erros gramaticais e de ortografia: a) sim (existência de pelo menos um erro); b) não (ausência de erros).
Resultados e discussão
Em relação ao primeiro critério – o nível de interação –os comentadores preferem reagir à notícia do que propriamente às opiniões dos participantes neste formato (gráfico 1). Contudo, esta dinâmica que percorre a maior parte da amostra não apresenta a mesma proporção em todos os casos, uma vez que no caso do jornal espanhol El País surge um equilíbrio de comentários às notícias (26) e aos comentadores (24). Este pode ser o primeiro sinal de que os padrões de interatividade, muitas vezes destacados por académicos, não encontram uma correspondência perfeita nesses espaços participativos, já que os utilizadores parecem claramente não se envolver em discussões e argumentos.
Tendo por base os dois grupos de sites observados – moderação de “alta qualidade” e “básico” – regista-se uma pequena diferença em termos da interatividade. Aparentemente, os sites com moderação básica motivam uma maior interatividade (29%), quando comparados com os restantes (16%).
Relativamente à segunda categoria de observação, este estudo indica que a utilização de um nome comum, partindo naturalmente das reservas já colocadas anteriormente, reúne a maioria das ocorrências na amostra (59,3%). Tal como refere a tabela 1, este valor está acima do identificado no indicador “pseudónimos” (40,1%), um facto que suscita inquietações sobre as motivações dos utilizadores em privilegiar estas designações para promover, eventualmente, para comentários abusivos e discurso de ódio.
Nos três sites considerados de elevada qualidade na moderação de comentários regista-se um maior número de pseudónimos (83) do que nos restantes (67). Isto fornece provas adicionais de que políticas consistentes para comentários não implicam necessariamente atitudes positivas e valiosas como estas.
De seguida, o gráfico 2 indica que a maioria (60,3%) dos comentários online são publicados para abordar os principais protagonistas da notícia. Embora 13,7% dos comentários impliquem uma abordagem direta a um comentador em particular ou ao jornalista responsável pela notícia (interno), há um número relevante de comentários que claramente divergem do âmbito da discussão. Este conjunto de dados (26%) revela uma pobre conceção de comentários, uma vez que os comentadores preferem direcionar as suas intervenções a questões externas ou entidades/personalidades ao assunto retratado na notícia.
Se levarmos em linha de consideração os dois grupos analisados, verifica-se apenas que a dispersão de dados ocorre de modo mais visível nos sites Folha de S. Paulo e 20 Minutos, o que faz com que os sites com sistemas de moderação básicos registem maiores níveis de comentários dirigidos a entidades externas (não relacionadas com as notícias) ou indefinidas. A nosso ver, estas duas categorias envolvem uma conceção de comentários negativa, uma vez que as contribuições dos utilizadores deveriam ser formuladas para personalidades, entidades ou questões concretas, o que não se verifica nestes casos. A presença deste tipo de comentários negativos neste grupo de sites é de 32%, um registo que supera os 20% nos sites com moderação de alta qualidade.
A próxima categoria relaciona-se com um aspeto importante durante uma determinada interação social. O modo como os comentadores usam argumentos para trazer discussões, abordagens ou perspetivas válidas, pode oferecer pistas para se pensar na vitalidade destes espaços participativos. O gráfico 3 demonstra a dispersão dos dados tendo em conta esse objetivo e retrata a predominância do comentário com relevância direta (54%). As intervenções que se afastam da discussão (23,7%) ou que nada contribuem para a mesma (22,3%) ocupam uma presença claramente minoritária.
Neste ponto, as diferenças parecem evidentes nos dois grupos de observação. Os sites classificados com moderação básica reúnem um número mais significativo de comentários pouco ou nada relevantes (57,3%), um valor acima do registado no outro grupo (42,6%). Este facto significa, por isso, que os comentários com relevância direta para a discussão incluem-se nos sites de elevada qualidade na moderação (65,3%), muito acima dos 34,7% do grupo comparativo.
A quinta variável de observação relaciona-se com a personificação da argumentação e, tal como refere a Tabela 2, a nota geral aponta para a utilização de um estilo de enunciação indireta. Seguindo a orientação definida para observar esta dimensão da análise, os comentadores demonstram utilizar uma argumentação que não parte de formulações pessoais. Neste caso, o regime de enunciação não se estabelece a partir de uma ideia de “eu” ou “nós”. Ainda assim, o caso do Público acaba por ser o mais equilibrado da amostra, apesar de os restantes meios registarem um valor praticamente exíguo de comentários com formulação direta. Conclui-se, por isso, que não existem diferentes nos dois grupos de sites observados.
Ainda considerando aspetos de ordem substantiva no comentário, analisa-se de seguida a agressividade nos discursos (gráfico 4). Uma leitura global dos resultados aponta, desde logo, para a ideia de que os comentários online não se encontram repletos de agressividade. Os dados revelam um ponto contrário à própria perceção social e que tem vindo a ser plasmada por diversos trabalhos académicos nesta área. Neste sentido, apenas 31,7% dos comentários totais são ofensivos/agressivos, sendo que a maioria (68,3%) cumpre as normas básicas de respeitabilidade na troca de argumentos. Verifica-se ainda que a existência de regras de moderação sólidas não significa melhores níveis de conduta no comentário.
A existência de intervenções agressivas não é muito díspar entre os dois grupos analisados: nos sites com moderação de alta qualidade, a proporção de comentários agressivos é de 64,7% perante os 72% nos sites com moderação considerada básica.
A última categoria de observação aponta no sentido da verificação de erros gramaticais ou de ortografia nos comentários (gráfico 5). Tal como se referiu anteriormente, alguma da perceção social sobre os comentários é negativa, mesmo pelas questões que se relacionam com o incumprimento da escrita. No entanto, este estudo revela que a esmagadora maioria dos comentários não apresenta qualquer erro gramatical ou de ortografia (85,3%).
No que se refere aos grupos analisados, a predominância de comentários com problemas neste ponto de vista surge predominantemente nos sites com moderação de alta qualidade (17,3%), ligeiramente acima do outro grupo considerado (12%). De qualquer modo, estamos perante níveis de incumprimento desta categoria em patamares muito pouco expressivos, tendo em conta a referida representação social sobre os comentários online.
Por fim, a categoria que procura medir a qualidade dos comentários, tendo em conta as variáveis anteriormente definidas. Das sete variáveis estudadas, considerou-se que apenas cinco se ajustam ao propósito de medir concretamente o nível substantivo dos intervenientes nas caixas de comentário online: autoria; destinatário; relevância; agressividade; erros gramaticais e de ortografia. A Tabela 3 explica os indicadores que integram cada uma das referidas variáveis, tendo em conta a definição daquilo que configura um comentário de qualidade de outro que não apresenta o mesmo padrão.
Depois de identificados os indicadores que explicam a qualidade dos comentários, apresenta-se de seguida a escala que organiza, por fim, todos estes dados (Tabela 4).
A partir desta escala gradativa, procurou perceber-se a distribuição da qualidade dos comentários (gráfico 6).
Neste último nível de observação não se vislumbra qualquer dado estatístico que contrarie a linha geral dos resultados obtidos nesta amostra. De facto, não existem substanciais diferenças na qualidade dos comentários nos dois grupos de observação definidos inicialmente neste estudo. Incluindo as categorias “elevada” e “consistente” numa categoria genérica de comentário de qualidade – e as restantes, por oposição – verifica-se justamente esta questão que percorre todo este estudo: os comentários de qualidade representam 79,7% do total da amostra; nos sites de moderação de alta qualidade, os comentários fixam-se nos 41%, enquanto nos sites classificados como “básicos” reúnem 38,7% deste tipo de intervenções. Como se referiu, são valores demasiado próximos para se avançar numa hipótese de que o sistema de moderação dos comentários produz um determinado efeito na qualidade da participação dos utilizadores online.
A finalizar este ponto, procuramos de seguida sistematizar as principais conclusões deste estudo tendo por base as Questões de Pesquisa:
QP1: quais as categorias que se podem utilizar para analisar os comentários às notícias online? Utilizou-se um conjunto de categorias, adaptadas e inspiradas a partir de trabalhos anteriores, que, recorrendo aos indicadores definidos no capítulo metodológico, são os seguintes: nível de interação; autoria do comentário; destinatário do comentário; relevância para a discussão; personificação da argumentação; agressividade; erros gramaticais e de ortografia;
QP2: como se caracterizam, genericamente, os comentários às notícias online, do ponto de vista técnico e semântico? Os comentadores utilizam, preferencialmente, um nome próprio (59,3%). No que diz respeito à formulação do comentário, os participantes preferem reagir à notícia (77,3%), mais do que ao cruzamento de perspetivas entre os participantes, utilizando uma argumentação pouco pessoal (82,3%). A maioria dos comentários destina-se aos protagonistas da notícia (60%3), sendo que 54% dos mesmos revela um contributo direto para a discussão em causa, um facto que supera intervenções que se afastam da discussão (23,7%) ou que nada contribuem para a mesma (22,3%).
QP3: que características deverá apresentar um comentário online de qualidade? A partir das variáveis utilizadas neste estudo, considera-se que um comentário de qualidade deveria integrar todos os indicadores que sugerem um contributo positivo e que constam das Tabelas 1 e 2. Um comentário de elevada qualidade deveria ser assinado por um utilizador com um nome comum, destinando-se ao(s) protagonista(as) ou personalidade(s) envolvida diretamente na notícia, produzir alguma relevância direta para a discussão, não suscitar qualquer tom de agressivo, sem erros gramaticais e de ortografia. Um comentário de qualidade muito fraca seria escrito por um utilizador anónimo ou através de um pseudónimo, destinado a um interveniente externo à notícia, com relevância indireta ou irrelevante, através de contributos agressivos e com erros gramaticais e de ortografia;
QP4: o sistema de moderação das intervenções dos utilizadores influencia a qualidade no comentário? De um modo geral, não se pode considerar que a diferença entre os grupos de observação seja particularmente significativa em todas as variáveis, embora se assinalem comportamentos distintos. Relativamente ao nível de interação, os sites com moderação básica motivam uma maior interatividade (29%), quando comparados com os restantes (16%), no entanto é para a notícia que a maioria aponta. Sendo certo que os comentários se dirigem, em ambos os grupos, para os protagonistas, os sites com moderação básica reúnem mais comentários para destinatários indefinidos ou externos: 32%, em comparação com os 20% registados no outro grupo. A utilização de nomes próprios é a nota comum, apesar de os pseudónimos serem mais frequentes nos sites de qualidade (27,7% em comparação com 22,3%). Em ambos se verifica uma argumentação indireta, não focado em enunciações pessoais. A relevância dos comentários é tendencialmente direta nos dois grupos, embora neste caso se observe uma importante diferença (65,3% nos sites de qualidade e 34,7% no outro grupo). Os comentários não são agressivos, na globalidade, com poucas diferenças entre grupos (72% nos sites básicos e 64,7% nos sites de elevada qualidade). Nos dois grupos de sites também não se verifica uma predominância de erros gramaticais e de ortografia; a incidência do erro é próxima entre os dois conjuntos (17,3% nos sites de qualidade e 12% no outro grupo). Por fim, os dois grupos exibem qualidade no comentário e mesmo quando este facto não se verifica a diferença volta a não ser muito expressiva (41% nos sites de qualidade e 38,7% no outro grupo).
Conclusões
Para Walter Lippman (1922), a opinião pública assume-se como um tribunal permanente aberto, pronto a funcionar, suscetível a mutações de vária ordem. Apesar de não se saber ao certo o contributo dos comentários online para a sedimentação daquele que é o entendimento maioritário de uma sociedade perante um determinado assunto ou interveniente, os espaços mediáticos concorrem para a promoção de uma ou várias visões sobre o mundo, suscetíveis de influenciar os cidadãos. Aliás, pensando na própria lógica comunicativa destes formatos participativos, pouco se sabe ainda sobre as trocas sociais que simbolicamente se cruzam nas caixas de comentário, recuperando um pouco a teoria das trocas sociais de Molm (1997) ou a própria racionalidade argumentativa (Margolis, 1984) que preside a este tipo de participação.
Como se poderá depreender, a investigação nesta área ainda tem um terreno francamente auspicioso e interessante por percorrer. O terreno das motivações que sustentam a participação destes indivíduos também já foi, de algum modo, estudado (Ribeiro, 2017), no entanto poderíamos ponderar um estudo sobre o outro lado da questão: quais as razões que justificam a falta de interesse daqueles que não comentam as notícias online? qual o perfil típico destas pessoas? de que modo os média podem recuperar o interesse deste silêncio participativo?
Este estudo apresenta como principais limitações o número eventualmente reduzido de comentários analisados – 300 – no entanto, servirá os propósitos de um estudo exploratório que pode assumir outras ambições. Provavelmente outras categorias de análise poderiam ser incluídas, bem como um conjunto mais alargado de sites de informação jornalística, de outras latitudes geográficas, igualmente. Uma dessas categorias a incluir poderia ser aquela que se refere ao discurso de ódio, uma área em franca expansão nos estudos em Ciências da Comunicação e que, na linha de outros trabalhos importantes (Banks, 2010; Gelber e McNamara, 2016); Carlson, 2020), poderia ser determinantes para ajudar a caracterizar este tipo de participação nos média.
A perspetiva de estudar dois grupos distintos pretendia, num nível inicial, testar a possibilidade de encontrar disparidades significativas nas variáveis estudadas. Como se referiu anteriormente, não se pode assumir que os sistemas de moderação produzam diferenças evidentes na postura dos comentadores e do valor substantivo dos comentários, no entanto, os sites com moderação de qualidade registam comentários que, na globalidade, se apresentam em melhores condições para o debate público. Em várias categorias, os valores percentuais aproximam-se entre os grupos e nota-se um certo equilíbrio. No entanto, pode considerar-se que os sites com moderação de elevada qualidade registam indicadores mais positivos: maiores níveis de interatividade, comentários mais focados nos protagonistas das notícias, com maior relevância direta para a discussão e, em suma, com maior qualidade no cômputo geral. Os sites considerados de moderação básica apresentam comentários mais desviados do tópico de discussão inerente à notícia e apresentam maiores índices de agressividade. Em ambos se regista uma personificação igualmente indireta na argumentação.
Parece ser claro assumir que, por entre dúvidas sobre a validade e pertinência dos comentários, a sobrevivência do formato clássico das caixas de comentário pode até vir a ser questionada num futuro próximo, sobretudo com a dificuldade em moderar a avalanche de opiniões publicadas. No entanto, a natureza básica do comentário, adstrito a uma caixa que facilmente já se reconhece, é uma realidade incontornável dos média e das redes sociais.
Financiamento
Este trabalho é apoiado por fundos nacionais através da FCT – Fundação para a Ciência e a Tecnologia, I.P., no âmbito do projeto estratégico do Centro de Estudos de Comunicação e Sociedade da Universidade do Minho (Portugal), com a referência UIDB/00736/2020.
Referências
Banks, J. (2010). “Regulating hate speech online”. International Review of Law, Computers & Technology, 24(3), 233-239. https://doi.org/10.1080/13600869.2010.522323
Bengtsson, M. (2016). “How to plan and perform a qualitative study using content analysis”. NursingPlus Open, 2, pp. 8-14. https://doi.org/10.1016/j.npls.2016.01.001
Boczkowski, P. (2004). “The Processes of Adopting Multimedia and Interactivity in Three Online Newsrooms”. Journal of Communication, 54(2), pp. 197-213.
Carlson, C. (2020). “Hate speech as a structural phenomenon”. First Amendment Studies, 54(2), 217-224. https://doi.org/10.1080/21689725.2020.1837649
Carpentier, N., Dahlgren, P., e Pasquali, F. (2013). “Waves of media democratization: a brief history of contemporary participatory practices in the media sphere”. Convergence, 19(3), pp. 287-294. https://doi.org/10.1177/1354856513486529
Cho, D., e Kwon, K. (2015). “The impacts of identity verification and disclosure of social cues on flaming in online user comments journal homepage”. Computers in Human Behaviour, 51, pp. 363–372. https://doi.org/10.1016/j.chb.2015.04.046
D’Haenens, L.; Willen, J., e Heinderyckx, F. (Eds.). (2019). Images of immigrants and refugees in Western Europe. Media representations, public opinion, and refugees’ experiences. Lovaina, Leuven University Press.
Dayan, D., e Abrantes, J. C. (2006). Televisão: das Audiências aos Públicos. Lisboa, Livros Horizonte.
Deuze, M. (2001). “Understanding the Impact of the Internet. New Media Professionalism, Mindsets and Buzzwords”. EJournalist, 1(1).
Entidade Reguladora para a Comunicação Social (2020, 5 de fevereiro). “Participação contra o jornal Sol a propósito da publicação de comentários ofensivos”. Recuperado de https://bit.ly/3dgt6bR
Gallagher, J. (2018). “Considering the Comments: Theorizing Online Audiences as Emergent Processes”. Computers and Composition, 48, pp. 34-48. https://doi.org/10.1016/j.compcom.2018.03.002
Gelber, K., e McNamara, L. (2016). “Evidencing the harms of hate speech”. Social Identities, 22(3), 324-341. https://doi.org/10.1080/13504630.2015.1128810
Gonçalves, J. (2014). “O Jogo da Participação: pensamento estratégico nas caixas de comentários dos jornais online”. Dissertação de Mestrado. Universidade do Minho, Braga.
González-Pedraz, C., e Pérez-Rodríguez, A. (2019). “Participación y perfil de los usuarios que comentan noticias de ciencia y salud online: estudio de caso”. Perspectivas de la Comunicación, 12(1), pp. 101-115. https://dx.doi.org/10.4067/S0718-48672019000100101
Hamilton, J. (2003). “Remaking media participation in early modern England”. Journalism, 4(3), pp. 293–313.
Held, D. (1996). Models of democracy. Cambridge e Stanford: Polity Press and Stanford University Press.
Jang, Y.; Kim, H., e Jung, Y. (2016). “A mixed methods approach to the posting of benevolent comments online”. International Journal of Information Management, 36(3), pp. 414–424. https://doi.org/10.1016/j.ijinfomgt.2016.02.001
Kruger, J., e Dunning, D. (1999). “Unskilled and Unaware of It: How Difficulties in Recognizing One's Own Incompetence Lead to Inflated Self-Assessments”. Journal of Personality and Social Psychology, 77(6), pp. 1121–34.
Latour, B. (2011). Networks, Societies, Spheres – Reflections of an Actor-Network Theorist. International Journal of Communication, 5, pp. 796-810.
Lebre, M. (2020). “Jornalismo on-line e os comentários dos leitores: interatividade, moderação e deliberação na mídia G1”. Dissertação de Mestrado. Universidade Nova de Lisboa, Lisboa.
Lippman, W. (1922). Public opinion. Nova Iorque: Free Press.
Margolis, H. (1984). Selfishness, altruism, and rationality. Chicago: The University of Chicago Press.
Molm, L. D. (1997). Coercive power in social exchange. Cambridge, University Press.
Moreno, R. (2006). “Citizens and media cultures: hidden behind democratic formality”. Global Media and Communication, 2(3), pp. 299–313.
Mouffe, C. (2000). The democratic paradox. Londres: Verso.
Perry, C. (1973). “Ethics and democracy”. Ethics, 83(2), pp. 87-107.
Quivy, R., e Campenhoudt, L. (1992). Manual de investigação em Ciências Sociais. Lisboa: Gradiva.
Reagle, J. (2015). Reading the comments. Cambridge, MIT Press.
Ribeiro, F. (2017). Opinião pública nos média em Portugal: quem participa e porquê?. Braga: CECS - Universidade do Minho. https://hdl.handle.net/1822/46238
Carpentier, N., Melo, A. D., e Ribeiro, F. (2019). “Resgatar a participação: para uma crítica sobre o lado oculto do conceito”. Comunicação e Sociedade, 36, 17-35. https://doi.org/10.17231/comsoc.36(2019).2341
Ribeiro, F. (2020). “Handling with online comments: a longitudinal approach in most accessed news sites in Portugal, Spain and Brazil”. Revista de Comunicación, 19(2), 125-144. https://doi.org/10.26441/RC19.2-2020-A7
Santaella, L., e Cardoso, T. (2015). “O desconcertante conceito de mediação técnica em Bruno Latour”. Matrizes, 9(1), pp. 167-185. https://www.revistas.usp.br/matrizes/article/download/100679/99413/175783
Silva, M. (2012). “Newsroom Practices and Letters-to-the-Editor. An Analysis of Selection Criteria”. Journalism Practice, 6(2), pp. 250–263. https://doi.org/10.1080/17512786.2011.629124
Simón, F. (2006). “Ritual participation and collective identity in the roman republic: censvs and lvstrvum”. In: Simón, F. et al. (eds.): Repúblicas y ciudadanos: modelos de participación cívica en el mundo antíguo (pp. 110-157). Barcelona: Publicacions i Edicions Universitat de Barcelona.
Notas
1
De acordo com o relatório anteriormente apresentado, os níveis de consumo dos websites revelam valores muito expressivos, o que denota uma audiência alargada: UOL (1º mais consumido), Público (9º), El País (1º), Folha de S. Paulo (6º), Sapo (4º) e 20 Minutos (5º).
*
Artigo de pesquisa
Autor notes
* Centro de Estudos de Comunicação e Sociedade – CECS, Universidade do Minho, Portugal
* Autor correspondente. Correio eletrônico: fabior@utad.pt
Informação adicional
Como citar este artigo: Ribeiro, F., y Assunção, C. (2022). Medir a qualidade dos comentários online: uma proposta metodológica a partir de sites jornalísticos em Portugal, Brasil e Espanha. Signo y Pensamiento, 41. DOI: https://doi.org/10.11144/Javeriana.syp41.mqco