Microsoft Word - SBIE2019Deller.doc Automatic Group Formation for Large Classes in Distance Education Deller J. Ferreira1, Matheus R. D. Ulmmann2 1Instituto de Informática – Universidade Federal de Goiás (UFG) Alameda Palmeiras, Quadra D – 74690-900 – Goiânia – GO – Brazil 2Instituto Federal da Bahia (IFBA), Campus Barreiras. R. Gileno de Sá Oliveira, 271 - Recanto dos Pássaros – 47808-006 – Barreiras – BA – Brasil. deller@ufg.br, matheusullmann@gmail.com Abstract. In this work, a group formation method was developed for distance education environments involving large classes, such as Moocs, in order to facilitate interactions between students. Group formation principles are applied as an attempt to meet the dichotomy that exists between the collective, which involves the formation of an on-line learning community on a massive scale, and the individual, with different interests, previous knowledge, expectations and profiles. The formation of groups is automatic, using an algorithm based on the particle swarm method and considering three criteria: level of knowledge, interest and leadership profile. Resumo. Neste trabalho, um método de formação de grupo foi desenvolvido para ambientes de educação a distância envolvendo grandes turmas, como Moocs, a fim de facilitar as interações entre os alunos. Os princípios de formação de grupo são aplicados como uma tentativa de atender à dicotomia existente entre o coletivo, que envolve a formação de uma comunidade de aprendizagem on-line em grande escala, e o indivíduo, com diferentes interesses, conhecimentos prévios, expectativas e perfis. A formação de grupos é automática, utilizando um algoritmo baseado no método de enxame de partículas e considerando três critérios: nível de conhecimento, interesse e perfil de liderança. 1. Introdução Indiscutivelmente, a adoção em massa da Internet nos últimos anos está promovendo uma mudança educacional e cultural nunca vistos antes e essa revolução digital está contribuindo de certo modo para mudar os processos de ensino e aprendizagem de forma significativa e irreversível [Harris et al. 2013]. A conectividade crescente têm aberto novos caminhos para a aprendizagem diariamente, e essa influência da conectividade provendo acesso ao conhecimento digital difundido em diversas novas ferramentas presentes na web irá redefinir o que entendemos como educação e aprendizagem [Harris et al. 2013]. Cursos a distância podem possuir como característica o tamanho da classe muito grande, podendo atingir um enorme gama de alunos. No entanto, a escalabilidade maciça de cursos on-line, também trazem desafios significativos para o ensino, desenvolvimento e gestão do curso. Em particular, uma grande escala torna difícil para os alunos interagirem, dada a grande quantidade de estudantes. A falta de interação e sentimentos de isolamento têm sido atribuídos como razões para os alunos matriculados desistirem dos cursos antes do seu término [Chandrasekaran et al. 2015]. DOI: 10.5753/cbie.sbie.2019.1936 1936 Anais do XXX Simpósio Brasileiro de Informática na Educação (SBIE 2019) VIII Congresso Brasileiro de Informática na Educação (CBIE 2019) O problema de evasão é ainda maior nos Moocs (Massive Online Open Courses). Os críticos dos Moocs argumentam que uma porcentagem muito pequena de alunos realmente completam a maioria dos Moocs, que o seu modelo pedagógico deixa muito a desejar quando comparado a experiências educacionais que permitam a interação estreita entre professores e alunos, e que eles são em grande parte compostas por estudantes que já possuem um nível de educação elevado [Robinson et al. 2015]. No entanto, essas interações podem ser melhoradas por meio de uma formação de grupos eficiente, compensando de certo modo a falta de interação com o instrutor. Uma experiência eficaz de aprendizagem em grupo é influenciada por alguns fatores, dentre eles estão a atitude do estudante para buscar conhecimento e aprender, interações com outros alunos e dinâmica de grupo [Claros and Leovy Echeverria 2015]. No entanto, os ambientes de educação a distância se destacam pela falta de serviços relacionados com a interação social, e sem esses serviços dificilmente experiências de aprendizagem colaborativa são oferecidas [Claros and Leovy Echeverria 2015]. Cursos a distância abarcam uma diversidade entre os alunos, abrindo um espaço para um número cada vez maior de participantes de diferentes localidades, idades e backgrounds [McAuley et al. 2010], de um modo que os objetivos dos participantes tendem a ser distintos, bem como seus processos de aprendizagem e motivação. Princípios de formação de grupos são propostos neste trabalho como uma tentativa para atender a dicotomia que existe entre o coletivo, que envolve a formação de uma comunidade online de aprendizagem em uma escala maciça, e o individual, com diferentes interesses, conhecimentos prévios e expectativas. Uma formação de grupo, onde alunos possuem o mesmo interesse, permite que os alunos dentro de um grupo sigam seus próprios caminhos de aprendizagem, interesses e objetivos. Por outro lado, nesse mesmo grupo pode haver heterogeneidade com respeito a outros aspectos, gerando diferentes pontos de vista e, consequentemente, uma melhor construção do conhecimento. A formação de grupo proposta aqui tira vantagem da diversidade entre os alunos e ao mesmo tempo torna gerenciável os diferentes interesses entre os alunos, além de incorporar o conceito de liderança distribuída. [Harris et al. 2013] entendem que a liderança distribuída consiste em uma distribuição social da liderança, onde cada função de liderança é implementada sobre o trabalho a ser desenvolvido e dividida entre os participantes do grupo, de modo que a tarefa seja realizada por meio da interação e ação coletiva. A liderança distribuída é abordada na formação de grupo com o objetivo de prover suporte na coordenação das atividades do grupo. Os grupos são heterogêneos em relação ao nível conhecimento e homogêneos a respeito dos interesses, ou seja, os grupos possuem alunos com diferentes níveis de conhecimento, mesmos interesses. A liderança distribuída também é implementada por três diferentes perfis de líderes em cada grupo. Cada aluno recebe orientações das ações de coordenação a ser exercida por ele de acordo com seu perfil de liderança. Com relação à técnica computacional utilizada na formação de grupo, os grupos são formados por meio do algoritmo Particle Swarm Optimization (PSO). Ao longo dos anos a otimização por enxame de partículas (PSO) tem sido utilizada para solucionar diversos problemas do nível de complexidade NP-difícil, como é o caso do 1937 Anais do XXX Simpósio Brasileiro de Informática na Educação (SBIE 2019) VIII Congresso Brasileiro de Informática na Educação (CBIE 2019) problema de formação de grupos, [Wang et al. 2009, Chen et al. 2010, Rosendo and Pozo 2010, Pierobom et al. 2012, Jarboui et al. 2008a, Jarboui et al. 2008b, Lin et al. 2010, Dascalu et al. 2013, Dascalu et al. 2014]. Os resultados destes estudos indicam que é possível resolver problemas NP- Difíceis de forma eficaz e eficiente utilizando PSO. Desse modo, nesse trabalho optamos por utilizar o algoritmo PSO, não só pela capacidade de resolver problemas de alta complexidade, mas também pela possibilidade de combinação e adição de critérios apenas modificando a função de aptidão [Pedersen and Chipperfield 2010]. Um método envolvendo a aplicação de questionários, a formação de grupo e instruções de como cada líder deve agir para coordenar as atividades foi desenvolvido. Um estudo de caso foi realizado para a avaliação do impacto educacional dos grupos formados. No estudo de caso as discussões on-line foram examinadas pelo método de análise de discurso proposto por [Newman et al. 1995]. Os resultados do estudo de caso evidenciaram que os grupos formados pelo algoritmo proposto obtiveram os melhores resultados nas interações quando comparados com os grupos formados aleatoriamente. O presente trabalho está dividido da seguinte forma, a seção 2 apresenta uma fundamentação teórica referente ao processo de formação de grupos na aprendizagem colaborativa. Em seguida, na seção 3, é apresentado o método utilizado para a formação de grupos em um curso a distância. Logo após na seção 4, um estudo de caso é apresentado. A seção 5 contém os resultados e discussões, e posteriormente, na seção 6 são apresentadas as conclusões. 2. F u n d a m e n t a ç ã o T e ó r i c a Na literatura, muitos estudos têm documentado os benefícios de aprendizagem em grupo especialmente em termos de motivação, engajamento e conclusão dos cursos. [Arendale and Hane 2014] perceberam que discussões em grupo estudo eram de extrema valia para a aprendizagem eficaz dos alunos e uma melhor retenção. No estudo de [Holliday and Said 2008] foi percebida uma melhor retenção e conforto na aprendizagem. [Davidson and Kroll 1991] identificaram um aumento da compreensão de conceitos e melhorias quanto à atitude e motivação de alunos. Um aspecto que pode ser levado em conta na formação de grupos em aprendizagem colaborativa é o interesse dos membros do grupo, visto que o interesse tem o potencial de alterar o envolvimento dos indivíduos na aprendizagem [Linnenbrink-Garcia et al. 2012]. Nesse sentido muitos serviços vêm sendo implementados com vistas a reunir pessoas com interesses comuns [Karamolegkos et al. 2009]. Nesse sentido, com o intuito de promover interações virtuais que promovam a construção do conhecimento, os membros de um grupo devem compartilhar o máximo de interesses em comum, ou seja, deve-se maximizar o grau de interesse comum dentro de cada grupo[Karamolegkos et al. 2009]. Níveis de conhecimento distintos e interesses comuns dos estudantes são dois critérios que comprovadamente formam grupos com interações profícuas [Lin et al. 2010]. Estudos indicam que formação de grupos com base em conhecimento distintos e interesses comuns pode incentivar melhores discussões durante o período de aprendizagem [Yang 2006]. Um outro critério usado nesta pesquisa na formação de grupos é a liderança distribuída. O conceito de liderança distribuída consiste na divisão de tarefas ou processos entre vários líderes [Harris et al. 2013]. Este conceito de liderança dentro de 1938 Anais do XXX Simpósio Brasileiro de Informática na Educação (SBIE 2019) VIII Congresso Brasileiro de Informática na Educação (CBIE 2019) grupos, sejam eles de trabalho ou de estudo, se faz importante, pois além de valorizar os indivíduos da equipe, busca eliminar padrões de comportamento que geralmente estão presentes em equipes com um só líder, como autoritarismo, imposição da vontade dominadora do líder, questionamentos por parte dos liderados sobre as tarefas a serem executadas e quem deve assumir o papel de liderança. Nesse contexto, a formação automática do grupo utilizando o algoritmo PSO é necessária, pois quando existe uma demanda muito grande de estudantes, considerando simultaneamente os três critérios de agrupamento supracitados, a formação ideal se torna praticamente impossível sem o uso de recursos computacionais, ou seja, um problema NP-difícil [Lin et al. 2010]. A seguir abordaremos o método de formação de grupos introduzido nesta pesquisa. 3. Método de Form aç ão de Grupo e sua A plicação Os grupos são formados de acordo com a Figura 1, uma série de questionários são aplicados para os usuários a fim de se verificar o nível de conhecimento e a identificação do interesse de cada aluno, além de verificar o perfil de liderança de cada aluno. A partir dos resultados o algoritmo PSO começa a composição dos grupos de acordo com os critérios estabelecidos, que são compor grupos compostos por seis integrantes com os mesmos interesses, com diferentes níveis de conhecimento e que cada grupo tenha um par de alunos com o mesmo perfil de liderança para cada perfil. As fases do método proposto para formação de grupos em educação a distância são apresentadas a seguir. Fase 1 - Questionário Preliminar A primeira fase do método é o preenchimento de um questionário por parte dos estudantes. Este questionário possui perguntas sobre conhecimentos prévios relacionados ao conteúdo da disciplina a ser ministrada, os interesses e perfis de liderança. F i g u r a 1 . D i a g r a m a p a r a f o r m a ç ã o de g r u p o s Cada pergunta referente ao nível de conhecimento possui um valor ponderado correspondente a cada resposta, este valor será utilizado para calcular o nível para cada aluno. Para realizar esse cálculo a equação 1 é utilizada. NC =Q1+Q2+ (Q3+Q4+Q5)/3 +Q6 (1) 1939 Anais do XXX Simpósio Brasileiro de Informática na Educação (SBIE 2019) VIII Congresso Brasileiro de Informática na Educação (CBIE 2019) Onde Q1, Q2 e Q6 são as questões mais importantes e Q3, Q4 e Q5 são semelhantes. Com esta equação podemos obter nove níveis de conhecimento distintos. O questionário de interesses foi subdividido em cinco categorias por semelhança, no entanto, para resolução por parte dos alunos, são criados três grupos de afirmativas com relativamente o mesmo número de questões de cada categoria, porém elas são alocadas de forma aleatória. Os alunos devem selecionar pelo menos duas afirmativas de cada um dos três grupos de questões. Após a seleção por parte dos alunos, a equação 2 calcula qual a categoria que cada aluno pertence. Ci = ( Seli / Toti ) . 100 (2) Onde Ci representa a categoria i, Seli indica o número de questões selecionadas da categoria i pelo aluno e Toti indica o número total de questões pertencentes a categoria i. O resultado desta equação é a porcentagem de questões marcadas em cada categoria. A categoria atribuída ao aluno será a que possuir a maior porcentagem. Em caso de empate entre os valores, será designada uma categoria aleatória dentre as que obtiveram a mesma nota. O terceiro questionário a ser respondido preliminarmente pelos alunos diz respeito aos perfis de liderança. O questionário utilizado foi desenvolvido por [Northouse 2014]. A soma das respostas das questões indicam qual é o perfil de liderança para cada aluno. Fase 2 - Formação dos Grupos Na segunda fase do método, a partir dos dados do questionário o algoritmo proposto calcula a solução ótima de formação de grupos. Fase 3 - Interação dos Alunos Na fase 3 os alunos saberão a qual grupo pertencem, qual perfil de líder lhe foi atribuído e receberão um texto explicando como cada líder deve interagir dentro do grupo. 4. Estudo de C a s o Este estudo de caso tem como objetivo avaliar a eficiência do método proposto para colaboração em grupo. a. Identificação dos Alunos e Plataforma de C o m u n i c a ç ã o Os alunos participantes do estudo estavam cursando a disciplina de Introdução a Computação. A matéria utilizada para realização dos exercícios pelos alunos foi a linguagem de programação C. Os alunos pertenciam ao primeiro período do curso de Agronomia. Para a primeira parte do estudo foram gerados grupos aleatórios, onde os próprios alunos definiam quais seriam os grupos. As tarefas deveriam ser desenvolvidas em um grupo do Facebook criado por eles mesmos, totalizando cinco grupos. Na segunda parte do estudo foram criados ao todo 11 grupos, sendo seis com liderança distribuída perfeita (LDP), onde foram separados dois alunos de cada perfil para cada grupo e o PSO posteriormente os agrupou. Quatro grupos possuíam liderança distribuída designada (LDD), onde o perfil de liderança foi designado 1940 Anais do XXX Simpósio Brasileiro de Informática na Educação (SBIE 2019) VIII Congresso Brasileiro de Informática na Educação (CBIE 2019) aleatoriamente para cada aluno, pois existiam muitos alunos com perfis iguais. E um grupo com liderança distribuída escolhida (LDE), que foram aquelas pessoas que não responderam ao questionário e decidiram posteriormente participar da atividade. Os 11 grupos deveriam acessar um Mooc, criado pelos pesquisadores e desempenhar tarefas de acordo com seu perfil de liderança. b. Análise de D i s c u r s o [Newman et al. 1995] propuseram um modelo de análise de conteúdo contendo dez categorias para codificação. Para este estudo foram utilizadas nove categorias: relevância, importância, novidade, justificação, ambiguidades, avaliação crítica, trazendo conhecimento, vinculando ideias e utilidade prática. Depois de categorizar as mensagens, as subcategorias, que podem ser vistas em [Newman et al. 1995], positivas e negativas devem ser contadas para que uma razão de pensamento crítico seja calculada através da formula, razão x = (xP - xN)/(xP + xN), que converte as contagens para o intervalo de -1 (pensamento crítico superficial) até 1 (pensamento crítico profundo). Isto foi feito para produzir uma média independente da quantidade de participação, refletindo apenas na qualidade das mensagens. 5. R esultados e D i s c u s s õ e s Cada grupo foi analisado de acordo com as categorias de [Newman et al. 1995]. Após as categorizações das postagens dos alunos a formula da razão apresentada na seção 4.2 foi utilizada e os resultados são apresentados, em ordem alfabética por categoria, na tabela 1. Tabela 1 . Razões das Categorias de Newman Categorias Aleatório LDE LDD LDP Ambiguidades 0,44 0,20 0,92 0,93 Avaliação crítica 1,00 1,00 0,82 0,87 Importância 0,66 0,29 0,58 0,68 Justificação -0,20 0,20 0,54 0,59 Novidade 0,44 0,38 0,70 0,75 Relevância 0,60 -0,21 0,42 0,60 Trazendo Conhecimento 0,96 1,00 1,00 0,99 Utilidade Prática -0,86 -1,00 0,30 0,39 A primeira categoria analisada é a categoria ambiguidades. Nesta categoria a liderança distribuída perfeita (LDP) obteve as melhores notas em relação aos outros grupos, porém muito parecido com a liderança distribuída designada (LDD), o que demonstra uma certa similaridade entre os dois conjuntos de grupos. A segunda categoria é a avaliação crítica. A LDP continuou a apresentar valores maiores em comparação com o conjunto de grupos LDD. No entanto, os outros conjuntos, formados por grupos aleatórios, conseguiram a nota máxima. Isso pode ter ocorrido devido a baixa interação destes dois tipos de grupos, ocasionando, de forma isolada, uma avaliação positiva que culminou em uma nota alta. A categoria importância e a categoria relevância são as que obtiveram mais 1941 Anais do XXX Simpósio Brasileiro de Informática na Educação (SBIE 2019) VIII Congresso Brasileiro de Informática na Educação (CBIE 2019) ocorrências em comparação com as outras. Em nosso estudo de caso, percebeu-se que nessas duas categorias a liderança distribuída perfeita conseguiu uma vantagem considerável em relação aos outros conjuntos de grupos. Para a categoria relevância, o grupo aleatório conseguiu igualar o valor da LDP. Isso se deve ao fato de que os alunos, desenvolveram um trabalho cooperativo e não colaborativo, ou seja, dividiram os exercícios e cada um resolveu o que foi escolhido, deste modo, cada resolução é um ponto relevante na conclusão do trabalho, resultando então em poucos pontos sem relevância. A quarta categoria é a justificação. Esta categoria é representada essencialmente justificação ou não de uma resposta a um problema, ou seja, se o aluno explicou uma resolução de um exercício ou apenas informou a sua resposta. Como podemos ver, o conjunto de grupos aleatórios, aqueles que dividiram as questões pelos integrantes, apenas informaram as respostas. Já o conjunto de grupos LDD e LDP se preocuparam mais em justificar as suas respostas. A categoria novidade diz respeito as informações novas que cada grupo traz para ajudar na resolução dos problemas. Nesta categoria o pior grupo foi o da liderança distribuída escolhida, isso pode se dar ao fato de que a pessoa destinada a busca de informações não possuía aquele perfil de liderança escolhido, porém este fato cabe investigação futura. De fato, a LDP continuou com melhores resultados perante os outros agrupamentos, seguido de perto pela LDD. Na categoria trazendo conhecimento todos os agrupamentos obtiveram valores semelhantes. Isso socorre porque as pessoas não tiveram aversão sobre o conhecimento trazido pelos outros colegas, pelo contrário, as pessoas achavam positiva a interação onde uma pessoa que possuía um conhecimento maior sobre o assunto e o compartilhava com os colegas de grupo. As categorias utilidade prática e vinculando ideias estão de certo modo ligadas. A utilidade prática define que discutir a utilidade de novas ideias e as relacionar com uma situação familiar é um ponto positivo, enquanto não comentar a busca de ideias de outra pessoa, deixando-a falando sozinha, é um ponto negativo. E a categoria vinculando ideias é justamente a categoria que lida com as ideias trazidas, vinculando- as a outras ideias. A partir disto, percebemos que, para uma interação mais consistente, a utilidade prática se torna bastante importante, pois apenas buscar ideias e não utilizá- las faz com que a interação se torne pobre. 6 . C o n c l u s õ e s Neste trabalho foi apresentado um método para formação Automática de grupos em EAD, com base nos critérios de nível de conhecimento, interesse de cada aluno e liderança distribuída, utilizando o algoritmo PSO. Essa ferramenta permite a formação de grupos a partir de um grande número de alunos envolvidos no contexto de EAD, provendo uma melhoria na qualidade das interações e avanço do conhecimento evidenciados pelo estudo de caso realizado. Para validação do método foi realizada a análise de discurso das interações feitas pelos alunos em seus grupos de discussão, utilizando as categorias de análise propostas por [Newman et al. 1995]. Os resultados indicaram que o método se adapta muito bem no contexto de EAD. Os grupos formados pelo algoritmo conseguiram resultados superiores na maioria das categorias analisadas quando comparados aos grupos formados aleatoriamente. Essa pesquisa contribui para área de informática na educação permitindo que em turmas grandes à distância, nas quais o professor não é capaz de interagir com todos os alunos, dada a enorme quantidade de alunos, os alunos sejam capazes de interagir em grupos de forma produtiva. O método de formação de grupos proposto pode ser de grande valia em ambientes online com um grande número de participantes 1942 Anais do XXX Simpósio Brasileiro de Informática na Educação (SBIE 2019) VIII Congresso Brasileiro de Informática na Educação (CBIE 2019) onde o professor não consegue atender a todos e também quando os alunos estão geograficamente distantes, impossibilitando assim o estudo em grupo presencial. Referências Arendale, D. R. and Hane, A. R. (2014). Holistic growth of college peer study group participants: Prompting academic and personal development. Research & Teaching in Developmental Education, 31(1):7. Chandrasekaran, M. K., Kan, M. Y., Tan, B. C., and Ragupathi, K. (2015). Learninginstructor intervention from mooc forums: Early results and issues. ArXiv preprint arXiv:1504.07206. Chen, W. N., Zhang, J., Chung, H., Zhong, W. L., gang Wu, W., and Hui Shi, Y. (2010). A novel set-based particle swarm optimization method for discrete optimization problems. Evolutionary Computation, IEEE Transactions on, 14(2): 278–300. Claros, I. and Leovy Echeverria, R. C. (2015). Towards moocs scenaries based on collaborative learning approaches. In Global Engineering Education Conference (EDUCON), pages 955–958. Dascalu, M. I., Bodea, C. N., and Burlacu, A. (2013). Platform for creating collaborative e-learning communities based on automated composition of learning groups. In Engineering of Computer Based Systems (ECBS-EERC), 2013 3rd Eastern European Regional Conference on the, pages 103–112. Dascalu, M. I., Bodea, C. N., Lytras, M., De Pablos, P. O., and Burlacu, A. (2014). Improving e-learning communities through optimal composition of multidisciplinary learning groups. Computers in Human Behavior, 30:362–371. Davidson, N. and Kroll, D. L. (1991). An overview of research on cooperative learning related to mathematics. Journal for Research in Mathematics Education, pages 362– 365. Harris, A., Jones, M., and Baba, S. (2013). Distributed leadership and digital collaborative learning: A synergistic relationship? British Journal of Educational Technology, 44(6):926–939. Holliday, T. L. and Said, S. H. (2008). Psychophysiological measures of learning comfort: Study groups’ learning styles and pulse changes. Learning Assistance Review, 13(1):7–16. Jarboui, B., Damak, N., Siarry, P., and Rebai, A. (2008a). A combinatorial particle swarm optimization for solving multi-mode resource-constrained project scheduling problems. Applied Mathematics and Computation, 195(1):299–308. Jarboui, B., Ibrahim, S., Siarry, P., and Rebai, A. (2008b). A combinatorial particle swarm optimisation for solving permutation flowshop problems. Computers & Industrial Engineering, 54(3):526–538. Karamolegkos, P. N., Patrikakis, C. Z., Doulamis, N. D., Vlacheas, P. T., and Nikolakopoulos, I. G. (2009). An evaluation study of clustering algorithms in the scope of user communities assessment. Computers & Mathematics with Applications, 58(8):1498 1519. 1943 Anais do XXX Simpósio Brasileiro de Informática na Educação (SBIE 2019) VIII Congresso Brasileiro de Informática na Educação (CBIE 2019) Kennedy, G., Coffrin, C., de Barba, P., and Corrin, L. (2015). Predicting success: how learners’ prior knowledge, skills and activities predict mooc performance. In Proceedings of the Fifth International Conference on Learning Analytics And Knowledge, pages 136–140. ACM. Lin, Y. T., Huang, Y. M., and Cheng, S.-C. (2010). An automatic group composition system for composing collaborative learning groups using enhanced particle swarm optimization. Computers & Education, 55(4):1483– 1493. Linnenbrink-Garcia, L., Pugh, K. J., Koskey, K. L., and Stewart, V. C. (2012). Developing conceptual understanding of natural selection: The role of interest, efficacy, and basic prior knowledge. The Journal of Experimental Education, 80(1):45–68. McAuley, A., Stewart, B., Siemens, G., and Cormier, D. (2010). The mooc model for digital practice, sshrc knowledge synthesis grant on the digital economy. Recuperado de http://www. edukwest. com. Newman, D. R., Webb, B., and Cochrane, C. (1995). A content analysis method to measure critical thinking in face-to-face and computer supported group learning. Interpersonal Computing and Technology, 3(2):56–77. Northouse, P. G. (2014). Introduction to leadership: Concepts and practice. Sage Publications. Pedersen, M. E. H. and Chipperfield, A. J. (2010). Simplifying particle swarm optimization. Applied Soft Computing, 10(2):618–628. Pierobom, J. L., Delgado, M. R., and Kaestner, C. A. (2012). Particle swarm optimization applied to the dynamic allocation problem. In Neural Networks (SBRN), 2012. Brazilian Symposium on, pages 184–189. IEEE. Robinson, A. C., Kerski, J., Long, E. C., Luo, H., DiBiase, D., and Lee, A. (2015). Maps and the geospatial revolution: teaching a massive open online course (mooc) in geography. Journal of Geography in Higher Education, 39(1):65–82. Rosendo, M. and Pozo, A. (2010). Applying a discrete particle swarm optimization algorithm to combinatorial problems. In Neural Networks (SBRN), 2010 Eleventh Brazilian Symposium on, pages 235–240. Wang, S.-Q., Gong, L. H., and Yan, S. L. (2009). The allocation optimization of project human resource based on particle swarm optimization algorithm. In Services Science, Management and Engineering, 2009. SSME ’09. IITA International Conference on, pages 169–172. Yang, S. J. (2006). Context aware ubiquitous learning environments for peer-to- peercollaborative learning. Journal of Educational Technology & Society, 9(1):188– 201. 1944 Anais do XXX Simpósio Brasileiro de Informática na Educação (SBIE 2019) VIII Congresso Brasileiro de Informática na Educação (CBIE 2019)