A autoavaliação dos programas de pós-graduação da FURG encontra-se articulada aos processos de autoavaliação institucional e avaliação externa. No âmbito institucional, a Comissão Própria de Avaliação (CPA), com apoio da Diretoria de Avaliação Institucional, coordena os processos de autoavaliação vinculados ao Sistema Nacional de Avaliação da Educação Superior (Sinaes) (Lei n° 10.861, de 14 de abril de 2004). Neste âmbito, os estudantes dos cursos de mestrado e doutorado realizam, anualmente, a avaliação dos docentes considerando os aspectos didáticos das atividades de ensino da pós-graduação e os docentes avaliam as turmas, a infraestrutura e a gestão. Os dados produzidos são avaliados pela Comissão Própria de Avaliação (CPA) e pela Comissão Interna de Avaliação e Planejamento (CIAP) das Unidades Acadêmicas onde estão lotados os cursos de pós-graduação, subsidiando os processos de planejamento e de construção do plano de ação anual das Unidades, os quais estão vinculados aos objetivos e estratégias do Plano de Desenvolvimento Institucional da FURG. Essas instâncias também estão articuladas com o Comitê de Pós-Graduação stricto sensu, formado por todos os coordenadores dos cursos de pós-graduação stricto sensu e pela Diretoria de Pós-Graduação da Pró-reitoria de Pesquisa e Pós-Graduação. Neste Comitê, são avaliadas as demandas dos programas, os resultados dos procedimentos de autoavaliação e da avaliação externa e as propostas de criação de cursos novos, além de constituir-se num fórum para troca de experiências, discussão, avaliação crítica e ajuda mútua entre os coordenadores de cursos. A Pró-reitoria de Pesquisa e Pós-Graduação também conta com um Comitê Assessor, formado por docentes experientes em pós-graduação, para avaliação e revisão dos relatórios Sucupira e para a avaliação de propostas de cursos novos. Ainda, a DIPOSG realiza reuniões anuais com os PPGs, com foco nos programas notas 3 e 4, para os quais as reuniões envolvem todo o corpo docente.
Além destes procedimentos, a IN PROPESP Nº 1/2024 trata especificamente do acompanhamento dos planejamentos estratégicos e procedimentos de autoavaliação dos PPGs. Desde 2023 é realizada pelas coordenações via sistemas.furg.br o preenchimento de um relatório com informações relativas à autoavaliação anual do PPG, que permite à Diretoria de Pós-Graduação (DIPOSG/PROPESP) e à Diretoria de Avaliação Institucional (DAI/PROPLAD) o acompanhamento. Ademais, proporciona aos PPGs a manutenção de um histórico das atividades de avaliação interna dos seus cursos, que poderão dar subsídio à construção do relatório quadrienal da CAPES. Ainda, para auxiliar nos procedimentos de avaliação e planejamento de cada PPG, a Pró-Reitoria de Pesquisa e Pós-Graduação, em acordo com todos os PPGs, contratou via recursos PROAP a Plataforma Stela Experta-PG, que permite às coordenações o acompanhamento das variáveis quantitativas do seu PPG, além de proporcionar uma análise comparativa com outros PPGs, possibilitando a organização de um Planejamento Estratégico orientado.
A proposta do PPGComp para o Mestrado e o Doutorado em Engenharia de Computação é peculiar por tratar a Computação sob um outro aspecto, diferentemente dos tradicionais cursos de Ciência da Computação. Estamos interessados nos desafios científicos associados à criação de artefatos computacionais para a solução de problemas complexos. Por outro lado, o curso não encerra-se no design de computadores, mas sim tem o seu núcleo no conceito de algoritmos e sua implementação eficiente. Estas duas características fazem do PPGComp um programa diferenciado onde novas teorias, metodologias e aplicações devem ser propostas para resolver os complexos problemas da natureza e de engenharia que hoje só são passíveis de serem tratados por engenhos computacionais.
O corpo docente é composto por uma mistura de professores com larga experiência na formação de recursos humanos em nível de pós-graduação, bolsistas de produtividade, líderes de grupos de pesquisa, e jovens pesquisadores com grande potencial, energia e disponibilidade para enfrentar novos desafios.
Neste contexto, com base na avaliação do último quadriênio, e visando obter conceito de nível superior ao atual, foram consolidados os procedimentos de autoavaliação do programa. Estes procedimentos são sistematizados, monitorados, discutidos e aprimorados em reuniões mensais do PPGComp. Além disso, todas as métricas de avaliação são calculadas automaticamente utilizando um conjunto de sistemas de software, alguns desenvolvidos pelo próprio programa.
1. Workshop de Pesquisa do Centro de Ciências Computacionais. Realizado no início de cada quadriênio, o evento teve como objetivos apresentar uma visão geral da pesquisa da unidade acadêmica desde sua criação e analisar a integração dos pesquisadores durante o tempo, de forma a motivar o engajamento de novos professores recém contratados e fomentar as atividades de pesquisa. Foi utilizada uma ferramenta desenvolvida no Grupo de Pesquisa em Gerenciamento de Informações para visualizar as redes de colaboração acadêmicas dos integrantes dos grupos cadastrados no diretório do CNPq e as relações com os membros permanentes e colaboradores do PPGComp. Além disso, foi demonstrada a evolução das publicações científicas produzidas a cada ano e analisadas curvas tendência. Este workshop é uma das ferramentas de diagnóstico para o planejamento estratégico do programa apresentado na Seção 1.3.
2. Workshops anuais de autoavaliação. Organizados no segundo semestre de cada ano do quadriênio, tiveram como objetivo discutir os resultados e o planejamento de ações relacionadas à produção científica e à captação de recursos para execução de projetos de pesquisa. Cada docente do programa apresentou uma lista de artigos submetidos, contendo o título, autores, veículo de publicação, índices bibliométricos em bases internacionais, estrato Qualis, e status (publicado, aceito para publicação, sob revisão ou rejeitado). Também foi apresentada lista de projetos submetidos contendo informações sobre título, equipe, edital ou chamada, valor financiado, órgão financiador e status (contratado, aprovado, sob análise, reprovado). Os resultados alcançados são discutidos pelos membros do PPGComp e norteiam o planejamento das atividades considerando os dois anos seguintes, focando na quantidade de estudantes orientados, aumento da produção científica e da captação de recursos, principalmente financeiros. Também é incentivado e planejado a submissão de projetos para o edital de bolsa de produtividade do CNPq por todos os membros do programa, o que resultou na atual composição, onde um terço dos docentes do PPGComp são bolsistas de produtividade e os demais têm mérito, embora não tenham sido contemplados por restrições orçamentárias.
3. Avaliação dos afastamentos para pós-doutoramento. O Centro de Ciências Computacionais tem incentivado, desde sua criação, o afastamento dos seus servidores para qualificação acadêmica. Durante o quadriênio, quatro docentes do PPGComp realizaram estágio pós-doutoral nas seguintes instituições:
- Albert-Ludwigs-Universität Freiburg / Alemanha
- Universidad Pública de Navarra / Espanha
- Austrian Institute of Technology - AIT, Austria;
- Universidade Federal do Rio Grande do Sul - UFRGS / Brasil.
Estas experiências enriqueceram a pesquisa realizada nas áreas de Robótica e Inteligência Artificial e efetivamente potencializaram a internacionalização do programa. Hoje, a FURG já estabeleceu convênios internacionais que permitiram a mobilidade estudantil e de pesquisadores entre estas instituições e a assinatura de projetos em parceria. Estas redes de colaboração beneficiaram também orientações e co-orientações de estudantes de pós-graduação internacionais. Nos relatórios de produção científica fica claro o aumento significativo da interação com coautores destas instituições nos últimos anos.
4. Seminário de meio termo. No início de 2023, após dois workshops anuais de autoavaliação, o PPGComp realizou um seminário de meio termo com o objetivo de analisar os indicadores quantitativos e qualitativos atingidos até a metade do quadriênio, principalmente baseados na análise do Documento de Área da Computação, e nas discussões realizadas pelo Fórum de Coordenadores de Programas de Pós-Graduação em Computação e pela Sociedade Brasileira de Computação. Entre as decisões tomadas no seminário destacam-se a maior rigidez nas regras de permanência do programa, o planejamento do segundo biênio de avaliação, o planejamento estratégico de mais longo prazo, e o processo de recredenciamento dos docentes.
5. Recredenciamento de docentes. O número de docentes permanentes e colaboradores do PPGcomp variou ao longo do quadriênio conforme apresentado a seguir:
2021 - 20 permanentes + 1 colaborador = 26
2022 - 16 permanentes + 5 colaboradores + 1 visitante = 22
2023 - 16 permanentes + 5 colaboradores + 1 visitante = 22
2024 - 16 permanentes + 5 colaboradores = 21
Após os resultados da avaliação quadrienal 2017-2020 e da exoneração de dois docentes permanentes, visto aprovação em concurso público em outra IES, decidiu-se por executar novo processo de recredenciamento, ainda mais rigoroso, baseado principalmente nos indicadores de produção científica, priorizando a qualidade da produção intelectual. No início de 2021, os docentes foram ranqueados de acordo com sua produção científica ponderada por número de coautores e apenas 16 docentes foram mantidos. Ainda foram considerados outros critérios de avaliação no mesmo período, tais como: carga-horária em disciplinas do PPGComp, número de projetos coordenados com financiamento de empresas, número de projetos coordenados com financiamento de agências de fomento, número de dissertações defendidas, número de orientações em andamento, bolsa de produtividade, entre outros. A grande maioria destes indicadores foi altamente correlacionado com a produção científica ponderada. Em 2022 foram lançados outros editais que resultaram no credenciamento de 5 colaboradores e na contratação de um professor visitante. Decidiu-se também que não haveria novos editais no quadriênio visando manter o corpo docente mais estável e analisar o desempenho do planejamento estratégico.
Vale ressaltar que embora o corpo docente permanente tenha sido levemente alterado, os 16 docentes permanentes que atuam desde 2022 são um subconjunto dos 20 professores de 2021.
Este processo contribuiu de forma significativa para a melhoria da qualidade da pesquisa e da produção científica do programa
AVALIAÇÃO COMPARATIVA COM OUTROS PPGs COM DOUTORADO
A análise apresentada a seguir considera dados públicos de 2021 a 2023 disponíveis na Plataforma Sucupira em março de 2025, comparando o PPGComp da FURG com outros 40 Programas de Pós-Graduação da modalidade acadêmico avaliados na Ciência da Computação, todos com curso de doutorado. São 8 PPG nota 7, 4 PPG nota 6, 12 PPG nota 5 e outros 16 PPG nota 4. São apresentados a seguir indicadores do PPGComp junto da mediana e da posição no ranking quando comparado aos demais programas. Estes resultados completos e análises gráficas podem ser consultadas em https://sistemas.prpg.usp.br/apoema-pg/view/fa82b28847befee985cec1dbd8cbef6c. Vale ressaltar que este procedimento foi realizado anualmente, de forma sistemática, durante todo o quadriênio. Os resultados foram monitorados nos Workshops de autoavaliação. Os dados apresentados a seguir podem ser visualizados graficamente no Anexo 08: Análise comparativa - Sucupira (2021-2023).pdf.
Indicadores de formação discente:
- Dissertações concluídas no triênio com publicação científica discente (Mestres com publicação) = 25; mediana = 28; posição = 26
- Dissertações concluídas no triênio (Mestres formados) = 44; mediana = 48; posição = 22
- Média de dissertações por orientador permanente (Mestres por docente permanente) = 0,85; mediana = 0,64; posição = 9
- Duração média do Mestrado (Tempo até a defesa) = 2,56 anos; mediana = 2,85 anos; posição = 6
- Alunos matriculados no mestrado que já concluíram = 42%, mediana = 33%, posição = 8
Os indicadores de formação mostram que o PPGComp forma mais mestres que a metade dos PPG analisados. Além disso, não compromete o tempo de formação. Mesmo oferecendo apenas curso de mestrado frente aos demais 40 programas, o PPGComp figura no centro da distribuição de mestres com publicação.
Indicadores de produção científica:
- Artigos completos em conferências = 234; mediana = 192; posição = 13
- Artigos completos em conferências por orientador permanente = 4,5; mediana = 2,57; posição = 3
- Distribuição (Coeficiente de Gini) de conferências por orientador = 0,43; mediana = 0,46; posição = 12
- Média anual de periódicos ponderados por Qualis e por orientador permanente (índice geral - estratos Qualis A1 a B4, pontuação relativa ao A1) = 1,61; mediana = 1,31; posição = 12
- Distribuição (Coeficiente de Gini) de periódicos por orientador (índice restrito - estratos Qualis A1 a A4) = 0,46; mediana = 0,48; posição = 16
Devido ao fato das conferências não terem identificadores únicos como os periódicos, foi realizada uma análise automatizada comparando os títulos da conferências extraídos das publicações de todos os PPGs no mesmo período de avaliação (2021-2023) e os títulos extraídos da planilha de conferências com Qualis na CA-CC disponível em https://ppgcc.github.io/discentesPPGCC/pt-BR/Qualis/ . Foi desenvolvido um software para casamento aproximado, usando similaridade textual baseada em trigramas. A implementação fez uso da função pg_trgm.similarity() disponível no SGBD PostgreSQL. O limiar de similaridade foi ajustado experimentalmente de modo a reduzir ao máximo o erro entre a avaliação automatizada e a avaliação manual realizada com os dados do próprio PPGComp. Os indicadores a seguir posicionam o PPGComp em relação aos mesmos 40 PPGs da análise anterior. Gráficos de barras foram gerados e anexados junto a esta proposta para facilitar a visualização dos resultados, principalmente em relação aos demais PPGs.
- Média anual de artigos em conferências ponderados por Qualis e por orientador permanente (índice geral - estratos Qualis A1 a B4, pontuação relativa ao A1) = 2,09; mediana = 1,38, posição = 7
Analisando os artigos em periódicos em conjunto com os trabalhos em conferências:
- Média anual de periódicos + conferências ponderados por Qualis e por orientador permanente (iGeral ponderado - estratos Qualis A1 a B4, pontuação relativa ao A1) = 3,7; mediana = 2,91 ; posição = 7
Vale ressaltar que, para esta análise comparativa os indicadores foram calculados com todos os docentes permanentes, incluindo PPJ e PPS. O motivo de manter estes docentes no cálculo é porque não é possível saber quantos pesquisadores júnior ou sênior serão declarados pelos outros 40 PPGs analisados além do PPGComp.
Os valores apresentados mostram que o PPGComp figura entre os melhores dos 41 programas analisados, sendo muito superior a vários PPG nota 5, 6 e 7 nos diversos quesitos de comparação. Em muitos dos critérios aparece nas posições do topo do ranking. É um dos programas que mais publica em conferência, mas mantém um bom índice de publicações em periódicos qualificados. Vale ressaltar que esta comparação não incluiu os dados de 2024 porque estes estarão disponíveis publicamente apenas após o processamento do Coleta, depois da submissão deste relatório.
Quanto à distribuição da produtividade sobre o corpo docente, os dados mostram que o PPGComp figura no topo do 2º quartil, considerando tanto periódicos quando conferências. Ou seja, é um dos programas que menos depende de um pequeno conjunto de docentes para compor os índices de produtividade.
RESULTADOS DE INDICADORES QUANTITATIVOS DA EVOLUÇÃO NO QUADRIÊNIO
Os itens a seguir apresentam os resultados para cada critério de avaliação considerando indicadores quantitativos. Os dados foram calculados utilizando a produção cadastrada no Sucupira em dezembro de 2024 (triênio 2021-2023) adicionada de dados oriundos dos currículos Lattes dos docentes do PPGComp. Vale ressaltar que esta mesma análise foi realizada no seminário de meio termo e os resultados monitorados foram utilizados para readequar o planejamento estratégico propondo ações para o segundo biênio de avaliação.
- Docentes permanentes com pós-doutoramento. Aumentamos em 50%, passando de 6 em 2020 para 9 em 2024. Hoje já são 11.
- Docentes bolsistas de produtividade do CNPq. Mantivemos a quantidade mas elevamos a qualidade, subindo o nível de dois pesquisadores, passando de um nível PQ 1D, um nível DT 1D, dois nível PQ 2 e um nível DT 2 em 2020 para um nível PQ 1C, um nível DT 1C, dois nível DT 2 e um nível PQ E.
- Artigos em periódicos (estratos Qualis A1 até B4). O cálculo deste e dos demais indicadores considerou a estimativa de Qualis baseada no percentil Scopus ou WoS atual.
[2017-2020] Média anual = 37,5
[2021-2023] Média anual = 42,3
Crescimento de 13% quando comparado ao período anterior de avaliação.
- Média anual de periódicos ponderados por Qualis e por orientador permanente (iGeral ponderado - estratos Qualis A1 a B4, pontuação relativa ao A1). Crescimento de 58% em relação ao quadriênio anterior.
[2017-2020] Média anual de 1,02
[2021-2023] Média anual = 1,61
- Artigos completos em conferências (estratos Qualis A1 até B4). Redução da quantidade em 27% quando comparado ao quadriênio anterior.
[2017-2020] Média anual = 107
[2021-2023] Média anual = 78
Esta redução é justificada porque os esforços de publicação concentraram-se em conferências internacionais e periódicos com alto impacto, aumentando assim a qualidade ao longo do tempo, conforme é demonstrado nos indicadores com estimativa de Qualis.
- Média anual de conferências ponderadas por Qualis e por orientador permanente (iGeral ponderado, estratos Qualis A1 até B4, pontuação relativa ao estrato A1). Crescimento de 7% em relação ao quadriênio anterior.
[2017-2020] Média anual = 1,96
[2021-2023] Média anual = 2,09
- Média anual de publicações (periódicos + conferências) ponderados por Qualis e por orientador permanente (iGeral ponderado, estratos Qualis A1 até B4, pontuação relativa ao estrato A1). Crescimento de 26% em relação ao quadriênio anterior.
[2017-2020] Média anual = 2,98
[2021-2023] Média anual = 3,75
- Quantidade de cotas de bolsa ativas.
2022 = 4 Capes DS + 1 CNPq + 12 de projetos = 17
2023 = 4 Capes DS + 3 CNPq + 20 de projetos = 27
2024 = 9 Capes DS + 2 CNPq + 15 de projetos = 28
Financiadores públicos das cotas de bolsa de projetos:
ANP
CAPES
CNPq
EMBRAPII
FAPESC
FURG
Financiadores privados das cotas de bolsa de projetos:
Auros Robotics
Climeggi
Data For Company
DDOS
DENSO
Freedom
GoAwake
GreenNext
I. Melito LTDA
Insaight MedTech
Longevité
Medlife
Natubras
Petrobrás
R&F Tecnologia
Raiaviva
Sarmento
SEBRAE
STIHL
Tedesco
TuboMaq
UBOTS
- Quantidade de projetos de pesquisa em andamento. Crescimento de 37% ao longo do quadriênio.
2021 - 66
2022 - 76
2023 - 80
2024 - 90
Estes projetos representam um total de R$ 31.804.237,96 (trinta e um milhões, oitocentos e quatro mil, duzentos e trinta e sete reais e noventa e seis centavos) investidos em atividades de pesquisa e desenvolvimento pelos docentes do PPGComp no quadriênio.
- Convênios e colaborações internacionais: detalhados na Seção 3.3 Internacionalização, inserção (local, regional, nacional) e visibilidade do programa.
DISCUSSÃO
A qualidade da pesquisa produzida para um curso de pós-graduação stricto sensu tem como principal indicador a quantidade e qualidade da produção intelectual. Estes foram os principais critérios criticados na avaliação no triênio 2014-2016 e, justamente por isso, foram os que receberam mais atenção do programa desde 2017. Foi realizado um grande esforço para ampliar as produções qualificadas, detalhado nos indicadores quantitativos acima apresentados. Durante a avaliação quadrienal passada o PPGComp demonstrou que seus índices de produção eram melhores do que a média dos cursos com nota 4. Neste quadriênio, o programa impulsionou ainda mais a taxa de crescimento apresentando indicadores consistentes com o passar dos anos. Atualmente, o PPGComp figura no primeiro e no segundo quartil da distribuição da maioria dos indicadores de produção quando comparado aos demais PPG com curso de doutorado, na frente de muitos programas nota 5, 6 e 7.
Também demonstram a qualidade da pesquisa realizada os prêmios recebidos pelos docentes e discentes do PPGComp detalhados nas Seções 2.2 e 3.1 deste relatório e no anexo da ficha de avaliação.
O número de projetos de PD&I associados a diferentes agências de fomento e empresas privadas vem crescendo de forma acelerada. O credenciamento da Unidade iTec/FURG - Centro de Robótica e Ciência de Dados - https://www.itecfurg.org - junto à Empresa Brasileira de Pesquisa e Inovação Industrial - EMBRAPII permitiu capturar recursos financeiros abundantes para pesquisa, desenvolvimento e inovação, os quais vem praticamente dobrando a cada ano. Todos os projetos do Itec / FURG contam com docentes e discentes do PPGComp, o que tende a aumentar significativamente com o curso de Doutorado em Engenharia de Computação recentemente aprovado.
As colaborações internacionais realizadas no âmbito das linhas de pesquisa comprovam a decisão do PPGComp em oportunizar aos nossos discentes e docentes experiências em grupos de excelência internacionais. Além disso, o PPGcomp registrou diversas ações de intercâmbio e internacionalização no quadriênio, detalhadas na Seção 3.3 Internacionalização, inserção (local, regional, nacional) e visibilidade do programa.
A eficiência na formação dos estudantes é evidenciada pelos indicadores quantidade de mestres titulados e o tempo médio de formação, que na mesma análise comparativa foram excelentes. Quanto à formação discente, também se destaca o incremento da interação com a graduação. Essa interação é expressa pelo grande quantitativo de estudantes de graduação envolvidos nas atividades de pesquisa e a boa distribuição das publicações com discentes, além de um número expressivo e regular de premiações desses alunos.
Ainda foram considerados como resultados da autoavaliação pesquisas envolvendo projetos de transferência tecnológica e criação de startups junto ao Parque Tecnológico OCEANTEC, destacados na Seção 3.2 Impacto econômico, social e cultural do programa.
ASPECTOS A SEREM CONSIDERADOS
Fica evidente que os resultados de produtividade do PPGComp continuaram crescendo ao longo do quadriênio atual. Quando comparado a todos os PPGs com doutorado, independente de nota, ou seja, incluindo programas nota 5, 6 e 7, o PPGComp figura no topo do 2o quartil para periódicos e no 1o quartil para conferências. Além de ter desempenho equivalente aos programas consolidados referência nacional e internacional, o equilíbrio da distribuição da produção sobre os docentes é melhor do que em 3/4 dos programas com doutorado considerando tanto periódicos como conferências.
Apesar de todos estes resultados excelentes, a coordenação identifica e devem ser melhorados a divulgação científica e a internacionalização do programa. Ainda são poucos os professores visitantes e alunos estrangeiros. Metas, ações e indicadores de internacionalização foram detalhados no planejamento estratégico.
Análise comparativa - SCIndexBR(2025)