Glossário: Medir o impacto do GitHub Copilot

Glossário do impacto do GitHub Copilot

Este glossário lista diversas medidas que uma organização pode utilizar para avaliar o impacto do Copilot. Aprenda:

• Definições e avisos relacionados a medidas
• Quando (em qual fase) usar a medida
• Como acessar a medida (localização dos dados de origem)

Para obter mais informações sobre a abordagem do GitHub para medir o impacto do Copilot, confira nosso Roteiro de aprendizado do GitHub Copilot.

Lembre-se 😀: a relevância e a utilidade de medidas de velocidade e qualidade no nível do sistema variam entre organizações. Qualquer impacto do Copilot, para além da codificação, é indireto, e as possibilidades posteriores são infinitas. Portanto, devemos ter cuidado ao procurar causalidade em medidas de velocidade e qualidade.

As métricas fornecidas abaixo representam os processos que geralmente melhoram com o Copilot, mas o grau de impacto varia. Com base nos pontos fortes e fracos da sua organização, o impacto pode ser maior ou menor. É mais importante observar uma melhora de neutro a positivo do que atingir os padrões de referência. Líderes de engenharia devem se preocupar apenas se uma métrica regredir. Nesse caso, faça uma pausa para determinar a raiz do problema antes de prosseguir.

Dicas:

• O GitHub recomenda procurar melhorias em cada medida ao longo do tempo em vez de definir metas fixas.
• Sugerimos alinhar a frequência de medida com a sua cadência de desenvolvimento (por exemplo, ciclos de sprint).
• Você pode escolher agrupar os seus pontos de dados em ferramentas existentes de BI ou geração de relatórios para facilitar a análise e a revisão de tendências ao longo do tempo. Como alternativa, use uma planilha para rastrear as medidas ao longo do tempo.
• Ao adicionar desenvolvedores ao Copilot, você poderá ver uma redução em algumas medidas conforme eles desenvolvem a capacidade e a confiança de usar o Copilot como parte do fluxo diário. Considere analisar as medidas de acordo com os grupos de integração (conjunto de desenvolvedores fornecidos com uma estação do Copilot).
• Você pode escolher monitorar algumas métricas de DevOps ao longo das fases de avaliação e adoção para obter os primeiros indicadores de áreas de provável impacto do sistema. Mas, principalmente nas fases de avaliação e adoção, recomendamos se concentrar nas medidas de satisfação e engajamento. Quando os desenvolvedores estiverem usando o Copilot efetivamente, é mais provável que as medidas no nível de sistema melhorem.

Legenda da categoria:

Satisfação do desenvolvedor - 😃
Engajamento do desenvolvedor - 👩‍💻
Velocidade - 🏎️
Qualidade - ✨

Medida	Definição	Fase	Localização dos dados de origem
Satisfação usando o Copilot - 😃	Número de usuários do Copilot que valorizam o Copilot em seu fluxo de trabalho.	Todos	Pesquisa sobre o impacto do Copilot: • Como você se sentiria se não pudesse mais usar o Copilot?
Benefícios de usar o Copilot - 👩‍💻	Intervalo de áreas em que os usuários usam o Copilot e a variedade/alcance dos benefícios obtidos.	Todos	Pesquisa sobre o impacto do Copilot: • Ao usar o Copilot, eu… • Ao usar o Copilot, minha equipe… • Ao usar o Copilot nesta última semana… • Eu uso o GitHub Copilot para…
Desafios ao usar o Copilot - 👩‍💻	Número de usuários afetados por potenciais barreiras de adoção.	Todos	Pesquisa sobre o impacto do Copilot: • Quais desafios você encontrou durante a avaliação do Copilot?
Capacitação fornecida - 👩‍💻	Número de usuários com uma estação que receberam sessões de treinamento/recursos de capacitação.	Todos	Pesquisa sobre o impacto do Copilot: • Qual dos seguintes materiais de capacitação do GitHub Copilot você recebeu?
Média de usuários ativos diários por mês - Sugestões de preenchimento - 👩‍💻	Usuários que receberam mais de uma sugestão em um determinado dia.	Todos	API de métricas do Copilot: • Obtenha a média de usuários ativos - Sugestões de preenchimento da API, mais de 28 dias
Média de usuários ativos diários - Bate-papo - 👩‍💻	Usuários que têm mais de um bate-papo em um determinado dia.	Todos	API de métricas do Copilot: • Obtenha a média de usuários ativos - Bate-papos da API, mais de 28 dias
Média de usuários ativos diários - Total - 👩‍💻	Usuários únicos que receberam e aceitaram mais de uma sugestão OU participaram de mais de um bate-papo em um determinado dia.	Todos	API de métricas do Copilot: • Obtenha a média de usuários ativos - Total da API, mais de 28 dias
Sugestões entregues - Sugestões de preenchimento - 👩‍💻	Número de sugestões por dia exibido no editor de código para sugestões de preenchimento do Copilot no IDE.	Todos	API de métricas do Copilot: • Número de sugestões
Número de aceitações - Sugestões de preenchimento - 👩‍💻	Número de sugestões aceitas (total de parciais e completas) por dia.	Todos	API de métricas do Copilot: • Número de aceitações de bate-papo/código
Linhas de código aceitas - Sugestões de preenchimento - 👩‍💻	Linhas de código aceitas (total de parciais e completas) por dia	Todos	API de métricas do Copilot: • Linhas de código aceitas - Sugestões de preenchimento
Taxa de aceitação total - Sugestões de preenchimento - 👩‍💻	Sugestões aceitas (combinadas: completas e parciais) / Número total de sugestões	Todos	Cálculo manual (com base na API de métricas do Copilot): • Número de sugestões • Número de aceitações
Novas estações adicionadas ao ciclo de cobrança - 👩‍💻	Estações adicionais compradas para membros da organização durante este ciclo de cobrança	Adote, otimize, mantenha	Cobrança e planos (Copilot) (configurações da organização) • Novas estações adicionadas durante este ciclo de cobrança
Usuários inativos - 👩‍💻	Número de usuários que usaram o Copilot há mais de ‘n’ dias	Adote, otimize, mantenha	Gerenciamento de acesso do Copilot (configurações da organização): • Classificar de acordo com o último uso
Total de pull requests concluídos - 🏎️	Número total de pull requests concluídos em uma determinada semana	Adote, otimize, mantenha	A lista de PRs do GitHub (em um repositório) pode ser filtrada em PRs fechados por um período
Pull requests por desenvolvedor - 🏎️	Número de pull requests/contribuidores de código	Adote, otimize, mantenha	Cálculo manual: • A lista de PRs do GitHub (em um repositório) pode ser filtrada em PRs fechados por um período • Dados da sua organização sobre os desenvolvedores que contribuem para o repositório
Tempo de merge - 🏎️	Média de tempo do PR aberto para o merge	Adote, otimize, mantenha	GitHub: o cálculo requer consideração da configuração do GitHub da sua organização
Prazo de entrega de PR - 🏎️	Média de tempo do PR aberto para a implantação	Adote, otimize, mantenha	GitHub Actions: o cálculo requer consideração da configuração do GitHub da sua organização
Tempo de revisão de código - 🏎️	Média de tempo de revisão de código por pull request (tempo entre o PR aberto e o PR fechado)	Adote, otimize, mantenha	GitHub: o cálculo requer consideração da configuração do GitHub da sua organização
Taxa de merge do pull request - ✨	Número total de compilações bem-sucedidas concluídas em uma determinada semana.	Adote, otimize, mantenha	GitHub: lista de PRs do GitHub (em um repositório): o número de PRs com merge feito / o número de PRs enviados
Total de compilações bem-sucedidas - ✨	A porcentagem de pull requests com merge feito com sucesso	Adote, otimize, mantenha	GitHub Actions: o cálculo requer consideração da configuração do GitHub da sua organização
Taxa de falha de alteração - ✨	Porcentagem de implantações de código que causaram uma falha na produção	Adote, otimize, mantenha	O cálculo requer consideração da configuração do GitHub da sua organização e integração com aplicações de terceiros
Vulnerabilidades de segurança abertas - ✨	Número de vulnerabilidades não solucionadas conforme identificado pelo GHAS	Adote, otimize, mantenha	Insights de segurança no nível da organização
Taxa de sucesso de CI - ✨	Número de execuções de CI bem-sucedidas, incluindo automação de teste / número de tentativas de execução de CI	Adote, otimize, mantenha	O cálculo requer consideração da configuração do GitHub da sua organização e integração com aplicações de terceiros