A Engenharia de software é um investimento crítico e caro, o caminho para uma produtividade mais alta está na capacidade de uma empresa de remover atritos para seus desenvolvedores, permitindo entrega e inovação mais rápidas. São indicadores quantitativos utilizados para medir o desempenho, produtividade e o progresso de um projeto de software.

Antes que perguntem¶

Foco no desenvolvedor deve ser sempre uma preocupação das organizações de software, especialmente à medida que as equipes mudam para modelos de trabalho remotos e híbridos. - [x] As métricas servem só para avaliar as pessoas? NÃO, não é uma boa escolha. Para que eu quero saber a produtividade individual de cada integrante do time se não for para fazer alguma:

• As métricas proporcionam uma percepção clara e transparente sobre os projetos.

Por fim,a importancia de medir é a de se ter uma visão objetiva do progresso e desempenho do projeto, permitindo tomar decisões embasadas, identificar áreas de melhoria e obter transparência.

Transformação de Times de Engenharia¶

• O inimigo da Engenharia é a variabilidade?
• O Engenheiro de software é um investimento crítico e caro. E, comparado a outras funções críticas de negócios, como vendas ou operações, medir e otimizar a eficiência da engenharia de software parece uma caixa-preta.

Diagnóstico¶

O que é necessário para alcançar uma alta performance em um time de Engenharia?

Eficiência de Fluxo DORA¶

As Métricas DORA foram desenvolvidas pela DevOps Research and Assessment (DORA) para medir a eficácia das práticas de DevOps em uma organização.

Desempenho das Equipes SPACE¶

O Space Framework foi criado para ajudar a medir e analisar a produtividade do desenvolvedor de forma mais precisa. Oferece uma maneira estruturada de olhar para a produtividade, fornecendo insights que podem ajudar a melhorar a eficiência e a colaboração entre as equipes.

• Satisfação e Bem-Estar;
  • Satisfação do desenvolvedor;
  • Burnout
• Performance;
  • Taxas de Falha de Mudança;
  • Precisão no Planejamento do Perfil de Investimento;
• Atividade;
  • Frequência de Implantação;
  • Pontos de História Concluídos;
• Comunicação e Colaboração;
  • Cycle time;
  • Tempo de Coleta de PR (Pull Request);
  • Profundidade de Revisão de PR;
• Eficiência e Fluxo;
  • Cycle time;
  • Frequência de Merge;

Experiência do Desenvolvedor¶

É uma preocupação importante para organizações de software, pois aprimorar a experiência do desenvolvedor melhora a produtividade, a satisfação, o engajamento e a retenção.

Métricas e Frameworks ou Metodologias¶

Métricas técnicas¶

São um tipo de métrica muito utilizada, como no Kanban e no Scrum, para avaliar aspectos técnicos e de qualidade do software em desenvolvimento.

• Cobertura de testes;
• Complexidade de código
• Taxa de defeitos
• Tempo de resposta

Métricas de Negócio¶

São um tipo de métrica para medir a eficácia do que entregamos, ou seja, focamos mais em analisar a quantidade do que foi entregue, em vez da qualidade.

• Ticket médio
• Número de pessoas usuárias
• Índice de satisfação

Métricas Organizacionais¶

São um tipo de métrica para observar o desempenho, o progresso e o impacto das práticas ágeis em nível organizacional.

• Squad Health Check ou checagem de saúde da equipe.
• Nível de motivação

Métricas de Processo¶

São um tipo de métrica para avaliar a eficiência, a eficácia e o desempenho de um processo organizacional, fornecendo informações sobre qualidade, produtividade e conformidade.

• Lead Time(Tempo total decorrido desde o início até a conclusão de um determinado processo) e Cycle Time (Tempo médio necessário para concluir uma única tarefa)
• Taxa de retrabalho;
• Nível de conformidade;

Gráficos¶

Métricas Experiência do Desenvolvedor¶

Aponta os fatores mais críticos para atingir maior eficiência e qualidade no desenvolvimento de software. Esta é uma medida preditiva desenvolvida por pesquisadores, com amostras de benchmark de centenas de organizações em todo o mundo.

Está na capacidade de uma empresa de remover atritos para seus desenvolvedores, permitindo entrega e inovação mais rápidas. Iremos medir a eficácia da engenharia através das lentes dos desenvolvedores, fornecendo insights sobre os processos e fluxos de trabalho de engenharia.

| | | Speed | Effectiveness | Quality | Impact | | Key metric | Diffs per engineer* (PRS or MRs) | Developer Experience Index (DXI) | Change failure rate | % of time spent on new capabilities |
| | Not at individual level | Measure of key engineering performance drivers, developed by DX | | | | Secondary metrics | Lead time | Time to 10^th PR | Failed deployment recovery time | Initiative progress and ROI | | | Deployment frequency | Ease of delivery | Perceived software quality | Revenue per Engineer | | | Perceived rate of delivery | Regrettable attrition | Operational health and security metrics | | | Only at organizational level |

Cumulative Flow Diagram (CDF)¶

É um dos gráficos que nos dá uma visão geral do que está acontecendo em um projeto ou nas atividades de um produto. O eixo horizontal representa um período e o vertical indica a contagem cumulativa de itens no processo. Cada área pintada no gráfico está relacionada a uma etapa do fluxo de trabalho (por exemplo, a fazer, em andamento, concluído).

Método Kanban e Widgets¶

O lead time é calculado desde a criação do item de trabalho até a entrada em um estado Aceito. O tempo de ciclo é calculado desde a primeira entrada em um estado Em andamento até a entrada em um estado Concluído, conforme visualizado abaixo:

Na página Configuração , você pode selecionar a equipe, o nível do backlog e o período de tempo. Você também tem a opção de filtrar ainda mais o backlog usando critérios de campo.

Simulações de Monte Carlo para Gerenciar Projetos¶

H. James Harrington: "A medição é o primeiro passo que leva ao controle e, eventualmente, à melhoria. Se você não pode medir algo, você não pode entendê-lo. Se você não pode obtê-lo, você não pode controlá-lo. Se você não pode controlá-lo, não pode melhorá-lo."

Modelo de Monte Carlo ou Método de Monte Carlo (MMC)¶

É uma metodologia estatística que se baseia em uma grande quantidade de amostragens aleatórias para se chegar em resultados próximos de resultados reais.

Como fazer uma Simulação¶

Quando deparamos com situações de algum nível de incerteza e quiser utilizar a simulação de Monte Carlo terá que passar por 4 passos: * Passo 1 – Modelar o problema; * Passo 2 – Gerar valores aleatórios para as incertezas do problema (Planning Poker); * Passo 3 – Substituir as incertezas por valores para calcular o resultado; * Passo 4 – Obter uma estimativa para a solução do problema;

Métricas de desempenho de entrega de software (Baseadas 2022 ACCELERATE - Relatório State of DevOps)¶

Desempenho da entrega de software¶

As quatro métricas principais do desempenho da entrega de software, que são frequência de implantação, tempo de lead para alterações, taxa de falha nas alterações e tempo de restauração do serviço.

Desempenho operacional¶

A quinta métrica principal, que é a confiabilidade.

Desempenho da organização¶

Se aorganização consegue cumprir as metas de desempenho e de lucratividade.

State of DevOps Report¶

As organizações de alta confiança incentivam um bom fluxo de informações, colaboração interfuncional, responsabilidades compartilhadas, aprendizado com falhas e novas ideias; A satisfação no trabalho é aquele que diz antes, que prediz no nº 1 do desempenho organizacional. Um trabalho desafiador e significativo e de ter o poder de exercitar nossas habilidades e julgamento. Também sabemos que onde há satisfação no trabalho, os funcionários trazem o melhor de si para o trabalho: seu engajamento, sua criatividade e seu pensamento mais forte. Isso contribui para mais inovação em qualquer área do negócio, incluindo TI.

Métricas Desenvolvimento¶

Desempenho de Desenvolvimento¶

Métricas DORA (DevOps Research and Assessment (DORA) metrics)¶

As métricas DevOps Research and Assessment (DORA) revolucionaram a maneira como a indústria de software mede o desempenho e as capacidades de entrega da organização de software. O gerenciamento do fluxo de valor fornece a visibilidade ponta a ponta de todo o ciclo de vida de entrega de software, permitindo que equipes e gerentes entendam todos os aspectos de produtividade, qualidade e entrega.

Frequência de implantação¶

A frequência de implantação é medida pelo número médio de implantações por dia em um determinado ambiente, com base no horário de término da implantação. Quantidade de implementações em um período de tempo previamente determinado.

A primeira etapa é avaliar a cadência de lançamentos de código entre grupos e projetos. A seguir, você deve considerar:

• Adicionando testes automatizados.
• Adicionando validação automatizada de código.
• Dividindo as alterações em iterações menores.

Tempo para implantações (Lead Time for Changes)¶

Mede o tempo que a equipe demora para fazer o código sair do status de “commited” para "executado com sucesso”, ou seja, analisa o tempo médio de desenvolvimento e implantação de um software.

Taxa de falhas nas implantações (change failure rate)¶

Basta dividir a quantidade de defeitos identificados pelo número de implantações do período avaliado.

Tempo para restaurar o serviço (time to restore service)¶

Mede o tempo médio para que a funcionalidade de um sistema ou aplicativo seja reparada ou restaurada

Todos nos comprometermos a eliminar um pouco de trabalho a cada semana com alguma boa engenharia, limparemos nossos serviços de forma constante e poderemos direcionar nossos esforços coletivos para a engenharia em escala, arquitetando a próxima geração de serviços.

Desafios na adoção das métricas¶

O acompanhamento das DORA Metrics é essencial para aprimorar o trabalho da equipe de DevOps, mas existem alguns desafios que podem dificultar a sua adoção.

Informações dispersas¶

Nossa empresa em grande porte, têm diversas fontes de dados (svn,gitlab,azure-devops,bitbucket), o que dificulta o levantamento de todas as informações pertinentes para o cálculo das métricas.

Agile x DevOps: Os Benefícios¶

Produto Mínimo Viável¶

• Defina as hipóteses e valor do produto
• Encontre as funcionalidades essenciais
• Defina os indicadores de desempenho