O que não sabemos é o tamanho dessa variação.
Atuamos no setor de dados e conversamos todos os dias com produtores, agrônomos e demais interessados. Sabemos o quanto é valioso, para a grande maioria das pessoas do setor, dispor de bons dados de solo.
Para quem trabalha na agricultura com princípios de agricultura de precisão, decisões importantes muitas vezes se baseiam em apenas um ou dois dígitos. Quem decide depende da exatidão dos dados.
Se você é um produtor no oeste do Canadá ou um especialista em insumos agrícolas em Iowa, deveria poder esperar resultados comparáveis.
Todos nós temos um nível aceitável de variação com o qual conseguimos trabalhar. Para alguns é 5%; para outros, algo mais próximo de 20%. A maioria dos atores do setor com quem conversamos converge para a faixa de 10 a 15%.
10 amostras enviadas a 10 laboratórios diferentes vão gerar exatamente os mesmos resultados? Não.
As mesmas 10 amostras vão ficar dentro de uma faixa de variabilidade com a qual podemos trabalhar e tomar boas decisões? Deveriam.
Tentamos descobrir qual era a variação entre laboratórios.
Uma mesma amostra composta pode gerar resultados diferentes.
Para saber o que esperar em termos de variação de resultados de um laboratório para outro, coletamos 25 amostras compostas de quatro subamostras em nosso campo de pesquisa.
Dividimos essas 25 amostras compostas em 4 partes cada, que enviamos em seguida a 4 laboratórios diferentes nos Estados Unidos e no Canadá, para análise com a mesma metodologia.
Os resultados finais ilustrados abaixo mostram os resultados de análise das 25 amostras compostas, cada ponto representando o resultado de um laboratório para a amostra em questão.
Os resultados
Esperávamos variações entre laboratórios, mas a amplitude da variação foi uma surpresa.
48%
Considerando todos os nutrientes medidos e todas as amostras compostas, o percentual de variação entre o valor máximo e o valor mínimo informados pelos laboratórios para cada amostra composta ficou, em média, em torno de 48%. Muito longe dos 10-15% esperados que a maioria dos nossos clientes pede.
O MAPE (Mean Absolute Percentage Error, erro percentual absoluto médio) é uma medida de exatidão baseada no percentual relativo dos erros. Quanto mais próximo de zero o valor do MAPE, melhores as predições. Ele representa o erro percentual médio entre o valor máximo e o valor mínimo informados pelos laboratórios para cada amostra composta. Em outras palavras, é a variação média de amplitude observada.
Algumas variações ficaram claramente dentro de uma faixa mais do que aceitável, como o pH tampão, com apenas 1%, enquanto outras, como o nitrogênio na forma de nitrato abaixo, foram mais dramáticas, com variação de 91%. Cada ponto preto representa o resultado de um laboratório.
O exemplo abaixo, para o fósforo, mostra o quanto os resultados podem variar para um único nutriente. O MAPE que observamos, representando a variação média de amplitude mais extrema, foi de 73%.
O potássio também apresentou variações bastante perceptíveis nas 25 amostras compostas. Algumas ficaram dentro de poucas dezenas de PPM, enquanto outras amostras compostas mais do que dobraram.
Esperávamos variabilidade, assim como a maioria das pessoas do setor que trabalham com dados de solo. O problema é quando os dados variam demais, com frequência demais.
Os resultados extraídos abaixo para o Cu demonstram o quanto as amostras compostas variaram durante nosso teste, dificultando a tomada de decisão. Sem ser dramática, considerando que falamos de valores de ppm de um dígito, a amplitude foi um tanto surpreendente.
Como a ChrysaLabs se compara?
Mantendo o foco nos principais nutrientes (N, P, K, OM, pH), os resultados da ChrysaLabs Probe ficaram, em sua maioria, dentro da mesma faixa do que você receberia de laboratórios tradicionais.
De 25 amostras, veja quantas retornaram resultados dentro da mesma faixa dos nossos laboratórios de referência.
N : 16 na mesma faixa
Observamos 3x menos variação nos dados Sonda VS Laboratórios do que Laboratórios VS Laboratórios
K : 18 na mesma faixa
Variação observada entre nossos resultados e a faixa dos laboratórios : 6.7%
P : 15 na mesma faixa
Variação observada entre nossos resultados e a faixa dos laboratórios : também 6.7%
OM : 16 na mesma faixa
Variação observada entre nossos resultados e a faixa dos laboratórios : 6.6%
PH : 9 na mesma faixa
Não é nosso melhor resultado comparativo, mas ficou dentro de 0.9% dos resultados dos laboratórios em todas as amostras.
Esses resultados estão muito próximos dos 10-15% esperados.
Sobre precisão no alvo & repetibilidade
É impossível um laboratório replicar os resultados de outros laboratórios por causa da variabilidade interlaboratorial.
Mesmo que as variações mais extremas tenham sido às vezes altas em nosso experimento, os resultados ficaram, em sua maioria, na mesma faixa.
Esse é o seu percentual de variação aceitável.
O que nosso experimento mostrou é que é possível cair fora dessa faixa de tempos em tempos.
Quando isso acontece, você perde outra métrica-chave que deveria estar no topo da sua lista analítica: a repetibilidade.
Embora você não possa esperar resultados exatamente iguais aos de outros laboratórios (exatidão), pode esperar que fiquem na mesma faixa (precisão). E, seja qual for o método de medição escolhido, ele deve gerar resultados semelhantes para múltiplas preparações de uma mesma amostra.
