Ir para o conteúdo
iAgro

iAgro Extract

Seus dados já existem. O que falta é que eles cheguem.

O motor de ingestão feito para o agro. Busca os dados onde eles estejam —planilhas, ERPs, maquinário, órgãos— e os deposita crus, sem interpretá-los. É a primeira peça do Data Platform e funciona por si só.

28

fontes com conector próprio

10

formatos de tabela, de CSV a ISOXML

7

marcas de maquinário

12

organismos e fontes públicas

O essencial

  • Descobre sozinho o que há em cada fonte
  • Cargas incrementais que identificam o arquivo por conteúdo
  • Avisa quando uma fonte muda de estrutura, sem travar a carga
  • Detecta falhas silenciosas: páginas cortadas, unidades alteradas, respostas parciais
  • Credenciais somente leitura, nunca grava na origem
  • Grava em PostgreSQL, Snowflake ou S3

A falha típica não é um erro: é o silêncio

Quando uma integração quebra com um erro, alguém fica sabendo. O problema real é o outro: a fonte responde “tudo bem” e traz metade. Uma página que foi cortada, um valor que veio em outra unidade, um organismo que devolve um código de sucesso com um resultado vazio.

Isso um conector genérico não detecta, porque para detectar é preciso conhecer a fonte. E quando se descobre, já há semanas de decisões tomadas sobre dados incompletos.

Como funciona

Descobre por conta própria. Percorre cada fonte e descreve o que ela contém, mesmo que ninguém tenha documentado isso. A IA ajuda a classificar, mas não decide: só é enviado o que uma pessoa marcou para produção, e a classificação humana sempre prevalece.

Traz apenas o que é novo. Identifica cada arquivo pelo seu conteúdo, não pelo seu caminho: mover ou renomear não dispara um recarregamento nem uma nova análise.

Sobrevive às mudanças. Se uma fonte adiciona uma coluna, a carga continua e avisa você. Não quebra, e também não segue como se nada tivesse acontecido.

Se vigia a si mesmo. Monitora as conexões e avisa por e-mail, Slack ou outro canal. A única ação automática é tentar novamente: pausar uma conexão ou alterar uma credencial é decisão de uma pessoa.

As fontes que você conecta

Um conector genérico trata todas as fontes igual, e é aí que os dados se perdem. O Extract tem um conector por fonte, que conhece suas manhas: organismos que respondem “tudo bem” e trazem de menos, paginados que não seguem o padrão, formatos de CUIT —a identificação fiscal argentina— que precisam ser respeitados dígito a dígito. Os organismos de outros países entram por seus portais de dados abertos ou com um conector sob medida.

Os conectores a bases de dados estão testados de ponta a ponta, e os de SENASA, IBGE, U.S. Drought Monitor, portais CKAN e Socrata, NASA POWER, SoilGrids e Eiwa, contra o serviço real. Google Drive e Google Sheets, OneDrive e SharePoint, John Deere Operations Center, Climate FieldView, ARCA, SIMA, ICAR ADE, SIO Granos, USDA NASS e Finnegans gO! estão construídos sobre a API ou a especificação oficial de cada fornecedor e são finalizados de verificar com sua credencial ou convênio durante a implementação.

  • Planilhas e arquivosGoogle Drive, OneDrive, SharePoint, Amazon S3, Google Sheets, Excel com várias abas, CSV e JSON
  • Bancos de dadosPostgreSQL, MySQL, SQL Server, Oracle e MongoDB, sempre com usuário somente leitura
  • Sistemas de gestãoFinnegans gO! com conector dedicado, APIs REST com cinco métodos de autenticação e cinco de paginação, e ERPs, balanças e software pecuário sob medida
  • Órgãos argentinosARCA —a agência fiscal, ex-AFIP— com cinco serviços: grãos, pecuária, lácteos, tabaco e carta de porte eletrônica; SENASA —sanidade agropecuária— com o registro RENSPA de estabelecimentos e seus polígonos por CUIT; SIO Granos —o registro oficial de operações de grãos— com operações e preços por tonelada; o cadastro de operadores de carne e lácteos; e Datos Abiertos del Agro
  • Maquinário e agronomiaJohn Deere Operations Center, Climate FieldView, Eiwa com camadas agronômicas por talhão, SIMA para monitoramento a campo, ISOXML —o formato padrão dos monitores de maquinário— de sete marcas, e ICAR ADE —o padrão de dados leiteiros— com 42 recursos
  • Ambiente e soloNASA POWER para clima diário e SoilGrids para propriedades do solo por coordenada
  • Dados públicos e internacionaisportais de dados abertos CKAN e Socrata de qualquer país, IBGE do Brasil com produção municipal desde 1974, USDA NASS por condado desde 1866 e o U.S. Drought Monitor com mapas semanais desde 2000

Onde deposita os dados

Extract escreve no PostgreSQL, no Snowflake ou no Amazon S3, em uma zona de aterrissagem própria da sua empresa. É essa que depois o DataRefinery lê para levar tudo ao modelo canônico; no Postgres, além disso, sua equipe a consulta com as próprias ferramentas.

Por que se pode confiar o acesso

O Extract entra nos sistemas onde sua informação vive, então os limites importam tanto quanto as capacidades.

As credenciais são somente leitura e ele nunca escreve na origem. Não deixa arquivos de metadados circulando nas suas pastas: o que ele precisa saber de cada arquivo vive dentro do Extract. O registro de auditoria é somente agregado, também para os usuários internos.

E há duas coisas que a IA não pode fazer: corrigir um valor e alterar uma unidade. Se um dado chegou errado, chega errado e é sinalizado — não é corrigido em silêncio.

Combina-se com

Solicite uma demonstração ou comece por um diagnóstico

Em uma demo, mostramos a plataforma funcionando com dados de teste. Se você preferir começar pelo seu caso, fazemos um diagnóstico sem compromisso e dizemos por onde vale a pena começar.