Перейти к содержимому
iAgro

iAgro Extract

Ваши данные уже есть. Не хватает только, чтобы они доходили.

Движок загрузки данных, созданный для агропромышленного комплекса. Он находит данные там, где они есть — таблицы, ERP-системы, техника, организации, — и размещает их в исходном виде, без интерпретации. Это первый компонент Data Platform, и он работает автономно.

28

источники с собственным коннектором

10

форматы таблиц, от CSV до ISOXML

7

марки техники

12

организации и государственные источники

Главное

  • Определяет содержимое каждого источника самостоятельно
  • Инкрементальные загрузки, идентифицирующие файл по содержимому
  • Уведомляет об изменении структуры источника, не останавливая загрузку
  • Выявляет скрытые сбои: обрезанные страницы, изменённые единицы измерения, частичные ответы
  • Учётные данные только для чтения, никогда не записывает в источник
  • Записывает в PostgreSQL, Snowflake или S3

Типичный сбой — это не ошибка, а молчание

Когда интеграция ломается с ошибкой, кто-то об этом узнаёт. Настоящая проблема в другом: источник отвечает «всё в порядке» и приносит половину. Страница, которая оборвалась, значение, которое пришло в другой единице измерения, система, которая возвращает код успеха с пустым результатом.

Это не обнаружит универсальный коннектор, потому что для этого нужно знать источник. А когда это обнаруживается, уже есть недели решений, принятых на основе неполных данных.

Как это работает

Обнаруживает самостоятельно. Проходит по каждому источнику и описывает его содержимое, даже если это никем не документировано. ИИ помогает классифицировать, но не решает: в продуктивную среду передаётся только то, что отметил человек, и человеческая классификация всегда имеет приоритет.

Загружает только новое. Определяет каждый файл по его содержимому, а не по пути: перемещение или переименование не запускает повторную загрузку или новый анализ.

Выдерживает изменения. Если источник добавляет столбец, загрузка продолжается, и вы получаете уведомление. Система не ломается, но и не делает вид, что ничего не произошло.

Следит за собой. Отслеживает подключения и уведомляет по электронной почте, в Slack или по другому каналу. Единственное автоматическое действие — повторная попытка: приостановить подключение или изменить учётные данные решает человек.

Источники, к которым он подключается

Универсальный коннектор относится ко всем источникам одинаково, и именно на этом теряются данные. В Extract для каждого источника свой коннектор, который знает его особенности: организации, которые отвечают «всё хорошо», а данных присылают меньше, пагинация, не следующая стандарту, форматы CUIT — аргентинского налогового идентификатора, — которые нужно соблюдать до цифры. Организации других стран подключаются через свои порталы открытых данных или через коннектор под заказ.

Коннекторы к базам данных проверены от начала до конца, а коннекторы к SENASA, IBGE, U.S. Drought Monitor, порталам CKAN и Socrata, NASA POWER, SoilGrids и Eiwa — на реальном сервисе. Google Drive и Google Sheets, OneDrive и SharePoint, John Deere Operations Center, Climate FieldView, ARCA, SIMA, ICAR ADE, SIO Granos, USDA NASS и Finnegans gO! построены на API или официальной спецификации каждого поставщика, и их проверка завершается с вашими учётными данными или соглашением во время внедрения.

  • Планы и файлыGoogle Drive, OneDrive, SharePoint, Amazon S3, Google Sheets, многолистовые Excel, CSV и JSON
  • Базы данныхPostgreSQL, MySQL, SQL Server, Oracle и MongoDB, всегда с пользователем только для чтения
  • Системы управленияFinnegans gO! с выделенным коннектором, REST API с пятью методами аутентификации и пятью методами пагинации, а также ERP, весы и специализированное ПО для животноводства
  • Аргентинские организацииARCA —налоговая служба, бывшая AFIP— с пятью сервисами: зерно, животноводство, молочное производство, табак и электронная транспортная накладная; SENASA —санитарный надзор в сельском хозяйстве— с реестром RENSPA хозяйств и их полигонами по CUIT; SIO Granos —официальный реестр операций с зерном— с операциями и ценами за тонну; реестр операторов мясной и молочной продукции; и Datos Abiertos del Agro
  • Техника и агрономияJohn Deere Operations Center, Climate FieldView, Eiwa с агрономическими слоями по полям, SIMA для мониторинга в поле, ISOXML —стандартный формат мониторов сельхозтехники— семи марок, и ICAR ADE —стандарт данных молочного животноводства— с 42 ресурсами
  • Окружающая среда и почваNASA POWER для ежедневных данных о погоде и SoilGrids для свойств почвы по координатам
  • Открытые и международные данныепорталы открытых данных CKAN и Socrata любой страны, IBGE Бразилии с муниципальной статистикой производства с 1974 года, USDA NASS по округам с 1866 года и U.S. Drought Monitor с еженедельными картами с 2000 года

Куда он помещает данные

Extract записывает данные в PostgreSQL, Snowflake или Amazon S3, в собственную зону приземления вашей компании. Именно её затем читает DataRefinery, чтобы перенести всё в каноническую модель; кроме того, в Postgres ваша команда обращается к ней с помощью собственных инструментов.

Почему ему можно доверить доступ

Extract входит в системы, где хранится ваша информация, поэтому ограничения важны не меньше, чем возможности.

Учётные данные — только для чтения, и в источник он никогда не пишет. Он не оставляет файлы метаданных валяться в ваших папках: то, что ему нужно знать о каждом файле, хранится внутри Extract. Журнал аудита — только для добавления, в том числе для внутренних пользователей.

И есть две вещи, которые ИИ не может сделать: исправить значение и изменить единицу измерения. Если данные пришли неверными, они приходят неверными, и об этом сообщается — это не исправляется молча.

Сочетается с

Запросите демонстрацию или начните с диагностики

На демо мы показываем платформу в работе на тестовых данных. Если вы предпочитаете начать со своего случая, мы проводим диагностику без обязательств и говорим, с чего целесообразно начать.