跳至内容
iAgro

iAgro Extract

您的数据已经存在。缺少的是让它们抵达。

为农业打造的摄取引擎。它去数据所在之处获取数据——表格、ERP、机械、机构——并将其原样存放,不做解读。它是 Data Platform 的第一个组件,可独立运行。

28

自带连接器的数据源

10

表格格式,从 CSV 到 ISOXML

7

机械品牌

12

公共机构和公共数据源

要点

  • 自动识别每个数据源中的内容
  • 按内容识别文件的增量加载
  • 在数据源结构变化时发出提醒,不中断加载
  • 检测静默故障:页面截断、单位变更、部分响应
  • 只读凭证,绝不写入源端
  • 写入 PostgreSQL、Snowflake 或 S3

典型的故障不是报错:而是沉默

当集成因错误而中断时,总有人会察觉。真正的问题在另一面:数据源回复「一切正常」,却只带回了一半数据。一个被截断的页面、一个以其他单位传入的数值、一个返回成功代码却带着空结果的机构。

通用连接器无法发现这些,因为要发现它们,必须了解数据源。而当问题被发现时,已经有数周的决策建立在并不完整的数据之上。

工作原理

自行发现。遍历每个数据源并描述其内容,即使无人记录过。AI 协助分类,但不做决定:只有经人工标记用于生产的才会发送,人工分类始终优先。

仅引入新数据。按内容而非路径识别每个文件:移动或重命名不会触发重新加载或新的分析。

从容应对变更。如果某个数据源新增一列,加载照常进行并通知您。不会中断,也不会当作什么都没发生。

自我监控。监控各连接,并通过邮件、Slack 或其他渠道通知。唯一的自动操作是重试:暂停连接或更改凭据均由人工决定。

连接的来源

通用连接器对所有数据源一视同仁,数据正是在那里丢失的。Extract 为每个数据源配备专用连接器,了解其各自的门道:一些机构接口回复“一切正常”却返回缺失数据、不遵循标准的分页、必须逐位校验的 CUIT(阿根廷税务识别号)格式。其他国家的机构数据通过其开放数据门户或定制连接器接入。

数据库连接器已通过端到端验证,SENASA、IBGE、U.S. Drought Monitor、CKAN 和 Socrata 门户、NASA POWER、SoilGrids 和 Eiwa 的连接器则已针对真实服务完成验证。Google Drive 和 Google Sheets、OneDrive 和 SharePoint、John Deere Operations Center、Climate FieldView、ARCA、SIMA、ICAR ADE、SIO Granos、USDA NASS 和 Finnegans gO! 均基于各提供商的官方 API 或规范构建,并在实施过程中使用您的凭证或协议完成最终验证。

  • 电子表格和文件:Google Drive、OneDrive、SharePoint、Amazon S3、Google Sheets、多工作表 Excel、CSV 和 JSON
  • 数据库:PostgreSQL、MySQL、SQL Server、Oracle 和 MongoDB,始终使用只读用户
  • 管理系统:Finnegans gO! 配有专用连接器,REST API 支持五种认证方式和五种分页方式,以及定制化的 ERP、地磅和畜牧软件
  • 阿根廷机构:ARCA(税务机构,原 AFIP)提供五项服务:谷物、畜牧、乳业、烟草和电子运单;SENASA(农牧业卫生)提供 RENSPA establishments 登记及其按 CUIT 划分的地块多边形;SIO Granos(官方谷物交易登记)提供交易和每吨价格;肉类和乳制品经营者名录;以及 Datos Abiertos del Agro
  • 机械与农艺:John Deere Operations Center、Climate FieldView、Eiwa 提供按地块划分的农艺图层、SIMA 用于田间监测、ISOXML(机械显示器标准格式)支持七个品牌,以及 ICAR ADE(乳业数据标准)提供 42 项资源
  • 环境与土壤:NASA POWER 提供每日天气数据,SoilGrids 提供按坐标查询的土壤属性
  • 公共和国际数据:任何国家的 CKAN 和 Socrata 开放数据门户、巴西 IBGE 提供自 1974 年以来的市级产量数据、USDA NASS 提供自 1866 年以来的县级数据,以及 U.S. Drought Monitor 提供自 2000 年以来的每周地图

数据存放位置

Extract 写入 PostgreSQL、Snowflake 或 Amazon S3,落在您企业自有的着陆区。随后由 DataRefinery 读取该着陆区,将所有数据汇入规范模型;在 Postgres 中,您的团队还可以用自有工具直接查询。

为何可以放心授予访问权限

Extract 会进入您信息所在的系统,因此边界与能力同样重要。

凭据为只读,绝不写入源系统。不会在您的文件夹中留下散落的元数据文件:每个文件所需了解的信息都存在于 Extract 内部。审计日志为仅追加,对内部用户也是如此。

有两件事 AI 不能做:修正数值和更改单位。如果数据到达时就是错的,那就以错误状态到达并发出通知,不会被悄悄修正。

可与

预约演示或从诊断开始

在演示中,我们展示平台使用测试数据的运行情况。如果您更希望从自己的案例入手,我们会进行一次无义务的诊断,并告诉您从哪里开始更合适。