要点
- 自动识别每个数据源中的内容
- 按内容识别文件的增量加载
- 在数据源结构变化时发出提醒,不中断加载
- 检测静默故障:页面截断、单位变更、部分响应
- 只读凭证,绝不写入源端
- 写入 PostgreSQL、Snowflake 或 S3
典型的故障不是报错:而是沉默
当集成因错误而中断时,总有人会察觉。真正的问题在另一面:数据源回复「一切正常」,却只带回了一半数据。一个被截断的页面、一个以其他单位传入的数值、一个返回成功代码却带着空结果的机构。
通用连接器无法发现这些,因为要发现它们,必须了解数据源。而当问题被发现时,已经有数周的决策建立在并不完整的数据之上。
工作原理
自行发现。遍历每个数据源并描述其内容,即使无人记录过。AI 协助分类,但不做决定:只有经人工标记用于生产的才会发送,人工分类始终优先。
仅引入新数据。按内容而非路径识别每个文件:移动或重命名不会触发重新加载或新的分析。
从容应对变更。如果某个数据源新增一列,加载照常进行并通知您。不会中断,也不会当作什么都没发生。
自我监控。监控各连接,并通过邮件、Slack 或其他渠道通知。唯一的自动操作是重试:暂停连接或更改凭据均由人工决定。
连接的来源
通用连接器对所有数据源一视同仁,数据正是在那里丢失的。Extract 为每个数据源配备专用连接器,了解其各自的门道:一些机构接口回复“一切正常”却返回缺失数据、不遵循标准的分页、必须逐位校验的 CUIT(阿根廷税务识别号)格式。其他国家的机构数据通过其开放数据门户或定制连接器接入。
数据库连接器已通过端到端验证,SENASA、IBGE、U.S. Drought Monitor、CKAN 和 Socrata 门户、NASA POWER、SoilGrids 和 Eiwa 的连接器则已针对真实服务完成验证。Google Drive 和 Google Sheets、OneDrive 和 SharePoint、John Deere Operations Center、Climate FieldView、ARCA、SIMA、ICAR ADE、SIO Granos、USDA NASS 和 Finnegans gO! 均基于各提供商的官方 API 或规范构建,并在实施过程中使用您的凭证或协议完成最终验证。
- 电子表格和文件:Google Drive、OneDrive、SharePoint、Amazon S3、Google Sheets、多工作表 Excel、CSV 和 JSON
- 数据库:PostgreSQL、MySQL、SQL Server、Oracle 和 MongoDB,始终使用只读用户
- 管理系统:Finnegans gO! 配有专用连接器,REST API 支持五种认证方式和五种分页方式,以及定制化的 ERP、地磅和畜牧软件
- 阿根廷机构:ARCA(税务机构,原 AFIP)提供五项服务:谷物、畜牧、乳业、烟草和电子运单;SENASA(农牧业卫生)提供 RENSPA establishments 登记及其按 CUIT 划分的地块多边形;SIO Granos(官方谷物交易登记)提供交易和每吨价格;肉类和乳制品经营者名录;以及 Datos Abiertos del Agro
- 机械与农艺:John Deere Operations Center、Climate FieldView、Eiwa 提供按地块划分的农艺图层、SIMA 用于田间监测、ISOXML(机械显示器标准格式)支持七个品牌,以及 ICAR ADE(乳业数据标准)提供 42 项资源
- 环境与土壤:NASA POWER 提供每日天气数据,SoilGrids 提供按坐标查询的土壤属性
- 公共和国际数据:任何国家的 CKAN 和 Socrata 开放数据门户、巴西 IBGE 提供自 1974 年以来的市级产量数据、USDA NASS 提供自 1866 年以来的县级数据,以及 U.S. Drought Monitor 提供自 2000 年以来的每周地图
数据存放位置
Extract 写入 PostgreSQL、Snowflake 或 Amazon S3,落在您企业自有的着陆区。随后由 DataRefinery 读取该着陆区,将所有数据汇入规范模型;在 Postgres 中,您的团队还可以用自有工具直接查询。
为何可以放心授予访问权限
Extract 会进入您信息所在的系统,因此边界与能力同样重要。
凭据为只读,绝不写入源系统。不会在您的文件夹中留下散落的元数据文件:每个文件所需了解的信息都存在于 Extract 内部。审计日志为仅追加,对内部用户也是如此。
有两件事 AI 不能做:修正数值和更改单位。如果数据到达时就是错的,那就以错误状态到达并发出通知,不会被悄悄修正。
可与
Data Platform
从原始数据到可查询的资产。
关于 Data Platform 的更多内容 →AI Platform
您自己的助手,拥有您的角色、您的数据和您的渠道。
关于 AI Platform 的更多内容 →产品目录
所有订购内容,尽在一处。
关于 产品目录 的更多内容 →
