要点
- 各ソースに何があるかを自動的に検出
- コンテンツ単位でファイルを識別する増分ロード
- ロードを止めることなく、ソースの構造変更を通知
- サイレント障害を検出:途中で切れたページ、変更された単位、部分的な応答
- 読み取り専用の認証情報を使用し、ソースへの書き込みは行いません
- PostgreSQL、Snowflake、S3への書き込み
典型的な障害はエラーではなく、沈黙です
連携がエラーで壊れたときは、誰かが気づきます。本当の問題はもう一方にあります。ソースが「問題なし」と応答しながら、半分しか取得できていない場合です。途中で切れたページ、別の単位で返ってきた値、成功コードを返しながら結果が空の機関。
これは汎用コネクターでは検出できません。検出するにはソースを知っている必要があるからです。そして気づいたときには、不完全なデータに基づいて何週間分もの意思決定がすでに行われています。
仕組み
自ら検出します。誰も文書化していなくても、各ソースを走査して内容を記述します。AIは分類を支援しますが、判断は行いません。本番環境へ送信されるのは人が指定したものだけであり、人による分類が常に優先されます。
新しいものだけを取り込みます。各ファイルをパスではなく内容で識別します。移動や名前変更によって再ロードや再分析は発生しません。
変更に耐えます。ソースに列が追加されても、ロードは継続し、お客様に通知します。停止することもなく、何事もなかったかのように続くこともありません。
自らを監視します。接続を監視し、メール、Slack、その他のチャネルで通知します。唯一の自動アクションは再試行です。接続の一時停止や認証情報の変更は人が判断します。
接続するソース
汎用コネクタはすべてのソースを同じように扱うため、そこでデータが失われます。Extractはソースごとにコネクタを持ち、それぞれの癖を把握しています。「問題ありません」と応答しながら実際には不足分しか返さない組織、標準に従わないページネーション、桁まで正確に守る必要があるCUIT(アルゼンチンの納税者番号)の形式などです。他国の組織については、各国のオープンデータポータル経由またはカスタムコネクタで取り込みます。
データベース向けコネクタはエンドツーエンドで検証済みであり、SENASA、IBGE、U.S. Drought Monitor、CKANおよびSocrataのポータル、NASA POWER、SoilGrids、Eiwaのコネクタは実際のサービスに対して検証されています。Google DriveとGoogle Sheets、OneDriveとSharePoint、John Deere Operations Center、Climate FieldView、ARCA、SIMA、ICAR ADE、SIO Granos、USDA NASS、Finnegans gO!は各プロバイダーのAPIまたは公式仕様に基づいて構築されており、導入時に貴社の認証情報または契約に基づいて最終検証を行います。
- スプレッドシートとファイル:Google Drive、OneDrive、SharePoint、Amazon S3、Google Sheets、複数シートのExcel、CSV、JSON
- データベース:PostgreSQL、MySQL、SQL Server、Oracle、MongoDB。常に読み取り専用ユーザーで接続
- 管理システム:専用コネクタを備えたFinnegans gO!、5種類の認証方式と5種類のページネーション方式に対応したREST API、およびERP、計量器、畜産向けカスタムソフトウェア
- アルゼンチンの機関:ARCA(税務機関、旧AFIP)は5つのサービスに対応:穀物、畜産、乳製品、たばこ、電子運送状。SENASA(農畜産衛生)は施設のRENSPA登録とCUIT別のポリゴンに対応。SIO Granos(穀物取引の公的登録)は取引とトン当たり価格に対応。食肉・乳製品事業者登録。およびDatos Abiertos del Agro
- 機械と農業:John Deere Operations Center、Climate FieldView、圃場別の農業レイヤーに対応したEiwa、圃場モニタリング用のSIMA、7ブランドのISOXML(機械モニターの標準フォーマット)、42のリソースに対応したICAR ADE(乳業データ標準)
- 環境と土壌:日別気候向けのNASA POWER、座標別の土壌特性向けのSoilGrids
- 公開データと国際データ:任意の国のCKANおよびSocrataオープンデータポータル、1974年以降の市町村別生産に対応したブラジルのIBGE、1866年以降の郡別に対応したUSDA NASS、2000年以降の週次マップに対応したU.S. Drought Monitor
データを保管する場所
ExtractはPostgreSQL、Snowflake、またはAmazon S3の貴社専用のランディングゾーンに書き込みます。その後DataRefineryがこれを読み取り、すべてを正規モデルに取り込みます。Postgresではさらに、貴社のチームが独自のツールでこのランディングゾーンを照会できます。
なぜアクセスを任せられるのか
Extractはお客様の情報が存在するシステムに接続するため、境界は機能と同様に重要です。
認証情報は読み取り専用であり、ソースへの書き込みは一切行いません。お客様のフォルダにメタデータファイルを残すことはありません。各ファイルについて必要な情報はExtract内に保持されます。監査ログは追記専用であり、社内ユーザーに対しても同様です。
また、AIにできないことが2つあります。値の修正と単位の変更です。データが誤って取り込まれた場合、誤ったまま取り込まれ通知されます。黙って修正されることはありません。
と組み合わせる
Data Platform
生データから、活用できる資産へ。
Data Platformの詳細 →AI Platform
貴社専用のアシスタントを、貴社のロール、データ、チャネルとともに。
AI Platformの詳細 →カタログ
契約するすべてのものを、一か所で。
カタログの詳細 →
