Data Package and Data Resource Profiles

Data Package

[28] Data Package は、データファイル集合を記述するデータ形式の1つです。

Data Package

[16] Data Package - CKAN, , https://web.archive.org/web/20110902095023/http://wiki.ckan.net/Data_Package

[2] Data Package (v1) | Data Package (v1), , https://specs.frictionlessdata.io/

[11] GitHub - frictionlessdata/specs: Technical specifications and guidelines for implementing Frictionless Data., https://github.com/frictionlessdata/specs

[1] Data Package v1 Specifications. What has Changed and how to Upgrade - Open Knowledge Labs, , https://okfnlabs.org/blog/2017/10/11/upgrade-to-data-package-specs-v1.html

[3] Data Package | Data Package (v1), , https://specs.frictionlessdata.io/data-package/

[20] Data as Code Deja-Vu - Open Knowledge Labs, , https://okfnlabs.org/blog/2013/10/04/data-as-code-dejavu.html

The basic “package” idea from CKAN has evolved into the Data Package spec - and Simple Data Format

[4] Table Schema

[5] Data Resource

[6] Data Package Identifier | Data Package (v1), , https://specs.frictionlessdata.io/data-package-identifier/

[7] Tabular Diff Format

[8] Profiles | Data Package (v1), , https://specs.frictionlessdata.io/profiles/

[9] Data Package Views | Data Package (v1), , https://specs.frictionlessdata.io/views/

[19] 古い版は Simple Data Format を参照してたのにいつの間にかなくなってた。

[10] 関連: Data Protocols, dpm

[21] Data Package v1 Specifications. What has Changed and how to Upgrade, https://datahub.io/blog/upgrade-to-data-package-specs-v1

[41] 実利用例:

CKAN パッケージ

[22] CKAN で現在 dataset (データ集合) と呼んでいるものが、 CKAN API では package (パッケージ) と呼ばれています。

[23] ところがそのCKANパッケージの詳細は CKAN API のドキュメントでは説明されていません。

[24] Data Packages の初期案は CKANウェブサイト上に置かれていました >>16

[25] ブログでも CKANpackageData Package へと発展したと明言されています >>20

[26] 実際の CKAN や互換ソフトウェアの CKAN API の返す CKANパッケージ JSONオブジェクトData PackageJSONオブジェクトとよく似ていますが、微妙に違いがあります。

[27] Data PackageRFC 4627 JSONオブジェクトでなければならないとされます >>3CKAN API でもパッケージJSONオブジェクトです。

area
GKANCKAN API地名人間可読文字列のことがあります。
author
CKAN API でデータの著者の名前と思われる文字列のことがあります。 空文字列のことがあります。
author_email
CKAN API空文字列addr-spec のことがあります。
charge
GKANCKAN API文字列 無償 のことがあります。
contributors
Data Package にあります >>3 が、 CKAN API での利用は未見です。
created
Data Package では、 作成された日時を表す RFC 3339の日時形式の値とされます。 作成が具体的にいつを表すかは定められておらず、 データの作成でもパッケージの作成でも構わないとされます。 >>3 CKAN API では RFC 3339 と違って時間帯がない形式の用例がみられます。
creator
CKAN APIUUID のことがあります。
datapackage_version
Data Packages にあり、指定が推奨されていました。 >>18 CKAN API では未見です。
dependencies
Data Packages にありました。 >>18 CKAN API では未見です。
description
Data Package ではパッケージの説明で、 CommonMark とされます。 >>3 実際の CKAN API では未見です。かわりに notes があることがあります。
emergency
GKANCKAN API文字列 無償提供 のことがあります。
fee
GKANCKAN API文字列 無償 のことがあります。
extras
CKAN APIJSON配列のことがあります。
key
文字列が指定されることがあります。
value
文字列が指定されることがあります。
groups
CKAN APIJSON配列のことがあります。
description
説明文と思われる人間可読の文字列のことがあります。 空文字列のことがあります。
display_name
表示名と思われる人間可読の文字列のことがあります。
id
UUID のことがあります。
image_display_url
空文字列のこと、 画像絶対URLのことがあります。
name
URL で安全に使えそうな雰囲気のASCII文字列のことがあります。
title
表示名と思われる人間可読の文字列のことがあります。 display_name との使い分けは不明。
homepage
Data Package にあります >>3 が、 CKAN API での利用は未見です。
id
Data Package では、 指定が推奨される特性であり、大域的に固有な識別子とされ、 UUIDDOI が例示されています。 >>3 CKAN では UUID が使われています。
image
Data Package にあります >>3 が、 CKAN API での利用は未見です。
isopen
CKAN API1, 0 のことがあります。
keywords
Data Package にあります >>3 が、 CKAN API での利用は未見です。
last_modified
Data Packages にありました。 ISO 8601 形式の日付または日時とされていました。 >>18 CKAN API では未見です。
license_agreement
GKANCKAN API人間可読文字列空文字列のことがあります。
license_id
CKAN API で使われることがあります。
license_title
CKAN API で使われることがあります。
license_url
CKAN API で使われることがあります。 指定されないこともあります。
licenses
Data Packages では、 指定が推奨される特性であり、ライセンスに関する記述の JSON配列とされます。 >>3 CKAN API では licenses の利用例は未見です。
maintainer
CKAN API でデータ管理者の名前と思しき人間可読な文字列のことがあります。 空文字列のことがあります。
maintainer_email
CKAN API空文字列のこと、 addr-specnull のことがあります。
maintainers
Data Packages にあり、パッケージmaintainer の情報の配列とされていました。 >>18 CKAN API では未見です。
metadata_created
CKAN API地方日時文字列のことがあります。 CKAN サイト上の「作成日」に当たります。 サイト日付との比較から、 UTC日時であることがわかります。
metadata_modified
CKAN API地方日時文字列のことがあります。 CKAN サイト上の「最終更新日」に当たります。 サイト日付との比較から、 UTC日時であることがわかります。
name
Data Package では、 指定が推奨される特性であり、値は URL で利用可能でできれば人間可読パッケージの名前とされる一方で、 ASCII小文字等のみでなければならないともされています >>3英語ローマ字などでなければ満たし得ない規定です。 CKAN API では URL で安全に使えそうな雰囲気のASCII文字列のことがあります。 Data Package においては同じ登録簿中の他のパッケージの名前と衝突しないべきとされ、 パッケージの更新時には変更しない不可変の名前とするべきとされます。 こうした制約が CKAN API (を実装したソフトウェア) でも実装されているのかは不明です。 CKAN API を利用するアプリケーションはこのような制約が満たされることを期待するべきではなく、 ただの人間向けの表示名として扱うべきでしょう。
notes
CKAN APIパッケージの説明文と思われる人間可読の文字列のことがあります。 Markdown らしき記号が使われていることがあります。
num_resources
CKAN APIresources配列の長さと思しき整数のことがあります。
num_tags
CKAN APItags配列の長さと思しき整数のことがあります。
organization
CKAN APIJSONオブジェクトのことがあります。
approval_status
approved のことがあります。
created
地方日時文字列のことがあります。
description
説明文らしき人間可読な文字列のことがあります。 空文字列のことがあります。
id
UUID のことがあります。
image_url
空文字列のこと、 絶対URLのことがあります。
is_organization
1 のことがあります。
name
URL で安全に使えそうな雰囲気のASCII文字列のことがあります。 意味がわかりそうなこともあれば、謎の文字列のこともあります。
revision_id
UUID のことがあります。 id とは違う値のようです。 ないこともあります。
state
active のことがあります。
title
組織名と思しき人間可読な文字列のことがあります。
type
organization のことがあります。
owner_org
CKAN APIUUID のことがあります。 organizationid と一致しているようです。
private
CKAN API0 のことがあります。
profile
Data Package では、 指定が推奨される特性であり、 プロファイルを指定するものです。 >>3 CKAN API での利用は未見です。
publishers
Data Packages にありました。 >>18 CKAN API では未見です。
quality
GKANCKAN API人間可読文字列空文字列のことがあります。
registerd_date
GKANCKAN API空文字列のことがあります。
relationships_as_object
CKAN APIJSON配列のことがあります。
relationships_as_subject
CKAN APIJSON配列のことがあります。
resources
Data Package では、 Data Resource の1つ以上JSON配列でなければなりません>>3 CKAN API では、 CKAN資源JSON配列です。 のこともあります。
restriction
GKANCKAN API人間可読文字列空文字列のことがあります。
revision_id
CKAN APIUUID のことがあります。 id とは別の値のようです。
sources
Data Package にあります >>3 が、 CKAN API での利用は未見です。
spatial
GKAN で利用例があります。 GeoJSONtype: PolygonJSON文字列として指定していることがあります。 空文字列のこともあります。
state
CKAN APIactive のことがあります。
tags
CKAN APIJSON配列のことがあります。
display_name
人間可読な文字列が入っていることがあります。
id
UUID が指定されていることがあります。
name
人間可読な文字列が入っていることがあります。 display_name と同じ値と思われます。
state
active が指定されていることあがります。
vocabulary_id
null が指定されていることがあります。
thumbnail_url
GKAN では画像絶対URL (HTTP(S) URL, data:) や空文字列のことがあります。
title
Data Package ではパッケージの短文説明とされます >>3CKAN API では、 パッケージ名と思しき人間可読文字列のことがあります。
type
CKAN APIdataset のことがあります。
url
CKAN API では絶対URL のことがあります。 CKAN システム外の URL です。 パッケージに関係するウェブページが記述されると思われます。 空文字列のこともあります。 データカタログ横断検索システムCKAN API では null のことがあります。
version
Data Package では、 パッケージ版文字列とされます。 Semantic VersioningData Package Version に従うべきとされます。 >>3 実際の CKAN API では整数JSON文字列としたものが見られます (Semantic Versioning に従っていません)。 null のこともあります。
xckan_description
データカタログ横断検索システムCKAN API人間可読の説明文のことがあります。:xckan_id データカタログ横断検索システムCKAN API で同システム内のデータ集合の識別子と思われる記号列です。 表示用ページおよび APIURL に使われます (本家 CKAN だと id ですが、 データカタログ横断検索システム だと idURL の識別子が一致していません)。
xckan_last_updated
データカタログ横断検索システム で 「このメタデータの最終更新日時」 と説明されています。実例未見。
xckan_original_id
データカタログ横断検索システム で 「元のサイトでのデータセットID」 と説明されています。実例未見。
xckan_site_name
データカタログ横断検索システム で 「サイト名(横断検索システムで定義しています)」 と説明されています。実例未見。
xckan_site_url
データカタログ横断検索システムCKAN APIHTTP(S) URL (絶対URL) が入っています。 「このメタデータの情報を表示するウェブサイトのURL」 と説明されています。
xckan_tags
データカタログ横断検索システムCKAN APIJSON配列のことがあります。
xckan_title
データカタログ横断検索システムCKAN API人間可読の題名のことがあります。 「データセットのタイトル」 と説明されています。

[33] authororganization 相当の情報が入っていることもあれば、 入っていないこともあります。

[34] 例えば organizationtitle が「○×市」 のときに、 authpr が「○×市△部」のときと「△部」のときがあります。

[31] extras の実例:

key
key
value
value
key
"copyright"
value
""
key
"frequency"
value
"不定期"
key
"language"
value
"Japanese"
key
"spatial"
value
""
key
"データセット_更新頻度"
value
"都度"
key
"作成者_課名"
value
人間可読文字列
key
"注釈"
value
人間可読文字列
key
"言語"
value
"ja"
key
"更新頻度"
value
"毎日"
key
"言語"
value
"日本語"

[32] 同じサーバーでも、データによるのか、値が (null空文字列も含め) 指定されたパッケージと指定されていないパッケージが混在することもあるようです。

ライセンス記述

CKANパッケージのライセンス記述

MIME 型

[29] CKANパッケージJSONHTTP Content-Type:application/json;charset=utf-8 となっていることがあります。

関連

CKAN資源

メモ