LASS 專案 - 民生公共物聯網 資料來找碴

緣起

  • LASS 社群想要給水議題幫助,發現民生公共物聯網 似乎資料品質需要加強,才能方便後續的使用,於是想要用開源的資料驗證程式,檢查錯誤的地方,提升資料的品質


開發目的

  • 提升民生公共物聯網資料品質,減少開發者負擔,促進相關應用的發展

  • 開放開源專案程式碼與執行結果提供給所有人,讓公部門能參考加強資料正確性,也可使用這個程式,持續驗證資料的正確性。讓後續的應用程式開發者,也可參考/複製相關程式碼與邏輯,減輕後續開發的負擔

文件

公開
文件起始: 20191025
目前狀態: 設計草案
版權: CC by Name (LASS)

Scope

  • 資料驗證程式以民生公共物聯網開放資料與 API 驗證為目標,唯初期以水資源為開始
  • 主要驗證資料的正確性,其他問題留給別人去處理

開發原則

  • 程式碼開源,版權為 MIT?
  • 文件版權: CC by Name (LASS)
  • 社群共創, LASS 核心決策

專案名稱

[TBD]
CITDP
  • Civil IOT Taiwan - Data Police

情境

  • 資料提供單位,提供資料前驗證
  • 開發者,開發程式之前,先確認資料品質
  • 當應用程式執行期,資料有問題時,再檢查資料相關問題
  • 會有程式持續執行,長期監測資料正確性
  • 社群出資料品質報告
  • 開發者,程式碼參考與應用

規格

目前規格版本: V0.2,狀態:草案
  • 架構
  • 需使用 Unittest 的方法來開發
  • 需要有 CLI (Command Line Interface)
  • 兩層,支援 Tab completion, history, document
  • 需用 Schema 定義資料標準,根據 schema 做驗證,不是瑣碎的每個欄位驗證
  • 使用 Python (3.5?),可在 PC 上執行,Mac/Win 相容
  • 不需轉成執行檔
  • 要有執行 debug log, log 要有 level
  • 方便部分重測,繼續測試功能
  • Result 結果能轉設定,有問題的下一次可以不用重測
  • 可支援自動測試也可使用 CLI 手動測試
  • 週期驗證與資料保存