​​LASS 專案 - 民生公共物聯網 資料來找碴

​​緣起

  • ​​LASS 社群想要給水議題幫助，發現民生公共物聯網 似乎資料品質需要加強，才能方便後續的使用，於是想要用開源的資料驗證程式，檢查錯誤的地方，提升資料的品質
​​
​​

​​開發目的

  • ​​提升民生公共物聯網資料品質，減少開發者負擔，促進相關應用的發展
  • ​​
  • ​​開放開源專案程式碼與執行結果提供給所有人，讓公部門能參考加強資料正確性，也可使用這個程式，持續驗證資料的正確性。讓後續的應用程式開發者，也可參考/複製相關程式碼與邏輯，減輕後續開發的負擔
​​

​​文件

​​公開
​​文件起始： 20191025
​​目前狀態: 設計草案
​​版權: CC by Name (LASS)
​​

​​Scope

  • ​​資料驗證程式以民生公共物聯網開放資料與 API 驗證為目標，唯初期以水資源為開始
  • ​​主要驗證資料的正確性，其他問題留給別人去處理
​​

​​開發原則

  • ​​程式碼開源，版權為 MIT?
  • ​​文件版權： CC by Name (LASS)
  • ​​社群共創， LASS 核心決策

​​專案名稱

​​[TBD]
​​CITDP
  • ​​Civil IOT Taiwan - Data Police
​​

​​情境

  • ​​資料提供單位，提供資料前驗證
  • ​​開發者，開發程式之前，先確認資料品質
  • ​​當應用程式執行期，資料有問題時，再檢查資料相關問題
  • ​​會有程式持續執行，長期監測資料正確性
  • ​​社群出資料品質報告
  • ​​開發者，程式碼參考與應用

​​規格

​​目前規格版本： V0.2，狀態：草案
  • ​​架構
  • ​​需使用 Unittest 的方法來開發
  • ​​需要有 CLI (Command Line Interface)
  • ​​兩層，支援 Tab completion, history, document
  • ​​需用 Schema 定義資料標準，根據 schema 做驗證，不是瑣碎的每個欄位驗證
  • ​​使用 Python （3.5?），可在 PC 上執行，Mac/Win 相容
  • ​​不需轉成執行檔
  • ​​要有執行 debug log, log 要有 level
  • ​​方便部分重測，繼續測試功能
  • ​​Result 結果能轉設定，有問題的下一次可以不用重測
  • ​​可支援自動測試也可使用 CLI 手動測試
  • ​​週期驗證與資料保存