[GCP]Dataflow-Use Templates

Cloud Dataflow 是一套全面管理化的服務,能夠轉換串流 (即時) 模式和批次 (過往) 模式的資料

異常處理

  • 表單–>Stackdriver錯誤報告

錯誤報告

  • 查看是否有DataFlow的錯誤 –> 也可以訂閱異常通知

錯誤報告

  • 先到DataFlow將異常的工作關掉
    注意:開發環境才可以用 “取消” ,線上環境請用 “排除”

錯誤報告
錯誤報告
錯誤報告
錯誤報告

  • 重建DataFlow
    • 到發佈/訂閱 選擇主題匯出到BigQuery,並根據範例輸入BigQuery output table和臨時位置

錯誤報告
錯誤報告
錯誤報告
錯誤報告

-------------The End-------------