Data Engineer 數據工程師

團隊介紹： 歡迎加入我們數據基礎設施團隊，這是一個充滿熱情和挑戰的領域。在這裡，您將與龐大的數據打交道，結合雲端服務為公司提供可靠的數據支援和基礎設施解決方案。 我們管理公司龐大的數據基礎設施，利用雲端服務處理 PB 級別的大量數據，並建立高度可擴展的數據儲存和處理系統，以確保數據的安全性、可靠性和靈活性。 我們擁有先進的數據管理和分析系統，將數據驅動作為日常決策的核心。我們深知在現今數位化時代，數據是企業成功的關鍵。為了達成這項目標，我們會深度參與公司所推動的各種項目，和業務團隊、分析團隊進行緊密、細緻的資訊分享與知識傳遞，並為專案提供堅實的資料保障。 作為資料基礎設施團隊的一員，我們熟練運用諸如 AWS、GCP、Azure、ElasticSearch 等主流雲端平台，以及 Hadoop、Spark、Kafka 等開源技術，建構靈活、高效的資料基礎架構。 我們會負責處理各種類型的資料。我們的工作從最原始的日誌資料和應用程式埋點資料出發，針對不同的資料使用場景、資料時效性和冷熱資料類別，經過精心的清洗和加工，將其轉化為可以直接驅動業務的數據形態。 在整個過程中，我們會參與設計和實施創新的資料儲存、清洗、開發和遷移解決方案。我們不斷探索新技術和方法，以確保資料的高效儲存、可靠傳輸和安全處理。我們的目標是為公司提供高效、穩定的數據服務，為業務決策提供可靠的數據支援。 我們的工作直接影響公司的資料治理和決策能力。透過優化數據流程和提升數據質量，我們為公司提供了可靠的數據基礎，為公司的發展提供有力支持。 如果您熱愛數據技術，並渴望在一個充滿挑戰和機會的專業環境中工作，我們誠摯邀請您加入我們的團隊。我們承諾，您的每一份努力和創新都將得到充分的認可和回報。 職務內容： 你的工作將包括基於既有需求和規範，開發高效的資料管道和資料清洗流程，以處理大規模資料。處理的起點是從 GCP、AWS、ES 等數據平台中提取原始數據，採用 Glue、StepFunction、Workflow 等服務逐步進行收集、清洗、轉換和儲存。你需要深入理解業務邏輯，確保清洗前後的資料品質。 此外，你將應對公司各團隊的不同數據需求。這可能涉及資料清洗流程的搭建和後續運維的任務，以確保資料處理流程的穩定運作。你還需要建立和維護規範的文件和資料字典，幫助團隊成員理解和使用資料處理流程。 在這份工作中，你需要對資料處理流程有深入的理解，能夠根據不同需求和情況進行靈活的調整和最佳化。你需要確保數據處理流程的高效運轉，並及時回應和解決各種數據處理中的問題和挑戰。透過不斷優化和改進數據處理流程，你將為公司提供可靠的數據支持，推動業務的發展和成功。 - 建置和維護公司的大數據系統和數據管道，確保數據的可靠性、準確性和及時性； - 開發和維護 ETL 流程，將不同資料來源的資料整合到統一的大數據系統中； - 維護 Elasticsearch 資料系統，確保資料及時、完整入庫； - 監控數據流程和數據質量，及時發現和解決數據品質問題； - 維護和更新工程處理中的文件與資料字典； - 編寫清晰的程式碼文件和註釋，以確保團隊成員能夠理解和使用你的程式碼； - 持續關注數據技術的發展趨勢，不斷學習和探索新的數據技術和工具。