《天下雜誌》數據工程師 Data Engineer

【職責】 1. 參與設計與維護數據基礎設施和數據管線 (Data pipeline - ETL/ELT) ，以支援關鍵業務應用 (如MarTech、AdTech、CDP、CRM、推薦系統、標籤等) 與數據應用需求 2. 協助進行數據創新應用和架構研究，特別是支援 AI/ML 專案的數據準備與供應，並參與新興數據技術的研究與導入 (如 Gen AI 相關數據集技術或 Data Lakehouse) 3. 協助執行數據品質、治理與安全相關任務，確保數據的準確性、完整性與合規性 4. 具備獨立執行數據工程任務的能力，負責從概念發想到最終部署的完整流程。同時，與團隊成員緊密協作，共同完成專案，以確保最終成果符合部門的發展目標與方向。 5. 與數據分析師、專案經理、業務團隊及 IT 部門協作， 理解業務需求並協助轉化為技術性數據解決方案 6. 積極學習新技術，並能與團隊成員有效協作、分享知識 【工作內容】 1. 開發、維護和優化複雜的批次和即時數據管線，從多個異質數據源 (包括但不限於 MarTech、AdTech、CDP、CRM、Events log等) 擷取、轉換與載入數據 2. 參與建構與維護基於雲端的數據儲存與處理架構，如數據湖 (Data Lake) 或數據湖倉 (Data Lakehouse)，確保系統穩定運行 3. 建構與維護 AI/ML 應用所需的數據集，包括特徵工程數據管線，並研究與實現為 LLM 應用準備數據的機制 (如 MCP 或 RAG 相關數據流程) 4. 參與設計與開發數據服務層 (Data Serving)，提供數據 API 或串流數據供下游應用使用 5. 優化現有數據系統和查詢效能，進行效能調校，降低數據處理延遲，提升系統效率 6. 操作與維護自動化的數據流程管理機制，使用 Airflow 等工具進行任務排程與監控 7. 協助建立與維護自動化測試、監控和警報機制，以確保數據平台穩定運行 8. 執行數據治理框架下的具體任務，例如追蹤數據血緣 (Data Lineage)，並確保數據處理符合相關法規 9 . 持續學習新興數據技術和行業趨勢 (如 Data Lakehouse, Gen AI 相關技術)，並與團隊分享 【技能要求】 1. 具備數據工程相關工作經驗 2 年以上 2. 熟悉 Python 和 SQL，具備良好的程式撰寫能力與數據庫操作能力 3. 具備 Data Orchestration 的實務經驗，熟悉 Airflow 的工作流開發與維護 4. 熟悉至少一個主流雲端平台 (GCP 優先考慮)，並對其數據相關服務具備使用經驗 (例如：GCP 的 BigQuery, Cloud Storage, Dataflow, Pub/Sub, Cloud Run, Vertex AI, Composer等) 5. 熟悉數據倉儲 (Data Lakehouse) 或數據湖 (Data Lake) 的概念，並具備協助建構或維護的經驗 6. 熟悉 Git 版本控制系統和 CI/CD 流程 7. 理解數據安全原則、存取控制、數據加密和數據治理概念 【部門介紹】 天下雜誌集團的數據工程師，是數位創新團隊不可或缺的數據架構基石，肩負著以數據賦能的核心使命。此職位的核心職責在於設計、建構並維護高效、穩健的數據基礎設施與數據管線，透過確保數據品質與可用性，以支援推薦系統、CRM、AI/ML 等關鍵應用。我們將與數據工程師攜手，共同推動內容及商務營運目標，將數據驅動的文化深植於日常工作中。 集團旗下擁有《天下》、《康健》、《天下學習》、《親子天下》等知名品牌，涵蓋財經管理、健康生活、工作職場與親子教育等領域。對數據團隊而言，我們就像多家公司合體運作，每個品牌都有獨特的商業模式與需求。從電商、內容訂閱到線上教育的數據應用，你都將有機會深入參與，發揮專業價值，探索多元場景。