數據工程師/Data Engineer

本公司為專業社群資料分析廠商，主要產品有《KEYPO大數據關鍵引擎》，透過深度學習在巨量社群資料中洞察網路口碑。本職務需熟悉web crawling techniques, automation, data storage, and data pipelines 【工作內容】 1.設計AI機器人(web crawler)架構，提升抓取的效率和品質 2.維護AI機器人(web crawler)可靠度與可用率 3.設計/優化資料管線與儲存架構 4.參與ETL設計與實作 5.RESTful API開發與維護 6.依能力調整Job Title(資深數據工程師/數據工程師) 【必要技能】 1.熟練運用AI工具進行開發上的協作 2.熟悉Python語法 3.充分了解HTML結構，能解析網頁交換資料的順序步驟　 4.熟悉Git 5.熟悉Linux, Docker 6.熟悉web crawler套件與框架(如Scrapy、Puppeteer、Selenium) 【加分條件】 1.自動化測試：瞭解單元測試、整合測試或其他測試框架。 2.CI/CD 流程：在生產環境中曾使用 Jenkins、GitLab CI 等工具實現持續整合 與部署。 3.容器調度：熟悉 Docker Swarm、Kubernetes 等技術，建構高可用的微服務架構。 4.敏捷開發經驗：具備 Agile / Scrum 開發流程的實務經驗。 5.程式重構 / 大型專案架構設計：具備系統化思考與模組化拆分的能力。 6.Message Queue：如 RabbitMQ、Kafka等的使用經驗。