「數據工程師」的相似工作

職位概要: 我們正在尋找一位專精於資料整理和Python開發的Python資料工程師，主要負責資料的清洗、標準化和品質控制工作。 1. 數據清洗和標準化: - 處理原始資料，識別和處理異常值。 - 統一資料格式和編碼標準。 - 補齊缺失值和修正錯誤資料。 - 建立資料清洗規則和標準作業程序。 2. Python腳本開發: - 撰寫高效的資料處理和清洗程式。 - 開發自動化資料處理流程。 - 建立可重複使用的資料處理模組。 - 優化程式效能和記憶體使用。 3. 資料品質控制: - 設計資料驗證和檢查機制。 - 建立資料品質監控系統。 - 制定資料品質標準和指標。 - 產生資料品質報告和異常警報。 4.日常工作內容 - 70% - Python程式開發和資料清洗。 - 20% - 資料品質監控和問題排除 。 - 10% - 系統維護和技術支援。 --------------------------------------------------------- 技能: 1.Python 專業能力 (核心要求) - 2年以上Python開發經驗。 - 了解Python效能優化技巧。 - 了解正規表達式和字串處理。 2.資料處理技術: - 資料清洗方法論和最佳實務。 - 了解異常值檢測。 3.資料庫基礎: - PostgreSQL-基本操作和查詢。 - RabbitMQ-訊息處理概念。 - SQL資料查詢和簡單優化。 --------------------------------------------------------- 工作經驗要求: - 1-2年以上資料處理相關經驗。 - 具備大量資料清洗專案經驗。 - 熟悉資料品質管理流程。 - 有金融或資料處理經驗者優先。 技術環境: - 主要開發語言：Python 3.8+。 - 開發工具：Jupyter Notebook, vscode 。 - 版本控制：Git。 - 作業系統：Linux/macOS 加分條件: 1.pandas進行資料操作和清洗有經驗佳。 2.numpy數值計算和陣列處理有經驗佳。 3.Dask大數據分散式處理有經驗佳。 4.Parquet 高效資料存儲格式有經驗佳。

駐點在外商客戶端 良好的溝通能力、邏輯思考能力、能夠清晰表達自己的想法，同時能與團隊一起探討每項行動背後的思路與目標。 必備的能力和經驗 1. Power BI development: design, build and deploy interactive BI dashboard and reports, including optimize data models, DAX queries and report performance. 2. Data integration: integrate Power BI with various sources(Databricks, SQL Server, Oracle database, Sharepoint, file directory) 3. SQL and data modeling: optimize complex SQL queries for data extraction and transformation by delivering efficient data models for reports analytics 4. Programming and automation ability is plus, e.g. Python, Power automate 5. Cloud platform and DevOps experience is plus, e.g. Databricks, Gitlab • 三年以上Power BI開發經驗，熟悉Databricks或類似雲端數據平台，Data warehouse與ETL開發與管理 • IT系統專案經驗(IT project development experience) • 製造業相關產業IT經驗 • 熟悉製造業或是ERP相關流程與數據 • 英文讀寫能力，根據需要完成相關技術、測試文件 • 在跨國公司工作和與全球團隊互動的經驗，能與不同文化/工作模式的同事一同合作 ▇ 相關工作職責 • 與使用者一同合作來定義需求以滿足業務要求，並滿足可擴展以及可行性 • 將需求轉換為設計開發規範文件(specifications)並進行開發 • 針對專案運行產生的問題/需求進行維護、管理以及提供問題根本原因的解決方案或替代方案(root cause solving or workaround solution) • 針對不同範圍/複雜性的技術問題提供解決方案 • 在設計、開發、部署階段，根據需要完成相關技術、測試文件 • 新技術、專案上線後的技術移轉與技術支持 ▇ 加分的能力和經驗 • 持續學習，會根據市場趨勢或公司需要增加技術或非技術相關的能力 (如Databricks、Qlik Replicate) • 專案管理經驗 • 其他：持續學習(成長心態)-樂於找方法/解決問題、當責(accountability)、良好的溝通(傾聽)能力、自我管理能力強

1. 收集、整理和分析數據，確保數據的準確性和完整性。 2. 分析大量的數據，識別趨勢、模式和關聯性。 3. 提供有關市場、產品、客戶行為等方面的深入洞察。 4. 開發和建立數據模型，以預測未來的趨勢和結果。 5. 協助制定業務策略和決策，提供數據支持。 6. 溝通分析結果和洞察，向各級管理人員和團隊成員進行報告。 7. 與其他部門合作，包括市場營銷、產品開發、業務運營等，以支持跨部門的數據需求。 8. 協助Ragic系統導入。 工作要求： 1. 具有數據分析相關工作經驗，熟悉數據分析工具和技術，如excel、power BI等。 3. 具備良好的數據解釋和可視化能力，能夠將複雜的數據轉化為清晰的報告和演示。 4. 具有良好的問題解決能力和邏輯思維能力，能夠從數據中找出關鍵信息並提出建議。 5. 具有良好的團隊合作能力，能夠與不同背景和專業的人合作，實現共同目標。 6. 具有良好的溝通能力，能夠清晰地表達自己的想法和觀點，並能夠向非技術人員解釋複雜的數據概念。 加分項目： 1.具有廣告分析經驗，例如google ads認證，薪資可以往上調整。 合約期間最短為3個月

1.進行調查數據的彙整，分析調查數據與繪製統計圖表，並撰寫分析建議報告。 2.依據分析需求，進行資料數據分析與邏輯運算作業。 3.分析企業統計數據（如：營業額、銷售量、客戶數、成本數據等，預測與追蹤市場和銷售的趨勢）。 4.數據視覺化報表產出，製作相關簡報。 5.跨部門溝通與需求訪談。

1.依據測試計畫執行市售品與自家產品的功能、特性測試 2.使用測試機台與量測工具，紀錄並整理測試數據 3.分析不同條件下產品表現差異，提出改進建議 4.協助設計實驗與數據分析流程 5.與研發團隊合作，支援新產品開發與品質驗證

1. 使用 Python 協助應用程式開發與維護，支援數據處理與自動化需求。 2. 開發、擴充並維護網路爬蟲程式，確保資料抓取穩定性與數據品質，並持續優化爬蟲策略。 3. 維護現有爬蟲的可用性，監控運行狀態並排查錯誤。 4. 與後端工程師協作，整合資料庫與開發相應 API 功能，提供前端或分析系統使用。 5. 分析並解決在資料抓取過程中遇到的各種技術問題，確保爬蟲流程高效運行。 6. 理解團隊及產品需求，根據需求快速設計與開發可行解決方案。

加入童綜合醫院資訊部 Data Team，一起把醫療數據「煉成金」！ 【關於童綜合醫院】 童綜合醫院是臺中市海線大型區域教學綜合醫院，連續5次獲得 JCI 國際醫療認證。 我們積極導入 AI 與數據科技，致力於打造「以病人為中心」的智慧醫療體系。資訊部的數據團隊正在建構現代化的資料平台，串接醫療流程與管理決策，驅動真正有價值的改變。 我們擁抱開源軟體框架也樂於在社群分享，邀請熱情、有企圖心的您一起參與智慧醫療系統的創造之旅 【推薦閱讀】 -跨越陸海空的醫者：童綜合醫院守護中台灣(https://www.books.com.tw/products/0010959835) -童綜合醫院力擁敏捷開發，下一步培養雲端原生技術力(https://www.ithome.com.tw/people/149851) -為醫療加裝敏捷的引擎 (https://agile.ithome.com.tw/2022/session-page/1064) -我們如何在醫院打造即時醫療影像AI平台(https://tw.pycon.org/2020/zhhant/conference/talk/1163619671685988728/) -醫療影像AI產品落地挑戰與持續優化的歷程分享(https://tw.pycon.org/2022/zhhant/conference/talk/231) -童綜合醫院長期贊助 Taichung.py 社群活動(https://www.facebook.com/groups/780250978715991) 【我們的願景：讓資料真正發揮價值，讓醫療決策更快更好】 我們結合 CDC、DBT、Power BI 等 Modern Data Stack 工具，打造即時、可信任、可追蹤的資料平台，讓每一項決策有數據支撐，掌握現況、精準行動，推動醫療現場持續優化，歡迎對數據有熱誠的人加入我們。 【你會參與的任務】 1. 建立數據基礎設施 - 建置 CDC 管線：將 HIS 與周邊系統資料變更即時同步至 Data Warehouse。 - 設計資料管路：使用 DBT撰寫 stg、int、mart 層 SQL，將業務邏輯模型化。 2. 把關資料品質與效能 - 設計與維運 Data Quality Rule（完整性、準確率、延遲），並建置告警與追蹤機制。 - 針對高頻查詢與報表優化：評估分割區、索引與物化檢視的實作效益。 3. 建構 DevOps 工具鏈 - 管理 GitLab CI、自動測試與 Docker 部署流程，協助資料流程穩定與持續整合。 4. 跨部門合作推動資料應用 - 與臨床醫護、資訊部門、品管單位共同定義指標與資料字典。 - 理解實際業務場景，解譯資料需求，讓資料能回到第一線「幫助人」。 如果您具備以下能力及經驗，請不要猶豫立即手刀提出申請： - 具 2 年以上 Data Engineer / BI / ETL 實務經驗。 - 熟悉 SQL 、Python與 DBT(Data Build Tool ) 。 - 有數據管線實作經驗，理解從來源 → Stage → DWH → 報表/API 的流程。 - 熟悉 Git 與 CI/CD 工具（如 GitLab CI、GitHub Actions）。 - 有使用 AI 工具輔助開發（如 GitHub Copilot、ChatGPT Coding）習慣。 - 擁有良好溝通能力，能將複雜邏輯轉譯為非數據與程式專業聽得懂的語言。 - 優秀的分析和程式能力 - 創造性與成長性思維 【如果你還有以下經驗，更加分】 - 熟悉資料庫設計與效能優化（PostgreSQL、SQL Server、MySQL ）。 - 實作過 Debezium、Fivetran、Airbyte、Airflow 或 Prefect 任一。 - 熟悉 FHIR、PACS 或 DICOM 等醫療資料格式與流程。 - 有 Cloud DWH 經驗（BigQuery、Snowflake）。 - 有 DataOps、測試導向 ELT 流程設計經驗。 - 根據資料說故事及表達的能力 【技術交流提昇】 - 補助國內外課程、年會參與，定期內部讀書會、交流分享會 【福利制度】 - 福利項目較多，歡迎搜尋童綜合醫院官網/人才招募/福利制度詳閱 連結：https://reurl.cc/5KndjM 【應徵流程】 - 投遞履歷（歡迎附上 GitHub / 技術部落格） - 技術測驗（SQL + Python）與技術面談 - 部門主管進行面談 - Offer 與 Onboarding

1.數據清洗、加工、分類等開發工作，運用數據演算法及工具對數據進行剖析。 2.數據模型的規劃並進行數據分析，支持應用端資料分析與預測。透過機器學習、深度學習、資料探勘、大數據分析等技術建立預測模型，或進行文字探勘、語意分析等任務。 3.針對相關統計分析及資料處理能力，運用內部及外部數據，建構風險管理大數據平台。並以 AI 工具或風險參數建立智能風險追蹤與預警機制及模型 4.工作內容涵蓋大數據、人工智慧..等相關應用領域。 5.簡報製作，提案計畫書與分析報告撰寫。 6.系統案場營運規劃與排程及整合。

Data 團隊是公司數據戰略的核心引擎，肩負著建構企業級數據基礎設施的重要使命。我們打造的數據中台每日處理數億筆交易數據，連接數百個業務數據源，構建高效能的資料管道。通過嚴謹的數據治理，我們不僅確保數據的品質與一致性，更將複雜的數據轉化為強大的決策工具，為產品創新、業務分析與商業戰略提供實時、精準的數據洞察。 在這個快速變化的數據環境中，你將有機會學習最新技術、挑戰自我，並直接為公司的決策提供強大的數據支持。這是一個充滿創新與成長的機會，讓你能夠在數據驅動的世界中發揮影響力！ 1. 建置與維護企業資料基礎設施，並確保資料的可靠性、準確性與即時性。 2. 設計與開發高效能、高吞吐量與近即時的資料管道(data pipeline)。 3. 參與資料專案，規劃資料存取策略，建置資料管道與設計資料模型(data model)。 4. 對資料需求單位提出專業建議，建構高效能的資料存取服務與資料模型。 5. 分析目前數據系統的挑戰與問題，提出優化的方案，提升完整性、可靠性、擴充性和效能。 6. 研究與探索更好的資料架構、工具與方法應用於數據中台。 7. 在專案執行過程，從需求分析到交付成果，擔任技術領導的角色。 8.其他主管交辦事項

我們正在尋找一位具備數據分析及機器學習背景的人才，使用 GCN（圖卷積網路）與時空分析技術進行公共單車車輛預測與調度，致力於改善公共單車的使用效率與服務品質。 ▍工作內容 1. 開發和應用時空分析模型，以預測公共單車需求及位置變化。 2. 使用GCN技術進行路徑優化與資源分配，確保單車在需求高峰時的有效供應。 3. 分析歷史數據，建構車輛調度方案以提高車輛配置效率。 4. 與其他數據科學家及工程師合作，設計和優化預測模型與調度算法。 5. 監控預測和調度系統的性能並進行持續優化。 ▍具備條件 1. 資料科學：擅長處理與分析時空數據，能應用深度學習技術來解決預測問題及因素分析。 2. 程式能力：熟悉Python / PyTorch / Linux(Ububtu)。 3. (加分) 擁有路線規劃與最佳化經驗，例如動態規劃或車輛路由問題。 4. (加分) 具備GCN模型的實際應用經驗，特別是在處理網絡結構或地理網路資料時的應用。 ▍你將會收穫 1. 擔任專案負責人的機會，擁有舞台可以一展長才。 2. 接觸多元面向的專案管理機會，並能吸收市場最新趨勢策略。 ▍我們的優勢 微程式資訊創立於 1995 年，為台灣少數具有跨產業技術整合能力的資通訊設計服務提供商 (ICT Design House)。我們專注於電子支付、智慧單車與半導體感測監控三大領域，透過使用者研究、軟硬技術垂直整合、終端感應裝置、行動APP、雲端服務平台到大數據分析的核心技術，協助交通、金融、製造、半導體、自行車等產業進行創新升級。 同時，我們擁有： ■ 開放的企業文化：團隊年輕有活力，熱愛想法激盪、討論與付諸實現。 ■ 開創性工作內容：創新、創意是我們的DNA，不斷追求產品更加卓越。 ■ 夥伴的價值共創：我們深信 1+1>2，團隊夥伴並肩共創走的更快更遠。

工作內容： 1. 負責公司內部資料的輸入、整理與維護，確保數據正確性。 2. 進行數據清理與分析，協助產出報表及決策所需的統計資料。 3. 熟悉 Excel 並能撰寫 VBA 或公式，設計自動化表單、報表及統計工具。 4. 支援各部門數據需求，提供即時且準確的分析報告。 5. 協助建立與優化公司數據管理流程。 職務需求： 1. 具備良好的 Excel 技能，熟悉函數、樞紐分析表。 2. 能使用 VBA或其他 Excel 程式化工具進行自動化設計。 3. 細心、耐心，對數字敏感，能發現資料異常。 4. 具備邏輯思維，能將數據轉化為有價值的資訊。

***應徵時請附上作品集、文案、自傳、證照等加分文件*** 1. 需求分析及規劃資料萃取、資料清理 2. 數據分析、資訊視覺化、說明分析結果、提出建議及後續成效評估 3. 蒐集競業資訊、報表整理 ※工作待遇依個人經歷及專長等條件參考核定，如相關經歷豐富可議更優渥薪資，歡迎能力優秀的您應徵面談

極限電腦科技的文化注重團隊合作，鼓勵成員互相激發，共同提升卓越技術。 作為Database Administrator，與卓越的前後端工程師共事，將身處一支實力優秀的團隊中，精通各種語言和框架，致力確保我們的應用程式能夠無堅不摧。 面對大數據、巨量資料、高併發以及高頻交易等挑戰，能夠不斷突破自己的技術極限。 我們正在尋找優秀的DBA加入我們的行列！ 【工作內容說明】 - 接觸巨量資料、大數據等類型資料庫 - 資料庫安裝、部署、性能調優、管理、運維 - 資料庫日常維護與監控、定期備份、性能優化、異常處理、故障排除 - 與經驗豐富前台、後端開發人員、資料分析師等合作討論 - 正常日班，不需排班 【使用工具】 - SQL Server - PostgreSQL 【加分條件】 - 資訊管理學系/資訊工程學系/資訊與設計系或資訊相關科系 - 資料科學/數據分析/資料工程相關經驗 - 使用或維護過PostgreSQL等經驗。 - Stored Procedure、Function、Trigger等的開發經驗 - 雲平台端資料庫實務管理經驗，如 Azure、Aws、Google 等 - 良好的溝通能力 - 不受限固定思維、勇於突破與創新

▍團隊使命 　 此職務隸屬於自動化測試團隊，專注於開發產品團隊的輔助工具與服務，並打造自動化、數據導向的測試流程，讓品質不只是達到標準，而是團隊的 DNA。在這裡，你不僅是工具的開發者，更是技術創新的推動者！ 你將同時累積「功能開發」與「測試自動化」的經驗，與團隊攜手運用專業與創意，主動發現並解決問題，持續推動產品品質不斷進化。 ▍工作內容 1. 參與產品團隊之內部輔助工具及服務開發，撰寫並維護程式碼。 2. 規劃並撰寫自動化測試，確保系統穩定性與品質。 3. 建立並優化測試流程，與 CI/CD 整合。 4. 協助團隊改善程式品質（Code Review、測試覆蓋率提升）。 ▍必備條件 1. 熟悉 Python 程式設計（亦具備 JavaScript開發經驗者佳）。 2. 熟悉 Git 版本控制及協作流程。 3. 熟悉至少一種資料庫（MSSQL、MySQL 等）。 ▍加分條件 1. 曾使用過自動化測試框架（如 Selenium、Playwright、Cypress、pytest 等）。 2. 曾使用過 Flask/FastAPI RESTful API 框架。 3. 有 CI/CD 或 DevOps 經驗。 4. 具前端或後端開發，熟悉跨團隊協作。 ▍我們希望你擁有的人格特質 1. 擁抱改變：對技術創新有敏銳洞察力、樂於學習，並具有推動變革與快速應用的熱情。 2. 擅於溝通：具備良好溝通能力與說服能力，能與團隊成員有效協作。 3. 主動積極：勇於接受挑戰，並能以正向積極的態度面對不同的商業模式與需求。 ▍我們的優勢 微程式資訊創立於 1995 年，為台灣少數具有跨產業技術整合能力的資通訊設計服務提供商 (ICT Design House)。我們專注於電子支付、智慧單車與半導體感測監控三大領域，透過使用者研究、軟硬技術垂直整合、終端感應裝置、行動APP、雲端服務平台到大數據分析的核心技術，協助交通、金融、製造、半導體、自行車等產業進行創新升級。 同時，我們擁有： ■ 開放的企業文化：團隊年輕有活力，熱愛想法激盪、討論與付諸實現。 ■ 開創性工作內容：創新、創意是我們的DNA，不斷追求產品更加卓越。 ■ 夥伴的價值共創：我們深信 1+1>2，團隊夥伴並肩共創走的更快更遠。

1. 撰寫並部署 Python 爬蟲程式，確保高可用性與易維護性。 2. 熟悉網頁結構及網頁自動化操作（如 Selenium、Playwright），能抓取靜態與動態資料。 3. 精通 Python，具備撰寫 API 資料串接與網路爬蟲經驗。 4. 了解並能應對各類反爬蟲機制。 5. 與後端工程師協作，整合資料庫與開發相應 API 功能，提供前端或分析系統使用。

【工作內容】 1. 熟練掌握 SQL、Python，瞭解數據建模理論 2. 熟悉數據倉庫工具（如 Snowflake、Redshift、BigQuery、Databricks 等） 3. 使用 BI 可視化工具（如 Power BI、Tableau、Looker） 4. 有支付相關業務（如交易數據、支付成本、渠道分潤）分析經驗 5. 具 ETL 構建經驗，熟悉 Airflow、DBT 等數據編排工具經驗 【加分條件】 有參與資料平台、BI 系統或數據倉儲專案的經驗，能獨立完成中小型任務 熟悉 Git、CI/CD、Docker 等基礎 DevOps 工具者佳 參與團隊數據治理與標準制定經驗者尤佳 具備良好的跨部門溝通與協作能力，能協助推動任務執行與進度管理

【工作內容】 1.配合產品開發、設計並執行自動化與手動測試流程。 2.分析產品功能與風險，規劃適合的 E2E 測試與 Integration 測試策略。 3.執行 Web / App 功能測試，撰寫測試案例與報告，追蹤並回報缺陷。 4.依據專案需求，開發與維護自動化測試腳本。 5.配合主管或團隊任務，主動完成交辦事項。 【技術條件】 1.Python程式語言，具基本開發能力。 2.Selenium 或 Appium 等自動化測試工具。 3.API 測試流程與工具(pytest requests)

【主要工作內容】 1.現有Power BI程式維護、優化及問題排除 2.與資料分析師協作，開發新版BI，完成系統服務建置與推導任務 3.了解各業務部門需求並提出解決方案。 4.落實程式品質控制及確保系統穩定 5.落實開發規範及技術文件撰寫 6.數據品質建立與監控，確保數據準確性和完整性。 7.BI Server/Service管理維護，包括數據庫管理和BI服務優化等相關事宜。 8.主管交辦事項及協助部門事務的執行 【職能需求】 1.具需求訪談，新功能規劃、規格定義與文件撰寫能力 2.擅長Laravel、Python、Power BI 3. GCP BigQuery及MySQL服務應用 4.熟悉JMeter、Git等協同工具和方法論尤佳 5.具POS、電商系統開發經驗尤佳 6.具備Scrum方法論經驗尤佳

1. Tunning Linux system 參數, 撰寫Shell Script完成自動化排程 2. 獨立建置Mariadb Instance, 並調整Mariadb config 使其可以發揮最大效能 3. 建置Replication運行環境 完善資料同步機制 4. 與後段工程師了解各個服務運行的usecase, 並提出相對應的資料端處理方式 5. 透過Mysql dump 及 Mariadbackup 處理資料完整備份及差異備份 6. 研究新舊版本Mariadb的差異 並架設測試 7. 透過Slow Log 及 Error Log, 改善Instance運作效率 8. 與後端工程師共同規劃Table Schema, Index,Partition等功能

1.Oracle ERP與DB日常維運與問題診斷。 2. Linux / Oracle DB相關日誌分析，監控管理。 3. 資料庫物件與應用系統變更與管理。 4. DB執行效能分析，調校優化。 5. ISMS管理制度及資通安全規範之日常工作落實。