「網路爬蟲工程師」的相似工作

1. 使用 Python 協助應用程式開發與維護，支援數據處理與自動化需求。 2. 開發、擴充並維護網路爬蟲程式，確保資料抓取穩定性與數據品質，並持續優化爬蟲策略。 3. 維護現有爬蟲的可用性，監控運行狀態並排查錯誤。 4. 與後端工程師協作，整合資料庫與開發相應 API 功能，提供前端或分析系統使用。 5. 分析並解決在資料抓取過程中遇到的各種技術問題，確保爬蟲流程高效運行。 6. 理解團隊及產品需求，根據需求快速設計與開發可行解決方案。

我們正在尋找一位熱衷於資料科學，具有豐富Python網路爬蟲經驗的夥伴。你將會加入我們的數據分析團隊，用你的專業技術來為我們的網紅產業資料作出深度挖掘與分析。你的主要任務是利用Python網路爬蟲工具，獲取及解析各大社群平台數據（Instagram、Facebook、Tiktok等）。在這裡，你將可以運用你的專業技能，在資料的海洋中洞察脈絡，並為公司帶來實際的商業價值。 【我們是這樣的團隊】 ．保持開放，善於傾聽 ．自由彈性的工作方式 ．當責不究責的團隊精神 ．持續學習新知，關注技術發展趨勢，且樂於分享討論 【工作內容】 ．利用Python網路爬蟲工具，獲取及解析各大社群平台數據（Instagram、Facebook、Tiktok等） ．研究如何規避不斷更新的反爬蟲機制 ．確保數據完整及正確性 【我們需要這樣的你】 ．熟悉 Python 開發網路爬蟲，且有相關研發經驗 (Requests / BS4 / Selenium) ．瞭解網站常見反爬蟲策略以及如何規避 ．熟悉 SQL (MySQL)、NoSQL(MongoDB、Redis) ．熟悉 Git 多人協作方式 【加分但不是必須】 ．Instagram、Facebook、Tiktok爬蟲經驗 ．OpenAI使用經驗 ．自動化工具開發經驗 【我們目前主要使用的平台、工具與技術】 ．Python ．Requests / BS4 / Selenium ．MongoDB / Redis / MySQL

【公司相關資訊】 1. PChome小金雞獲利翻2倍，下步要當「獨角獸」！估值衝10億武器為何？ https://tinyurl.com/yrcw3q49 2. PChome虧損，它卻大賺！全台首推iPhone訂閱制，近兩年營收成長30％，網家小金雞如何讓華碩、三星搶合作？ https://www.wealth.com.tw/articles/622d5723-e77f-4421-a86f-dfeca7cc41b7 3. 攻 BNPL、iPhone 訂閱制，網家子公司 21st FinTech 上半年獲利 1.6 億元 https://finance.technews.tw/2023/10/19/21st-fintech-20231019 我們正在建置公司內外部共用的資料服務平台，結合大數據與AI的技術，建立智慧化與自動化的資料檢索與分析功能，協助公司內部進行資料營運並且以數據分析結果協助管理層進行決策支援。 此職務需要協助公司維運並建立資料團隊共用的雲端軟硬體架構、資料分析環境架設與資料應用流程規劃。現今有非常多資料管理與營運相關的軟體，你可以用你對於開源軟體架設的經驗，與團隊一同建立資料營運的系統架構，也能夠在現今的大數據與AI的發展架構下，提升團隊與個人的能力。 【職務內容】 1. 管理資料團隊軟體工具，包含定期軟體更新、備份和設備與資料轉移 2. 監控並排除團隊工具與資料狀態，提供定期報告與緊急告警模式 3. 依團隊需求建置並調校資料分析平台等相關服務 4. 開發並維運內外部夥伴資料串接之 Web API 5. 其他主管交辦事項

COMMEET (https://commeet.co) 擴大徵才，歡迎有熱情之新夥伴加入我們的行列 [工作內容] 1 整理、標記數據，以確保數據的準確性與可靠性 2 建立/維護/優化資料處理流程與架構(data pipeline) 3 跟相關的stakeholder合作，解決並優化他們的數據需求 4 其它主管交辦事項。 [必要條件] • 從業人員恪守客戶個資保護敏感度及尊重客戶資料隱密性 • 熟悉 ML/DL • 熟悉 python 語言與相關資料庫 (csv、postgres、redis、excel) • 熟悉圖表可視化(Visualization)，以及圖表分析能力 • 熟悉 git 版本控制 • 如線上初試通過者，將安排線下複試，複試安排 leetcode [加分項目] • 具有 OCR 處理數據經驗 • 有kaggle 等競賽平台經驗 • 有新創公司經驗 • 有FinTech 或 ERP/CRM 經驗 [人格特質] • 獨立作業的能力 • 細心負責任 • 勇於溝通，樂於表達自己的想法 • 喜歡主動學習新技術，願意與團隊研究及分享技術新知

技術需求： (1) 熟悉SSRS 開發與SQL撰寫 (2) 具備Oracle, SQL Server Store Procedure開發經驗 (3) 具備Azure 雲端服務經驗尤佳 (4) 具備Oracle Golden Gate經驗者尤佳 工作內容： 共用服務新功能開發及維運工作 (1) 報表改寫、SIT驗測 (2) 拋轉程式盤點與開發（使用OCI Golden Gate）

炬識科技（Athemaster）2024.05 宣布，推出全新資料品質產品「Athemaster DQSentry」，幫助企業掌控真實資料品質，將企業資料產製成具更高商業價值的企業專屬大型語言模型等資料產品，加速AI數位轉型進程。 ▎你想知道的 Athemaster： 請前往：https://linktr.ee/athemaster ▎Athemaster | 你會遇見這10種生活方式 https://reurl.cc/koZGGr ▎Why Join Us ● 2種開發模式：瀑布 & 敏捷 雙刀流 [ 獲台灣敏捷協會 #2024 #2025 敏捷大賞獎 ] ● 5種職系任你混搭搭配：每年依照個人意願打造專屬的成長路徑與職涯，不是工作量增加，而是組合技增加。 ● 25堂阿基米德創客間：雙週五的固定學習講座課程，來自內部6個社群與聘請外部講師共學。 ● 98% 以上機率可以 Work & Life Balance：此為所有專案成員的共同目標，並且認真執行。 ● 200個以上的學習資源：包含線上課、電子書、實體書及多樣化的學習方式。 ▎Job Description 參與內外部專案，幫助企業客戶運維 Data infra(資料基礎建設)、研發 Data pipeline(資料管線) 與 Data products(資料產品)，整合與提升企業商務系統，以滿足 Data-Driven 數據驅動之轉型目標。並與團隊一起發展 Athemaster 2.0 data project 方法論。 ▎主要工作內容 - Data pipeline 設計 - Data pipeline 程式撰寫與測試 - Data pipeline 部署與維運 - Data products 之運維（Data Products：例如資料表、演算法(模型)、API、儀表板或應用系統） ▎我們希望你有的經驗跟特質 - 對 Data-Driven Business 和 Data Engineering 有極大的熱情。 - 了解架構資料平台所需的相關技術，例如 RDBMS, NoSQL DB, Search Engine, Data Warehouse, Event Streaming Platform 等。 - 有 ETL 或資料分析案之專案經驗。 - 樂於與團隊互動、與客戶合作，並回應變化，願意了解客戶產業的領域知識以開發可用的軟體。 - 認同溝通的雙向性，職務內所需之訊息主動聽取、提出必要問題以正確理解，不依靠他人作為自己的眼睛、耳朵與嘴巴。 - 認同權限與責任對等原則，尊重擔負責任者經共識活動後的最終決策，並接受自己角色範圍內的指派。 - 認同角色範圍內個人能力應穩定輸出，達成預期之客戶價值。認同喜好或優先於團隊的個人考慮並非挑撿任務之合理原因。 - 樂於學習最新的技術，隨時充實自我的專業技能。 ▎應徵條件 - 熟悉 Python 程式語言。Athemaster主要用 Python & Java。 - 熟悉至少一種 SQL **與** NoSQL 資料庫的運用。例如 MySQL、PostgreSQL、Mongo 任一種。 - 具有分散式運算的相關知識。例如 Spark、Hadoop、Hive、impala、kafka等。 - 熟悉 Git, Jenkis, Airflow 等 Data Pipeline 開發關聯系統之使用。 - 至少 3 年工作經驗 - 1 年以上擔任 Data Engineer 角色參與專案之經驗，並熟悉 ETL 流程 ▎加分條件 - 願意參與 Data infra 維運（Data Infra：各種儲存結構化或半結構化資料的系統）。 - 願意參與運維最佳化系統效率與穩定度，架構高速、穩定且容易擴充的計算平台。 - 具有使用 NoSQL 的實務經驗。例如 HBase、Cassandra、Redis、MongoDB 等一種或多種相關技術。 - 具有使用 Streaming 資料處理系統的實務經驗。例如 Spark-streaming、Kafka、Flink 等。 - 具有使用 ETL Tool 資料整合工具的實務經驗。例如 Informatica, NiFi, Pentaho 等。 - 熟悉任一種視覺化工具。例如 Tableau, Power BI, Redash 等。

1. 車輛檢測維修與保養 維護客戶對Gogoro產品的信賴，展現你的專業技術來負責產品售後服務，包含維修、定期保養、零件更換與軟韌體更新等。 2. 車輛問題診斷 運用問題解決能力與跨團隊間溝通協調，以確保來到服務中心的客人可以得到有效的解決與對應辦法。 3. 維護環境及工作用具 對於自己的工作環境、特種工具及機具設備，會友善使用及維護，如對待自己的物品般珍惜與愛護。 4. 透過團隊合作創造優異成果 在你的工作中，你願意提供自己的經驗，讓團隊成員藉由分享在技術上更加純熟，讓你與你的團隊追求卓越表現。 ※到職後具有三週完整的Gogoro「服務流程」& 電動機車「技術能力」教育訓練※ ※除月薪資外，每月另有個人維修獎金※

工作內容: 開發與維護自動化數據處理流程（ex: Pipeline、Airflow） 建置並優化各式網路爬蟲（ex: Requests、Playwright、Scrapy ） 使用 Django 開發後端服務與 API，串接資料庫與前端系統 操作並優化資料庫（MariaDB、Redis），確保效能與穩定性 在 AWS（EC2、S3、RDS 等）環境中部署、監控與維運服務 協作AI應用模型 必備條件: 熟悉 Python，能獨立開發爬蟲、資料處理與 API 熟悉 Django 後端框架與 RESTful API 開發 熟悉 SQL（MariaDB）與快取系統（Redis） 具備自動化排程與數據管道開發經驗 具備 AWS 雲端平台使用經驗（EC2、S3、RDS 等） 良好的溝通能力與跨部門協作經驗 加分條件: 熟悉 Docker 具備前端基礎（HTML / CSS / JavaScript）可進行簡單資料視覺化 具備 機器學習或深度學習專案經驗

本公司為專業社群資料分析廠商，主要產品有《KEYPO大數據關鍵引擎》，透過深度學習在巨量社群資料中洞察網路口碑。本職務需熟悉web crawling techniques, automation, data storage, and data pipelines 【工作內容】 1.設計AI機器人(web crawler)架構，提升抓取的效率和品質 2.維護AI機器人(web crawler)可靠度與可用率 3.設計/優化資料管線與儲存架構 4.參與ETL設計與實作 5.RESTful API開發與維護 6.依能力調整Job Title(資深數據工程師/數據工程師) 【必要技能】 1.熟練運用AI工具進行開發上的協作 2.熟悉Python語法 3.充分了解HTML結構，能解析網頁交換資料的順序步驟　 4.熟悉Git 5.熟悉Linux, Docker 6.熟悉web crawler套件與框架(如Scrapy、Puppeteer、Selenium) 【加分條件】 1.自動化測試：瞭解單元測試、整合測試或其他測試框架。 2.CI/CD 流程：在生產環境中曾使用 Jenkins、GitLab CI 等工具實現持續整合 與部署。 3.容器調度：熟悉 Docker Swarm、Kubernetes 等技術，建構高可用的微服務架構。 4.敏捷開發經驗：具備 Agile / Scrum 開發流程的實務經驗。 5.程式重構 / 大型專案架構設計：具備系統化思考與模組化拆分的能力。 6.Message Queue：如 RabbitMQ、Kafka等的使用經驗。

【工作地點】 台北市內湖區 (金融產業因應資安問題，軟體開發需駐點於客戶端進行開發) 【技術條件】 1. 有爬蟲或 AI 系統相關建置經驗者，熟悉爬蟲技術、AI 模型框架，具多模態AI 模型相關經驗尤佳（如 YOLO、Gemini） 2. 3年以上公有雲系統開發經驗。具備PG職務經歷，總工作年資需3年以上，5年以上AI 開發工程師尤佳 3 .具備與SA、PG、QA 溝通經驗 4 .技術能力：Python、深度學習、Java 資料庫：PostgreSQL (含PL/SQL)、SQL Server(含Store Procedure) 【工作內容】 1.協助 Prototype 驗證 2.依據 Sample code 開發 Python 程式（爬蟲 + 圖文辨識） 3.與 Java 開發及前端的串接 4.需與SA、其他 PG、QA 溝通

本職缺以「量化策略程式維護與效能穩定」為主，輔以「夜間顧單／系統監控」，適合熟悉程式交易、具備交易系統維運與版本控管經驗的人才： 量化策略程式維護與優化（核心）：負責策略程式碼之日常維護、參數與環境設定管理、版本控管（Git）、回歸測試與效能監測；協助修補異常、改善延遲與穩定性，確保策略在模擬與實盤環境的一致性。 測試與回測支援（核心）：協助策略交易員進行策略小幅調整、單元／整合測試、自動化回測任務排程與結果校核；後續依規劃擴充商品（如股票、外匯）之資料接入、因子/訊號驗證與產線落地。 顧單與日間監控（輔助）：於交易時段執行系統與下單軟體健康檢查、即時異常排查（含連線、滑價、委託/成交對賬）、部位與成交資料一致性校正，並完成事件紀錄與例外追蹤以提升整體可靠度。

1.須熟悉交易軟體Multicharts，可使用其撰寫台指期自動交易策略並有良好的回策績效。 2.分析程式交易策略與優化。 3.撰寫交易策略文案(供券商客戶參考)。 4.策略經審核採用後，可打造每月優質被動收入。 鑫策是一間新創的AI交易策略軟體公司，團隊由科技業與金融業的成員組成。 主要產品是金融商品的自動交易策略與工具軟體，符合最新的FinTech金融科技趨勢。 歡迎參考我們最新職缺，謝謝!

1. 撰寫並部署 Python 爬蟲程式，確保高可用性與易維護性。 2. 熟悉網頁結構及網頁自動化操作（如 Selenium、Playwright），能抓取靜態與動態資料。 3. 精通 Python，具備撰寫 API 資料串接與網路爬蟲經驗。 4. 了解並能應對各類反爬蟲機制。 5. 與後端工程師協作，整合資料庫與開發相應 API 功能，提供前端或分析系統使用。

1. 以 Python 語言編寫blender腳本或外掛(i.e. Blender Python API。 2. 根據客戶需求或專案目標，設計並實作室內模型的自動化分割。 3. 撰寫技術檔案與開發手冊，並針對成果產出測試案例，驗證穩定性與正確性。

1. 負責軟體之分析、設計以及程式撰寫。 2. 規劃執行軟體架構及模組之設計，並控管軟體設計進度。 3. 進行軟體之測試與修改。 4. 規劃、執行與維護量產的產品。 5. 協助研發軟體新技術與新工具。 6. 管控軟體開發成本。

1.Web應用設計與開發 2.資料庫應用設計與開發 3.電子表單、流程設計與開發 4.項目之分析、設計以及程式撰寫 5.開發項目之測試與修改 6.維護、調整既有專案之程式

【職責】 1. 參與設計與維護數據基礎設施和數據管線 (Data pipeline - ETL/ELT) ，以支援關鍵業務應用 (如MarTech、AdTech、CDP、CRM、推薦系統、標籤等) 與數據應用需求 2. 協助進行數據創新應用和架構研究，特別是支援 AI/ML 專案的數據準備與供應，並參與新興數據技術的研究與導入 (如 Gen AI 相關數據集技術或 Data Lakehouse) 3. 協助執行數據品質、治理與安全相關任務，確保數據的準確性、完整性與合規性 4. 具備獨立執行數據工程任務的能力，負責從概念發想到最終部署的完整流程。同時，與團隊成員緊密協作，共同完成專案，以確保最終成果符合部門的發展目標與方向。 5. 與數據分析師、專案經理、業務團隊及 IT 部門協作， 理解業務需求並協助轉化為技術性數據解決方案 6. 積極學習新技術，並能與團隊成員有效協作、分享知識 【工作內容】 1. 開發、維護和優化複雜的批次和即時數據管線，從多個異質數據源 (包括但不限於 MarTech、AdTech、CDP、CRM、Events log等) 擷取、轉換與載入數據 2. 參與建構與維護基於雲端的數據儲存與處理架構，如數據湖 (Data Lake) 或數據湖倉 (Data Lakehouse)，確保系統穩定運行 3. 建構與維護 AI/ML 應用所需的數據集，包括特徵工程數據管線，並研究與實現為 LLM 應用準備數據的機制 (如 MCP 或 RAG 相關數據流程) 4. 參與設計與開發數據服務層 (Data Serving)，提供數據 API 或串流數據供下游應用使用 5. 優化現有數據系統和查詢效能，進行效能調校，降低數據處理延遲，提升系統效率 6. 操作與維護自動化的數據流程管理機制，使用 Airflow 等工具進行任務排程與監控 7. 協助建立與維護自動化測試、監控和警報機制，以確保數據平台穩定運行 8. 執行數據治理框架下的具體任務，例如追蹤數據血緣 (Data Lineage)，並確保數據處理符合相關法規 9 . 持續學習新興數據技術和行業趨勢 (如 Data Lakehouse, Gen AI 相關技術)，並與團隊分享 【技能要求】 1. 具備數據工程相關工作經驗 2 年以上 2. 熟悉 Python 和 SQL，具備良好的程式撰寫能力與數據庫操作能力 3. 具備 Data Orchestration 的實務經驗，熟悉 Airflow 的工作流開發與維護 4. 熟悉至少一個主流雲端平台 (GCP 優先考慮)，並對其數據相關服務具備使用經驗 (例如：GCP 的 BigQuery, Cloud Storage, Dataflow, Pub/Sub, Cloud Run, Vertex AI, Composer等) 5. 熟悉數據倉儲 (Data Lakehouse) 或數據湖 (Data Lake) 的概念，並具備協助建構或維護的經驗 6. 熟悉 Git 版本控制系統和 CI/CD 流程 7. 理解數據安全原則、存取控制、數據加密和數據治理概念 【部門介紹】 天下雜誌集團的數據工程師，是數位創新團隊不可或缺的數據架構基石，肩負著以數據賦能的核心使命。此職位的核心職責在於設計、建構並維護高效、穩健的數據基礎設施與數據管線，透過確保數據品質與可用性，以支援推薦系統、CRM、AI/ML 等關鍵應用。我們將與數據工程師攜手，共同推動內容及商務營運目標，將數據驅動的文化深植於日常工作中。 集團旗下擁有《天下》、《康健》、《天下學習》、《親子天下》等知名品牌，涵蓋財經管理、健康生活、工作職場與親子教育等領域。對數據團隊而言，我們就像多家公司合體運作，每個品牌都有獨特的商業模式與需求。從電商、內容訂閱到線上教育的數據應用，你都將有機會深入參與，發揮專業價值，探索多元場景。

工作內容 極風雲創致力於拓展 AI 驅動的應用資安智能解決方案與服務，我們正在尋找具備創新思維與跨領域整合能力的資料工程師，一起打造具影響力的產品，推動企業數位轉型與智慧防禦。 【主要職責】 負責AI訓練前置資料整理與轉換，資安資料、資安產品日誌資料、法規資料等等，將相關資料進行數據分類與建庫，以及優化AI抽取的資料庫語法優化與效能提升。 【職務需求】 • 具備 高度企圖心、責任感與自我驅動力，勇於挑戰並樂於學習新事物。 • 優秀的 溝通與協調能力，能快速理解問題並提出具體解決方案。 • 具備 AI / 資料庫建置與管理，相關經驗，熟悉RAG向量資料庫建置，及MYSQL ELK 等等使用相關經驗 • 對 AI 應用、雲端平台或資安領域 有濃厚興趣或相關經驗。 • 需要與資安工程師、法務等等，將文件與資料進行向量資料庫建置與管理，以及與前後端工程師溝通討論串接API與測試RAG效果，並與AI訓練工程師，提供AI訓練品質與精準度。 我們提供 • 參與 AI + 資安 相關產品研發，影響未來數位防禦的機會。 • 彈性且具挑戰性的工作環境，鼓勵創新與跨域合作。 • 完整的職涯發展與學習資源，讓你在 AI 與雲端資安領域快速成長。 【 職位條件】 • 電腦科學、資訊工程、資訊管理或相關科系學士/碩士學位 • 具備 AI或資料庫相關產品開發相關背景者佳 • 具備問題解決、創新能力，推動團隊達成目標

RPA 是「機器人流程自動化」（Robotic Process Automation）的縮寫，是一種使用軟體 AI 數字人來自動化完成 重複性、規則性工作。它透過模擬人類在電腦上的操作（如點擊、鍵盤輸入、資料輸入等），來取代人工執行日常事務，以提高效率、降低錯誤率並釋放人力。 模擬人類操作： RPA 的核心是透過流程搭建與應用程式互動，就像一個虛擬員工在操作電腦一樣。 低門檻自動化： 相較於需要編寫程式的傳統自動化方式，RPA 降低了自動化的門檻，讓沒有程式設計背景的「公民開發人員」也能夠參與建構自動化流程。 跨系統整合： AI 數字人能夠在不同系統之間處理和交換資料，例如從電子郵件中提取發票資料並輸入到會計系統中。 適用於重複性工作： 它特別適合處理高重複、標準化且規則明確的日常事務，如資料輸入、報表生成、系統操作等。 崗位職責: 負責 RPA 流程的搭建、自動化的應用、 測試, 調適與部署 在公司需求上 維護並優化現有自動化流程，確保穩定執行 整合跨系統資料（如郵件、Excel、會計系統等） 任職要求: 對 AI 數字人技術有高度興趣與好奇心 良好的邏輯能力與學習理解力 熟悉 Python 編程語言 熟悉主流資料庫操作（MySQL / SQL Server / MongoDB 等）者尤佳

一．職務描述： 我們正在尋找一位具備扎實 Python 編程技能的後端開發工程師，負責設計、開發和維護我們的後端系統。您將與前端開發工程師、產品經理和其他技術團隊成員密切合作，確保系統性能穩定且功能強大，為我們的用戶提供最佳的體驗。 二．工作內容： 1.使用 Python 設計、django框架開發、維護後端應用程序和服務。 2.設計高效的資料庫架構，確保資料存儲與查詢的穩定性和高性能。 3.開發並整合 RESTful API，與前端系統進行資料交換。 4.參與系統架構設計，確保系統可擴展性、穩定性和安全性。 5.持續優化程式碼與系統性能，改善處理效率。 6.與團隊其他成員協作，參與 code review，確保程式碼品質。 7.負責單元測試和整合測試，確保交付有品質的程式碼。 8.監控程式運作狀況，解決線上問題。 9.編寫和維護系統文件，為團隊成員提供技術支援和討論。 三．工作條件： 1. 至少 2 年 Python 後端開發經驗，並有實際項目的開發和部署經驗。 2.熟悉 Python 的 Web 框架（如 Django、Flask 等）。 3.熟練掌握 SQL 和關聯式數據庫（如 PostgreSQL、MySQL），熟悉 NoSQL 數據庫（如 MongoDB）者優先。 4.熟悉 RESTful API 設計，能夠與前端開發工程師高效協作。 5.熟悉 Git 版本控制系統，並有團隊協作經驗。 6.熟悉雲端服務平台（如 AWS、GCP、Azure）的部署和維護。 7.了解並具備基本的安全性、效能優化經驗。 8.良好的問題解決能力，能夠在壓力下保持冷靜，快速解決問題。 9.良好的團隊合作和溝通能力，能夠有效與其他技術團隊成員合作。 四．加分條件： 1.有微服務架構經驗。 2.熟悉 Docker 和容器化技術，具有 Kubernetes 部署經驗者優先。 3.有使用異步框架（如 asyncio、Tornado）的經驗。 4.熟悉 Redis、RabbitMQ、Kafka 等message queue, cache相關技術。 5.有 CI/CD 流程自動化的經驗（如 GitLab CI）。 6.熟悉前後端分離架構，對前端技術有一定了解（如 React、Vue.js）。 7.有分散式系統設計經驗或大規模系統開發經驗。 8.CS、資工相關專業優先