簡介
我們正在尋找一位高技術的後端開發人員來構建一個穩健的數據庫,並開發一個能夠提取、處理和存儲數據的後端系統。理想的候選人應具備網頁爬蟲、數據庫管理、API 開發和後端優化的經驗。
- 設計並實施可擴展的數據庫(PostgreSQL、MySQL、MongoDB),以存儲大量結構化數據。
- 使用 Python(Scrapy、BeautifulSoup、Selenium)或 Node.js(Puppeteer、Cheerio)開發網頁爬蟲腳本,以從外部網站提取數據。
- 確保在將數據插入數據庫之前進行數據清理、驗證和結構化。
- 建立一個RESTful API,以高效地向前端提供數據。
- 優化數據庫查詢,以確保快速的響應時間。
- 實施計劃任務和自動化腳本以進行定期數據更新。
- 確保數據存儲的安全性,並防止爬蟲檢測阻擋(例如,旋轉代理、無頭瀏覽器)。
- 如有必要,整合第三方 API以檢索附加數據源。
職位要求
- 後端開發:Node.js(Express.js, Nest.js),Python(Django, FastAPI, Flask)
- 網頁資料擷取:Scrapy, BeautifulSoup, Selenium, Puppeteer, Cheerio
- 資料庫管理:PostgreSQL, MySQL, MongoDB, Redis
- API 開發:RESTful API, GraphQL, FastAPI, Flask
- 數據處理:Pandas, NumPy, JSON 處理
- 安全性與效能優化
- 雲端服務:AWS, Google Cloud, Firebase
- 版本控制與部署:Git, Docker, Kubernetes
- 具備大規模資料擷取及反機器人逃避技術的經驗。
- 了解非同步程式設計以處理大量請求。
- 理解動態內容的搜尋引擎優化(SEO)。
- 能夠運用微服務架構進行模組化開發。
Node.js全端React Native比特幣JavaPython以太坊/穩定幣SolanaRustGolang