交易數(shù)據爬蟲插件工具開發(fā),包括可視化部分
【python爬蟲工程師】
崗位職責:
1、爬蟲系統(tǒng)開發(fā):設計并開發(fā)高效、穩(wěn)定的網絡爬蟲系統(tǒng),確保數(shù)據準確性和完整性。
2、系統(tǒng)優(yōu)化:優(yōu)化爬蟲抓取策略與調度策略,維護現(xiàn)有系統(tǒng),提升抓取速度與數(shù)據質量。
3、數(shù)據處理:負責數(shù)據采集、解析、清洗、入庫及統(tǒng)計工作。
4、系統(tǒng)監(jiān)控:監(jiān)控爬蟲運行狀態(tài),及時處理異常, 確保系統(tǒng)穩(wěn)定性。
崗位要求:
1、教育背景:計算機科學、數(shù)學、統(tǒng)計學、電氣工程或相關領域統(tǒng)招本科及以上學歷;
2、技術能力:熟練使Python,掌握Scrapy、 BeautifulSoup、Selenium等框架。
3、網絡協(xié)議與反爬蟲:熟悉HTTP/HTTPS協(xié)議, 能解決封IP、驗證碼、JS逆向等反爬蟲問題。
4、數(shù)據存儲與處理:熟悉MySQL、Redis等工具。
5、網頁抓取技術:精通網頁抓取原理與正則表達式,能從結構化與非結構化數(shù)據中提取信息。
6、有能源、電力領域經驗者優(yōu)先。