崗位職責:
1、需掌握分布式爬蟲架構(gòu)、反爬蟲策略應(yīng)對、多線程/消息隊列等技術(shù),熟悉正則表達式、XPath等網(wǎng)頁數(shù)據(jù)解析技術(shù)
2、精通Python開發(fā)語言,熟悉Linux開發(fā)環(huán)境,掌握TCP/IP、HTTP等網(wǎng)絡(luò)協(xié)議
3、處理反爬機制,優(yōu)化 UA、IP 池、動態(tài)調(diào)度等策略提升抓取穩(wěn)定性;
4、監(jiān)控和優(yōu)化爬蟲集群性能,優(yōu)化異常檢測、爬取策略調(diào)優(yōu)等機制;
5、具備mysql/Redis等數(shù)據(jù)存儲經(jīng)驗了解數(shù)據(jù)挖掘、機器學習基礎(chǔ)
6、需具備逆向開發(fā)、動態(tài)調(diào)試等能力,熟悉加解密算法、網(wǎng)絡(luò)協(xié)議分析
任職資格:
1.統(tǒng)招本科及以上學歷,計算機或相關(guān)專業(yè);
2.熟悉python,5年及以上爬蟲經(jīng)驗,能夠獨立完成開發(fā)任務(wù);
3.熟悉Scrapy、PySpider等常用爬蟲框架
4.熟練掌握面向?qū)ο缶幊痰睦碚摵蛻?yīng)用,熟悉動態(tài)庫、網(wǎng)絡(luò)編程、多線程編程等常用技術(shù)。
5.具備專業(yè)的反爬策略應(yīng)對能力