職位描述
Python數(shù)據(jù)采集爬蟲開發(fā)反爬蟲分布式爬蟲
崗位職責(zé)：
1、負(fù)責(zé)開發(fā)網(wǎng)絡(luò)爬蟲系統(tǒng)以及優(yōu)化爬蟲策略，進(jìn)行多平臺信息的抓取和分析；
2、完成數(shù)據(jù)采集與爬取、解析處理、入庫等數(shù)據(jù)日常工作；
3、積極主動思考探索爬蟲在實際業(yè)務(wù)中的價值，參與設(shè)計數(shù)據(jù)有效利用策略，從數(shù)據(jù)合理性、完整性角度提供建議；
4、把握網(wǎng)絡(luò)爬蟲核心技術(shù)研究方向，研究優(yōu)化方向，提升爬蟲系統(tǒng)的穩(wěn)定性、可擴(kuò)展性；
5、設(shè)計爬蟲策略和防屏蔽規(guī)則，提升網(wǎng)頁抓取的效率和質(zhì)量。
任職要求：
1、 統(tǒng)招?？埔陨蠈W(xué)歷，1年以上爬蟲項目經(jīng)驗，計算機相關(guān)專業(yè)，具備良好的計算機專業(yè)知識；
2、熟悉python/java語言，具備扎實的編程功底，具有良好的程序設(shè)計能力；
3、 熟悉爬蟲原理，熟悉Scrapy、pyspider等主流爬蟲框架，能夠解決封賬號、封IP、驗證碼、網(wǎng)頁限制爬取等問題，且有實際經(jīng)驗；
4、熟練使用正則表達(dá)式、css、xpath等數(shù)據(jù)清洗方法；
5、 業(yè)務(wù)理解和分析轉(zhuǎn)化能力較強，富有進(jìn)取精神及團(tuán)隊合作精神，責(zé)任心強，善于合作溝通，能夠承受壓力；
6、加分項：有App采集經(jīng)驗，掌握fiddler、charles等抓包工具的使用，掌握xposed、frida、ida pro的使用方法，可以獨立解決復(fù)雜加密算法的破解。
1、負(fù)責(zé)開發(fā)網(wǎng)絡(luò)爬蟲系統(tǒng)以及優(yōu)化爬蟲策略，進(jìn)行多平臺信息的抓取和分析；
2、完成數(shù)據(jù)采集與爬取、解析處理、入庫等數(shù)據(jù)日常工作；
3、積極主動思考探索爬蟲在實際業(yè)務(wù)中的價值，參與設(shè)計數(shù)據(jù)有效利用策略，從數(shù)據(jù)合理性、完整性角度提供建議；
4、把握網(wǎng)絡(luò)爬蟲核心技術(shù)研究方向，研究優(yōu)化方向，提升爬蟲系統(tǒng)的穩(wěn)定性、可擴(kuò)展性；
5、設(shè)計爬蟲策略和防屏蔽規(guī)則，提升網(wǎng)頁抓取的效率和質(zhì)量。
任職要求：
1、 統(tǒng)招?？埔陨蠈W(xué)歷，1年以上爬蟲項目經(jīng)驗，計算機相關(guān)專業(yè)，具備良好的計算機專業(yè)知識；
2、熟悉python/java語言，具備扎實的編程功底，具有良好的程序設(shè)計能力；
3、 熟悉爬蟲原理，熟悉Scrapy、pyspider等主流爬蟲框架，能夠解決封賬號、封IP、驗證碼、網(wǎng)頁限制爬取等問題，且有實際經(jīng)驗；
4、熟練使用正則表達(dá)式、css、xpath等數(shù)據(jù)清洗方法；
5、 業(yè)務(wù)理解和分析轉(zhuǎn)化能力較強，富有進(jìn)取精神及團(tuán)隊合作精神，責(zé)任心強，善于合作溝通，能夠承受壓力；
6、加分項：有App采集經(jīng)驗，掌握fiddler、charles等抓包工具的使用，掌握xposed、frida、ida pro的使用方法，可以獨立解決復(fù)雜加密算法的破解。
工作地點
長沙開福區(qū)綠地V島B區(qū)綠地V島B區(qū)9棟6樓
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
鄧先生/人事助理
當(dāng)前在線立即溝通
中科聞歌中科聞歌簡介中科聞歌成立于2017年，是中科院自動化所孵化企業(yè)，定位于領(lǐng)先的數(shù)據(jù)與決策智能服務(wù)商。公司依托互聯(lián)網(wǎng)大數(shù)據(jù)和情報與安全信息方向十余年技術(shù)積累，聚焦DI+AI+OR（數(shù)據(jù)智能+人工智能+運籌學(xué)）智能計算核心技術(shù)，專注于人工智能基礎(chǔ)平臺與應(yīng)用研發(fā)，提供面向數(shù)智媒宣、數(shù)智輿情、數(shù)智金融和數(shù)智安全等領(lǐng)域的多語言、跨模態(tài)和深度認(rèn)知智能大數(shù)據(jù)與人工智能基礎(chǔ)平臺及解決方案。公司核心團(tuán)隊在國際頂級學(xué)術(shù)期刊和會議發(fā)表論文600余篇，申請發(fā)明專利近百項，研發(fā)和實現(xiàn)核心算法3000余個，數(shù)據(jù)覆蓋全球媒體，是新華社多語言、科技冬奧多語言服務(wù)商，多項研究和技術(shù)屬于開創(chuàng)性工作，獲中科院“弘光專項”、國家科技創(chuàng)新2030“新一代人工智能”等重大專項支持。公司現(xiàn)有員工700余人，集聚全球一流青年人才，擁有30余位博士領(lǐng)軍人才，設(shè)立博士工作站。公司已在北京、深圳、上海、南京、西安、重慶等地設(shè)立分支機構(gòu)，累計完成七輪超十億元融資，投資機構(gòu)包括國開金融、中網(wǎng)投、盈富泰克、深創(chuàng)投、中科院資本和科技部的相關(guān)基金等，入選國家級“專精特新小巨人”企業(yè)，獲中國創(chuàng)業(yè)創(chuàng)新大賽全國總決賽成長組新一代信息技術(shù)第一名、數(shù)博會“領(lǐng)先科技成果獎”、公安部科技進(jìn)步獎二等獎、“王選新聞科學(xué)技術(shù)獎”一等獎（2019年、2021年）等獎項。公司已服務(wù)超千家政企客戶，包括中宣部、工信部、公安部、海關(guān)總署、中國人民銀行、新華社、人民日報、中央廣播電視總臺、北京大學(xué)、清華大學(xué)、國家電網(wǎng)、一汽集團(tuán)、海爾集團(tuán)等單位。
公司主頁