爬虫思路

感觉以前学爬虫时完全是瞎碰，，，现在写点思路 确定要爬的网址 伪造请求头（header），避免爬虫检测 抓取相应页面的get 用beautifulsoup解析get包 筛选所需的内容（例bs的select()方法，get_text(）……）