1，requests库
pip install requests
2,Beautiful Soup库
pip install beautifulsoup4
3,lxml库
pip install lxml
4,phantomJs
PhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准：DOM 操作，CSS选择器，JSON，Canvas 以及SVG。
5,Selenium
selenium,是一个自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 Selenium 的插件，那么便可以方便地实现Web界面的测试。换句话说叫 Selenium 支持这些浏览器驱动。
PhantomJS 用来渲染解析JS，Selenium 用来驱动以及与 Python 的对接，Python 进行后期的处理，完美的三剑客.
pip install selenium
6.pyquery
pip install pyquery
pyquery 可让你用 jQuery 的语法来对 xml 进行操作。