Menu

Python 爬虫基础 — 介绍 + 环境搭建(不含代码级别资料)

2018年5月10日 - Python

目的

Python 介绍

开发环境准备

Python 下载和安装

Anaconda 介绍、安装

Anaconda 是一个用于科学计算的 Python 发行版,支持 Linux, Mac, Windows 系统,提供了包管理与环境管理的功能,可以很方便地解决多版本 python 并存、切换以及各种第三方包安装问题。Anaconda 利用工具 / 命令 conda 来进行 package 和 environment 的管理,并且已经包含了 Python 和相关的配套工具。

Windows 用户
Mac 用户
# Anaconda
PATH=$PATH:/Users/你的用户名/anaconda/bin
export PATH
如果是 Linux 用户
# Anaconda
PATH=$PATH:/root/anaconda3/bin
export PATH

Anaconda 国内加速镜像

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes

Python 现阶段主流的包管理工具 pip(pypi) 介绍

pip 是一个安装和管理 Python 包的工具,python 安装包的工具有 easy_install, setuptools, pip,distribute 等。distribute 是 setuptools 的替代品,是对标准库 disutils 模块的增强,我们知道 disutils 主要是用来更加容易的打包和分发包,特别是对其他的包有依赖的包。distribute 被创建是因为 Setuptools 包不再维护了。而 pip 是 easy_install 的替代品。来源

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

安装爬虫需要的一些包

安装爬虫需要的一些工具

ChromeDriver

phantomjs

# phantomjs
PATH=$PATH:/usr/local/phantomjs-2.1.1-linux-x86_64/bin
export PATH

最后

其他材料

标签:,