Python教程

Python是一种简单易学，功能强大的编程语言。它包括了高效的高级数据结构和简单而有效的方法，面向对象编程。Python优雅的语法，动态类型，以及它天然的解释能力，使其成为理想的语言，脚本和应用程序快速开发在大多数平台上的许多领域。

Python解释器及其扩展标准库的源码和编译版本可以从Python的Web站点，http://www.python.org/所有主要平台可自由查看，并且可以自由发布。该站点上也包含了分配和指针到很多免费的第三方Python模块，程序，工具，以及附加的文档。

Python的解释器很容易扩展新的功能，并在C或C ++（或由C来调用其他语言）实现的数据类型。 Python也很适于作为定制应用的一种扩展语言。

本教程向读者介绍了非正式的Python语言和系统的基本概念和功能。它有助于理解Python和实战练习，当然所有的例子都是自包含的，所以这本手册可以离线阅读为好。

有关标准对象和模块的详细介绍，请参见Python标准库。Python语言参考给出了语言的更正式的定义。需要编写C或C + +扩展，请阅读扩展和嵌入Python解释器和Python/C的API参考手册。也有几本书涵盖了各个深度的Python。

本教程并不试图全面，涵盖每一个功能，甚至每一个常用功能。相反，它介绍了许多Python中最引人注目的功能，会给Python语言的韵味和风格是一个好开始。看完之后，你就可以阅读和编写Python模块和程序，将准备进一步了解Python标准库描述的各种Python库模块。

Python概述

Python是一种高层次的，解释性的，交互式和面向对象的脚本语言。Python被设计成具有很强的可读性，它使用英语如其他语言常用空白作为标点符号，它比其他语言语法结构更少。

• Python被解析：这意味着它是在运行时由解释器处理，你并不需要在执行前编译程序。这类似于Perl和PHP。

• Python是互动：这意味着你可以在Python的提示和解释器进行交互，直接写出你的程序。

• Python是面向对象的：这意味着Python支持面向对象的方式或程序，它封装了对象中的代码的技术。

• Python是初学者的语言：Python是为初级程序员一种伟大的语言，并支持广泛的应用，从简单的文本处理，WWW浏览器，以游戏开发。

Python的历史：

Python是由Guido van Rossum在八十年代末和九十年代初在全国研究所数学与计算机科学在荷兰开发。

Python从许多其他语言，包括ABC，Modula-3语言，C语言，C+ +，Algol-68，Smalltalk和unix的shell等脚本语言得到参考开发。

Python是有版权的。比如Perl，Python源代码现在是GNU通用公共许可证(GPL)下提供。

Python的现在是由一个核心开发团队在维护，虽然Guido van Rossum仍然持有在指导其进展至关重要的作用。

Python的特点：

Python的功能亮点包括：

• 易于学习：Python有相对较少的关键字，结构简单，明确的语法。这让学生学习的时间相对较短。

• 易于阅读：Python代码是更加明确，可见。

• 易于维护：Python的成功在于它的源代码是相当容易维护。

• 广泛的标准库：Python的最大优点是体积库很方便，在UNIX，Windows和Macintosh跨平台兼容。

• 交互模式：支持交互模式中，可以从终端输入结果正确的语言，让交互测试的代码片段和调试。

• 便携式：Python可以在多种硬件平台上运行，并且对所有的平台上使用相同的接口。

• 扩展：可以添加低级别的模块在Python解释器。这些模块使程序员可以添加或自定义自己的工具来提高效率。

• 数据库：Python提供接口给所有主要的商业数据库。

• GUI编程：Python支持，可以创建并移植到许多系统调用，库和Windows系统，如Windows MFC，Macintosh和Unix的X Window系统的GUI应用程序。

• 可扩展性：Python提供了一个更好的结构，并支持比shell脚本大型程序。

除了上面提到的功能，Python也有很好的功能，几个列举如下：

• 支持功能和结构化的编程方法，以及面向对象。

• 它可以作为一种脚本语言，或者可以被编译为字节码建立大型的应用程序。

• 非常高的动态数据类型，并且支持动态类型检查。

• 支持自动垃圾收集。

• 它可以用C，C + +，COM和ActiveX，CORBA和Java很容易地集成。

Python环境安装

本地环境设置

如果愿意设置您的Python环境，让我们了解如何建立Python环境。 Python可在各种平台，包括Linux和Mac OS X，可尝试打开一个终端窗口并输入“python”，以检查是否已经安装了python，什么版本，如果已经有安装。

• Unix (Solaris, Linux, FreeBSD, AIX, HP/UX, SunOS, IRIX, etc.)

• Win 9x/NT/2000

• Macintosh (Intel, PPC, 68K)

• OS/2

• DOS (multiple versions)

• PalmOS

• Nokia 手机

• Windows CE

• Acorn/RISC OS

• BeOS

• Amiga

• VMS/OpenVMS

• QNX

• VxWorks

• Psion

• Python也可被移植到Java和.NET 虚拟机

获得Python

最新源代码，二进制文件，文档，新闻等可在Python的官方网站：

Python官方网站：http://www.python.org/

可以从以下站点下载Python文档。文件格式是HTML，PDF和PostScript。

Python文档网站： www.python.org/doc/

安装Python：

Python发行版适用于各种平台。你只需要下载适用于您的平台的二进制代码并安装Python。

如果二进制代码针对您的平台无法使用，你需要一个C编译器来手动编译源代码。编译源代码提供了选择，为安装功能方面更大的灵活性。

这里是在各种平台上安装Python的快速概览：

UNIX和Linux的安装方式：

下面是简单的步骤，在Unix/ Linux机器上安装Python。

• 打开Web浏览器并转至http://www.python.org/download/

• 按照链接下载压缩的源代码在Unix/ Linux操作系统。

• 下载并解压文件。

• 编辑模块/安装文件，如果你想自定义一些选项。

• 执行./configure 脚本

• make

• make install

这将安装python的标准位置在 /usr/local/bin目录和它的库安装在/usr/local/lib/pythonXX，其中XX是Python使用的版本。

Windows上安装:

下面是Windows机器上安装Python的步骤。

• 打开Web浏览器并转至 http://www.python.org/download/

• 按照链接到Windows安装python-XYZ.msi文件，其中XYZ是你要安装的版本。

• 要使用此安装程序python-XYZ.msi，Windows系统必须支持Microsoft安装程序2.0。只需安装程序文件保存到本地计算机，然后运行它，看看是否你的机器支持MSI。

• 通过双击它在Windows中运行下载的文件。这将出Python的安装向导，这些都很容易使用。只需接受默认设置，等到安装完成后。

Macintosh上安装:

最新的Mac电脑配备安装了Python，但可能好几年前的机器没有安装。见http://www.python.org/download/mac/上获得的最新版本以及额外的工具来支持在Mac上开发的指令。对于老的Mac OS的Mac OS X10.3之前（2003年推出），MacPython上是可用的。“

只要到这个链接，完整Mac OS安装安装细节。

设置PATH:

程序和其他可执行文件可以住在许多目录，所以操作系统提供，列出目录的操作系统搜索可执行文件的搜索路径。

路径被存储在环境变量，这是由操作系统维护的命名字符串。这些变量包含可用于命令行解释器和其他程序的信息。

路径变量名为Path的Unix或路径在Windows（UNIX是区分大小写的，Windows是没有）。

在Mac OS中，安装程序处理的道路细节。调用任何特定目录Python解释器，必须Python的目录添加到您的路径。

设置路径，在Unix/Linux上：

将Python目录添加到在Unix系统中的特定会话的路径：

• 在csh shell： 输入
  SETENV PATH "$PATH:/usr/local/bin/python"  然后按回车键。

• 在 bash shell (Linux): 输入
  export PATH="$PATH:/usr/local/bin/python" 然后按回车键。

• 在 sh 或  ksh shell: 输入 
  PATH="$PATH:/usr/local/bin/python" 然后按回车键。

注: /usr/local/bin/python 为Python目录的路径

设置路径Windows系统：

以Python目录添加到了 Windows 特定会话的路径：

• 在命令提示符下: 输入 
  path %path%;C:Python 然后按Enter键。

注意：C:Python 是Python目录的路径

Python环境变量：

这里是重要的环境变量，其可以被Python确认：

运行Python:

有三种不同的方式来启动Python：

(1) 交互式解释器：

可以输入python，并在开始通过命令行启动在交互式解释器它编码的时候。从UNIX，DOS或其他系统提供了一个命令行解释器或shell窗口。

$python             # Unix/Linux

or 

python%             # Unix/Linux

or 

C:>python           # Windows/DOS

下面是所有可用的命令行选项的列表：

(2) 脚本的命令行：

Python脚本可以在命令行中通过调用应用程序中的解释，如下面的执行：

$python  script.py          # Unix/Linux

or 

python% script.py           # Unix/Linux

or 

C:>python script.py         # Windows/DOS

注意：请确保该文件的权限模式可以执行。

(3)集成开发环境

您可以从图形用户界面（GUI）环境中运行Python。所有需要的是一个支持Python系统的GUI应用程序。

• UNIX：IDLE也是早期的UNIX系统为Python的IDE。

• Windows：PythonWin是第一个Windows界面的Python和一个GUI的IDE。

• Macintosh：Python的的Macintosh版本随着闲置的IDE可从主站下载，不是MACBINARY就是BinHex'd文件。

Python基本语法

Python与Perl，C和Java语言等有许多相似之处。不过，也有语言之间有一些明确的区别。本章的目的是让你迅速学习Python的语法。

第一个Python程序：

交互模式编程：

调用解释器不经过脚本文件作为参数，显示以下提示：

$ python
Python 2.6.4 (#1, Nov 11 2014, 13:34:43)
[GCC 4.1.2 20120704 (Red Hat 5.6.2-48)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>>

键入下列文字在Python提示符，然后按Enter键：

>>> print "Hello, Python!";

如果您运行的是新的Python版本，那么需要使用打印语句括号像print ("Hello, Python!");。但是在Python版本2.6.4，这将产生以下结果：

Hello, Python!

脚本模式编程：

调用解释器及脚本作为参数，并开始执行的脚本，并一直持续到脚本完成。当脚本完成时，解释器不再是活动的。

让我们在脚本中编写一个简单的Python程序。所有的Python文件将具有.py扩展。所以，把下面的代码写在一个test.py文件。

print "Hello, Python!";

在这里，我假设你已经在PATH变量中设置Python解释器。现在，尝试如下运行这个程序：

$ python test.py

这将产生以下结果：

Hello, Python!

让我们尝试另一种方式来执行Python脚本。下面是修改后的test.py文件：

#!/usr/bin/python

print "Hello, Python!";

在这里，假设Python解释器在/usr/bin目录中可用。现在，尝试如下运行这个程序：

$ chmod +x test.py     # This is to make file executable
$./test.py

这将产生以下结果：

Hello, Python!

Python标识符：

Python标识符是用来标识一个变量，函数，类，模块或其他对象的名称。一个标识符开始以字母A到Z或a〜z或后跟零个或多个字母下划线（_），下划线和数字（0〜9）。

Python中标识符内不允许标点符号，如@，$和％。 Python是一种区分大小写的编程语言。因此，Manpower 和manpower在Python中是两个不同的标识符。

这里有Python标识符命名约定：

• 类名以大写字母以及所有其它标识符以小写字母。

• 开头单个前导下划线的标识符表示由该标识符约定意思是私有的。

• 开头两个前导下划线的标识符表示一个强烈的私有的标识符。

• 如果标识符末尾还具有两个下划线结束时，该标识符是一个语言定义的特殊名称。

保留字：

下面列出了在Python中的保留字。这些保留字不可以被用作常量或变量，或任何其它标识符。所有Python关键字只包含小写字母。

行和缩进：

一个程序员学习Python时，遇到的第一个需要注意的地方是，不使用括号来表示代码的类和函数定义块或流程控制。代码块是由行缩进，这是严格执行表示方式。

在缩进位的数目是可变的，但是在块中的所有语句必须缩进相同的量。在这个例子中，两个功能块都很好使用：

if True:
    print "True"
else:
  print "False"

然而，在本实施例中的第二块将产生一个错误：

if True:
    print "Answer"
    print "True"
else:
    print "Answer"
  print "False"

因此，在Python中所有的连续线缩进的空格数同样的会结成块。以下是各种语句块中的例子：

注意：不要试图理解所使用的逻辑或不同的功能。只要确定你明白，即使他们各种模块无需括号。

#!/usr/bin/python

import sys

try:
  # open file stream
  file = open(file_name, "w")
except IOError:
  print "There was an error writing to", file_name
  sys.exit()
print "Enter '", file_finish,
print "' When finished"
while file_text != file_finish:
  file_text = raw_input("Enter text: ")
  if file_text == file_finish:
    # close the file
    file.close
    break
  file.write(file_text)
  file.write("n")
file.close()
file_name = raw_input("Enter filename: ")
if len(file_name) == 0:
  print "Next time please enter something"
  sys.exit()
try:
  file = open(file_name, "r")
except IOError:
  print "There was an error reading file"
  sys.exit()
file_text = file.read()
file.close()
print file_text

多行语句：

Python语句通常用一个新行结束。 但是，Python允许使用续行字符（）来表示，该行应该继续下去（跨行）。例如：

total = item_one + 
        item_two + 
        item_three

包含在[]，{}或()括号内的陈述并不需要使用续行符。例如：

days = ['Monday', 'Tuesday', 'Wednesday',
        'Thursday', 'Friday']

Python引号：

Python接受单引号（'），双引号（“）和三（''或”“”）引用，以表示字符串常量，只要是同一类型的引号开始和结束的字符串。

三重引号可以用于跨越多个行的字符串。例如，所有下列是合法的：

word = 'word'
sentence = "This is a sentence."
paragraph = """This is a paragraph. It is
made up of multiple lines and sentences."""

Python注释：

一个井号（＃），这不是一个字符串文字开头的注释。“＃”号之后字符和到物理行是注释的一部分，Python解释器会忽略它们。

#!/usr/bin/python

# First comment
print "Hello, Python!";  # second comment

这将产生以下结果：

Hello, Python!

注释可能会在声明中表达或同一行之后：

name = "Madisetti" # This is again comment

你可以使用多行注释如下：

# This is a comment.
# This is a comment, too.
# This is a comment, too.
# I said that already.

使用空行：

一行只含有空格，可能带有注释，如果是空行那么Python完全忽略它。

在交互式解释器会话中，必须输入一个空的物理行终止多行语句。

等待用户：

程序的下面一行显示的提示，按回车键退出，等待用户按下回车键：

#!/usr/bin/python

raw_input("nnPress the enter key to exit.")

在这里，“nn已”被用来显示实际行之前创建两个换行。一旦用户按下键时，程序结束。这是一个很好的技巧，保持一个控制台窗口打开，直到用户完成应用程序运行。

在一行中多个语句：

分号( ; ) 允许在单行写入多条语句，不管语句是否启动一个新的代码块。下面是使用分号示例：

import sys; x = 'foo'; sys.stdout.write(x + 'n')

多个语句组作为套件：

一组单独的语句，在Python单一的代码块被称为序列。复杂的语句，如if, while, def, and class，那些需要一个标题行和套件。

标题行开始的声明（与关键字），并终止与冒号（:)），接着是一个或多个线构成该套件。例如：

if expression : 
   suite
elif expression : 
   suite 
else : 
   suite

命令行参数：

我们可能已经看到了，比如，很多程序可以运行，它们提供有关如何运行的一些基本信息。 Python中可以使用 -h 做到这一点：

$ python -h
usage: python [option] ... [-c cmd | -m mod | file | -] [arg] ...
Options and arguments (and corresponding environment variables):
-c cmd : program passed in as string (terminates option list)
-d     : debug output from parser (also PYTHONDEBUG=x)
-E     : ignore environment variables (such as PYTHONPATH)
-h     : print this help message and exit

[ etc. ]

您也可以设定您的脚本，它应该以这样的方式接受各种选项。  命令行参数是一个高级主题并在以后学习，当您通过其它的Python概念后。

Python变量类型

变量是只不过保留的内存位置用来存储值。这意味着，当创建一个变量，那么它在内存中保留一些空间。

根据一个变量的数据类型，解释器分配内存，并决定如何可以被存储在所保留的内存中。因此，通过分配不同的数据类型的变量，你可以存储整数，小数或字符在这些变量中。

变量赋值：

Python的变量不必显式地声明保留的存储器空间。当分配一个值给一个变量的声明将自动发生。等号(=)来赋值给变量。

操作数=操作符的左边是变量，操作数=操作符的右侧的名称在变量中存储的值。例如：

#!/usr/bin/python

counter = 100          # An integer assignment
miles   = 1000.0       # A floating point
name    = "John"       # A string

print counter
print miles
print name

在这里，分配值100，1000.0和“John”分别给变量counter，miles和respectively。当运行这个程序，这将产生以下结果：

100
1000.0
John

多重赋值：

Python允许您同时指定一个值给几个变量。例如：

a = b = c = 1

这里，整数对象创建的值1，并且所有三个变量被分配到相同的内存位置。您也可以将多个对象分别到多个变量。例如：

	a, b, c = 1, 2, "john"

这里，两个整对象用值1和2分配给变量a和b，并且值为“john”的字符串对象被分配到变量c。

标准的数据类型：

存储在内存中的数据可以是多种类型的。例如，一个人的年龄被存储为一个数字值和他的地址被存储为字母数字字符。Python用于对每个人的操作的各种标准类型定义在存储方法。

Python有五个标准的数据类型：

• 数字

• 字符串

• 列表

• 元组

• 字典

Python数字：

数字数据类型存储数值。它们是不可变的数据类型，这意味着改变一个新分配的对象的数字数据类型的结果值。

当分配一个值给他们创建的对象。例如：

var1 = 1
var2 = 10

也可以使用del语句删去有关一些对象。 del语句的语法是：

del var1[,var2[,var3[....,varN]]]]

也可以使用del语句删除单个或多个对象。例如：

del var
del var_a, var_b

Python支持四种不同的数值类型：

• int (有符号整数)

• long (长整数[也可以以八进制和十六进制表示])

• float (浮点实数值)

• complex (复数)

例如：

这里是数字的一些例子：

• Python允许使用一个小写L表示长整型，但建议您只使用一个大写的L到避免和数字1 长得一样不容易分辨，Python显示长整数用一个大写L。

• 复数包含一个有序对表示为a + bj，其中，a是实部，b是复数的虚部实浮点数。

Python字符串:

在Python中的字符串被确定为一组连续的字符在引号之间。 Python允许在任何对单引号或双引号。串的子集，可以使用切片操作符可采用（[]和[：]），索引从0开始的字符串的开始和结束（-1）。

加号（+）符号的字符串连接操作符，而星号（*）表示重复操作。例如：

#!/usr/bin/python

str = 'Hello World!'

print str          # Prints complete string
print str[0]       # Prints first character of the string
print str[2:5]     # Prints characters starting from 3rd to 5th
print str[2:]      # Prints string starting from 3rd character
print str * 2      # Prints string two times
print str + "TEST" # Prints concatenated string

这将产生以下结果：

Hello World!
H
llo
llo World!
Hello World!Hello World!
Hello World!TEST

Python列表:

列表是最通用的Python复合数据类型。列表中包含以逗号分隔，并在方括号（[]）包含的项目。在一定程度上，列表相似C语言中的数组，它们之间的一个区别是，所有属于一个列表中的项目可以是不同的数据类型的。

存储在一个列表中的值可以使用切片操作符来访问（[]和[：]）用索引从0开始，在列表的开始位置和结束为-1。加号（+）符号列表连接运算符，星号（*）重复操作。例如：

#!/usr/bin/python

list = [ 'abcd', 786 , 2.23, 'john', 70.2 ]
tinylist = [123, 'john']

print list          # Prints complete list
print list[0]       # Prints first element of the list
print list[1:3]     # Prints elements starting from 2nd till 3rd 
print list[2:]      # Prints elements starting from 3rd element
print tinylist * 2  # Prints list two times
print list + tinylist # Prints concatenated lists

这将产生以下结果：

['abcd', 786, 2.23, 'john', 70.200000000000003]
abcd
[786, 2.23]
[2.23, 'john', 70.200000000000003]
[123, 'john', 123, 'john']
['abcd', 786, 2.23, 'john', 70.200000000000003, 123, 'john']

Python元组：

元组是类似于列表中的序列数据类型。一个元组由数个逗号分隔的值。不同于列表，不过，元组圆括号括起来。

列表和元组之间的主要区别是：列表括在括号（[]）和它们的元素和大小是可以改变的，而元组在圆括号()，不能被更新。元组可以被认为是只读列表。例如：

#!/usr/bin/python

tuple = ( 'abcd', 786 , 2.23, 'john', 70.2  )
tinytuple = (123, 'john')

print tuple           # Prints complete list
print tuple[0]        # Prints first element of the list
print tuple[1:3]      # Prints elements starting from 2nd till 3rd 
print tuple[2:]       # Prints elements starting from 3rd element
print tinytuple * 2   # Prints list two times
print tuple + tinytuple # Prints concatenated lists

这将产生以下结果：

('abcd', 786, 2.23, 'john', 70.200000000000003)
abcd
(786, 2.23)
(2.23, 'john', 70.200000000000003)
(123, 'john', 123, 'john')
('abcd', 786, 2.23, 'john', 70.200000000000003, 123, 'john')

以下是元组无效的，因为我们尝试更新一个元组，这是不允许的。类似的操作在列表中是可以的：

#!/usr/bin/python

tuple = ( 'abcd', 786 , 2.23, 'john', 70.2  )
list = [ 'abcd', 786 , 2.23, 'john', 70.2  ]
tuple[2] = 1000    # Invalid syntax with tuple
list[2] = 1000     # Valid syntax with list

Python字典：

Python字典是一种哈希表型。他们像关联数组或哈希在Perl中一样，由键 - 值对组成。字典键几乎可以是任何Python类型，但通常是数字或字符串。值可以是任意Python的对象。

字典是由花括号括号（{}），可分配值，并用方括号（[]）访问。例如：

#!/usr/bin/python

dict = {}
dict['one'] = "This is one"
dict[2]     = "This is two"

tinydict = {'name': 'john','code':6734, 'dept': 'sales'}


print dict['one']       # Prints value for 'one' key
print dict[2]           # Prints value for 2 key
print tinydict          # Prints complete dictionary
print tinydict.keys()   # Prints all the keys
print tinydict.values() # Prints all the values

这将产生以下结果：

This is one
This is two
{'dept': 'sales', 'code': 6734, 'name': 'john'}
['dept', 'code', 'name']
['sales', 6734, 'john']

字典有元素顺序的概念。它的元素是无序的。

数据类型转换：

有时候，可能需要执行的内置类型之间的转换。类型之间的转换，只需使用类名作为函数。

有几个内置的功能，从一种数据类型进行转换为另一种。这些函数返回一个表示转换值的新对象。

Python 3开发网络爬虫(一)

选择Python版本

有2和3两个版本, 3比较新, 听说改动大. 根据我在知乎上搜集的观点来看, 我还是倾向于使用”在趋势中将会越来越火”的版本, 而非”目前已经很稳定而且很成熟”的版本. 这是个人喜好, 而且预测不一定准确. 但是如果Python3无法像Python2那么火, 那么整个Python语言就不可避免的随着时间的推移越来越落后, 因此我想其实选哪个的最坏风险都一样, 但是最好回报却是Python3的大. 其实两者区别也可以说大也可以说不大, 最终都不是什么大问题. 我选择的是Python 3.

选择参考资料

由于我是一边学一边写, 而不是我完全学会了之后才开始很有条理的写, 所以参考资料就很重要(本来应该是个人开发经验很重要, 但我是零基础).

• Python官方文档
• 知乎相关资料(1) 这篇非常好, 通俗易懂的总览整个Python学习框架.
• 知乎相关资料(2)

写到这里的时候, 上面第二第三个链接的票数第一的回答已经看完了, 他们提到的有些部分(比如爬行的路线不能有回路)我就不写了。
 

一个简单的伪代码

以下这个简单的伪代码用到了set和queue这两种经典的数据结构, 集与队列. 集的作用是记录那些已经访问过的页面, 队列的作用是进行广度优先搜索.

queue Q
set S
StartPoint = "http://jecvay.com"
Q.push(StartPoint)  # 经典的BFS开头
S.insert(StartPoint)  # 访问一个页面之前先标记他为已访问
while (Q.empty() == false)  # BFS循环体
  T = Q.top()  # 并且pop
  for point in PageUrl(T)  # PageUrl(T)是指页面T中所有url的集合, point是这个集合中的一个元素.
    if (point not in S)
      Q.push(point)
      S.insert(point)

这个伪代码不能执行,  我觉得我写的有的不伦不类, 不类Python也不类C++.. 但是我相信看懂是没问题的, 这就是个最简单的BFS结构. 我是看了知乎里面的那个伪代码之后, 自己用我的风格写了一遍. 你也需要用你的风格写一遍.

这里用到的Set其内部原理是采用了Hash表, 传统的Hash对爬虫来说占用空间太大, 因此有一种叫做Bloom Filter的数据结构更适合用在这里替代Hash版本的set. 我打算以后再看这个数据结构怎么使用, 现在先跳过, 因为对于零基础的我来说, 这不是重点.

代码实现(一): 用Python抓取指定页面

我使用的编辑器是Idle, 安装好Python3后这个编辑器也安装好了, 小巧轻便, 按一个F5就能运行并显示结果. 代码如下:

#encoding:UTF-8
import urllib.request
 
url = "http://www.baidu.com"
data = urllib.request.urlopen(url).read()
data = data.decode('UTF-8')
print(data)

urllib.request是一个库, 隶属urllib. 点此打开官方相关文档. 官方文档应该怎么使用呢? 首先点刚刚提到的这个链接进去的页面有urllib的几个子库, 我们暂时用到了request, 所以我们先看urllib.request部分. 首先看到的是一