Question

python的迭代器为什么一定要实现

Answer 1

这是个和多态有关的问题，Python中关于迭代有两个概念，第一个是Iterable，第二个是Iterator，协议规定Iterable的__iter__方法会返回一个Iterator, Iterator的__next__方法（Python 2里是next）会返回下一个迭代对象，如果迭代结束则抛出StopIteration异常。
同时，Iterator自己也是一种Iterable，所以也需要实现Iterable的接口，也就是__iter__，这样在for当中两者都可以使用。Iterator的__iter__只需要返回自己就行了。这样，下面的代码就可以工作：

for i in my_list:
...

for i in iter(mylist):
...

for i in (v for v in mylist if v is not None):
...

Python中许多方法直接返回iterator，比如itertools里面的izip等方法，如果Iterator自己不是Iterable的话，就很不方便，需要先返回一个Iterable对象，再让Iterable返回Iterator。生成器表达式也是一个iterator，显然对于生成器表达式直接使用for是非常重要的。
那么为什么不只保留Iterator的接口而还需要设计Iterable呢？许多对象比如list、dict，是可以重复遍历的，甚至可以同时并发地进行遍历，通过__iter__每次返回一个独立的迭代器，就可以保证不同的迭代过程不会互相影响。而生成器表达式之类的结果往往是一次性的，不可以重复遍历，所以直接返回一个Iterator就好。让Iterator也实现Iterable的兼容就可以很灵活地选择返回哪一种。

总结来说Iterator实现的__iter__是为了兼容Iterable的接口，从而让Iterator成为Iterable的一种实现。

补充一下题主对于for的理解基本上是正确的，但仍然有一点点偏差：for为了兼容性其实有两种机制，如果对象有__iter__会使用迭代器，但是如果对象没有__iter__，但是实现了__getitem__，会改用下标迭代的方式。我们可以试一下：

>>> class NotIterable(object):
... def __init__(self, baselist):
... self._baselist = baselist
... def __getitem__(self, index):
... return self._baselist[index]
...
>>> t = NotIterable([1,2,3])
>>> for i in t:
... print i
...
1
2
3
>>> iter(t)
<iterator object at 0x0345E3D0>

当for发现没有__iter__但是有__getitem__的时候，会从0开始依次读取相应的下标，直到发生IndexError为止，这是一种旧的迭代协议。iter方法也会处理这种情况，在不存在__iter__的时候，返回一个下标迭代的iterator对象来代替。一个重要的例子是str，字符串就是没有__iter__接口的。

Answer 2

迭代器类似一个只能向外弹出数据的栈，但它的深度只有1，也即它占的内存也只是一个数据的内存，比如说，我们有1到10000的一个列表，通常情况下，内存中会存放10000个数，如果用迭代器，它只会存放一个数，然后根据这个数和特定的算法，通过next方法获取下一个数，最大的好像是大大节约了内存，但如果需要的数据是最后一个数据时，会比直接从内存中得到慢，即时间换空间