理解yield(生成器)

By 刘志军 , 2013-10-20, 分类: python

yield

任何使用yield关键字的函数都称之为生成器,如:

    def count(n):
        while n > 0:
            yield n   #生成值:n
            n -= 1

另外一种说法:生成器就是一个返回迭代器的函数,与普通函数的区别是生成器包含yield语句,更简单点理解生成器就是一个迭代器。(有关迭代器和生成器的区别可以看文章末尾处补充)

使用yield,可以让函数生成一个序列,该函数返回的对象类型是”generator”,通过该对象连续调用next()方法返回序列值。

    c = count(5)
    c.next()
    >>> 5
    c.next()
    >>>4

生成器函数只有在调用next()方法的时候才开始执行函数里面的语句,比如:

    def count(n):
        print "cunting"
        while n > 0:
            yield n   #生成值:n
            n -= 1

在调用count函数时:c=count(5),并不会打印”counting”只有等到调用c.next()时才真正执行里面的语句。每次调用next()方法时,count函数会运行到语句yield n处为止,next()的返回值就是生成值n,再次调用next()方法时,函数继续执行yield之后的语句(熟悉Java的朋友肯定知道Thread.yield()方法,作用是暂停当前线程的运行,让其他线程执行。python中的协程和yield的有着千丝万缕的联系),如:

    def count(n):
        print "cunting"
        while n > 0:
            print 'before yield'
            yield n   #生成值:n
            n -= 1
            print 'after yield'

上述代码在第一次调用next方法时,并不会打印”after yield”。如果一直调用next方法,当执行到没有可迭代的值后,程序就会报错:

Traceback (most recent call last): File “”, line 1, in StopIteration

所以一般不会手动的调用next方法,而使用for循环:

    for i in count(5):
        print i,

实例:

用yield生成器模拟Linux中命令:tail -f | grep python?用于查找监控日志文件中出现有python字样的行。

    import time
    def tail(f):
        f.seek(0,2)#移动到文件EOF,参考:[seek](http://docs.python.org/2/library/stdtypes.html?highlight=file#file.seek)
        while True:
            line = f.readline()  #读取文件中新的文本行
            if not line:
                time.sleep(0.1)
                continue
            yield line

    def grep(lines,searchtext):
        for line in lines:
            if searchtext in line:
                yield line

调用:

    flog = tail(open('warn.log'))
    pylines = grep(flog,'python')
    for line in pylines:
        print line,

实例二:

用yield实现斐波那契数列:

    def fibonacci():
        a=b=1
        yield a
        yield b
        while True:
            a,b = b,a+b
            yield b

调用:

    for num in fibonacci():
        if num > 100:
            break
        print num,

yield中return的作用

作为生成器,因为每次迭代就会返回一个值,所以不能显示的在生成器函数中return 某个值,包括None值也不行,否则会抛出“SyntaxError”的异常,但是在函数中可以出现单独的return,那么久抛出StopIteration表示终止迭代。 通过固定长度的缓冲区不断读文件,防止一次性读取出现内存溢出的例子:

    def read_file(path):
        size = 1024
        with open(path,'r') as f:
            while True:
                block = f.read(SIZE)
                if block:
                    yield block
                else:
                    return

如果是在函数中return 具体某个值,就直接抛异常了

    >>> def test_return():
    ...      yield 4
    ...      return 0
    ...
      File "<stdin>", line 3
    SyntaxError: 'return' with argument inside generator

补充:生成器与迭代器的异同

迭代器的类是有一个next()方法和__iter__()的对象,iter()返回对象本身self,所有生成器都是迭代器,但是反过来迭代器不一定是生成器。生成器就如文章开头的定义。前段时间CPyUG邮件列表对这个问题讨论比较激烈,有兴趣的可以去看看。与yield有关的一个很重要的概念叫协程,下篇文章将系统的学习下。

本篇文章是改编于自己的原来的博客http://liuzhijun.iteye.com/blog/1852369,现做了部分修改。


关注公众号「Python之禅」,回复「1024」免费获取Python资源

python之禅

猜你喜欢

2015-06-11
如何理解Python关键字yield