python3爬虫学习之生产者与消费者爬虫
我们将了解到两个版本的消费者与生产者的实例
一,Lock版
import threading
import random
import time
#假设有5个消费者3个生产者,生产者的赚钱区间为100-1000元,消费者的消费区间100-1000,
# 要求生产者只生产10次,消费者无消费次数要求
#当余额低于消费时给出余额不足的提醒
#当存款小于最低消费额时,结束程序
#设置初始余额1000
gMoney = 1000
#初始一个次数为1
Times = 1
gLock = threading.Lock()
#定义生产者线程
class producer(threading.Thread):
def run(self):
global gMoney
global Times
while True:
money = random.randint(100,1000)
gLock.acquire()
if Times > 10:
gLock.release() #这里一定要释放锁,不然会死锁
break
gMoney += money
print("%s 生产了 %d 的钱,现在余额为 %d" % (threading.current_thread(),
money,gMoney))
Times += 1
gLock.release()
time.sleep(2)
#定义消费者
class consumer(threading.Thread):
# global gMoney
def run(self):
global gMoney
global Times
while True:
money = random.randint(100,1000)
gLock.acquire()
if gMoney >= money :
gMoney -= money
print("%s 消费了 %d 的钱,现在余额为 %d" % (threading.current_thread(),
money, gMoney))
else:
if Times >= 10:
gLock.release()#这里也要释放锁
break
print("%s 准备消费 %d 的钱,余额为 %d ,余额不足!" % (threading.current_thread()
,money,gMoney))
gLock.release()
time.sleep(2)
def main():
for x in range(3):
t = producer(name = "生产者线程%d" % x)
t.start()
for x in range(5):
t = consumer(name = "消费者线程%d" % x)
t.start()
if __name__ == '__main__':
main()
我们可以清晰看到要求,我们首先分析生产者
我们要求生产者只生产10,而且每次生产的钱是个有限制的随机数,我们让它继承父类,然后申请锁。
判断生产次数,如果已经达到10次,我们释放锁,并退出整个生产者。
如果没有到次,我们把钱加上去,把生产次数+1,释放锁,沉睡两秒。
我们在分析消费者
先判断余额是否大于消费金额,如果是,允许消费并扣除金额
如果余额不足,我们需要判断,生产者还会不会继续生产
如果不继续生产,我们释放锁,退出
如果继续生产,我们不允许消费,释放锁,等待生产者生产。
最后,在主函数定义3个生产者,5个消费者,我们看看结果
这样,我们就完成了要求。
二,Condition版
import threading
import random
import time
#假设有5个消费者3个生产者,生产者的赚钱区间为100-1000元,消费者的消费区间100-1000,
# 要求生产者只生产10次,消费者无消费次数要求
#当余额低于消费时给出余额不足的提醒
#当存款小于最低消费额时,结束程序
#设置初始余额1000
gMoney = 1000
#初始一个次数为1
Times = 1
gCondition = threading.Condition()
#定义生产者线程
class producer(threading.Thread):
def run(self):
global gMoney
global Times
while True:
money = random.randint(100,1000)
gCondition.acquire()
if Times > 10:
gCondition.release() #这里一定要释放锁,不然会死锁
break
gMoney += money
print("%s 生产了 %d 的钱,现在余额为 %d" % (threading.current_thread(),
money,gMoney))
Times += 1
gCondition.notify_all() #通知所有等待的线程
gCondition.release()
time.sleep(2)
#定义消费者
class consumer(threading.Thread):
# global gMoney
def run(self):
global gMoney
global Times
while True:
money = random.randint(100,1000)
gCondition.acquire()
while gMoney < money:
#不能用if 用if时,如果wait 等到通知,不会立刻执行下面的语句
#导致该线程运行时可能gMoney不足
if Times >= 10:
gCondition.release() #这里一定要释放锁
return #return 可以直接退出两层while循环,break只能退出当前while
print("%s 准备消费 %d 的钱,余额为 %d ,余额不足!" % (threading.current_thread()
, money, gMoney))
gCondition.wait()
gMoney -= money
print("%s 消费了 %d 的钱,现在余额为 %d" % (threading.current_thread(),
money, gMoney))
gCondition.release()
time.sleep(2)
def main():
for x in range(3):
t = producer(name = "生产者线程%d" % x)
t.start()
for x in range(5):
t = consumer(name = "消费者线程%d" % x)
t.start()
if __name__ == '__main__':
main()
这个和Lock版大同小异,但,异点也是关键点,这里不在分析了,运行结果和Lock版基本一样,也不再贴出来