爬虫系列一:十天python爬虫基础学习实战第一天——windows环境安装及第一个python程序

免费课程地址:

https://study.163.com/course/courseMain.htm?courseId=1006075240&share=2&shareId=1017599811

 

1 爬虫能干什么事及爬虫未来发展

我给出的定义:通过写程序的方式,从互联网上批量抓取数据

理论上,人能够看到的公开信息,都可以通过爬虫抓取(取决于反爬虫的难度)

爬虫和反爬虫持续斗争!

 

尽量不要拿来做一些违法的事:比如抓取和传播淫秽信息、比如抓取一些未授权的私人信息等等;

 

爬虫未来发展,技术过关的情况下,发展潜力还是很大的:参考最新的招聘信息!

爬虫为什么有发展潜力:因为大数据时代,很多公司需要很多的数据,数据从哪里来?

两部分:

1.用户自己上传的数据;(比如今日头条ugc上传的文章数据)

2.爬虫抓取;

爬虫系列一:十天python爬虫基础学习实战第一天——windows环境安装及第一个python程序

 

第一小节问题:

1.爬虫用来干什么的?

2.爬虫发展潜力在哪里?

 

2 爬虫抓取美女图片示范

参考案例站点:

https://www.7160.com/fengjing/

使用python框架:scrapy

1.shell操作scrapy爬虫简单示范

2.pycharm(IDE工具)抓取下载图片

 

第二小節:

1.命令行shell操作scrapy進行圖片下載

2.pycharm工具寫代碼,進行圖片下載

 

3 python语言及开发环境搭建

1.认识编程语言:

编程语言(programming language),是用来定义计算机程序的形式语言。它是一种被标准化的交流技巧,用来向计算机发出指令。一种计算机语言让程序员能够准确地定义计算机所需要使用的数据,并精确地定义在不同情况下所应当采取的行动。

编程语言俗称“计算机语言”,种类非常的多,总的来说可以分成机器语言、汇编语言、高级语言三大类。电脑每做的一次动作,一个步骤,都是按照已经用计算机语言编好的程序来执行的,程序是计算机要执行的指令的集合,而程序全部都是用我们所掌握的语言来编写的。所以人们要控制计算机一定要通过计算机语言向计算机发出命令。 目前通用的编程语言有两种形式:汇编语言高级语言

説人話:編程語言,就類似和老外交流的外語一樣,你要和計算機交流,讓它幫你做事,你就得懂怎麽和他溝通,編程語言就是和計算機溝通的方式!

Python 简介(选学)

Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。

Python 的设计具有很强的可读性,相比其他语言经常使用英文关键字,其他语言的一些标点符号,它具有比其他语言更有特色语法结构。

  • Python 是一种解释型语言(編譯型和解釋型): 这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语言。

  • 编译型:java,.java文件编译成.class文件

  • 解释型:边执行边解释

  • Python 是交互式语言: 这意味着,您可以在一个 Python 提示符 >>> 后直接执行代码。

  • 需求:请计算9989987*139238的结果(编程实现)

  • Python 是面向对象语言: 这意味着Python支持面向对象的风格或代码封装在对象的编程技术。

  • 函数(万物皆对象)

  • Python 是初学者的语言:Python 对初级程序员而言,是一种伟大的语言,它支持广泛的应用程序开发,从简单的文字处理到 WWW 浏览器再到游戏。

2.python安装:

https://www.python.org/getit/

软件请从课堂说明文档获取!

唤醒windows命令行快捷键:win(ctrl和alt之间)+r

如果python安装成功:

爬虫系列一:十天python爬虫基础学习实战第一天——windows环境安装及第一个python程序

代码演示:print('hello world')

 

第三小节(作业):

1.什么是编程语言?

2.python是什么类型的语言(编译型还是解释型?)

3.学会安装python

4.打印hello world 记住必须英文符号

 

4第一个python程序案例:hello world

IDE工具:pycharm

pycharm的基本使用

举个栗子:比如你要写小说,那你是用txt写呢,还是用word写会好一点!

必须得有一个IDE工具,进行代码的编写

好处:

1.错误纠正;

2.代码清晰易读

3.方便代码调试

......

安装教程:

软件请从课堂说明文档获取!

1.解压软件

2.安装

3.汉化

通过pycharm执行打印输出:hello world

两个小技能:1.如何创建项目;2.如何创建包

 

作业1:

学会安装pycharm(如已安装,建议卸载重装,不要怕麻烦)

作业2:

学会安装python(如已安装,建议卸载重装,不要怕麻烦)

作业3:

写一个helloworld程序并且执行