Python玩转数据分析学习笔记-03数据获取
三、数据获取
1.本地数据获取
文件打开以后才能读写
文件的打开：
file_obj=open(filename,mode=’r’, buffering=-1)
mod为可选参数，默认值为r
|
mode |
function |
|
r |
以读模式打开 |
|
rU or U |
以读模式打开，并提供通用换行符支持 |
|
w |
以写模式打开（清空原内容） |
|
a |
以追加模式打开（从EOF开始，必要时创建新文件） |
|
r+ |
以读写模式打开 |
|
w+ |
以读写模式打开（清空原内容） |
|
a+ |
以读和追加模式打开 |
|
rb |
以二进制读模式打开 |
|
wb |
以二进制写模式打开，w |
|
ab |
以二进制追加模式打开，a |
|
rb+ |
以二进制读写模式打开，r+ |
|
wb+ |
以二进制读写模式打开，w+ |
|
ab+ |
以二进制读写模式打开，a+ |
buffering也为可选参数，默认值为-1（0代表不缓冲，1或大于1的值表示缓冲一行或制定缓冲区大小）
文件相关函数：
返回值：open()函数返回一个文件(file)对象
文件对象可迭代
有关闭方法和许多读写相关的方法/函数:
-f.read(), f.write(), f.readline(), f.readlines(),f.writeline(), f.writelines()
-f.close()
-f.seek()
对象.方法(参数)
f.read(size) 通过size指定读出来的字符数
f.seek(offset,whence=0)
-在文件中移动文件指针，从wence（0表示文件头部，1表示当前位置，2表示文件尾部）偏移offset个字节
2.网络数据获取
网络数据如何获取？——抓取网页解析网页内容
urllib
urllib2
httplib
httplib2
urllib:
import urllib
r=urllib.urlopen(网址)
r.read(), r.readline(), r.readlines(),
r.close()
3.序列
数组、列表、字典
切片：a[起始位:结束位:增量]
序列类型转换工厂函数：
list() 转成列表
str()
Unicode()
basestring()
tuple() 转成元组
序列类型可用内建函数：
enumerate()
len()
max()
reversed()
sorted()
sum()
zip()
4.字符串
格式运算符%
|
格式化字符 |
转换方式 |
|
%c |
转换成字符（ASCII值或长度为1的字符串） |
|
%r |
优先使用repr()函数进行字符串转换 |
|
%s |
优先使用str()函数进行字符串转换 |
|
%d/%i |
转换成带符号的十进制整数 |
|
%u |
转换成无符号十进制整数 |
|
%o |
转换成无符号八进制数 |
|
%x/%X |
转换成无符号十六进制数（x/X表示大小写） |
|
%e/%E |
转换成科学计数法 |
|
%f/%F |
转换成浮点数（部分小数自然截断） |
|
%g/%G |
选择%e/%f或%E/%F中输出更短的形式输出 |
|
%% |
输出% |
格式运算符辅助符
|
符号 |
功能 |
|
* |
定义宽度或精度 |
|
- |
用作左对齐 |
|
+ |
在正数前显示加号 |
|
<sp> |
在正数前显示空格 |
|
# |
在八进制数前显示零，在十六进制前显示’0x’或’0X’ |
|
0 |
显示数字时前面用0填充而不是默认的空格 |
|
% |
‘%%’输出一个’%’ |
|
(var) |
映射变量（参数为字典） |
|
m.n |
m是显示的最小总宽度，n是小数点后的位数（如果可用的话） |
字符串的内建函数：
转义字符
|
字符 |
说明 |
|
\0 |
空字符 |
|
\a |
响铃 |
|
\b |
退格 |
|
\t |
横向制表符 |
|
\n |
换行 |
|
\v |
纵向制表符 |
|
\f |
换页 |
|
\r |
回车 |
|
\e |
转义 |
|
\” |
双引号 |
|
\’ |
单引号 |
|
\\ |
反斜杠 |
|
\（在行尾时） |
续行符 |
5.列表
[ ]
可扩展的容器对象
可以包含不同类型的对象
list.sort() 排序
list.pop() 去掉结尾元素
list.pop(n) 去掉标号为n的元素
list.append(元素) 在末尾加入元素
list.extend(list2) 合并两个列表
list.count()
list.index()
list.insert()
list.remove()
list.reverse()
列表解析：动态创建列表，简单灵活应用
[expression for expr in sequence if condition]
6.元组
( ) 元组-圆括号
内容不可改变，不支持元素赋值
可以使用sorted()函数排序，因为sorted()不改变原本的内容，新生成一个副本列表。
不能使用sort()函数，因为sort()函数要改变原本的顺序。
元组的应用：
① 在映射类型中当作键使用
② 函数的特殊类型参数
③ 作为很多内建函数的返回值
元组作为函数的形式参数：
def func(args1, *argst):
print args1
print argst
>>>func(‘Hello,’, ‘A’ , ‘B’ , ‘C’)
Hello,
(‘A’ , ‘B’ , ‘C’)
元组作为返回类型：
|
返回对象的个数 |
返回类型 |
|
0 |
None |
|
1 |
object |
|
>1 |
tuple |