python-scrapinghub,ascii/utf8?
问题描述:
的Python 3.4.2python-scrapinghub,ascii/utf8?
我使用Scrapinghub API客户端接口,可以在这里找到:
https://github.com/scrapinghub/python-scrapinghub
我刮了网站,并希望得到与
打印项目for item in job.items():
print(item)
在python解释器中,这工作正常,但是当我将脚本中的代码导出(fe'test.py')并使用'python3 test.py'运行时发生错误,它说:
Traceback (most recent call last):
File "test.py", line 24, in <module>
print(insert_statement)
UnicodeEncodeError: 'ascii' codec can't encode character '\xdf' in position 247: ordinal not in range(128)
线24的文字是某事像这样:[...]托比亚斯魏斯[...]
我已经运行 '的dpkg-重新配置语言环境',并将其设置为“de_DE.UTF -8 UTF-8',但似乎并不成问题。
我是否必须将项目字典转换为utf8才能获得每个结果,或者是否有另一种解决方案我看不到。
from scrapinghub import Connection
conn = Connection('1234567890')
project = conn[123456]
jobs = project.jobs(state='finished')
for job in jobs:
if "consumed" not in job.info['tags']:
for item in job.items():
print(item)
问候
答
我发现了一个解决方案,它似乎工作。
在shell我不得不键入:
export LC_ALL=C.UTF-8
export LANG=C.UTF-8
而且我也跟着从这里instrcutions:https://blog.scrapinghub.com/2016/08/17/introducing-scrapy-cloud-with-python-3-support/
介绍Scrapy云与Python 3支持
感谢所有反正!
试着在文件的开头加上这个:'# - * - coding:utf-8 - * - ' – eLRuLL
哪个版本的python? –
问题是Python认为你的控制台接口只能用ASCII。不确定如何解决这个问题。 –