mac下抓取伯乐在线网站debug过程中遇到的坑及补充

使用vartualenv创建的python3.x版本在pycharm中运行第四章抓取伯乐在线的例子中

• 如果遇到以下情况该怎么做
  1.ImportError: dlopen(/Users/apple/.virtualenvs/fortune_spider/lib/python3.6/site-packages/_mysql.cpython-36m-darwin.so, 2): Library not loaded: libssl.1.0.0.dylib Referenced from: /Users/apple/.virtualenvs/fortune_spider/lib/python3.6/site-packages/_mysql.cpython-36m-darwin.so Reason: image not found

解决办法：
放弃使用MySQLdb,直接使用pymysql。直接在pycharm中安装即可。

代码微调：

这个方法是最快捷简单的，因为mysqldb对mac的友好度太低了。
2.按照老师的数据库设计，你会报很多错，我也不知道为啥老师没有自增长可以爬取到数据，我实验一晚上也一直报没有自增长的错误和url_object_id没有默认值的错误，例如：

下面贴出我的数据库表

DROP TABLE IF EXISTS `jobbole_article`;
CREATE TABLE `jobbole_article`  (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `title` varchar(200) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,
  `create_date` date NULL DEFAULT NULL,
  `url` varchar(300) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,
  `url_object_id` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL DEFAULT 0 ,
  `front_image_url` varchar(300) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `front_image_path` varchar(300) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `comment_nums` int(11) NOT NULL DEFAULT 0,
  `fav_nums` int(11) NOT NULL DEFAULT 0,
  `praise_nums` int(11) NOT NULL DEFAULT 0,
  `tags` varchar(200) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `content` text CHARACTER SET utf8 COLLATE utf8_general_ci NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Compact;

SET FOREIGN_KEY_CHECKS = 1;

这样这个问题就可以解决了，你们直接run main, 不用debug了，数据就保存进去了。