使用承诺和循环?
我正在从网站上提取数据。正在拖动的数据已被查看。当向第一页发出请求时,收到一个包含nextCursor
的响应。该光标必须用于获取第2页的结果。每个页面请求需要nextCursor
。使用承诺和循环?
我努力实现这个使用Promise,因为我找不到任何方式循环。这是我认为它的工作原理没有承诺(未测试,但它证明了我想要做的):
let nextCursor = argv.initalCursor
do {
let r = request('http://example.com/items.php?cursor=' + nextCursor, function(err, resp, body) {
if(err) throw new Error(err)
// Do something with the data
nextCursor = JSON.parse(body)['nextCursor']
})
} while(nextCursor)
正如你所看到的迭代循环中的数量是未知的。它将循环,直到响应中没有nextCursor
。
我想要做的是使用Promise实现这个。除了我不知道如何创建一个以类似方式工作的循环,因为每个请求都依赖于最后一个请求。
这将如何使用承诺工作?
这是我当前的解决方案,当return self.cursorRequest
时失败。该脚本只是停止执行。
'use strict'
let Promise = require('bluebird')
let _ = require('lodash')
class Event {
constructor(session) {
this.session = session
this.scrapedIDs = [] // I don't like this!
}
parseGuestsAndCursor(json, guestType) {
let ids = json['payload'][guestType]['sections'][2][1].map(function(user) {
return user['uniqueID']
})
return {
ids: _.uniq(ids),
cursor: json['payload'][guestType]['cursor']
}
}
cursorRequest(cursor, eventID, guestType) {
let self = this
return new Promise(function(resolve, reject) {
let url = `https://example.com/events/typeahead/guest_list/?event_id=${eventID}&tabs[0]=${guestType}&order[${guestType}]=affinity&bucket_schema[${guestType}]=friends&cursor[${guestType}]=${cursor}&dpr=1&__user=${self.session.uid}&__a=1`
self.session.request(url, function(err, resp, body) {
if(err) reject(err)
let json
try {
json = JSON.parse(body.substring(9))
} catch(err) {
reject(err)
}
resolve(self.parseGuestsAndCursor(json, guestType))
})
})
}
members(eventID, limit, guestType) {
let self = this
let ids = []
return new Promise(function(resolve, reject) {
let url = `https://example.com/events/typeahead/guest_list/?event_id=${eventID}&tabs[0]=watched&tabs[1]=going&tabs[2]=invited&order[declined]=affinity&order[going]=affinity&order[invited]=affinity&order[maybe]=affinity&order[watched]=affinity&order[ticket_purchased]=affinity&bucket_schema[watched]=friends&bucket_schema[going]=friends&bucket_schema[invited]=friends&bucket_schema[ticket_purchased]=friends&dpr=1&__user=${self.session.uid}&__a=1`
self.session.request(url, function(err, resp, body) {
if(err) reject(new Error(err))
let json, guests
try {
json = JSON.parse(body.substring(9))
guests = self.parseGuestsAndCursor(json, guestType)
} catch(err) {
reject(err)
}
self.cursorRequest(guests.cursor, eventID, guestType).then(function(guests) {
self.scrapedIDs.concat(guests.ids).map(function(user) {
return user['uniqueID']
})
if(guests.cursor) {
return self.cursorRequest(guests.cursor, eventID, guestType)
}
else {
resolve(self.scrapedIDs)
}
})
})
})
}
}
module.exports = Event
由于该过程是异步的,所以根本不使用循环构造;你只需要使用一个自己调用的函数(间接通过另一个函数)。在你的情况中,既然你已经说过你想用promises来实现这个,那么你是怎么做到的(实际上在代码中最容易表达);
var p = new Promise(function(resolve, reject) {
let nextCursor = argv.initialCursor;
doRequest();
function doRequest() {
request('http://example.com/items.php?cursor=' + nextCursor, handleResult);
}
function handleResult(err, resp, body) {
if (err) {
// Got an error, reject the promise
reject(err);
} else {
// Do something with the data
// Next?
nextCursor = JSON.parse(body)['nextCursor'];
if (nextCursor) {
// Yup, do it
doRequest();
} else {
// No, we're done
resolve(/*...resolution value here...*/);
}
}
}
});
(该ES2015版外观基本相同。)
这不起作用,因为我得到了'超出最大调用堆栈大小' – BugHunterUK
@BugHunterUK:您正在运行的版本中必须有错字。你偶然不会在'request(...,handleResult)'''line'的'handleResult'后面偶然地放入'()'?重要的是,他们*不*在那里,我们想传递函数引用,而不是调用它。 –
另一种方式来做到这一点是promisify你使用异步函数,并建立在这一点。
这种方法的好处是,功能模块化,所以你可以,如果你想使其他类型的请求与承诺重用makeRequest()
功能:
let nextCursor = argv.initalCursor
function requestPromise(url) {
return new Promise(function (resolve, reject) {
request(url, function (err, resp, body) {
if (err) { reject(new Error(err)); }
else { resolve({ resp: resp, body: body}); }
});
});
}
function queryCursor(cursor) {
return requestPromise('http://example.com/items.php?cursor=' + cursor)
.then(function (result) {
// do something with result
var nextCursor = JSON.parse(result.body).nextCursor;
if (nextCursor) {
return queryCursor(nextCursor);
}
});
}
queryCursor(nextCursor)
.catch(function (err) {
// deal with err
});
我用我目前的解决方案更新了我的问题。我似乎无法得到它的工作。当我“返回”它只是停止脚本。 – BugHunterUK
我看不出有任何的承诺存在一样。 –
@ T.J.Crowder没有,因为我不确定如何实现我正在尝试使用promise做什么。这就是为什么我要问,这种事情会如何兑现承诺?我不需要解决方案,只需指向任何可以提供帮助的资源。 – BugHunterUK
您希望承诺等到解决之前检索所有数据为止? –