运维开发网

Twitter的速率限制是否允许我进行构建大约600,000用户的完整社交网络图所需的数据挖掘?

运维开发网 https://www.qedev.com 2020-07-09 17:13 出处:网络 作者:运维开发网整理
主要问题:Twitter的速率限制是否允许我进行必要的数据挖掘,以构建一个完整的社交网络图,其中包含大约600,000个用户的所有有针对性的边缘? 这是一个想法: 网络中的边/关系/关系将是跟随者/关注者. 从大约600名Twitter用户的特定列表开始,因为他们都来自大城市的所有新闻媒体. 为所有600位用户收集所有关注者和朋友(他们关注的人).这些用户的平均关注者数量可能为2,000.他们可能
主要问题:Twitter的速率限制是否允许我进行必要的数据挖掘,以构建一个完整的社交网络图,其中包含大约600,000个用户的所有有针对性的边缘?

这是一个想法:

网络中的边/关系/关系将是跟随者/关注者.

从大约600名Twitter用户的特定列表开始,因为他们都来自大城市的所有新闻媒体.

为所有600位用户收集所有关注者和朋友(他们关注的人).这些用户的平均关注者数量可能为2,000.他们可能有平均数量的朋友(他们关注的人)为500人.

由于这些600的追随者都在同一个城市,因此预计这些追随者中的许多将是跟随这600人的相同用户.因此,让我们近似猜测这600名用户总共拥有约600,000名粉丝和朋友.所以这将是一个包含600,600个Twitter用户的子图/网络.

因此,一旦我收集了600名所有600,000名粉丝中的所有600名粉丝和朋友,我希望能够建立一个包含所有这600,600人及其粉丝的社交网络.这将要求我能够至少找到这600,600个用户中的所有有向边(这些600,600个用户中的每一个是否相互跟随).

有了Twitter的速率限制,这种数据挖掘是否可行?

我将以相反的顺序回答这些问题,首先从David Marx开始:

好吧,我确实可以访问一个拥有大量存储容量的非常强大的计算机研究中心,所以这应该不是问题.但是,我不知道该软件是否可以处理它.

有可能我必须缩小项目,这没关系.我的想法是从一个更大的想法开始,弄清楚它有多大,然后相应减少.

现在跟进Anony-Mousse的问题:我的部分问题是我不确定我是否正确地解释了Twitter的速率限制.我不确定这是每15分钟15个请求,还是每15分钟30个请求.我认为1个请求将获得5000个关注者/朋友,因此如果每15分钟限制为15个请求,您可以每15分钟收集75,000个朋友或关注者.我还试图弄清楚是否存在任何为任何研究目的请求更高速率限制的过程.

这是他们列出限制的地方:

https://dev.twitter.com/docs/rate-limiting/1.1/limits

0

精彩评论

暂无评论...
验证码 换一张
取 消