找回密码
 注册

QQ登录

只需一步,快速开始

查看: 2969|回复: 20

大家都是在哪些网站找数据?

[复制链接]
发表于 2021-12-3 12:57:42 | 显示全部楼层 |阅读模式
可以是大的行业,也可以是细分的产品关注者
9,299

被浏览
2,766,048





关注问题写回答
邀请回答好问题 787
5 条评论
分享









<div class="Question-main"><div class="Question-mainColumn"><div id="QuestionAnswers-answers" class="QuestionAnswers-answers" data-zop-feedlistmap="0,0,1,0"><div class="Card AnswersNavWrapper"><div class="ListShortcut"><div class="List">157 个回答

默认排序


<div class="" role="list"><div class="List-item" tabindex="0"><div class="ContentItem AnswerItem" data-za-index="0" data-zop="{"authorName":"亿信华辰","itemId":1323609882,"title":"大家都是在哪些网站找数据?","type":"answer"}" name="1323609882" itemProp="acceptedAnswer" itemType="http://schema.org/Answer" itemscope=""> 大家都是在哪些网站找数据?-1.jpg 亿信华辰<span class="css-18biwo">
已认证账号





13,465 人赞同了该回答

<div class="RichContent RichContent--unescapable"><div class="RichContent-inner">耗费200小时,呕心沥血精选数据源,包含常用数据公开网站、政府开放网站、数据交易平台,根据大家的需求,我又补充一些。收藏是点赞的几倍,大家记得点赞点赞点赞!
一、公开数据库

1、常用数据公开网站

UCI:该网站目前维护了436个经典的机器学习、数据挖掘数据集,包含分类、聚类、回归等问题下的多个数据集。

大家都是在哪些网站找数据?-2.jpg
国家数据:数据来源中华人民共和国国家统计局,包含了我国经济民生等多个方面的数据,并且在月度、季度、年度都有覆盖,较为全面。

大家都是在哪些网站找数据?-3.jpg
CEIC:涵盖超过195个国家400多万个时间序列的数据源,最完整的一套超过128个国家的经济数据,能够精确查找GDP、CPI、进口、出口、外资直接投资、零售、销售以及国际利率等深度数据。

大家都是在哪些网站找数据?-4.jpg
万得:被誉为中国的Bloomberg,在金融业有着全面的数据覆盖,金融数据的类目更新非常快,据说很受国内的商业分析者和投资人的亲睐。

大家都是在哪些网站找数据?-5.jpg
搜数网:已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据,汇集了中国资讯行自92年以来收集的44个行业所有统计和调查数据。

大家都是在哪些网站找数据?-6.jpg
中国统计信息网:国家统计局的官方网站,汇集了全国各级政府各年度的国民经济和社会发展统计信息,建立了以统计公报为主,统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。

大家都是在哪些网站找数据?-7.jpg
亚马逊:来自亚马逊的跨科学云数据平台,拥有免费且开源的数据库,包含化学、生物、经济等多个领域的数据集。

大家都是在哪些网站找数据?-8.jpg
figshare:研究成果共享平台,这里向全世界开放免费的研究成果及科学数据。

大家都是在哪些网站找数据?-9.jpg
github:一个非常全面的数据获取渠道,包含各个细分领域的数据库资源,自然科学和社会科学的覆盖都很全面,适合做研究和数据分析的人员。

大家都是在哪些网站找数据?-10.jpg

2、政府开放数据

政府机构/事业单位包括通用层次的统计局以及特定领域的管辖机构,比如人行、工商局、教育局、卫计委、食药监局、银保监会、工业与信息化部、上海证券交易所等。行业协会主要是指某些成熟的行业,比如中国保险协会、中国银行业协会等,他们会定期的发布报告。
国家统计局:<span class="invisible">http://www.stats.gov.cn/,可查询经济、文化、人口等各领域的常用宏观数据,如GDP、出口额、CPI、PMI、总人口及人口结构、社会消费品零售总额、线上销售总额、分行业市场规模等数据,非常官方权威
中央人民政府政策相关:http://www.gov.cn/zhengce/index.htm,可以查询国家发布的政策、中央有关文件等,PEST分析中很多政策出处都来源于此处
中国人民银行:http://www.pbc.gov.cn/,可查询社会总资规模、货币供应量、外汇储备、利率变化、汇率、shibor等金融领域的权威数据。
CNNIC:http://www.cnnic.net.cn/,可查询互联网网络相关的调查报告,如网民数量、分领域用户规模、细分互联网领域调查报告等,互联网从业者必看网站之一
US BFR美联储官网: http://www.federalreserve.gov,美联储官方网站,金融市场相关的历史数据都具备,金融行业从业者必看网站之一
CIA: https://www.cia.gov.html,这个网站不多做介绍,里面有很多好玩的研究报告,供大家自己研究
UN Comtrade联合国商品贸易统计数据库:http://comtrade.un.org/data/,这是官方国际贸易统计数据和相关分析表的存储库,功能强大,所有数据均可通过专门的API来访问,这是做全球贸易分析的同学常收藏的网站之一。
World Bank世界银行:http://databank.worldbank.org/data/home.aspx,可查询免费并公开获取世界各国的发展数据
WTO: http://stat.wto.org,WTO就不多做介绍了,大家可以去查阅。
北京市政务数据资源网:包含竞技、交通、医疗、天气等数据。
深圳市政府数据开放平台:交通、文娱、就业、基础设施等数据。
上海市政务数据服务网:覆盖经济建设、文化科技、信用服务、交通出行等12个重点领域数据。
贵州省政府数据开放平台:贵州省在政务数据开放方面做的确实不错。
http://Data.gov:美国政府开放数据,包含气候、教育、能源金融等各领域数据。
3、咨询公司和研究机构报告

常见有MBB/德勤/罗兰贝格/埃森哲;尼尔森/益普索/艾瑞/易观智库等。平时可以参考咨询公司或市场调查公司的排名、分类及擅长领域

咨询公司:
BCG http://www.bcg.com.cn
ATK https://www.atkearney.com/ideas-insights
RolandBerger https://www.rolandberger.com/

研究机构
Nielsen http://www.nielsen.com
Ipsos http://ipsos.com/knowledge/overview
Gartner http://www.gartner.com
HIS https://technology.ihs.com/Research-by-Market

券商研究报告:通常可以借助券商、萝卜投研、慧博、乐晴智库等获取
萝卜投研 https://robo.datayes.com/v2/home
MorganStanley http://www.morganstanley.com
JP Morganhttp://www.jpmorganchina.com.cn
GoldmanSachs http://www.goldmansachs.com
4、数据竞赛网站

竞赛的数据集通常干净且科研性非常高。
DataCastle:专业的数据科学竞赛平台。
Kaggle:全球最大的数据竞赛平台。
天池:阿里旗下数据科学竞赛平台。
Datafountain:CCF制定大数据竞赛平台。
5、公司年报


二、可以获得有价值数据

这里给出了一些网站平台,我们可p a网站上的数据,某些网站上也给出获取数据的API接口,但需要付费。
1.财经数据
(1)新浪财经:免费提供接口,可在新浪财经上获取获取历史和实时股票数据。
(2)东方财富网:可以查看财务指标或者根据财务指标选股。
(3)中财网:提供各类财经数据。
(4)黄金头条:各种财经资讯。
(5)StockQ:国际股市指数行情。
(6)Quandl:金融数据界的维基百科。
(7)Investing:投资数据。
(8)整合的96个股票API合集。
(9)Market Data Feed and API:提供大量数据,付费,有试用期。
2.网贷数据
(1)网贷之家:包含各大网贷平台不同时间段的放贷数据。
(2)零壹数据:各大平台的放贷数据。
(4)网贷天眼:网贷平台、行业数据。
(5)76676互联网金融门户:网贷、P2P、理财等互金数据。
3.公司年报
重点关注管理层经营分析、财务报表等
(1)巨潮资讯:各种股市咨询,公司股票、财务信息。http://www.cninfo.com.cn/new/index;
(2)http://SEC.gov:美国证券交易数据https://www.sec.gov;
(3)香港 https://sc.hkexnews.hk
(4)证监会 http://www.csrc.gov.cn/pub/newsite/xxpl/yxpl/
(5)新三板 http://www.neeq.com.cn/
(6)上交所 http://www.sse.com.cn/
(7)伦敦证券交易所 https://www.londonstockexchange.com/home/homepage.htm
(8)非上市公司可以查看证监会的预披露,如果发债券的话,也会有相关的财报信息披露
(9)非金融企业债务工资工具注册信息系统http://zhuce.nafmii.org.cn/fans/publicQuery/manager上海证券交易所债券披露 http://www.sse.com.cn/market/bonddata/data/eb/

4.创投数据
(1)36氪:最新的投资资讯。
(2)投资潮:投资资讯、上市公司信息。
(3)IT桔子:各种创投数据。
5.社交平台
(1)新浪微博:评论、舆情数据,社交关系数据。
(2)Twitter:舆情数据,社交关系数据。
(3)知乎:优质问答、用户数据。
(4)微信公众号:公众号运营数据。
(5)百度贴吧:舆情数据
(6)Tumblr:各种福利图片、视频。
6.就业招聘
(1)拉勾:人才需求数据。
(2)中华英才网:招聘信息数据。
(3)智联招聘:招聘信息数据。
(4)猎聘网:高端职位招聘数据。
7.餐饮食品
(1)美团外卖:区域商家、销量、评论数据。
(2)百度外卖:区域商家、销量、评论数据。
(3)饿了么:区域商家、销量、评论数据。
(4)大众点评:点评、舆情数据。
8.交通旅游
(1)12306:铁路运行数据。
(2)携程:景点、路线、机票、酒店等数据。
(3)去哪儿:景点、路线、机票、酒店等数据。
(4)途牛:景点、路线、机票、酒店等数据。
(5)猫途鹰:世界各地旅游景点数据,来自全球旅行者的真实点评。
类似的还有同程、驴妈妈、途家等
9.电商平台
(1)亚马逊:商品、销量、折扣、点评等数据
(2)淘宝:商品、销量、折扣、点评等数据
(3)天猫:商品、销量、折扣、点评等数据
(4)京东:3C产品为主的商品信息、销量、折扣、点评等数据
(5)当当:图书信息、销量、点评数据。
类似的唯品会、聚美优品、1号店等。
10.影音数据
(1)豆瓣电影:国内最受欢迎的电影信息、评分、评论数据。
(2)时光网:最全的影视资料库,评分、影评数据。
(3)猫眼电影专业版:实时票房数据,电影票房排行。
(4)网易云音乐:音乐歌单、歌手信息、音乐评论数据。
(5)电影票房:艺恩票房网 https://www.endata.com.cn/BoxOffice/
11.房屋信息
(1)58同城房产:二手房数据。
(2)安居客:新房和二手房数据。
(3)Q房网:新房信息、销售数据。
(4)房天下:新房、二手房、租房数据。
(5)小猪短租:短租房源数据。
12.购车租车
(1)网易汽车:汽车资讯、汽车数据。
(2)人人车:二手车信息、交易数据。
(3)中国汽车工业协会:汽车制造商产量、销量数据。
(4)汽车销量:http://www.daas-auto.com/supermarket_data_De/39.html
13.新媒体数据
新榜:新媒体平台运营数据。
清博大数据:微信公众号运营榜单及舆情数据。
微问数据:一个针对微信的数据网站。
知微传播分析:微博传播数据。
14.分类信息
(1)58同城:丰富的同城分类信息。
(2)赶集网:丰富的同城分类信息。
三、数据交易平台

由于现在数据的需求很大,也催生了很多做数据交易的平台,当然,除去付费购买的数据,在这些平台,也有很多免费的数据可以获取。
优易数据:拥有国家级信息资源的数据平台。包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。

大家都是在哪些网站找数据?-11.jpg

数据堂:提供数据交易、处理和数据API服务,包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。

大家都是在哪些网站找数据?-12.jpg

四、网络指数

百度指数:指数查询平台,可以根据指数的变化查看某个主题在各个时间段受关注的情况,进行趋势分析、舆情预测有很好的指导作用。除了关注趋势之外,还有需求分析、人群画像等精准分析的工具,对于市场调研来说具有很好的参考意义。同样的另外两个搜索引擎搜狗、360也有类似的产品,都可以作为参考。

大家都是在哪些网站找数据?-13.jpg

阿里指数:国内权威的商品交易分析工具,可以按地域、按行业查看商品搜索和交易数据,基于淘宝、天猫和1688平台的交易数据基本能够看出国内商品交易的概况。
友盟+全域罗盘:友盟在移动互联网应用数据统计和分析具有较为全面的统计和分析,对于研究移动端产品、做市场调研、用户行为分析很有帮助。除了友盟指数,友盟的互联网报告同样是了解互联网趋势的优秀读物。

大家都是在哪些网站找数据?-14.jpg
爱奇艺指数:爱奇艺指数是专门针对视频的播放行为、趋势的分析平台,对于互联网视频的播放有着全面的统计和分析,涉及到播放趋势、播放设备、用户画像、地域分布等多个方面。由于爱奇艺庞大的用户基数,该指数基本可以说明实际情况。

大家都是在哪些网站找数据?-15.jpg
微指数:微指数是新浪微博的数据分析工具,微指数通过关键词的热议度,以及行业/类别的平均影响力,来反映微博舆情或账号的发展走势。分为热词指数和影响力指数两大模块,此外,还可以查看热议人群及各类账号的地域分布情况。

大家都是在哪些网站找数据?-16.jpg
除了以上指数外,还有谷歌趋势、搜狗指数、360趋势、艾漫指数等等。
如果对您有帮助,顺手点个赞,鼓励一下,比心~

关于亿信华辰

亿信华辰是中国专业的智能数据产品与服务提供商,一直致力于为政企用户提供从数据采集、存储、治理、分析到智能应用的智能数据全生命周期管理方案,帮助企业实现数据驱动、数据智能,已积累了8000多家用户的服务和客户成功经验,为客户提供数据分析平台、数据治理系统搭建等专业的产品咨询、实施和技术支持服务。

大家都是在哪些网站找数据?-17.jpg

△亿信华辰全产品架构图(点击查看大图)


欢迎关注公众号:亿信华辰Pro
-让数据驱动进步-
发表于 2021-12-3 12:58:40 | 显示全部楼层
耗费200小时,呕心沥血精选数据源,包含常用数据公开网站、政府开放网站、数据交易平台,根据大家的需求,我又补充一些。收藏是点赞的几倍,大家记得点赞点赞点赞!
一、公开数据库

1、常用数据公开网站

UCI:该网站目前维护了436个经典的机器学习、数据挖掘数据集,包含分类、聚类、回归等问题下的多个数据集。

大家都是在哪些网站找数据?-1.jpg
国家数据:数据来源中华人民共和国国家统计局,包含了我国经济民生等多个方面的数据,并且在月度、季度、年度都有覆盖,较为全面。

大家都是在哪些网站找数据?-2.jpg
CEIC:涵盖超过195个国家400多万个时间序列的数据源,最完整的一套超过128个国家的经济数据,能够精确查找GDP、CPI、进口、出口、外资直接投资、零售、销售以及国际利率等深度数据。

大家都是在哪些网站找数据?-3.jpg
万得:被誉为中国的Bloomberg,在金融业有着全面的数据覆盖,金融数据的类目更新非常快,据说很受国内的商业分析者和投资人的亲睐。

大家都是在哪些网站找数据?-4.jpg
搜数网:已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据,汇集了中国资讯行自92年以来收集的44个行业所有统计和调查数据。

大家都是在哪些网站找数据?-5.jpg
中国统计信息网:国家统计局的官方网站,汇集了全国各级政府各年度的国民经济和社会发展统计信息,建立了以统计公报为主,统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。

大家都是在哪些网站找数据?-6.jpg
亚马逊:来自亚马逊的跨科学云数据平台,拥有免费且开源的数据库,包含化学、生物、经济等多个领域的数据集。

大家都是在哪些网站找数据?-7.jpg
figshare:研究成果共享平台,这里向全世界开放免费的研究成果及科学数据。

大家都是在哪些网站找数据?-8.jpg
github:一个非常全面的数据获取渠道,包含各个细分领域的数据库资源,自然科学和社会科学的覆盖都很全面,适合做研究和数据分析的人员。

大家都是在哪些网站找数据?-9.jpg

2、政府开放数据

政府机构/事业单位包括通用层次的统计局以及特定领域的管辖机构,比如人行、工商局、教育局、卫计委、食药监局、银保监会、工业与信息化部、上海证券交易所等。行业协会主要是指某些成熟的行业,比如中国保险协会、中国银行业协会等,他们会定期的发布报告。
国家统计局:http://www.stats.gov.cn/,可查询经济、文化、人口等各领域的常用宏观数据,如GDP、出口额、CPI、PMI、总人口及人口结构、社会消费品零售总额、线上销售总额、分行业市场规模等数据,非常官方权威
中央人民政府政策相关:http://www.gov.cn/zhengce/index.htm,可以查询国家发布的政策、中央有关文件等,PEST分析中很多政策出处都来源于此处
中国人民银行:http://www.pbc.gov.cn/,可查询社会总资规模、货币供应量、外汇储备、利率变化、汇率、shibor等金融领域的权威数据。
CNNIC:http://www.cnnic.net.cn/,可查询互联网网络相关的调查报告,如网民数量、分领域用户规模、细分互联网领域调查报告等,互联网从业者必看网站之一
US BFR美联储官网: http://www.federalreserve.gov,美联储官方网站,金融市场相关的历史数据都具备,金融行业从业者必看网站之一
CIA: https://www.cia.gov.html,这个网站不多做介绍,里面有很多好玩的研究报告,供大家自己研究
UN Comtrade联合国商品贸易统计数据库:http://comtrade.un.org/data/,这是官方国际贸易统计数据和相关分析表的存储库,功能强大,所有数据均可通过专门的API来访问,这是做全球贸易分析的同学常收藏的网站之一。
World Bank世界银行:http://databank.worldbank.org/data/home.aspx,可查询免费并公开获取世界各国的发展数据
WTO: http://stat.wto.org,WTO就不多做介绍了,大家可以去查阅。
北京市政务数据资源网:包含竞技、交通、医疗、天气等数据。
深圳市政府数据开放平台:交通、文娱、就业、基础设施等数据。
上海市政务数据服务网:覆盖经济建设、文化科技、信用服务、交通出行等12个重点领域数据。
贵州省政府数据开放平台:贵州省在政务数据开放方面做的确实不错。
http://Data.gov:美国政府开放数据,包含气候、教育、能源金融等各领域数据。
3、咨询公司和研究机构报告

常见有MBB/德勤/罗兰贝格/埃森哲;尼尔森/益普索/艾瑞/易观智库等。平时可以参考咨询公司或市场调查公司的排名、分类及擅长领域

咨询公司:
BCG http://www.bcg.com.cn
ATK https://www.atkearney.com/ideas-insights
RolandBerger https://www.rolandberger.com/

研究机构
Nielsen http://www.nielsen.com
Ipsos http://ipsos.com/knowledge/overview
Gartner http://www.gartner.com
HIS https://technology.ihs.com/Research-by-Market

券商研究报告:通常可以借助券商、萝卜投研、慧博、乐晴智库等获取
萝卜投研 https://robo.datayes.com/v2/home
MorganStanley http://www.morganstanley.com
JP Morganhttp://www.jpmorganchina.com.cn
GoldmanSachs http://www.goldmansachs.com
4、数据竞赛网站

竞赛的数据集通常干净且科研性非常高。
DataCastle:专业的数据科学竞赛平台。
Kaggle:全球最大的数据竞赛平台。
天池:阿里旗下数据科学竞赛平台。
Datafountain:CCF制定大数据竞赛平台。
5、公司年报


二、可以获得有价值数据

这里给出了一些网站平台,我们可p a网站上的数据,某些网站上也给出获取数据的API接口,但需要付费。
1.财经数据
(1)新浪财经:免费提供接口,可在新浪财经上获取获取历史和实时股票数据。
(2)东方财富网:可以查看财务指标或者根据财务指标选股。
(3)中财网:提供各类财经数据。
(4)黄金头条:各种财经资讯。
(5)StockQ:国际股市指数行情。
(6)Quandl:金融数据界的维基百科。
(7)Investing:投资数据。
(8)整合的96个股票API合集。
(9)Market Data Feed and API:提供大量数据,付费,有试用期。
2.网贷数据
(1)网贷之家:包含各大网贷平台不同时间段的放贷数据。
(2)零壹数据:各大平台的放贷数据。
(4)网贷天眼:网贷平台、行业数据。
(5)76676互联网金融门户:网贷、P2P、理财等互金数据。
3.公司年报
重点关注管理层经营分析、财务报表等
(1)巨潮资讯:各种股市咨询,公司股票、财务信息。http://www.cninfo.com.cn/new/index;
(2)http://SEC.gov:美国证券交易数据https://www.sec.gov;
(3)香港 https://sc.hkexnews.hk
(4)证监会 http://www.csrc.gov.cn/pub/newsite/xxpl/yxpl/
(5)新三板 http://www.neeq.com.cn/
(6)上交所 http://www.sse.com.cn/
(7)伦敦证券交易所 https://www.londonstockexchange.com/home/homepage.htm
(8)非上市公司可以查看证监会的预披露,如果发债券的话,也会有相关的财报信息披露
(9)非金融企业债务工资工具注册信息系统http://zhuce.nafmii.org.cn/fans/publicQuery/manager上海证券交易所债券披露 http://www.sse.com.cn/market/bonddata/data/eb/

4.创投数据
(1)36氪:最新的投资资讯。
(2)投资潮:投资资讯、上市公司信息。
(3)IT桔子:各种创投数据。
5.社交平台
(1)新浪微博:评论、舆情数据,社交关系数据。
(2)Twitter:舆情数据,社交关系数据。
(3)知乎:优质问答、用户数据。
(4)微信公众号:公众号运营数据。
(5)百度贴吧:舆情数据
(6)Tumblr:各种福利图片、视频。
6.就业招聘
(1)拉勾:人才需求数据。
(2)中华英才网:招聘信息数据。
(3)智联招聘:招聘信息数据。
(4)猎聘网:高端职位招聘数据。
7.餐饮食品
(1)美团外卖:区域商家、销量、评论数据。
(2)百度外卖:区域商家、销量、评论数据。
(3)饿了么:区域商家、销量、评论数据。
(4)大众点评:点评、舆情数据。
8.交通旅游
(1)12306:铁路运行数据。
(2)携程:景点、路线、机票、酒店等数据。
(3)去哪儿:景点、路线、机票、酒店等数据。
(4)途牛:景点、路线、机票、酒店等数据。
(5)猫途鹰:世界各地旅游景点数据,来自全球旅行者的真实点评。
类似的还有同程、驴妈妈、途家等
9.电商平台
(1)亚马逊:商品、销量、折扣、点评等数据
(2)淘宝:商品、销量、折扣、点评等数据
(3)天猫:商品、销量、折扣、点评等数据
(4)京东:3C产品为主的商品信息、销量、折扣、点评等数据
(5)当当:图书信息、销量、点评数据。
类似的唯品会、聚美优品、1号店等。
10.影音数据
(1)豆瓣电影:国内最受欢迎的电影信息、评分、评论数据。
(2)时光网:最全的影视资料库,评分、影评数据。
(3)猫眼电影专业版:实时票房数据,电影票房排行。
(4)网易云音乐:音乐歌单、歌手信息、音乐评论数据。
(5)电影票房:艺恩票房网 https://www.endata.com.cn/BoxOffice/
11.房屋信息
(1)58同城房产:二手房数据。
(2)安居客:新房和二手房数据。
(3)Q房网:新房信息、销售数据。
(4)房天下:新房、二手房、租房数据。
(5)小猪短租:短租房源数据。
12.购车租车
(1)网易汽车:汽车资讯、汽车数据。
(2)人人车:二手车信息、交易数据。
(3)中国汽车工业协会:汽车制造商产量、销量数据。
(4)汽车销量:http://www.daas-auto.com/supermarket_data_De/39.html
13.新媒体数据
新榜:新媒体平台运营数据。
清博大数据:微信公众号运营榜单及舆情数据。
微问数据:一个针对微信的数据网站。
知微传播分析:微博传播数据。
14.分类信息
(1)58同城:丰富的同城分类信息。
(2)赶集网:丰富的同城分类信息。
三、数据交易平台

由于现在数据的需求很大,也催生了很多做数据交易的平台,当然,除去付费购买的数据,在这些平台,也有很多免费的数据可以获取。
优易数据:拥有国家级信息资源的数据平台。包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。

大家都是在哪些网站找数据?-10.jpg

数据堂:提供数据交易、处理和数据API服务,包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。

大家都是在哪些网站找数据?-11.jpg

四、网络指数

百度指数:指数查询平台,可以根据指数的变化查看某个主题在各个时间段受关注的情况,进行趋势分析、舆情预测有很好的指导作用。除了关注趋势之外,还有需求分析、人群画像等精准分析的工具,对于市场调研来说具有很好的参考意义。同样的另外两个搜索引擎搜狗、360也有类似的产品,都可以作为参考。

大家都是在哪些网站找数据?-12.jpg

阿里指数:国内权威的商品交易分析工具,可以按地域、按行业查看商品搜索和交易数据,基于淘宝、天猫和1688平台的交易数据基本能够看出国内商品交易的概况。
友盟+全域罗盘:友盟在移动互联网应用数据统计和分析具有较为全面的统计和分析,对于研究移动端产品、做市场调研、用户行为分析很有帮助。除了友盟指数,友盟的互联网报告同样是了解互联网趋势的优秀读物。

大家都是在哪些网站找数据?-13.jpg
爱奇艺指数:爱奇艺指数是专门针对视频的播放行为、趋势的分析平台,对于互联网视频的播放有着全面的统计和分析,涉及到播放趋势、播放设备、用户画像、地域分布等多个方面。由于爱奇艺庞大的用户基数,该指数基本可以说明实际情况。

大家都是在哪些网站找数据?-14.jpg
微指数:微指数是新浪微博的数据分析工具,微指数通过关键词的热议度,以及行业/类别的平均影响力,来反映微博舆情或账号的发展走势。分为热词指数和影响力指数两大模块,此外,还可以查看热议人群及各类账号的地域分布情况。

大家都是在哪些网站找数据?-15.jpg
除了以上指数外,还有谷歌趋势、搜狗指数、360趋势、艾漫指数等等。
如果对您有帮助,顺手点个赞,鼓励一下,比心~

关于亿信华辰

亿信华辰是中国专业的智能数据产品与服务提供商,一直致力于为政企用户提供从数据采集、存储、治理、分析到智能应用的智能数据全生命周期管理方案,帮助企业实现数据驱动、数据智能,已积累了8000多家用户的服务和客户成功经验,为客户提供数据分析平台、数据治理系统搭建等专业的产品咨询、实施和技术支持服务。

大家都是在哪些网站找数据?-16.jpg

△亿信华辰全产品架构图(点击查看大图)


欢迎关注公众号:亿信华辰Pro
-让数据驱动进步-
亿信华辰-大数据分析、数据治理、商业智能BI工具与服务提供商
发表于 2021-12-3 12:59:38 | 显示全部楼层
金融财经数据


  • 同花顺数据中心:提供股票债券等金融数据
  • 和讯数据:提供各种股票、基金、外汇、债券等实时数据,有付费,有免费
  • 零壹财经:大大小小的网贷数据、排行榜等
  • 金融数据网:提供每日的黄金、汇率、农产品、汽油价格的相关数据
  • 萝卜投研:提供股市、证券等数据,多以数据研究报告形式展示
  • 金融界:提供股市、融资等各种资金流向数据,以及丰富的财报和研报
  • 东方财富网:提供多国的股票、财税、行业、消费等大量丰富的经济数据
  • 吉林金融网:提供吉林的融资、市场数据
  • 搜狐证券:提供货币、外汇、行业、市场等宏观数据
  • CCER经济金融数据库:提供企业财务年度数据、股票收益数据等数据库下载
  • 香港金融管理局:提供香港的各种经济及金融数据,以宏观数据为主
  • 世纪未来:数据服务平台,提供银行业务研究、金融大数据等各种付费数据
  • 新浪财经:提供国内国民经济、行业信息、对外经贸、居民收入等各种宏观的经济数据
  • 司尔亚司数据信息有限公司:覆盖超过195+个国家的经济数据库,数据全面但收费
  • INSEE数据:法国统计与经济研究院公开数据
  • 投中研究院:提供投资领域的分析报告,网站更新频率较高
互联网数据

新增加一个数据搜索平台
镝数聚—全行业数据聚合
网站提供12大领域、100+行业、6000+权威数据源,基本覆盖了所有的细分行业。首页就有全面又详细的数据分类,可以直接点击分类查看也可以通过关键词查询。

大家都是在哪些网站找数据?-1.jpg
绝大部分数据都可以免费下载,每日数据更新,数据的结构性好,既可下载原始数据,也可查看可视化效果。收藏夹安排起来~

大家都是在哪些网站找数据?-2.jpg

营销查询:

  • 5118 / chinaz:支持查询网站排名及发展趋势、百度收录情况等信息
  • 百度指数:百度旗下/以百度网民行为数据为基础的数据分享平台,支持查询需求图谱
  • 微信指数:微信旗下/基于微信大数据分析的移动端指数,打开微信→搜索“微信指数”可用
  • 移动观象台:基于移动设备用户的操作行为,提供应用、公众号排行等,以及大量数据报告
  • 新榜/微小宝/易赞:几款工具比较类似,支持查看公众号排行、看公众号人群画像等功能
  • 阿里指数:阿里旗下/反映淘宝平台市场动向的数据分析平台
报告分析:

  • 易观智库:199IT导航的母网站,权威的互联网数据平台,涵盖战略新兴产业、电商互联网、共享经济、社交营销、移动互联网以及其他互联网服务的数据及分析报告
  • 艾瑞网:高频率更新互联网前沿的新闻资讯、分析报告,旗下包括艾瑞指数、艾瑞咨询等
  • 艾媒网:艾媒与艾瑞无关,艾媒网发布的研究报告多偏向移动互联网方向
  • CBNDdata:以阿里巴巴的商业数据库为基础,输出产业经济分析报告
  • QuestMobile:周期性地发布一些关于APP的研究报告
  • 阿里研究院:阿里旗下/发布研究电商等方向趋势的数据报告,内容多与阿里相关
  • 360研究报告:360旗下/移动、PC、网站、企业、诈骗等安全领域的研究,以及大数据等非安全领域的研究
  • 中国互联网信息研究中心:经国家主管部门批准组建的管理和服务机构,经常发布一些有价值的互联网信息报告
  • 中国信通院:针对互联网多个行业的发展趋势,发布白皮书,角度较为宏观
  • 中国互联网数据平台:提供全国各地区互联网发展报告、基础数据及研究分析报告,数据及报告偏向学术性研究
  • 清博大数据:提供微信、微博、头条榜单数据,各种研究报告、数据报告、舆情报告及行业热点
  • 数据观:丰富的前沿行业资讯,及部分研究报告下载
  • 腾讯大数据:数据服务平台,提供调查研究、移动互联网及特色数据报告,质量较高
  • 大数据世界:提供大数据相关资讯、应用案例、技术方案及资料下载
地理数据

水土气候数据:

  • 水土保持生态建设网http://www.swcc.org.cn/
  • 黄河风情http://www.yellowriver.org/
  • 黄河流域数据中心http://henu.geodata.cn/index.jsp
  • 黄土高原水土保护数据库http://www.loess.csdb.cn/
  • 数字黑河http://heihe.westgis.ac.cn/Default.aspx?tabid=106
  • 大气科学数据库http://data.iap.ac.cn/
  • 中国气象科学数据http://cdc.cma.gov.cn/
  • 中国气象科学数据共享服务网http://cdc.cma.gov.cn/
  • 全球森林土地覆盖动态http://www.fao.org/gtos/gofc-gold/
  • FRA 2000http://edcsns17.cr.usgs.gov/glcc/fao/index.html全球森林资源
  • NOAAhttp://www.noaa.gov/美国国家海洋和大气管理局
  • NCDC http://lwf.ncdc.noaa.gov/oa/ncdc.html美国国家气候数据中心
  • 国际水管理研究所http://www.iwmidsp.org/iwmi/info/main.asp
  • 气候研究所http://www.cru.uea.ac.uk/
  • 植被覆盖数据http://www.vgt.vito.be/
环境数据:

  • 黄土区农业与生态环境数据分中心http://loess.geodata.cn/
  • 东北黑土农业生态数据库http://www.blackland.csdb.cn/default.asp
  • 中国西部环境与生态科学数据中心http://westdc.westgis.ac.cn/
  • 西部数据中心http://westdc.westgis.ac.cn/data
  • 黄土高原区域数据共享运行服务中心http://loess.geodata.cn/Portal/?isCookieChecked=true
遥感数据:

  • 地面站RS地图查询http://cs.rsgs.ac.cn/cs_cn/query/query_map.asp
  • 甘肃省基础地理信息中心http://www.cehuiju.gansu.gov.cn/5chcg/giscenter.asp
  • 遥感数据网络资源http://ecology.bnu.edu.cn/gejp/student/zhj/webresource.htm
  • 中国遥感数据网http://ids.ceode.ac.cn/
  • GLCF http://glcf.geodata.cn/etm/Welcome.do
  • GIS FORUM http://www.gisforum.net/全球最大的GIS中文门户网站
  • 遥感数据共享http://ids.ceode.ac.cn/
其他自然人文数据:

  • 地理国情监测云平台 http://www.dsac.cn/
  • 中国资源卫星应用中心 http://www.cresda.com/cn/profile.htm
  • 中国自然资源数据库 http://www.data.ac.cn/index.asp
  • 中国科学院资源环境科学数据中心 http://www.resdc.cn/resdc/first.asp
  • 中国地球系统科学数据共享网 http://www.geodata.cn:8086/Metadata/index.jsp
  • 国家地球系统科学数据共享服务平台 http://www.geodata.cn/
  • PM25.in | PM2.5(细颗粒物)及空气质量指数(AQI)实时查询!:中国空气质量监测实时数据http://pm25.in/
  • 国际科学数据服务平台 http://datamirror.csdb.cn/index.jsp
  • 原始数据搜索 https://wist.echo.nasa.gov/api
  • 中国科学院资源环境科学数据中心 http://www.resdc.cn/resdc/first.asp
  • 世界聚集人口数据 http://beta.sedac.ciesin.columbia.edu/gpw/index.jsp
  • 光谱数据分析网站 http://modis.gsfc.nasa.gov/
  • 美国航空航天局NASA http://daac.gsfc.nasa.gov/
  • 城市轨道交通http://www.ntsg.umt.edu/
  • 人地系统主题数据库http://webpanda.iis.u-tokyo.ac.jp/
影像数据:

  • USGS Earth Explorer:提供Landsat、MODIS等数据
  • ESA’s Sentinel Mission:提供Sentinel系列卫星数据,可以下载欧洲航天局所属的影像数据
  • NOAA CLASS:提供高品质大气数据集,包括美国国防部(DoD)、极地作战环境卫星(POES)、NOAA的地球静止环境卫星(GOES)以及其他派生数据
  • NASA Reverb:提供多种类数据,包括:Aqua, Terra, Aura, TRMM, Calipso, NASA DC, JASON, ENVISAT等
  • EOLi:欧洲航天局的地球观测目录和订购服务的客户,通过Java 程序下载数据,支持的数据包括:Envisat, ERS, IKONOS, DMC, ALOS, SPOT, Kompsat, Proba, IRS, SCISAT.
  • INPE:提供中巴资源卫星数据
  • Bhuvan Indian Geo-Platform of ISRO:提供印度境内的MS-1, Cartosat,,OceanSat and ResourceSat数据以及全球的NVDI数据、南亚国家的CartoDem Version -3R1数据和北印度洋的气候数据
政府数据

  • 新加坡政府公开数据:提供新加坡各类数据
  • 美国政府公开数据:提供美国全国各类数据
  • 法国政府公开数据:法国政府开放数据平台
  • 英国政府公开数据:提供英国各类数据
  • 国家数据:中国国家统计局权威数据
  • 中国统计年鉴:1999年至今中国统计年鉴,国家统计局官网,提供单页Excel文件下载
  • 中国统计信息网:全国及各级政府各年度统计公报、年鉴等,为收费数据
  • 年鉴汪:全国城市统计数据搜索引擎,浏览免费,下载收费
  • 伦敦市公开数据:提供伦敦人口、就业、环境等各类数据
  • 国土资源部:国土资源部对外公开的信息报告
其他细分行业数据

  • 中研网数据:提供医疗、房产、制造业、服务业、零售消费、车辆等全行业数据
  • 中国报告大厅:提供各行各业的基础数据、调查报告、分析报告、预测报告,种类丰富
  • CADMAPPER:世界各大城市的DXF文件,原始数据源为OSM,NASA,USGS
  • 亚马逊网络服务公共数据集:跨科学云数据平台,包含化学、生物、经济等多个领域的数据集
  • Awesome Public Datasets:Github公共数据搜集项目,自然科学、社会科学覆盖较面,包含各个细分领域的数据库资源。
  • figshare:数据分析与研究成果共享平台。
  • 英国公开数据浏览工具:James Trimble制作的英国数据可视化浏览工具集;
  • 数据法国:法国各类数据的可视化呈现;
  • DataEye:基于国内游戏、汽车行业数据,进行多角度的行业调查报告撰写发布
  • CBO中国票房:基于国内票房数据,统计票房排行、上座率等信息。
  • 易车指数:反映国内汽车销售市场,为购车者或汽车从业者提供参考的数据指数
  • 高德地图:支持实时查看国内交通情况,此外高德周期性提供一系列数据报告
  • 房天下:提供中国指数研究院和CREIS中指数据,展示国内房地产数据情况
  • 艺恩:CBO中国票房数据的提供方,提供一些行业数据报告,如动漫IP价值研究报告
发表于 2021-12-3 13:00:21 | 显示全部楼层
巧妇难为无米之炊——财经数据去哪儿找?

在这里先和大家简单聊一下外资投行通常去哪些地方获取财经数据和分析报告。

宏观层面,我们常用的比如世界银行的公开数据库(  World Bank Open Data  )、国际货币基金组织(IMF)的数据库及其网站上的宏观经济研究报告(有中文)。

如果是金融方面的宏观数据,可以直接去央行或银监会的网站获取。

德意志银行研究部(  DB Research  )网站也提供很多高质量的宏观经济与行业报告,包括主权信用违约互换 CDS 的数据和趋势图制图工具,很实用(后面章节会具体介绍)。

如果是行业数据,可以去相关的行业协会网站查看,比如我们做分析的时候如果涉及能源类,通常会用到美国能源信息署的数据(EIA)。

资本市场的信息如果是个人用途,我一般会看  http://Investing.com  上的实时信息,国外股票等数据可以从雅虎财经(  Yahoo Finance  )或谷歌财经(  Google Finance  )上下载。

IT 技术好一些的还可以用 TuShare 或  quantmod  这类免费开源的 R 语言或 python 财经数据接口包。

企业方面,国内的巨潮资讯网提供所有上市公司的年报,中国货币网提供发债企业的财务审计报告、本地评级报告以及债券募集说明书,标普等三大评级公司也有一些免费的评级信息和报告可以参考。

当然,这年头很多信息也可以直接谷歌或百度,甚至爬虫技术,这里就不详谈了。

上面说到的都是免费的数据源与分析报告,对于个人来说做基本面分析足够用了。而外资银行从机构角度来看的话,一般有以下途径:

1)如果一家企业没有上市也没有发债,通常会通过前台客户经理从企业索要(业务相关);

2)其他财经数据一般依靠下面的信息平台来获取(机构账户):

· 彭博终端(Bloomberg),基本覆盖了所有类型的财经数据,金融机构必备良品

· 银行和券商的财务数据还可以从  Bankscope  获得,保险公司的从 isis 获取

· 标普、穆迪等评级公司为机构帐户提供很多行业与公司信用研究报告

· Dealogic,英国的一个数据服务提供商,平时做行研的时候会用到

· 其他著名也会时而用到的还有 CEIC,万得资讯(Wind),Factset,  CreditSights  等

上面提到的大部分数据平台对 Excel 都很友好。这也是我常说的,很多看似高大上的分析其实就是用 Excel 做出来的,不应该为了方法的绚丽而刻意去用复杂的软件或模型。

最后,如果你还在上大学,那前面的话当我没说。国内很多大学提供的金融数据库足够你玩耍了,比如国泰安 CSMAR 金融数据库或锐思数据(RESSET)。

活学活用信用违约互换(CDS)

CDS 也是一个不可多得的好工具,一方面可以帮助机构转移信用风险,另一方面可以作为敏锐的风险先行指标。在做行研的时候,我们常常会把通过基本面分析出来的行业评分与 CDS 的价差进行对比,找出差异的原因,有助于深刻理解这个行业的动态。

我平时工作的时候无时无刻不与 CDS 打交道。金融行业很多工作也许一辈子也不会与 CDS 打交道,然而我认为,作为一个有志向的青(老)年,了解信用违约互换,知道如何简单地解读与应用,对于看清风险、辨别是非,有着至关重要的作用。

既然都这么说了,那我们来看一下,到底什么是 CDS。

信用违约互换,简称 CDS(  Credit Default Swap  ),是一种双边场外交易合同,由 JP 摩根的  Blythe Masters  在 1994 年发明。
使用 App 查看完整内容目前,该付费内容的完整版仅支持在 App 中查看
App 内查看
发表于 2021-12-3 13:00:36 | 显示全部楼层
2017年6月5日更新:这个回答大家可以忽略了,或者说大家在看完这个回答的基础上可以看看我的另一个回答。因为有关如何查找数据我有了更全面系统的想法,大家可以戳戳链接去看看https://www.zhihu.com/question/19766160/answer/179241024

作为一个互联网广告狗最近感觉开了挂,在网上找数据不再焦头烂额,反而感觉特别简单自然,找到的数据也不再单一,并且能准时把数据交给老板且被加鸡腿了。我感觉现在自己已经有资格在知乎上发言了,因此我决定回答这个问题(当然,这里我说的不是技术层面的数据)
我们为什么要找大量的数据?互联网时代也是大数据时代,通过对大数据分析得出的结论能够对我们有一个相对准确的指导,因此现在做很多事情(特别是互联网公司写方案、写策划的时候)都要有数据支持。一般情况下数据出现在背景分析、市场分析、人群分析、竞品分析、媒体分析等之中,通过这些数据的分析能够推导出我们的策略
互联网本身就是个大的数据仓库,里面不是没有数据,而是数据多了很难找到。所以刚进入互联网公司的新人应该被安排的工作就是找数据,写竞品分析这种查找类的工作。本人也是从这些方面做起的,刚开始的时候真的很让人头疼,但是通过不停的寻找摸索出了一些门道,技巧,小细节,现在我来分享下吧!
这里我以我老板给我下的需求为例:“查找程序化购买的最新报告和行业分析,重点看PMP”
一、百度
有人会说你这是废话,还有人不百度么?但我想说的是我是怎么百度的
1.我想找什么我就搜索什么
百度搜索“程序化购买最新报告”,看前5页足够了。这里注意所有的网页都要在浏览器内用新窗口打开,要不然很可能刷新了搜索数据,导致某些网页被排到了后面。这样就容易让你混乱,忘记了哪个看过哪个没看过。极端一点讲,有可能你就看不到某些网页了哟

大家都是在哪些网站找数据?-1.jpg
在同一窗口打开再返回后,会刷新网页,网页上的内容也会变换顺序

大家都是在哪些网站找数据?-2.jpg
在新窗口打开

大家都是在哪些网站找数据?-3.jpg
2.我会把我要搜索的内容拆分,拆成很多个单词,然后重组搜索
老板的需求:“查找程序化购买的最新报告和行业分析,重点看PMP”
我会这样拆分搜索:
“2017程序化购买报告”
“2017程序化购买”
“2017DSP报告”
“2017DSP”
“2017程序化购买行业分析”
“2017程序化购买行业”
“2017程序化购买分析”
“2017DSP行业分析”
“2017DSP行业”
“2017DSP分析”
“2017PMP报告”
“2017PMP行业分析”
“…”
因为现在是2017年初,所以最新的报告可能还是2016年的,因此可以把2017替换成2016再来一遍。当然,这里只是举例子,程序化购买的数据相对较少内容也相对单一,搜索到的内容重复性比较高。但是这种搜索方法在我查找别的数据时真的很有效果,大家根据实际情况去组合关键词就好
3.我会把范围扩大或缩小后再搜索
为什么这样查找?因为程序化购买虽然是我们查找的内容,但是它同样可以是一个更大的数据报告中的一部分。所以,如果我们找到了这个更大的数据报告,同样可以看到我们想要的内容。下面我举例
老板的需求:“查找程序化购买的最新报告和行业分析,重点看PMP”
我这样查找:
扩大搜索范围-“广告主投放媒体类型”(程序化购买是广告主投放的类型之一)
缩小搜索范围-“RTB市场现状”(RTB是程序化购买的一部分)
“...”
其实简单点说,就是我想看看今天椰子的市场价格,那么我除了搜索“今天椰子的市场价格”以外,也可以搜索“今天水果市场价格行情表”。本人爱喝椰汁,就拿椰子举例,就是这么任性
4.百度下面的相关搜索
这不用我多说,需要注意的还是用新窗口打开

大家都是在哪些网站找数据?-4.jpg
5.百度指数,这一部分后续详细解释
二、行业网站
有一些数据报告我们在百度搜索后是找不到的,因为它们存在于行业网站之中
这里我总结了目前为止所有我觉着好用的行业网站,里面的报告全都免费
1.专业权威的数据网站
●艾瑞http://www.iresearch.cn/
艾瑞是行业内公认的数据网站,很有说服力
可以在搜索框内搜索你想要的报告

大家都是在哪些网站找数据?-5.jpg
上面还有艾瑞咨询和艾瑞数据两个部分,艾瑞咨询里面有各种行业的报告、白皮书、广告投放数据

大家都是在哪些网站找数据?-6.jpg
艾瑞数据里面可以查询PC和移动端的覆盖人数、浏览时长、升降幅度等

大家都是在哪些网站找数据?-7.jpg
●易观 http://www.analysys.cn/
个人感觉近几年易观智库的数据做的比艾瑞全面,细致,最重要的是全免费!!!
可以通过搜索框查找

大家都是在哪些网站找数据?-8.jpg
也可以在首页向下找,下面有很多报告

大家都是在哪些网站找数据?-9.jpg
●梅花网 http://www.meihua.info/
梅花网自身的数据平台是收费的,但是如果你在站内搜索相关报告还是能搜到很多的

大家都是在哪些网站找数据?-10.jpg
●企鹅智酷 http://re.qq.com/
这里面大部分是腾讯基于自己的产品数据得出的报告,或者是腾讯和其他企业联合发布的报告。腾讯产品可以说是无处不在,所以这里的报告那也叫一个大而全

大家都是在哪些网站找数据?-11.jpg
●199IT http://www.199it.com/
经常找数据的人肯定对这个网站不陌生,当你百度的时候很有可能看到这个网站,因为他们不生产网站,他们是数据的搬运工。这里面的数据报告都是别的网站发布的,所以大家可以在这里看报告,也可以通过这个网站去对应的行业网站查找报告。
红框内的板块都有数据,大家慢慢看吧

大家都是在哪些网站找数据?-12.jpg
●速途网 http://www.sootoo.com/
这也是一个勤劳的搬运工,里面有不少数据报告,可以看看

大家都是在哪些网站找数据?-13.jpg
●中国互联网络信息中心 http://www.cnnic.net.cn/
这里重要的只有一个,第N次《中国互联网络发展状况统计报告》!!!划重点!!!这个报告每半年发布一次,里面有宏观数据,也有行业细分,总之一句话,去下载吧!!!(免费的)

大家都是在哪些网站找数据?-14.jpg
2.移动端数据网站
●TalkingData http://www.talkingdata.com/
TalkingData是中国最大的独立第三方移动数据服务平台,这里不仅有App的数据,还有公众号的数据,简直就是移动端数据的天堂。首先这里有200+的报告等着你用,其次这里还有N多个App的排名和用户自然属性和社会属性(性别、年龄、地域、消费偏好、地域偏好)等太多太多的移动端数据了。这里不一一列举,有红框的内容大家仔细看看

大家都是在哪些网站找数据?-15.jpg

大家都是在哪些网站找数据?-16.jpg

大家都是在哪些网站找数据?-17.jpg
●艾媒网 http://www.iimedia.cn/#shuju
艾媒网是中国最大的电信与无线增值领域行业门户网站,这里的数据也是以移动端为主,大家可以通过搜索或点击左侧的“研究”板块查找数据报告

大家都是在哪些网站找数据?-18.jpg
3.神奇的网站
●questmobile http://www.questmobile.com.cn/index.html
这是一个神奇的行业网站,很少能在百度上搜索到这个网站或者这个网站的报告,站内也不能搜索报告和下载报告…但是但是但是!这里却是我找报告的必经之地,你如果在这里翻一翻报告,一定会找到对你有用的数据,牛B的网站就是藏得这么深,这么不拘一格

大家都是在哪些网站找数据?-19.jpg
●媒介360 http://www.chinamedia360.com/main
第二个神奇的网站诞生了,网页打开巨慢,有时候卡的网页都变形。可是这里偏偏就有你想要的数据 ,就是这么拽。个人推荐里面有一个 “2016百大广告主需求调研报告” 内容蛮不错的

大家都是在哪些网站找数据?-20.jpg
4.电商、快消类数据居多的网站
●CBNData http://www.cbndata.com/
这是第一财经的网站,第一财经已经成为阿里系的一部分。阿里欲将其打造为具有全球影响力的新型数字化财经媒体与信息服务集团,由此可见这个网站的背书多么强大,对于我们这种找数据的人也是十分的重要。同样由于其是阿里旗下网站,里面的数据报告也以电商、快消类报告为主,有这方面需求的朋友一定要收藏

大家都是在哪些网站找数据?-21.jpg
●亿邦动力网 http://www.ebrun.com/
这里也是以电商、快消、金融类数据居多

大家都是在哪些网站找数据?-22.jpg
5.实体经济数据居多的网站
●中商情报网 http://www.askci.com/
这个网站以产业为主,实体经济的数据更多一些,搞实体经济的小伙伴不可错过
同样,红框内的东东都可以点点看,内含乾坤

大家都是在哪些网站找数据?-23.jpg
●中国产业信息网 http://www.chyxx.com/
同样是实体经济的数据居多的网站

大家都是在哪些网站找数据?-24.jpg
6.程序化购买数据居多的网站
●RTBchina http://www.rtbchina.com/
看到红框内的report了么,就是跟你说这里全是报告,不过这里的报告以程序化购买的居多
7.创业类数据较多的网站
●36氪 http://36kr.com/
这里面有一些创业公司的融资数据

大家都是在哪些网站找数据?-25.jpg
●钛媒体 http://www.tmtpost.com/
这里有少量的数据报告可以通过搜索得到。此外还有一部分融资信息在“数据库”里面

大家都是在哪些网站找数据?-26.jpg
8.我最想安利的网站
●人人都是产品经理 http://www.woshipm.com/
侧重产品端数据的网站,但我最想安利的是这三个热门专题,里面有很多竞品分析我们可以学习参考。我们搜索数据大多数的目的是要从多角度分析出结论的,那么看看这个专题很有帮助


大家都是在哪些网站找数据?-27.jpg

大家都是在哪些网站找数据?-28.jpg
9.其他数据网站
●36大数据 http://www.36dsj.com/
与我推荐的其他网站相比,这里的数据报告可能不是很多,但是有时间不妨也来搜搜看~

大家都是在哪些网站找数据?-29.jpg
●比特网 http://www.chinabyte.com/
与前面的网站相比数据较少,但是与其他网站相比这里还是有不少数据的,有时间可以一试

大家都是在哪些网站找数据?-30.jpg
●爱范儿 http://www.ifanr.com/
搜索框查找,少量数据报告

大家都是在哪些网站找数据?-31.jpg
●亿欧网 http://www.iyiou.com/
搜索框搜索,有少量数据报告

大家都是在哪些网站找数据?-32.jpg
●雷锋网 http://www.leiphone.com/
搜索框,不解释

大家都是在哪些网站找数据?-33.jpg
三、门户网站
当你百度搜索数据报告的时候,很可能出现在前几位的是与这个报告有关的门户网站的新闻稿。由于新闻稿的内容很短,只是对报告的一些部分做了总结,因此需要你顺藤摸瓜的去寻找报告的来源,也就可以找到完整的报告了
举例如下
搜索“2017媒体报告”,出现在屏幕上的是搜狐的一篇新闻

大家都是在哪些网站找数据?-34.jpg
通过新闻稿我们知道这是一个新浪发布的报告,所以我们直接去百度搜索这个报告就ok啦

大家都是在哪些网站找数据?-35.jpg
四、新媒体
第一种是行业网站的官方公众号。艾瑞、易观智库等网站全部都有自己的微信公众号,每天都会发布数据报告。只不过他们发的很随意,不一定是你当下需要的报告

大家都是在哪些网站找数据?-36.jpg

大家都是在哪些网站找数据?-37.jpg
第二种是整合大量数据报告的第三方公众号,这里面尤其以广告人的公众号居多,下面这个就是我自己的公众号,大家可以关注一下(微信搜索:小泽PPT)。这里不仅有PPT学习的相关信息,还有与数据相关的内容。这里有一个长效动态数据库,里面有各行各业的数百份报告。此外,我后续会在公众号内不断更新数据查找的方法和对数据网站的分析(目前已分析40个数据网站,还有60余个网站待分析)。当然,如果大家有什么查找数据的需求可以在公众号留言,我会在周末帮助大家查找,并及时反馈给大家。如果特别着急需要某些数据的话,建议大家还是自行查找。

大家都是在哪些网站找数据?-38.jpg
五、媒体指数
除了一些专业机构发布的权威报告以外,我们还可以通过一些媒体开放的指数平台查询相关数据
这里就要说一说前文没有详述的百度指数
百度指数是以百度网民行为数据为基础的数据平台,很多时候也是指导我们策略的重要数据之一,也是大多数客户认可的数据之一。之所以被广泛认可,还不是因为90%的人都在用百度搜索…
百度指数可以查找一个关键词的数据,也可以查找多个关键词的数据并进行对比。支持分时间段和地域进行查找。可以查找的内容有PC端和移动端网民关注程度、趋势,需求图谱(围绕搜索的关键词大家还看了什么),新闻情况、百度知道情况、最重要的是后面的地域、年龄、性别这三个数据,用处很大

大家都是在哪些网站找数据?-39.jpg

大家都是在哪些网站找数据?-40.jpg

大家都是在哪些网站找数据?-41.jpg

大家都是在哪些网站找数据?-42.jpg

大家都是在哪些网站找数据?-43.jpg

大家都是在哪些网站找数据?-44.jpg

大家都是在哪些网站找数据?-45.jpg
此外,百度自己也发布少量报告

大家都是在哪些网站找数据?-46.jpg
还对大行业和大品牌进行了搜索排名

大家都是在哪些网站找数据?-47.jpg
除了百度指数外,还有很多垂直媒体都有自己的数据平台,这里以汽车垂直网站举例:
易车指数 http://datamodel.bitauto.com/
易车是汽车行业的垂直网站,这里的指数分为公众版和专业版,公众版是免费的,大家可以在这里查看相关数据。这里要说一下,其实大部分媒体都有自己的指数平台,但很多都是收费的。如果有免费版和收费版,那么收费版与免费版相比数据量更全面,数据维度更详细

大家都是在哪些网站找数据?-48.jpg

大家都是在哪些网站找数据?-49.jpg
六、说在最后
1.收藏:搜索数据报告的时候在浏览器上建立一个收藏夹,把所有的链接都放在收藏夹里便于后续查找
2.离线:凡是能离线下载的报告第一时间下载,不多解释
3.准确性:我以前也经常质疑大数据的准确性,但其实在质疑的时候我们是从自己的角度出发去看待这个数据。我们的圈子是小的,而大数据是从整体的角度去统计的,所以打破我们的世界观很正常。那么为什么会出现相同指标,不同的数据报告有不同的统计结果?这是因为统计的维度和某些细节导致的,这些维度和细节会以小字的形式标注在数据报告上或者在数据报告的开头和结尾有说明,如果没有说明…我也没有办法了…
4.时间:凡事都是自己通过时间和实践慢慢积累的。如果我写的这些内容你觉着有用,希望能帮到你,帮助你快速上手。如果你关注我的公众号,我相信后续还会帮到你的。如果你觉着上面写的东西都没用,那就记住这句话吧“凡事都是自己通过时间和实践慢慢积累的”
(※本文纯纯原创,未经允许不得转载,转载前请加微信公众号:小泽PPT,在后台给我留言)
发表于 2021-12-3 13:00:59 | 显示全部楼层
如果你不是会爬虫的技术流,那下面这110+网站可以解决你90%的数据需求。
首先,常见的公开数据网站在https://hao.199it.com/都可以搜索到。

大家都是在哪些网站找数据?-1.jpg

网站部分截图

除此之外,补充上面没有的一些网站,一共110+,按需选择:

金融财经数据:

  • 同花顺数据中心:提供股票债券等金融数据
  • 和讯数据:提供各种股票、基金、外汇、债券等实时数据,有付费,有免费
  • 零壹财经:大大小小的网贷数据、排行榜等
  • 金融数据网:提供每日的黄金、汇率、农产品、汽油价格的相关数据
  • 萝卜投研:提供股市、证券等数据,多以数据研究报告形式展示
  • 金融界:提供股市、融资等各种资金流向数据,以及丰富的财报和研报
  • 东方财富网:提供多国的股票、财税、行业、消费等大量丰富的经济数据
  • 吉林金融网:提供吉林的融资、市场数据
  • 搜狐证券:提供货币、外汇、行业、市场等宏观数据
  • CCER经济金融数据库:提供企业财务年度数据、股票收益数据等数据库下载
  • 香港金融管理局:提供香港的各种经济及金融数据,以宏观数据为主
  • 世纪未来:数据服务平台,提供银行业务研究、金融大数据等各种付费数据
  • 新浪财经:提供国内国民经济、行业信息、对外经贸、居民收入等各种宏观的经济数据
  • 司尔亚司数据信息有限公司:覆盖超过195+个国家的经济数据库,数据全面但收费
  • INSEE数据:法国统计与经济研究院公开数据
  • 投中研究院:提供投资领域的分析报告,网站更新频率较高

互联网数据:
营销查询:

  • 5118 / chinaz:支持查询网站排名及发展趋势、百度收录情况等信息
  • 百度指数:百度旗下/以百度网民行为数据为基础的数据分享平台,支持查询需求图谱
  • 微信指数:微信旗下/基于微信大数据分析的移动端指数,打开微信→搜索“微信指数”可用
  • 移动观象台:基于移动设备用户的操作行为,提供应用、公众号排行等,以及大量数据报告
  • 新榜/微小宝/易赞:几款工具比较类似,支持查看公众号排行、看公众号人群画像等功能
  • 阿里指数:阿里旗下/反映淘宝平台市场动向的数据分析平台
报告分析:

  • 易观智库:199IT导航的母网站,权威的互联网数据平台,涵盖战略新兴产业、电商互联网、共享经济、社交营销、移动互联网以及其他互联网服务的数据及分析报告
  • 艾瑞网:高频率更新互联网前沿的新闻资讯、分析报告,旗下包括艾瑞指数、艾瑞咨询等
  • 艾媒网:艾媒与艾瑞无关,艾媒网发布的研究报告多偏向移动互联网方向
  • CBNDdata:以阿里巴巴的商业数据库为基础,输出产业经济分析报告
  • QuestMobile:周期性地发布一些关于APP的研究报告
  • 阿里研究院:阿里旗下/发布研究电商等方向趋势的数据报告,内容多与阿里相关
  • 360研究报告:360旗下/移动、PC、网站、企业、诈骗等安全领域的研究,以及大数据等非安全领域的研究
  • 中国互联网信息研究中心:经国家主管部门批准组建的管理和服务机构,经常发布一些有价值的互联网信息报告
  • 中国信通院:针对互联网多个行业的发展趋势,发布白皮书,角度较为宏观
  • 中国互联网数据平台:提供全国各地区互联网发展报告、基础数据及研究分析报告,数据及报告偏向学术性研究
  • 清博大数据:提供微信、微博、头条榜单数据,各种研究报告、数据报告、舆情报告及行业热点
  • 数据观:丰富的前沿行业资讯,及部分研究报告下载
  • 腾讯大数据:数据服务平台,提供调查研究、移动互联网及特色数据报告,质量较高
  • 大数据世界:提供大数据相关资讯、应用案例、技术方案及资料下载

地理数据:
水土气候数据:

  • 水土保持生态建设网http://www.swcc.org.cn/
  • 黄河风情http://www.yellowriver.org/
  • 黄河流域数据中心http://henu.geodata.cn/index.jsp
  • 黄土高原水土保护数据库http://www.loess.csdb.cn/
  • 数字黑河http://heihe.westgis.ac.cn/Default.aspx?tabid=106
  • 大气科学数据库http://data.iap.ac.cn/
  • 中国气象科学数据http://cdc.cma.gov.cn/
  • 中国气象科学数据共享服务网http://cdc.cma.gov.cn/
  • 全球森林土地覆盖动态http://www.fao.org/gtos/gofc-gold/
  • FRA 2000http://edcsns17.cr.usgs.gov/glcc/fao/index.html全球森林资源
  • NOAAhttp://www.noaa.gov/美国国家海洋和大气管理局
  • NCDC http://lwf.ncdc.noaa.gov/oa/ncdc.html美国国家气候数据中心
  • 国际水管理研究所http://www.iwmidsp.org/iwmi/info/main.asp
  • 气候研究所http://www.cru.uea.ac.uk/
  • 植被覆盖数据http://www.vgt.vito.be/
环境数据:

  • 黄土区农业与生态环境数据分中心http://loess.geodata.cn/
  • 东北黑土农业生态数据库http://www.blackland.csdb.cn/default.asp
  • 中国西部环境与生态科学数据中心http://westdc.westgis.ac.cn/
  • 西部数据中心http://westdc.westgis.ac.cn/data
  • 黄土高原区域数据共享运行服务中心http://loess.geodata.cn/Portal/?isCookieChecked=true
遥感数据:

  • 地面站RS地图查询http://cs.rsgs.ac.cn/cs_cn/query/query_map.asp
  • 甘肃省基础地理信息中心http://www.cehuiju.gansu.gov.cn/5chcg/giscenter.asp
  • 遥感数据网络资源http://ecology.bnu.edu.cn/gejp/student/zhj/webresource.htm
  • 中国遥感数据网http://ids.ceode.ac.cn/
  • GLCF http://glcf.geodata.cn/etm/Welcome.do
  • GIS FORUM http://www.gisforum.net/全球最大的GIS中文门户网站
  • 遥感数据共享http://ids.ceode.ac.cn/
其他自然人文数据:

  • 地理国情监测云平台http://www.dsac.cn/
  • 中国资源卫星应用中心http://www.cresda.com/cn/profile.htm
  • 中国自然资源数据库http://www.data.ac.cn/index.asp
  • 中国科学院资源环境科学数据中心http://www.resdc.cn/resdc/first.asp
  • 中国地球系统科学数据共享网http://www.geodata.cn:8086/Metadata/index.jsp
  • 国家地球系统科学数据共享服务平台http://www.geodata.cn/
  • http://pm25.in:中国空气质量监测实时数据http://pm25.in/
  • 国际科学数据服务平台http://datamirror.csdb.cn/index.jsp
  • 原始数据搜索https://wist.echo.nasa.gov/api
  • 中国科学院资源环境科学数据中心http://www.resdc.cn/resdc/first.asp
  • 世界聚集人口数据http://beta.sedac.ciesin.columbia.edu/gpw/index.jsp
  • 光谱数据分析网站http://modis.gsfc.nasa.gov/
  • 美国航空航天局NASAhttp://daac.gsfc.nasa.gov/
  • 城市轨道交通http://www.ntsg.umt.edu/
  • 人地系统主题数据库http://webpanda.iis.u-tokyo.ac.jp/
影像数据:

  • USGS Earth Explorer:提供Landsat、MODIS等数据
  • ESA’s Sentinel Mission:提供Sentinel系列卫星数据,可以下载欧洲航天局所属的影像数据
  • NOAA CLASS:提供高品质大气数据集,包括美国国防部(DoD)、极地作战环境卫星(POES)、NOAA的地球静止环境卫星(GOES)以及其他派生数据
  • NASA Reverb:提供多种类数据,包括:Aqua, Terra, Aura, TRMM, Calipso, NASA DC, JASON, ENVISAT等
  • EOLi:欧洲航天局的地球观测目录和订购服务的客户,通过Java 程序下载数据,支持的数据包括:Envisat, ERS, IKONOS, DMC, ALOS, SPOT, Kompsat, Proba, IRS, SCISAT.
  • INPE:提供中巴资源卫星数据
  • Bhuvan Indian Geo-Platform of ISRO:提供印度境内的MS-1, Cartosat,,OceanSat and ResourceSat数据以及全球的NVDI数据、南亚国家的CartoDem Version -3R1数据和北印度洋的气候数据

政府数据:

  • 新加坡政府公开数据:提供新加坡各类数据
  • 美国政府公开数据:提供美国全国各类数据
  • 法国政府公开数据:法国政府开放数据平台
  • 英国政府公开数据:提供英国各类数据
  • 国家数据:中国国家统计局权威数据
  • 中国统计年鉴:1999年至今中国统计年鉴,国家统计局官网,提供单页Excel文件下载
  • 中国统计信息网:全国及各级政府各年度统计公报、年鉴等,为收费数据
  • 年鉴汪:全国城市统计数据搜索引擎,浏览免费,下载收费
  • 伦敦市公开数据:提供伦敦人口、就业、环境等各类数据
  • 国土资源部国土资源部对外公开的信息报告,内容权威

其他细分行业数据:

  • 中研网数据:提供医疗、房产、制造业、服务业、零售消费、车辆等全行业数据
  • 中国报告大厅:提供各行各业的基础数据、调查报告、分析报告、预测报告,种类丰富
  • CADMAPPER:世界各大城市的DXF文件,原始数据源为OSM,NASA,USGS
  • 亚马逊网络服务公共数据集:跨科学云数据平台,包含化学、生物、经济等多个领域的数据集
  • Awesome Public Datasets:Github公共数据搜集项目,自然科学、社会科学覆盖较面,包含各个细分领域的数据库资源。
  • figshare:数据分析与研究成果共享平台。
  • 英国公开数据浏览工具:James Trimble制作的英国数据可视化浏览工具集;
  • 数据法国:法国各类数据的可视化呈现;
  • DataEye:基于国内游戏、汽车行业数据,进行多角度的行业调查报告撰写发布
  • CBO中国票房:基于国内票房数据,统计票房排行、上座率等信息。
  • 易车指数:反映国内汽车销售市场,为购车者或汽车从业者提供参考的数据指数
  • 高德地图:支持实时查看国内交通情况,此外高德周期性提供一系列数据报告
  • 房天下:提供中国指数研究院和CREIS中指数据,展示国内房地产数据情况
  • 艺恩:CBO中国票房数据的提供方,提供一些行业数据报告,如动漫IP价值研究报告

已汇总成表格,点击保存>>110+数据网站
转自: @简道云
发表于 2021-12-3 13:01:32 | 显示全部楼层
数据包括:政府公开的数据、第三方金融财经数据、互联网数据报告、各行各业的数据、搜索指数。

一、政府公开的数据
1、国家统计局:最新的经济统计数据,包括工业、消费、服务业等各种数据。
http://www.stats.gov.cn/tjsj/zxfb/

大家都是在哪些网站找数据?-1.jpg

2、中国人民银行:社会融资、货币统计数据
http://www.pbc.gov.cn/diaochatongjisi/116219/116319/index.html

大家都是在哪些网站找数据?-2.jpg

3、中国政府网(宏观经济运行情况):包括各年GDP、CPI、总人口、粮食产量等数据。

大家都是在哪些网站找数据?-3.jpg

4、证监会官网:各行业的发展情况、统计数据,最新动态、相关监管政策。
5、股票成交数据
上海证券交易所:http://www.sse.com.cn/market/stockdata/statistic/
深圳证券交易所:http://www.szse.cn/

大家都是在哪些网站找数据?-4.jpg

6、中国信通院:互联网、通讯、移动手机相关数据
http://www.caict.ac.cn/kxyj/qwfb/qwsj/

大家都是在哪些网站找数据?-5.jpg

二、第三方金融财经数据
1、东方财富网 :http://data.eastmoney.com/report/
用于上市企业研究,内容较多,可以了解到一个公司的概况、经营分析、行业相关情况。最新研报可以看到证券公司对个行业的最新报告。

大家都是在哪些网站找数据?-6.jpg

2、同花顺数据中心:http://data.10jqka.com.cn/

大家都是在哪些网站找数据?-7.jpg

3、wind:行业数据、公司财报
Wind-经济数据库4、慧博投资分析:可以搜索到各行各业的研究报告

大家都是在哪些网站找数据?-8.jpg

5、巨潮资讯网:中国证监会指定的上市公司信息披露平台之一,可在线查询上市公司研报、公告等信息
6、格隆汇:港股投研平台,查询港股上市公司信息
7、网贷之家、网贷天眼:P2P网贷、互联网金融数据

三、互联网数据分析报告
1、艾瑞网:http://report.iresearch.cn
http://www.iresearch.com.cn
这一个链接不用登录,点击【立即查看】可以直接下载报告。

大家都是在哪些网站找数据?-9.jpg
2、中文互联网数据资讯中心http://www.199it.com
3、中国互联网络信息中心http://www.cnnic.net.cn
4、易观智库http://www.analysys.cn
5、Talkingdata移动观象台http://mi.talkingdata.com
6、艾媒网http://www.iimedia.cn
7、七麦数据http://www.qimai.cn
8、企鹅智酷http://tech.qq.com
9、腾讯大数据http://data.qq.com
10、阿里研究院http://www.aliresearch.com

四、各行各业的数据
1、房地产:房天下(价格指数)
https://fdc.fang.com/index/

大家都是在哪些网站找数据?-10.jpg

2、汽车
中国汽车工业协会http://www.caam.org.cn/data/
中国汽车工业信息网:http://www.autoinfo.org.cn/autoinfo_cn/index.html
3、水泥指数:中国水泥网、数字水泥
4、农业:中国农业信息网、生猪价格:中国养猪网
5、医药
世界卫生组织:https://www.who.int/zh
药智新闻:https://news.yaozh.com/
生物360:http://www.bio360.net/
中国医疗器械行业协会:http://www.bio360.net/
6、文化旅游:http://zwgk.mct.gov.cn/
7、电影:中国电影数据信息网
8、查询公司信息
天眼查、企查查:查看公司工商信息、经营状况、新闻公告、招投标等信息
招标网:搜索相关公司招标中标信息
9、大数据导航:http://hao.199it.com/
一个各类数据的导航网站,内容非常全。

大家都是在哪些网站找数据?-11.jpg

五、数据查询、搜索指数
百度指数        http://index.baidu.com/v2/index.html?from=pinzhuan#/
好搜指数        https://trends.so.com/?src=index.haosou.com
搜狗指数        http://zhishu.sogou.com/
微信指数       
头条指数        https://index.toutiao.com/
微博指数        https://data.weibo.com/index
微报告        https://data.weibo.com/
互联网数据        http://www.cnidp.cn/
百度风云榜        http://top.baidu.com/
百度统计流量研究院        https://tongji.baidu.com/research/site
优酷指数        https://index.youku.com/
数据挖掘        https://www.5118.com/
淘宝指数        https://shu.taobao.com/
数据魔方        http://data.tf56.com/
数据雷达:淘宝数据分析软件        http://www.ibbd.net/
APP数据统计:友盟        https://www.umeng.com/
发表于 2021-12-3 13:02:22 | 显示全部楼层
无论是做数据分析还是数据可视化,很多新手会常常遇到找不到数据的困境。这只拦路虎一出现,让好多人对数据分析望而却步。
有些同学特别坚强,为了自己能爬数据,去学《10天学会Python爬虫》之类的课程,但是大多数会在第3天放弃。
即使坚持了10天,爬虫这块也有这样那样的坑,等着你去踩。
极小部分的人最后成功了,但是耗费了这么多的精力,性价比高吗?
我们大多数人更应该关注的是后续的数据分析研究而非数据获取。
基于上述,答主整理了一些主流、免费、省力获取数据的网站,推荐给大家。
一、中华人民共和国国家统计局>>国家数据
网址:http://data.stats.gov.cn/
主要包含:国民经济、人口、对外经济贸易、能源、财政、价格、农业、工业、运输、旅游、教育、科技、卫生等数据,可以按年度、季度、月度查询。
可以免费下载

大家都是在哪些网站找数据?-1.jpg
另外在国际数据目录下,有“各国数据”,这里链接了各个国家的权威统计网站哦,善于科学上网,你就可以拥有这些数据!

大家都是在哪些网站找数据?-2.jpg
二、世界银行——各国发展数据
网址:https://data.worldbank.org.cn/ (cn域名的外国网站哦,不需科学上网,就能畅快浏览)
主要包含:各国相关的发展数据,而且资金等数据有多个维度可以查看。
数据可以免费下载

大家都是在哪些网站找数据?-3.jpg
点击数据目录,就可以查看并下载相关数据啦。

大家都是在哪些网站找数据?-4.jpg

大家都是在哪些网站找数据?-5.jpg
以上,如果大家有关注B站的可视化作品的话,就会发现,90%UP主所使用的数据,都来自上面两个网站。

大家都是在哪些网站找数据?-6.jpg
三、GitHub——高质量公共数据集
网址:https://github.com/awesomedata/awesome-public-datasets
主要包含:农业、生物、计算机、天气、经济学、博物馆、机器学习等你能想到的几乎所有数据
大部分免费,部分收费
随便截个目录,给大家感受一下。

大家都是在哪些网站找数据?-7.jpg
四、其他
国内也有很多企业数据交易的网站,但大多收费,Kaggle平台上数据比较干净也免费,但是需要会点代码。
所以答主建议大家,如果仅是个人研究分析用的话,从上面三个网站上获取主要数据就可以了。
发表于 2021-12-3 13:03:19 | 显示全部楼层
友情提醒:这内容很干,需要多喝水。
大家好,我是做数据分析的老李。
由于职业原因,老李经常需要各个行业的数据。刚开始我也遇到过像楼主一样的难题,想练练手却完全找不到合适的免费数据报告。后来就开始有意识的搜集各种数据网站,这么多年过去了也搜集了不少。今天就给大家分享一下我的宝藏免费数据网站们。
既然是数据,那就是最好能拿到一手的数据,而不是看别人做好的图(前面有回答推荐的一些搜索引擎、直接发布分析结果的网站和工具/分析类网站,在这个回答里我就不讨论了哈),因为我们通常需要的是,拿这些数据自己做分析
一、国家社会类:

1、中国统计局
http://data.stats.gov.cn/
这个网站可谓是要啥有啥,如农业,生产,经济,教育等等,可以获得具有权威的数据,而且覆盖面很广。可以找到很多宏观层面的信息,GDP、人口、就业、收支等
如,我想要北京市2017年全体居民收支:

大家都是在哪些网站找数据?-1.jpg
此外,它还可以链接到其他国家的统计局:

大家都是在哪些网站找数据?-2.jpg

大家都是在哪些网站找数据?-3.jpg
但问题也是有的,虽然全面,但是不精准,如果你想查某一个细分的数据的话,可能没办法满足:
如,主要国家年度数据…..除了内陆和台湾,其他的我真的不怎么关心……

大家都是在哪些网站找数据?-4.jpg
2、香港政府数据中心

https://data.gov.hk/sc/
仍然有点多而不精,但是!爽的地方在于,它有中英文以及多种格式!直接下载,就是Excel!不用自己手动粘贴!

大家都是在哪些网站找数据?-5.jpg
而且,相比国家统计局,它的分类更加多样化,也就是说,数据更加精细一些。

大家都是在哪些网站找数据?-6.jpg
3、经合组织开放的数据网

包含参与经济合作与发展组织的36个国家的数据,英文界面。数据也包含农业、经济、教育、能源等等,也具有多个版本可以下载使用(但没有Excel),分类也相对有心和精细。
感受下:

大家都是在哪些网站找数据?-7.jpg
二、企业信息类:

针对一些公司,可以通过他们注册/上市的统计网站获得资料:
1、EDGAR
https://www.sec.gov/
美国证监会SEC规定上市企业的公告要在EDGAR上公开,因此可以在这个网站上找到这些上市公司的数据,信息严谨,英文界面。

大家都是在哪些网站找数据?-8.jpg
2、巨潮资讯:

http://www.cninfo.com.cn/new/index
仍然是针对上市公司,这个网站可以拿到股票每日的数据,如下:

大家都是在哪些网站找数据?-9.jpg
它可以按照行业、地区、指数、市场等分类来查询,虽然简单了些,但好在便捷。
三、经济类


  • Bloomberg
https://www.bloomberg.com
Bloomberg (彭博)是为大多数大型金融机构提供服务,用户通过“彭博专业服务”可以查阅和分析实时的金融市场数据以及进行金融交易。
彭博终端是一套让专业人士访问“彭博专业服务”(Bloomberg Professional Service)的计算机系统。彭博终端基于客户—服务器架构建立,服务器是一个多处理器的Unix平台,终端用户使用的客户端是一个Windows程序。

大家都是在哪些网站找数据?-10.jpg
2、FactSet
FactSet研究系统是一家金融数据和软件公司,为全球主要金融机构的分析员、证券管理员和投资银行家提供金融信息和分析软件。FactSet核心的优势主要集中在公司的财务数据,这也是为什么它成为投行Anaylst必备技能之一的原因。
FactSet在投行中的使用频率是Daily basis,而且FactSet个性化的界面,强大的功能,Excel plugin 也不差。

大家都是在哪些网站找数据?-11.jpg

3.新华社-全球经济数据
http://dc.xinhua08.com/
主要介绍的是各国家宏观经济指数等。

大家都是在哪些网站找数据?-12.jpg

4.中财网
http://data.cfi.cn
信息面广,查找也很方便。

大家都是在哪些网站找数据?-13.jpg
5.世界银行
各个国家的数据都在上面,不只有经济,还有人口、入学率等等数据。它的优点在于,数据采集时间长,数据样本量大,可以看到一个可信度较高的随时间变化的趋势。

大家都是在哪些网站找数据?-14.jpg
四、互联网类

1、CNNIC中国互联网络信息中心
https://www.cnnic.net.cn/hlwfzyj/hlwxzbg/
里面发布很多和互联网使用相关的信息,像网民总数、上网方式、网络应用、城镇农村上网状态等。

大家都是在哪些网站找数据?-15.jpg
2.SimilarWeb
https://www.similarweb.com/
拥有各国各大网站的信息数据,全面性与可靠性都很好,唯一的缺点就是收费.....

大家都是在哪些网站找数据?-16.jpg

大家都是在哪些网站找数据?-17.jpg
3、NET MARKETSHARE
也可以看到主流的互联网软件市场份额数据。上面是折线图,下面有数据。

大家都是在哪些网站找数据?-18.jpg

大家都是在哪些网站找数据?-19.jpg
4.Statcounter
http://gs.statcounter.com/social-media-stats
可以看到各浏览器、软件以及APP等的市场份额数据,可以按照区域、平台划分,也可以相互对比,关键是免费!


大家都是在哪些网站找数据?-20.jpg
五、电商类

1、阿里研究院——阿里价格指数
http://topic.aliresearch.com
以大类划分数据,数据不多,配有数据解读。

大家都是在哪些网站找数据?-21.jpg

大家都是在哪些网站找数据?-22.jpg
但这个网站中还有一些相对详细一些的价格报告,虽然没有直接把数据列出来,但图表中也有一些数据可以供参考。
六、传媒类

1、BOM票房数据
https://www.boxofficemojo.com/alltime/
很强大!不解释
(只要留心,还会发现好资源,你懂得)

大家都是在哪些网站找数据?-23.jpg
2、CBO中国票房
http://www.cbooo.cn/
数据也非常全了,不仅有票房榜,还有排片统计、购票指数等等。

大家都是在哪些网站找数据?-24.jpg
3.收视率排行
http://www.tvtv.hk/archives/category/tv
有日、周、月、年的25名的收视率以及市场份额数据。

大家都是在哪些网站找数据?-25.jpg
七、移动应用类

1、艾瑞数据
http://index.iresearch.com.cn/app
该网站免费公开的部分可以提供一些简单的APP使用数据以及人群、区域等分析。

大家都是在哪些网站找数据?-26.jpg

大家都是在哪些网站找数据?-27.jpg
2、Talking Data
它是一个监测平台,可以查询APP的相对活跃度、用户覆盖程度等,信息和数据很全面细致,而且可以直接帮你分析好!
但如果想要get详细信息,收费…..

大家都是在哪些网站找数据?-28.jpg

大家都是在哪些网站找数据?-29.jpg
3、七麦数据
它是针对苹果应用进行搜索关键词优化的服务网站。主要是看排行榜,但数据真的不多,如果需要什么数据需要自己搜集整合。
如,搜索WPS office的情况:

大家都是在哪些网站找数据?-30.jpg
4.新榜
https://www.newrank.cn/
这个不用解释了吧,新媒体数据的经典来源之处,除了部分需要收费外,其他都没得挑。

大家都是在哪些网站找数据?-31.jpg

大家都是在哪些网站找数据?-32.jpg
八、交通出行类:


  • 高德地图中国路况
https://report.amap.com/detail.do?city=110000
这款免费版的网站,有中国100个交通发达城市,可以查询区域/商圈拥堵排名、道路状况数据以及季度指数等,有交通报告、交通热力图等等,信息覆盖面较全。

大家都是在哪些网站找数据?-33.jpg

大家都是在哪些网站找数据?-34.jpg
2.北京交通发展研究所
http://www.bjtrc.org.cn/PageLayout/IndexReleased/Realtime.aspx?menuid=li1
实时路况的数据很全,而且还有历年交通运行报告,里面不仅有机动车数量数据、出行方式数据,还有年均/日均车辆量、客运量等等。

大家都是在哪些网站找数据?-35.jpg

但是,如果不能直接获得数据,那这个时候就要自己去爬第一手数据出来,更多时候我也是用Python爬
爬取数据
在数据获取领域中,最为被广泛使用的就是python语言,俗称爬虫。
通过爬虫加正则这种自动化的工具,能够耗很少的人工就可以将数据和信息采集并结构化,后续通过更多的分析工具完成许多有商业价值的分析并获取所谓的insight(将信息转化为知识和洞察)。
推荐使用网站:http://regex101.com
具体做法可以看我另一篇回答,不在这里详说了:
零基础如何学爬虫技术?有了数据之后,就是到分析的模块了。
数据分析,思维、方法、工具都是同等重要的,思维和方法我这里就不提了,我的很多文章里都有,而且这些东西三言两语说不清,需要工作中的锻炼。
这里提一下简单的数据分析工具,一句话总结:数据分析工具,可爱者甚番。分析师独爱R,自Python以来,世人盛爱matplotlib。余独爱FineBI之出分析而不拖沓,做可视化还算酷炫"。

大家都是在哪些网站找数据?-36.jpg
有时候,新的东西出现的意义,就是去打破常规并且为人所接受,FineBI和Excel的对比,总是被人津津乐道,我这里也做了详细的分析,你们自己看吧。
李启方:这可能是今年最值得推荐的数据分析工具最后,再给各位送上一个干货!
李启方:数据分析师必备技能培养:如何写好一份数据分析报告?
发表于 2021-12-3 13:04:12 | 显示全部楼层
这个问题可是问对人啦!资深数据民工小镝把手里的150+数据网站分为以下四种分享给大家,如果有用的话,欢迎点赞小镝哦!
一、 数据搜索引擎

这类网站通常集合全行业或垂直领域的大量数据,可以通过精准或模糊搜索查找到十分精确的数据,下载结构化的数据表,适合对数据需求非常精准的人。
https://xg.zhihu.com/plugin/f284429cd9659ccc752580c2da2caf2b?BIZ=ECOMMERCEStatista https://www.statista.com/ 全球范围内的数据检索,宏观微观都有,部分收费
镝数聚 https://www.dydata.io/ 6000+数据机构,12大领域,100+行业数据,绝大部分免费,每日更新全行业报告,结构性好,既可下载原始数据,也可查看可视化效果(这个就是超厉害的小镝本镝,坚持到文末,有福利哦!)
CEIC https://www.ceicdata.com/zh-hans 主要是宏观数据,部分收费
Our World in Data https://ourworldindata.org/charts 民间组织办的网站,免费,多是一些人口统计数据
中国报告大厅 http://www.chinabgao.com/stat 主要是文本+图表形式的宏观数据,结构化稍差
京东万象 https://wx.jdcloud.com/market/api/10809 只要给钱,什么都能查
年鉴汪 https://www.nianjianwang.com/ 专门查询我国年鉴数据
二、 宏观数据平台

这类平台汇集了全国/全球的宏观统计数据,来源通常是各国统计部门或大型组织,权威性高,但数据量十分庞大,最好做好前期工作再来查找~
1.政府

中国
国家统计局https://data.stats.gov.cn/index.htm 不愧是国字号,谁用谁知道
中国统计年鉴 http://www.stats.gov.cn/tjsj./ndsj/
各省统计年鉴 http://www.cnstats.org/tjnj/
各地统计公报 http://www.cnstats.org/tjgb/
各地经济普查公报 http://www.cnstats.org/jjpc/
人口普查公报 http://www.cnstats.org/rkpc/
农业普查公报 http://www.cnstats.org/nypc/
生态环境部 http://www.mee.gov.cn/
国家气象科学数据中心 http://data.cma.cn/
财政部 http://www.mof.gov.cn/gkml/
证券监督管理委员会 http://www.csrc.gov.cn/pub/newsite/sjtj/
医疗保障局 http://www.nhsa.gov.cn/col/col7/index.html
卫生健康委员会 http://www.nhc.gov.cn/wjw/yueb/list.shtml
人力资源和社会保障部 http://www.mohrss.gov.cn/SYrlzyhshbzb/zwgk/szrs/
中国人民银行 http://www.pbc.gov.cn/diaochatongjisi/116219/index.html
商务部 http://www.mofcom.gov.cn/article/tongjiziliao/?1265212605=3357678634
海关总署 http://www.customs.gov.cn/customs/302249/302274/302277/index.html
民用航空局 http://www.caac.gov.cn/XXGK/XXGK/index_172.html?fl=11
中国互联网络信息中心 http://www.cnnic.net.cn/hlwfzyj/hlwxzbg/hlwtjbg/
国家各部门数据合集 https://data.stats.gov.cn/staticreq.htm
美国
美国政府公开数据 https://www.data.gov/
国家卫生统计中心 https://www.cdc.gov/nchs/index.htm
国家农业统计局 https://www.nass.usda.gov/Data_and_Statistics/index.php
国家教育统计中心 https://nces.ed.gov/
国家司法统计局 https://www.bjs.gov/index.cfm?ty=dca
商务部 https://www.commerce.gov/data-and-reports
能源部 https://www.energy.gov/
食品药物管理局 https://www.fda.gov/industry/fda-basics-industry/search-databases
交通运输部 https://www.bts.gov/
财政部 https://home.treasury.gov/
美联储 https://fred.stlouisfed.org/
英国 英国政府公开数据 https://data.gov.uk/
法国 法国政府公开数据 https://www.data.gouv.fr/en/
俄罗斯 俄罗斯统计局 https://rosstat.gov.ru/
澳大利亚 澳大利亚统计局 https://www.abs.gov.au/
日本 总务省统计局 http://www.stat.go.jp/
韩国 韩国统计局 http://kostat.go.kr/portal/eng/index.action
德国 联邦统计局 https://www.destatis.de/EN/Home/_node.html
各国统计网站合集
http://www.stats.gov.cn/tjgz/wzlj/gwtjw/201311/t20131104_452221.html 如果需要本答案未列举的国家的数据可以戳进来找
2.国际组织

联合国
各国/各地区概况 http://data.un.org/
在线统计月报 https://unstats.un.org/unsd/mbs/app/DataSearchTable.aspx
世界银行公开数据 https://data.worldbank.org.cn/ 这个数据库非常大,差点以为是独立组织
世界贸易组织 https://www.wto.org/english/res_e/statis_e/statis_e.htm
商品贸易数据 https://comtrade.un.org/
货币基金组织 https://www.imf.org/en/Data#data
人口司 https://www.un.org/development/desa/pd/
人口与社会统计 https://unstats.un.org/unsd/demographic-social/products/
国际劳工组织 https://www.ilo.org/global/statistics-and-databases/lang--en/index.htm
人口基金会 https://www.unfpa.org/data
儿童基金会 https://www.unicef.org/research-and-reports
教科文组织 https://zh.unesco.org/
环境统计 https://unstats.un.org/unsd/envstats/index.cshtml
粮农组织 http://www.fao.org/statistics/zh/
农业发展基金会 https://www.ifad.org/en/
世界卫生组织 https://www.who.int/data
工业发展组织 https://stat.unido.org/?_ga=2.236415622.602436858.1613809728-1125194789.1613809728
国际原子能机构 https://www.iaea.org/
国际民航组织 https://www.icao.int/Pages/default.aspx
开发计划署 https://www.undp.org/content/undp/en/home/
可持续发展目标 https://unstats.un.org/sdgs/indicators/database/
千年发展目标 http://mdgs.un.org/unsd/mdg/Home.aspx “千年发展目标”和“可持续发展目标”是联合国提出的消除贫困、实现平等等目标的中长期计划,收录的数据也与之相关。如果需要早年的数据可以进入千年发展目标网站,需要近十年数据的可以进入可持续发展目标网站。顺便,我国消除绝对贫困的壮举也提前实现了可持续发展目标的要求。
联合国数据库目录 https://www.un.org/zh/databases/ 更像是个搜索引擎
联合国内部各组织链接合集 https://www.unicef.org/chinese/27618.html 联合国有非常庞大的组织架构,如果以上列到的平台没有你需要的,可以戳进来看看其余组织是否有可能发布你需要的数据。
亚太经合组织 http://www.oecdchina.org/statistics/index.html
石油输出国组织 https://www.opec.org/opec_web/en/data_graphs/40.htm
国际结算银行 https://www.bis.org/
欧洲数据门户 https://www.europeandataportal.eu/en
欧盟统计局 https://ec.europa.eu/eurostat/web/main/data/database
亚洲发展银行 https://www.adb.org/what-we-do/data/main
欧洲中央银行 https://www.ecb.europa.eu/stats/html/index.en.html
非洲发展银行 https://www.afdb.org/en
三、 综合型数据平台

这些网站的关注领域相对中观,多由专业的咨询公司等提供,许多是抽样调查数据,但关心的领域既广又深,适合用于撰写行业调查等。
1.咨询机构

没有独立全面的数据页面,但其中包含的数据都相对权威一些。
德勤 https://www2.deloitte.com/cn/zh.html
普华永道 https://www.pwccn.com/zh.html
埃森哲 https://www.accenture.cn/cn-zh
麦肯锡 https://www.mckinsey.com.cn/insights/
毕马威 https://home.kpmg/cn/zh/home/insights.html
贝恩 https://www.bain.cn/new_list.php
尼尔森 https://www.nielsen.com/us/en/insights/
益普索 https://www.ipsos.com/zh-cn
2.数据服务商

是专门做数据调查、发布数据报告的平台,关注领域各有侧重,不过数据大多以图表的形式呈现,源数据不太好找。
中研网 https://www.chinairn.com/data/
头豹 https://www.leadleo.com/
艾瑞 https://report.iresearch.cn/
Mob研究院 https://www.mob.com/mobdata/report
前瞻产业研究院 https://bg.qianzhan.com/
艾媒 https://www.iimedia.cn/c400
36氪 https://36kr.com/academe
企鹅智酷 https://data.qq.com/reports
极光大数据 https://www.jiguang.cn/reports
移动观象台 http://mi.talkingdata.com/reports.html?category=all
亿欧 https://www.iyiou.com/
阿里数据 https://dt.alibaba.com/summit.htm?spm=a1zar.8197709.0.0.686374101Hfk3e
Quest Mobile https://www.questmobile.com.cn/research/report-new
鲸准 https://www.jingdata.com/report
易观 https://qianfan.analysys.cn/refine/view/analyseList/analyseList.html
参照系 https://www.canzhaoxi.com.cn/
个推大数据 https://getui.com/college
3.大数据平台

阿里云天池 https://tianchi.aliyun.com/dataset/
清博大数据 http://www.gsdata.cn/
AWS https://registry.opendata.aws/
农业大数据情报服务平台 http://www.cabdata.cn/
各行业数据平台合集 http://hao.199it.com/
4.指数网站

Google Trends https://trends.google.com/trends/?geo=US
百度指数 http://index.baidu.com/v2/index.html#/
微信指数 微信中搜索“微信指数”小程序
微博指数 https://data.weibo.com/index
5.券商报告

券商报告更侧重于分析,数据也是以图表的形式呈现。
前沿报告库 https://wk.askci.com/ListTable/?typeId=7
金融界 http://istock.jrj.com.cn/
慧博投研资讯 http://www.hibor.com.cn/
正点财经 http://www.zdcj.net/report.html
四、 行业细分数据平台

这些平台集中于某一特定行业,挖掘更加专业和微观的数据,提供更为详细的分析。
1.金融财经

第一财经研究院 http://www.cbnri.org/publication/qijianbaogao/
东方财富网 http://data.eastmoney.com/center/
同花顺 http://data.10jqka.com.cn/
网易财经 http://quotes.money.163.com/data/caibao/yjyg_00.html?
Finviz https://finviz.com/
动脉橙 https://vbdata.cn/eventList
投中研究院 https://www.chinaventure.com.cn/report/list.html
企查查 https://www.qcc.com/
天眼查 https://www.tianyancha.com/
披露易 https://www.hkexnews.hk/index_c.htm
苏宁金融研究院 http://sif.suning.com/article/list/201/1
2.汽车

中国汽车工业协会 http://auto-stats.org.cn/
易车 https://www.yiche.com/zhuanti/zhishu/zshz/
达示数据 http://www.daas-auto.com/supermarket_data_De.html
3.互联网

中国互联网协会 https://www.isc.org.cn/zxzx/sjbg/
阿里研究院 http://www.aliresearch.com/cn/presentation
360互联网安全中心 https://zt.360.cn/report/
巨量算数 https://trendinsight.oceanengine.com/index
数据观 http://www.cbdio.com/node_2782.htm
199IT http://www.199it.com/
IT桔子 https://www.itjuzi.com/
4.交通出行

高德地图 https://report.amap.com/detail.do?city=110000
高速宝 http://gslk.gaosubao.com/ditu//
百度地图 http://map.baidu.com/fwmap/zt/traffic/index.html?city
5.房地产

房天下 https://fdc.fang.com/index/
中房网 http://www.fangchan.com/data/
世联行 https://www.worldunion.com.cn/slyj/list_9.aspx
贝壳研究院 https://research.ke.com/analysis/
6.消费

中国食品工业协会 http://www.cnfia.cn/archives/category/hangyetongji
美团研究院 https://about.meituan.com/research/home
消费站 https://www.cbndata.com/report?page=11
7.影视传媒

艺恩 https://www.endata.com.cn/BoxOffice/index.html
中国电影数据网 http://www.films.cn/boxoffice
猫眼专业版 http://piaofang.maoyan.com/dashboard
勾正数据 http://www.gz-data.com/html/new.html
央视市场研究 http://www.ctrchina.cn/index.asp
8.其他

中国产业信息网 https://www.chyxx.com/data/
黑板洞察 https://www.heibandongcha.com/
Figshare https://figshare.com/
Health Data https://healthdata.gov/
UNAIDS http://aidsinfo.unaids.org/
公共卫生科学数据中心 http://www.phsciencedata.cn/Share/
中国棉纺织行业协会 http://ccta.org.cn/tjjq/
中国半导体行业协会 http://www.csia.net.cn/Index.asp
<hr/>如果有吃下小镝的安利,欢迎点赞+喜欢+收藏+关注小镝,小镝还会为大家分享更多有用又有趣的干货哟!(~ ̄▽ ̄)~
https://xg.zhihu.com/plugin/f284429cd9659ccc752580c2da2caf2b?BIZ=ECOMMERCE啊对了——看到最后的诸君的福利送来了!小镝先隆重自我介绍一下!
镝数聚:权威数据 海量聚合

镝数聚-权威数据 海量聚合l 6000+数据机构, 12大领域,100+行业数据
镝数聚的首页有全面又详细的数据分类板块,共分为12个领域,每个领域下又有更加细分的行业。如“生活娱乐”领域中包含有“两性”“旅游”“电子游戏与竞技”等10个行业,在数量和精度上都十分可观~还有打包好的热门行业数据包,任你挑选~

大家都是在哪些网站找数据?-1.jpg
l 全球报告,每日更新,免费获取

大家都是在哪些网站找数据?-2.jpg
在数据报告版块,镝数聚每、天都在更新各行各业最新的数据报告,而且是免、费、的!白嫖数据它多香啊~(但是回答不能白嫖,求点赞!)
l 原始的数据,高端的可视化

大家都是在哪些网站找数据?-3.jpg
镝数聚不仅提供数据报告的原文,还提供50万+来自报告等各类渠道中的原始数据,可一键下载.xls格式,再也不用从图表里手动录入数据啦!
小镝为新注册用户准备了50+最新热门数据包!(以下为部分报告截图,随意感受一下,快登录玩一玩吧,喜欢不要忘记点赞哦~)

大家都是在哪些网站找数据?-4.jpg
发表于 2021-12-3 13:04:53 | 显示全部楼层
想要分析的时候,没有数据,就是巧妇难为无米之炊。以前想找一个数据需要费尽心思在网上去搜,最终还找不到自己想要的数据。通过编程爬虫数据,学习成本又太高,毕竟你的目标不是想要成为爬虫工程师,只是想要拿到数据来分析。那有没有傻瓜式的获取数据方法呢?
下面介绍4种获取数据的方法,选择一种适合你自己的方法就可以。


  • 方法一:直接获取10大行业免费数据

大家都是在哪些网站找数据?-1.jpg
1)如何选择行业?
不知道如何选择行业的,可以在下面网站里看到各个行业的分析报告:
如何选择入职行业 :https://www.zhihu.com/question/24995484/answer/516813008
艾瑞研究-艾瑞网(行业报告):http://report.iresearch.cn
Talkingdata报告(行业报告):http://mi.talkingdata.com
199IT互联网数据中心(行业报告,内容多,支持搜索):http://www.199it.com

2)10大行业免费数据汇总
【优点】直接拿来使用
【缺点】数据有限
根据你确定的行业,选择一个自己感兴趣的数据。比如你确定了电商行业,然后就找一个电商行业的数据。
在《数据分析思维》中汇聚了10多个行业的数据以及分析案例

大家都是在哪些网站找数据?-2.jpg

大家都是在哪些网站找数据?-3.jpg

《数据分析思维》12大行业案例数据

更多行业数据:
<a href="http://zhuanlan.zhihu.com/p/48413088" class="internal">10大行业公开数据集免费下载:电商零售行业
10大行业公开数据集免费下载:金融行业
10大行业公开数据集免费下载:游戏行业
10大行业公开数据集免费下载:教育行业
10大行业公开数据集免费下载:旅游行业
10大行业公开数据集免费下载:文化娱乐行业(电影,音乐等)
10大行业公开数据集免费下载:医疗行业
10大行业公开数据集免费下载:汽车及出行
10大行业公开数据集免费下载:房产行业
10大行业公开数据集免费下载:自媒体等行业


  • 方法二:从数据平台获取
1.国内中文平台:
1)阿里云天池,官网网址:https://tianchi.aliyun.com/dataset/
数据下载办法:

大家都是在哪些网站找数据?-4.jpg

大家都是在哪些网站找数据?-5.jpg

大家都是在哪些网站找数据?-6.jpg
2)DataFountain,官网地址:https://www.datafountain.cn/dataSets
有的文件下载后会显示后缀是.zip, .zip是个压缩包,下载后需要减压后才能看到压缩包里的excel文件

大家都是在哪些网站找数据?-7.jpg
2.国外英文平台
Kaggle,官网地址和如何下载数据:如何在Kaggle上查找数据


  • 方法三:傻瓜式爬虫工具(不需要编程)
【优点】在网站上爬取你感兴趣领域网站的数据,可以获取到自己想要的领域数据
【缺点】需要看官网教程来学习,有一定门槛

1)工具: 后羿,同时有mac,windows版本
网址:http://www.houyicaiji.com/
打开官网后点击下图“教程”的地方有入门教程。

大家都是在哪些网站找数据?-8.jpg
2)工具:集搜客,只有windows版本
操作指南只需要看下面红框中的内容就可以,操作指南地址:
https://www.gooseeker.com/tuto/tutorial.html

大家都是在哪些网站找数据?-9.jpg
爬取多少数据?
数据量少一般说明不了什么问题,起码的超过几万条数据。
多尝试、思维逻辑要清晰,一定要知道自己做什么,爬取什么样的数据,提前规划好了,整个过程就不会走太多的弯路。

大家都是在哪些网站找数据?-10.jpg
案例:https://zhuanlan.zhihu.com/p/39733403

欢迎留言补充更多行业数据。

上面提到3种获取数据的方法,选择一种适合你自己方法。获取数据后分析,可以使用这个里面的方法来分析:
如何分析数据?
发表于 2021-12-3 13:05:20 | 显示全部楼层
我是IT行业,所以找数据通过以下几个网站
名称                                      范围
ICTresearch  产业
艾瑞咨询  产业
工业和信息化部  产业
中国电子商务研究中心  产业
易观智库  产业
上市公司  公司
中国互联网信息中心  互联网
互联网消费调研中心  互联网
艾瑞咨询产品  互联网
WIND  金融
Gartner  全球
OECD  全球
IDC  全球
赛迪顾问  中国
国家统计局-国家数据
国家统计局  中国
国家知识产权局  中国
百度文库  综合
维基百科  综合
天极网  综合
网易财经
发表于 2021-12-3 13:05:41 | 显示全部楼层
本文转自简道云的知乎回答有哪些「神奇」的数据获取方式?
已经将网站汇总成表格,大家可以下载查看:【简道云汇总】110+数据网站
<hr/>如果你不是会爬虫的技术流,那下面这110+网站可以解决你90%的数据需求。
首先,常见的公开数据网站在https://hao.199it.com/都可以搜索到。

大家都是在哪些网站找数据?-1.jpg
除此之外,补充上面没有的一些网站,一共110+,按需选择:
金融财经数据


  • 同花顺数据中心:提供股票债券等金融数据
  • 和讯数据:提供各种股票、基金、外汇、债券等实时数据,有付费,有免费
  • 零壹财经:大大小小的网贷数据、排行榜等
  • 金融数据网:提供每日的黄金、汇率、农产品、汽油价格的相关数据
  • 萝卜投研:提供股市、证券等数据,多以数据研究报告形式展示
  • 金融界:提供股市、融资等各种资金流向数据,以及丰富的财报和研报
  • 东方财富网:提供多国的股票、财税、行业、消费等大量丰富的经济数据
  • 吉林金融网:提供吉林的融资、市场数据
  • 搜狐证券:提供货币、外汇、行业、市场等宏观数据
  • CCER经济金融数据库:提供企业财务年度数据、股票收益数据等数据库下载
  • 香港金融管理局:提供香港的各种经济及金融数据,以宏观数据为主
  • 世纪未来:数据服务平台,提供银行业务研究、金融大数据等各种付费数据
  • 新浪财经:提供国内国民经济、行业信息、对外经贸、居民收入等各种宏观的经济数据
  • 司尔亚司数据信息有限公司:覆盖超过195+个国家的经济数据库,数据全面但收费
  • INSEE数据:法国统计与经济研究院公开数据
  • 投中研究院:提供投资领域的分析报告,网站更新频率较高
互联网数据

营销查询:

  • 5118 / chinaz:支持查询网站排名及发展趋势、百度收录情况等信息
  • 百度指数:百度旗下/以百度网民行为数据为基础的数据分享平台,支持查询需求图谱
  • 微信指数:微信旗下/基于微信大数据分析的移动端指数,打开微信→搜索“微信指数”可用
  • 移动观象台:基于移动设备用户的操作行为,提供应用、公众号排行等,以及大量数据报告
  • 新榜/微小宝/易赞:几款工具比较类似,支持查看公众号排行、看公众号人群画像等功能
  • 阿里指数:阿里旗下/反映淘宝平台市场动向的数据分析平台
报告分析:

  • 易观智库:199IT导航的母网站,权威的互联网数据平台,涵盖战略新兴产业、电商互联网、共享经济、社交营销、移动互联网以及其他互联网服务的数据及分析报告
  • 艾瑞网:高频率更新互联网前沿的新闻资讯、分析报告,旗下包括艾瑞指数、艾瑞咨询等
  • 艾媒网:艾媒与艾瑞无关,艾媒网发布的研究报告多偏向移动互联网方向
  • CBNDdata:以阿里巴巴的商业数据库为基础,输出产业经济分析报告
  • QuestMobile:周期性地发布一些关于APP的研究报告
  • 阿里研究院:阿里旗下/发布研究电商等方向趋势的数据报告,内容多与阿里相关
  • 360研究报告:360旗下/移动、PC、网站、企业、诈骗等安全领域的研究,以及大数据等非安全领域的研究
  • 中国互联网信息研究中心:经国家主管部门批准组建的管理和服务机构,经常发布一些有价值的互联网信息报告
  • 中国信通院:针对互联网多个行业的发展趋势,发布白皮书,角度较为宏观
  • 中国互联网数据平台:提供全国各地区互联网发展报告、基础数据及研究分析报告,数据及报告偏向学术性研究
  • 清博大数据:提供微信、微博、头条榜单数据,各种研究报告、数据报告、舆情报告及行业热点
  • 数据观:丰富的前沿行业资讯,及部分研究报告下载
  • 腾讯大数据:数据服务平台,提供调查研究、移动互联网及特色数据报告,质量较高
  • 大数据世界:提供大数据相关资讯、应用案例、技术方案及资料下载
地理数据

水土气候数据:

  • 水土保持生态建设网http://www.swcc.org.cn/
  • 黄河风情http://www.yellowriver.org/
  • 黄河流域数据中心http://henu.geodata.cn/index.jsp
  • 黄土高原水土保护数据库http://www.loess.csdb.cn/
  • 数字黑河http://heihe.westgis.ac.cn/Default.aspx?tabid=106
  • 大气科学数据库http://data.iap.ac.cn/
  • 中国气象科学数据http://cdc.cma.gov.cn/
  • 中国气象科学数据共享服务网http://cdc.cma.gov.cn/
  • 全球森林土地覆盖动态http://www.fao.org/gtos/gofc-gold/
  • FRA 2000http://edcsns17.cr.usgs.gov/glcc/fao/index.html全球森林资源
  • NOAAhttp://www.noaa.gov/美国国家海洋和大气管理局
  • NCDC http://lwf.ncdc.noaa.gov/oa/ncdc.html美国国家气候数据中心
  • 国际水管理研究所http://www.iwmidsp.org/iwmi/info/main.asp
  • 气候研究所http://www.cru.uea.ac.uk/
  • 植被覆盖数据http://www.vgt.vito.be/
环境数据:

  • 黄土区农业与生态环境数据分中心http://loess.geodata.cn/
  • 东北黑土农业生态数据库http://www.blackland.csdb.cn/default.asp
  • 中国西部环境与生态科学数据中心http://westdc.westgis.ac.cn/
  • 西部数据中心http://westdc.westgis.ac.cn/data
  • 黄土高原区域数据共享运行服务中心http://loess.geodata.cn/Portal/?isCookieChecked=true
遥感数据:

  • 地面站RS地图查询http://cs.rsgs.ac.cn/cs_cn/query/query_map.asp
  • 甘肃省基础地理信息中心http://www.cehuiju.gansu.gov.cn/5chcg/giscenter.asp
  • 遥感数据网络资源http://ecology.bnu.edu.cn/gejp/student/zhj/webresource.htm
  • 中国遥感数据网http://ids.ceode.ac.cn/
  • GLCF http://glcf.geodata.cn/etm/Welcome.do
  • GIS FORUM http://www.gisforum.net/全球最大的GIS中文门户网站
  • 遥感数据共享http://ids.ceode.ac.cn/
其他自然人文数据:

  • 地理国情监测云平台 http://www.dsac.cn/
  • 中国资源卫星应用中心 http://www.cresda.com/cn/profile.htm
  • 中国自然资源数据库 http://www.data.ac.cn/index.asp
  • 中国科学院资源环境科学数据中心 http://www.resdc.cn/resdc/first.asp
  • 中国地球系统科学数据共享网 http://www.geodata.cn:8086/Metadata/index.jsp
  • 国家地球系统科学数据共享服务平台 http://www.geodata.cn/
  • PM25.in | PM2.5(细颗粒物)及空气质量指数(AQI)实时查询!:中国空气质量监测实时数据http://pm25.in/
  • 国际科学数据服务平台 http://datamirror.csdb.cn/index.jsp
  • 原始数据搜索 https://wist.echo.nasa.gov/api
  • 中国科学院资源环境科学数据中心 http://www.resdc.cn/resdc/first.asp
  • 世界聚集人口数据 http://beta.sedac.ciesin.columbia.edu/gpw/index.jsp
  • 光谱数据分析网站 http://modis.gsfc.nasa.gov/
  • 美国航空航天局NASA http://daac.gsfc.nasa.gov/
  • 城市轨道交通http://www.ntsg.umt.edu/
  • 人地系统主题数据库http://webpanda.iis.u-tokyo.ac.jp/
影像数据:

  • USGS Earth Explorer:提供Landsat、MODIS等数据
  • ESA’s Sentinel Mission:提供Sentinel系列卫星数据,可以下载欧洲航天局所属的影像数据
  • NOAA CLASS:提供高品质大气数据集,包括美国国防部(DoD)、极地作战环境卫星(POES)、NOAA的地球静止环境卫星(GOES)以及其他派生数据
  • NASA Reverb:提供多种类数据,包括:Aqua, Terra, Aura, TRMM, Calipso, NASA DC, JASON, ENVISAT等
  • EOLi:欧洲航天局的地球观测目录和订购服务的客户,通过Java 程序下载数据,支持的数据包括:Envisat, ERS, IKONOS, DMC, ALOS, SPOT, Kompsat, Proba, IRS, SCISAT.
  • INPE:提供中巴资源卫星数据
  • Bhuvan Indian Geo-Platform of ISRO:提供印度境内的MS-1, Cartosat,,OceanSat and ResourceSat数据以及全球的NVDI数据、南亚国家的CartoDem Version -3R1数据和北印度洋的气候数据
政府数据


  • 新加坡政府公开数据:提供新加坡各类数据
  • 美国政府公开数据:提供美国全国各类数据
  • 法国政府公开数据:法国政府开放数据平台
  • 英国政府公开数据:提供英国各类数据
  • 国家数据:中国国家统计局权威数据
  • 中国统计年鉴:1999年至今中国统计年鉴,国家统计局官网,提供单页Excel文件下载
  • 中国统计信息网:全国及各级政府各年度统计公报、年鉴等,为收费数据
  • 年鉴汪:全国城市统计数据搜索引擎,浏览免费,下载收费
  • 伦敦市公开数据:提供伦敦人口、就业、环境等各类数据
  • 国土资源部:国土资源部对外公开的信息报告
其他细分行业数据


  • 中研网数据:提供医疗、房产、制造业、服务业、零售消费、车辆等全行业数据
  • 中国报告大厅:提供各行各业的基础数据、调查报告、分析报告、预测报告,种类丰富
  • CADMAPPER:世界各大城市的DXF文件,原始数据源为OSM,NASA,USGS
  • 亚马逊网络服务公共数据集:跨科学云数据平台,包含化学、生物、经济等多个领域的数据集
  • Awesome Public Datasets:Github公共数据搜集项目,自然科学、社会科学覆盖较面,包含各个细分领域的数据库资源。
  • figshare:数据分析与研究成果共享平台。
  • 英国公开数据浏览工具:James Trimble制作的英国数据可视化浏览工具集;
  • 数据法国:法国各类数据的可视化呈现;
  • DataEye:基于国内游戏、汽车行业数据,进行多角度的行业调查报告撰写发布
  • CBO中国票房:基于国内票房数据,统计票房排行、上座率等信息。
  • 易车指数:反映国内汽车销售市场,为购车者或汽车从业者提供参考的数据指数
  • 高德地图:支持实时查看国内交通情况,此外高德周期性提供一系列数据报告
  • 房天下:提供中国指数研究院和CREIS中指数据,展示国内房地产数据情况
  • 艺恩:CBO中国票房数据的提供方,提供一些行业数据报告,如动漫IP价值研究报告
发表于 2021-12-3 13:06:19 | 显示全部楼层
一般来说数据有以下几种获取方式:
1、使用爬虫或者爬虫软件采集数据 (适用于一些网站不提供数据下载,只存在网页上,这个时候可以利用爬虫进行数据采集)
2、从数据平台上直接下载数据
下面分别从这几个维度,给大家具体介绍数据如何寻找。
一、使用爬虫或者爬虫软件采集数据

获取数据首推的还是利用爬虫,所谓爬虫是什么呢,这里给大家解释一下,爬虫其实就是一套自动读取网页和解析网页的程序或工具而已。
爬虫有很多种,懂代码的技术流可以使用Fiddler抓包,然后python采集,一顿猛如虎的操作后获取到想要的微博数据。
针对小白,或者懂代码的朋友不想麻烦,只是想快速获取到自己想要的数据
利益相关,推荐使用八爪鱼进行采集
只需输入网址,一键智能识别采集数据,几分钟搞定网页数据采集。
没图没真相,以今日头条采集为例,给答主演示采集过程:
大家都是在哪些网站找数据?-1.jpg
今日头条新闻一键智能采集
https://www.zhihu.com/video/1247172927281795072
具体详细使用教程:自定义配置采集数据(含智能识别)
如果您对用八爪鱼采集网页数据有兴趣,可以用电脑下载客户端试试。
下载地址:
免费下载 - 八爪鱼采集器
二、一些常用数据获取平台推荐

城市交通
1、高德交通。提供全国100个城市的交通实时数据,提供非常酷炫、直观的数据可视化呈现,并定期提供专题分析报告与研究。
2、北京城市实验室。由龙瀛博士首创致力于定量城市研究的学术网络,提供微观视角下的中国城市空间量化研究。
3、北京大学轨迹可视化。由北京大学可视化与可视分析研究组创建,通过位置采样记录物体的移动,进行城市交通密度绘制、拥堵分析以及不同交通模式的关联分析、移动行为以及语意分析等工作,在城市交通GPS轨迹数据,减少交通事故和拥堵等领域发挥作用。
4、城市CAD地图数据。提供全球200+城市精美的绘图文件,帮助城市规划设计人员节省大量制图绘图的时间。要求有AutoCAD、SketchUp 8+、Illustrator、Rhinoceros 5+软件。
5、深圳市道路交通运行指数。深圳交通运输局旗下网站,是对深圳路网交通总体运行状况进行定量化评估的综合性指标,与传统的车速、流量等参数相比,具有直观、简单的特点,让人们更能清楚地了解堵到何种程度。
社会经济
1、国家统计局。国家权威数据发布平台。提供所有国民经济、社会、民生数据,同时发布最新的统计政策、会议、统计标准等信息。
2、国家数据。国家统计局子网站。你想了解的中国所有权威数据几乎都能在上面找到,涵盖工业、能源、价格、投资、地产、消费、交通运输、采购、财政、金融等等数据,提供月度、季度、年鉴等多各维度数据,并包含数据可视化的图表走势对比分析。
3、世界银行公开数据。世界银行公开数据上罗列7000多个指标,包括贫困与不平等、人口、环境、经济、国家与市场等数据。用户可以免费使用和分享数据,还可以按照国家、指标、专题和数据目录浏览并下载数据,并供支持EXCEL、CSV、API、ACCESS等不同导出形式。
4、前瞻数据库。前瞻数据库拥有16年的细分产业大数据积累,提供中国宏观、区域宏观、全球宏观、行业经济、进出口、上市公司等数据。
5、中经网统计数据库。《中经网统计数据库》是由国家信息中心中经网凭借与国家发改委、国家统计局、海关总署、各行业主管部门以及其他政府部门经过长期数据积累的经济统计数据库群。内容涵盖宏观经济、行业经济、区域经济以及世界经济等各个领域。
6、中经网产业数据库。中经网数据中心是国家信息中心中经网组建的专业从事经济数据资源开发和服务的机构,网站提供24个产业数据以及经济综合数据。
7、一带一路统计数据库。一代一路统计数据库设置了沿线各国和地区的特色经济统计数据,涵盖经济、农业、工业、环境、资源、贸易、投资等十几个领域。

股票金融
1、新浪财经。新浪财经是一家创建于1999年8月的财经平台,提供全球财经实时数据,内容专业且丰富。
2、东方财富。东方财富网2004年3月上线,网站内容涉及财经、股票、基金、期货、债券、外汇、银行、保险等诸多金融资讯与财经信息,全面覆盖财经领域,每日更新上万条最新数据及资讯,为用户提供便利的查询。
3、中财网数据引擎。非常强大齐全的金融数据引擎,免费提供股票、基金、债券、外汇、理财等行情数据以及其他资料。
投融资
1、IT桔子。IT桔子是关注IT互联网行业的结构化的公司数据库和商业信息服务提供商,提供风险投资、收购、竞争情报、细分行业信息、国外公司产品信息数据服务等。
2、投资界。投资界是清科集团旗下提供行业丰富数据及深入分析的专业化网站,提供投融资方面比较详细的数据。
互联网金融
1、网贷之家。网贷之家是第三方网贷资讯平台,于2011年10月上线。上面披露各P2P平台最新交易数据、转型及停业、问题平台、网贷行业等数据。
2、网贷天眼。国内网贷行业较为权威的第三方机构,同样披露各P2P平台最新数据、行业数据、停业及问题平台、研究报告、行业政策等信息数据。  
生态环境
1、国家生态环境部数据中心。国家生态环境部旗下提供的数据服务,包括环境质量、生态环境、污染源、环境管理业务等10大类数据信息。同时,还提供专题数据、数据分析、以及API接口等服务。
2、PM2.5in。PM25.in是为大家提供空气质量监测数据的网站,数据采自于国家环境保护部,上面有全国各大城市的空气质量数据。
3、环境云。环境云是一个综合环境数据服务的平台,收录专业数据源(国家环保部数据中心、美国全球地震信息中心等)所发布的各类环境数据,接收其自主布建的各类环境监控传感器网络(包括空气质量指标,土壤环境质量指标检测网络)所采集的数据,结合相关数据预测模型生成的预报数据。  
体育
1、体育大数据SportsDT。SportsDT 以体育大数据为入口,提供比分数据、指数数据、比赛数据、分析数据等数据。
2、stat-nba。号称全专业最全的NBA中文数据库。   
文化娱乐
1、中国票房网。中国票房网收录了国内所有上映电影的票房实时数据,提供单日、单周、周末、单月、年度、中美对比、城市排片、电影资源库等丰富数据。
2、猫眼电影数据。猫眼专业版提供全国各大电影的票房实时数据,包括票房占比、排片场次、排片占比、场均人次、上座率等动态实时数据。  
自媒体
1、清博大数据。清博指数(前称新媒体指数)、提供各类新媒体数据、榜单、分析报告、舆情监测、品牌推广、精准营销等服务。
2、新浪舆情通。舆情通以中文互联网大数据及新浪微博的独家官方数据为基础,7*24小时不间断采集新闻、报刊、政务、外媒、微博、微信、博客、论坛、视频、网站、客户端等全网11大信息来源,每天采集超过9000万条数据。   
论文期刊
1、知网。知网始建于1999年6月,提供中国知识资源总、数字出版物、文献评价数据、知识检索。据了解,中国知网文献总量达2.8亿篇,中外学术期刊品种达58000余种。
2、国家哲学社会科学学术期刊数据库。国家期刊库收录精品学术期刊1000多种,论文超过485万篇以及超过101万位学者、2.1万家研究机构相关信息。  
指数
1、百度指数。百度指数是以百度海量网民行为数据为基础的数据分析平台,主要功能模块有:基于单个词的趋势研究(包含整体趋势、PC趋势还有移动趋势)、需求图谱、舆情管家、人群画像;基于行业的整体趋势、地域分布、人群属性、搜索时间特征。
2、爱奇艺指数。爱奇艺指数是由爱奇艺基于平台上收录的视频提供的视频数据分析工具。用户可以选择你想了解的视频或节目名字,平台输出包括热度趋势、视频看点、舆情分析、受众画像等维度的数据分析。用户还可以添加多个节目进行对比,哪个节目热度高、哪个明星带的流量多、用户都在讨论什么等数据一目了然。
3、阿里指数。阿里指数是了解电子商务平台市场动向的数据分析平台,2012年11月26日上线。根据阿里巴巴网站每日运营的基本数据包括每天网站浏览量、每天浏览的人次、每天新增供求产品数、新增公司数和产品数这5项指标统计计算得出。  
综合数据服务商
1、云听。云听基于八爪鱼6年的大数据资源积累以及企业服务经验,运用人工智能自然语言分析技术,为企业提供一提供全网数据收集能力、数据整合分析能力和场景化解决方案,尤其在客户体验管理CEM领域,拥有OPPO、VIVO、科沃斯等知名零售品牌大客户,在电商数据及舆情方面拥有丰富的经验。
2、国泰安。国泰安是国内从事金融、经济信息精准数据库设计开发的专业高科技公司,为1000多个高校和金融机构服务。
3、优易数据。优易数据汇集了以“国家自然资源和地理空间基础信息库”为基础, 9个国家部委的20余万项核心政务数据。
4、瑞思数据。锐思数据从事金融数据库和相关投资研究软件研发为高校、政府及金融机构提供精准的经济、金融数据和完备的增值服务。
5、CEIC数据。全面的经济数据库,覆盖超过200+个国家。提供中国超过33万条宏观经济、行业及区域的时间序列数据。
6、Wind金融数据。国内领先金融数据、信息和软件服务企业,数据内容涵盖股票、基金、债券、外汇、保险、期货、金融衍生品、现货交易、宏观经济、财经新闻等领域,新的信息内容及时进行更新以满足机构投资者的需求。
7、搜数。搜数网每天监测和收集处理公开媒体和各种年鉴书籍中披露的各类统计和调查数据,截止2019年04月10日,已加载到搜数网站的统计资料达到9,741本,涵盖2,280,300张统计表格和454,728,104个统计数据。
类似的还有很多数据来源,这里只列举了一部分,想要获取更多可以移看:  
八爪鱼采集器:数据源大盘点 | 你们要的数据源都在这儿了81个(收藏)
发表于 2021-12-3 13:07:01 | 显示全部楼层
作为一个数据可视化行业的从业者,手上怎么可以没有几个收集行业数据的网站!!!
我交出我珍藏多年的宝藏数据网站 给大家,如果想做抖音那种会动的数据可视化视频,数据可视化大屏都可以到这些网站里面去寻找数据资源~有点多,大概有27个网站左右,主要分为以下几大类

  • 行业数据分析报告
  • 消费行为分析报告
  • 互联网大数据分析
  • 社会调查分析报告
  • 城市交通拥堵报告
  • 金融行业分析报告
  • 娱乐行业数据报告
  • 媒体矩阵分析报告
  • 收视排名数据分析
  • 国家数据分析报告
前方内容有点长,但是基本上涵盖了你所需要的内容,你想要的都可以找到~
记得收藏!!!!
阿里研究院


大家都是在哪些网站找数据?-1.jpg
阿里研究院由电子商务、互联网金融、智能物流、云计算与大数据等构成的阿里商业生态圈,研究互联网、大数据给社会经济带来的新现象、新规则。
腾讯研究院


大家都是在哪些网站找数据?-2.jpg
腾讯研究院是腾讯公司的智库,旨在依托腾讯公司多元的产品、丰富的案例和海量的数据,围绕产业发展的焦点问题,通过开放合作的研究平台,汇集各界智慧,共同推动互联网产业健康、有序的发展。
腾讯研究院围绕互联网法律、公共政策、互联网经济、大数据等研究方向,与国内外研究机构、智库开展多元化的合作,不断推出面向互联网产业的数据和报告,为学术研究、产业发展和政策制定提供有力的研究支持。我们坚守开放、包容、前瞻的研究视野,致力于成为现代科技与社会人文交叉汇聚的研究平台。
艾媒咨询


大家都是在哪些网站找数据?-3.jpg
艾媒网-全球领先的新经济行业数据分析报告发布平台iiMedia Research(艾媒咨询)是全球知名的新经济产业第三方数据挖掘和分析机构,2007年诞生于广州,在广州、香港、北京、上海、硅谷设有运营和分析机构。艾媒咨询致力于输出有观点、有态度、有结论的研究报告,以权威第三方实力,通过艾媒大数据决策和智能分析系统,结合具有国际化视野的艾媒分析师观点,在产业数据监测、调查分析和趋势发展等方向的大数据咨询具有丰富经验。艾媒每年公开或定制发布新经济前沿报告超过2000份,覆盖了新技术、新零售、教育、生物、医疗、出行、房产、营销、文娱、传媒、金融、制造、区块链、环保与公共治理等新兴领域,通过深入数据挖掘,通过数学建模,分析推理与科学算法结合,打造有数据、有理论支撑的大数据分析成果。艾媒咨询的数据报告、分析师观点平均每天被超过100家全球主流媒体,1500家(个)自媒体、行业KOL引用,覆盖语言类型包括中、英、日、法、意、德、俄、阿等约二十种主流官方版本。
艾瑞网


大家都是在哪些网站找数据?-4.jpg
报告_艾瑞网依托大数据,发布互联网行业研究报告
艾瑞数据致力于成为数据应用技术为核心驱动力的科技型企业,本着通过数据改变认知,提升企业效能为理念,为客户提供基于情报+数据+服务的商业数据智能解决方案,涵盖消费者洞察、市场竞争监控、企业精细化运营、共享数据服务。
艾瑞智云产品服务体系,透过9亿网民线上线下行为洞察商业本质,为多个场景提供数据服务。
艾瑞睿见产品服务体系,通过多源跨屏数据洞察等自建大数据积累,汇集多家大型互联网企业数据,共同打造的互联网行业信息情报分析系统。
McKinsey&Company


大家都是在哪些网站找数据?-5.jpg
Insights - McKinsey Greater China行业洞察报告面向总裁、高级主管、部长、大公司的管理委员会,非盈利性机构及政府高层领导就他们所关注的管理问题提供咨询。
为客户特别是为企业设计、制定相配套的一体化解决方案,战略开发,经营运作,组织结构。
集中于客户可以量化的业绩改进,比如说改进销售收入、利润成本、供货时间、质量等。麦肯锡的咨询重点放在高级管理层所关心的议题上。工作内容属于战略、总体组织和相关政策领域各占1/3。但在中国,战略和组织机构设计偏重大些。
Deloitte德勒


大家都是在哪些网站找数据?-6.jpg
德勤中国 | 审计, 企业管理咨询, 财务咨询, 风险咨询, 税务服务及行业洞察关于德勤中国:各个行业的研究报告。事务所网络为中国本地和在华的跨国及高增长企业客户提供全面的审计及鉴证、管理咨询、财务咨询、风险咨询和税务服务。
普华永道


大家都是在哪些网站找数据?-7.jpg
普华永道中国各个行业的研究报告。在普华永道,我们的使命是解决重要问题以及建立社会信任。这是我们在提供专业服务及作出商业决定时的重中之重。
毕马威


大家都是在哪些网站找数据?-8.jpg
毕马威中国行业洞察报告/毕马威是一个由专业服务成员所组成的全球网络。成员所遍布全球147个国家和地区,拥有专业人员超过219,000名,提供审计、税务和咨询等专业服务。
IBM 商业价值研究院


大家都是在哪些网站找数据?-9.jpg
IBM - 中国埃森哲


大家都是在哪些网站找数据?-10.jpg
埃森哲| 中国| 应新于时智胜无常,化危为机:应对新冠病毒全球流行及疫后重建,都需要各行各业的企业领导者做出迅速且充分有效的决策,捍卫员工、顾客与合作伙伴的共同利益。欢迎深入了解我们关于现状和未来的观点和行动建议。
艺恩中国


  • 影视大数据平台,可查看到电影、电视、动漫、新媒体、娱乐营销相关的研究报告

大家都是在哪些网站找数据?-11.jpg
艺恩-文娱大数据服务商_首页艺恩是国内领先的文娱大数据服务商,以数据技术为引擎监测跨屏内容消费行为和用户画像数据; 依托行业解决方案,累计为近千家合作伙伴提供相关产品服务。
艺恩一直致力于深度链接文娱业务场景,获得了业界及社会的广泛认可。荣获“国家高新技术企业”“中关村高新技术企业”“中国大数据创新企业”及“中国大数据最佳行业实践案例”等称号。共持有独立研发的产品软件著作权和发明专利超过30项。
易观分析:联网市场分析报告浏览网址


大家都是在哪些网站找数据?-12.jpg
易观分析-数据驱动精益成长北京易观智库网络科技有限公司始终追求客户成功的经营宗旨。 自成立以来,北京易观智库网络科技有限公司打造了以海量数字用户资产及算法模型为核心的大数据产品、平台及解决方案 可以帮助企业高效管理数字用户资产和对产品进行精细化运营,通过数据驱动营销闭环, 从而实现收入增长、成本降低和效率提升,并显著规避经营风险,实现精益成长。
CBNData(第一财经商业数据中心)

产业经济全景分析和行业企业洞察

大家都是在哪些网站找数据?-13.jpg
http://www.cbndata.com/home
大家都是在哪些网站找数据?-14.jpg
36kr

汇集各个行业的研究报告

大家都是在哪些网站找数据?-15.jpg
36氪_让一部分人先看到未来TalkingData

移动观象台

大家都是在哪些网站找数据?-16.jpg

大家都是在哪些网站找数据?-17.jpg
TalkingData移动观象台-全球领先免费公开数据实时查询平台360互联网安全中心


大家都是在哪些网站找数据?-18.jpg

大家都是在哪些网站找数据?-19.jpg
360研究报告_360安全中心新浪研究报告

可获取不同机构发布的最新行业研究报告咨询(无法查看到报告的全文)

大家都是在哪些网站找数据?-20.jpg
行业研究研究报告|研究评级|机构研报_新浪财经_新浪网微博媒体排行榜


大家都是在哪些网站找数据?-21.jpg
媒体矩阵势力榜CBO中国票房


大家都是在哪些网站找数据?-22.jpg
艺恩-数据智能服务商_数据榜单农业大数据


大家都是在哪些网站找数据?-23.jpg
中国农业大数据公共服务中心国家数据

统计局的官方数据,涉及各个方面

大家都是在哪些网站找数据?-24.jpg
国家数据高德城市拥堵排名


大家都是在哪些网站找数据?-25.jpg
https://report.amap.com/diagnosis/index.do中国综合社会调查CGSS


大家都是在哪些网站找数据?-26.jpg
中国综合社会调查中国综合社会调查(Chinese General Social Survey,CGSS)始于2003年,是我国最早的全国性、综合性、连续性学术调查项目。CGSS系统、全面地收集社会、社区、家庭、个人多个层次的数据,总结社会变迁的趋势,探讨具有重大科学和现实意义的议题,推动国内科学研究的开放与共享,为国际比较研究提供数据资料,充当多学科的经济与社会数据采集平台。目前,CGSS数据已成为研究中国社会最主要的数据来源,广泛地应用于科研、教学、政府决策之中。
中国P2P网贷指数


大家都是在哪些网站找数据?-27.jpg
千顺-财经门户, 金融研究咨询,金融发展规划,金融风险防范化解,金融大数据,产业金融,金融GDP,金融科技,监管科技,区块链, 新兴金融_千顺百度数智平台


大家都是在哪些网站找数据?-28.jpg
百度数智平台--百度大数据智能力量友盟+


大家都是在哪些网站找数据?-29.jpg
友盟+,国内领先的第三方全域数据智能服务商友盟+,以“数据智能,驱动业务增长”为使命,基于卓越的技术与算法能力,结合实时更新的全域数据资源,覆盖191个行业分类、输出300+应用或行业的分析指标,通过AI赋能的一站式互联网数据产品与服务体系,帮助企业实现深度用户洞察、实时业务决策和持续业务增长。
收视率排行


大家都是在哪些网站找数据?-30.jpg
收视率排行 | 收视率查询,收视率怎么算,收视率怎么赚钱,csm50城以上就是我整理的数据分析报告的网站啦~当然有了数据还需要可视化展现对不对,以下是我整理的另一篇,国内十大数据可视化平台供你使用挑选~

this is:2020年最好用的十大数据可视化平台,你值得拥有以上~

大家都是在哪些网站找数据?-31.jpg
发表于 2021-12-3 13:07:25 | 显示全部楼层
和鲸社区(kesci.com)拥有海量各个行业的真实数据集
以下练习题与教程均来自和鲸社区,除了能下载以外,也可以直接在线挂载使用哦~
生物医疗行业相关数据集:


  • 丁香园新型冠状病毒(COVID-19)疫情时间序列数据集
2019新型冠状病毒(COVID-19/2019-nCoV)疫情状况的时间序列数据仓库,数据来源为丁香园


  • 全球新冠肺炎COVID-19数据
包含每日时间序列汇总表,包括确诊、死亡和治愈。所有数据来自每日病例报告。数据覆盖日期20/01/22-20/07/08


  • 心脏病诊断数据集
来自克利夫兰医学研究中心的心脏病患者数据,可用于建立心脏病诊断模型。


  • 美国各州各城市2019新型冠状病毒COVID19数据
美国各州各城市COVID 19数据,包括确诊人数和 死亡人数等,数据覆盖日期2020-01-21到2020-07-05


  • COVID-19 论文数据 (每日更新)
多个权威期刊上关于COVID-19的研究论文的标题、摘要等信息,并人为为部分文章打上类标签(包括流行病学、临床医学、病理学等六种)


  • MIMIC-III 数据集官方样例
MIMIC-III 数据集官方样例,数据结构与MIMIC-III 一致,包含100位病人的数据


  • 英国2019新型冠状病毒COVID-19数据
英国2019新型冠状病毒COVID-19数据,整个英国以及英国各个国家(英格兰,苏格兰,威尔士,北爱尔兰),覆盖日期2020-01-24到2020-06-23
文化娱乐相关数据集:


  • 500条「 隐秘的角落 」豆瓣短评
500条「 隐秘的角落 」豆瓣短评,数据包含用户昵称,用户个人主页,评论内容,评论时间,有用数


  • 《隐秘的角落》爱奇艺弹幕数据
  • 《乘风破浪的姐姐》选手信息数据集
数据来源于百度百科和维基百科,包括了选手们的姓名,年龄,出生年月,出生地以及图片的下载地址,职业以及初始舞台分数等信息。


  • 豆瓣电影数据集
豆瓣电影影评、影人信息等文本数据。更具本土特色!


  • 口袋妖怪数据集
这个数据集共有721个口袋妖怪,包括编号,名字,第一和第二属性,以及基本属性:HP,攻击,防御,特殊攻击,特殊防御和速度。


  • 中华古诗数据集
唐宋两朝14000名古诗人,55000首唐诗,260000首宋词,用数据分析抽丝剥茧文化内涵。


  • TED 演讲数据集
数据集包含到 2017.9.21 日,所有上传到TED网站上的演讲视频信息。喜欢看TED的朋友不能错过!


  • DOTA 2 数据集
数据集包含7.07血命之战版本后的103591场比赛数据
地理相关数据集:


  • 星巴克门店信息
该数据集囊括了截至2017/2月份全球星巴克门店的基础信息


  • 世界主要城市平均气温数据集
一个关于世界主要城市温度的数据集将有助于分析全球变暖的情况。此外,天气信息对许多数据科学任务也有帮助,如销售预测,物流等。


  • 900W条微博签到数据
近900W条微博签到数据,包含位置经纬度,城市等信息!


  • 全球每个国家和美国每个州的纬度和经度地理数据
全球每个国家和美国每个州的纬度和经度GPS坐标


  • 中国坐标数据集
中国省、市、区、县的坐标数据集


  • 太阳黑子数据
包含1944年5月-2019年12月的太阳黑子数据


  • 七类矿物鉴定图片数据集
包含七类矿物的标本图像
自然语言处理相关数据集:


  • 电影对白数据集(聊天机器人)
该数据集包含从原始电影脚本中提取的大量虚构对话集合,可用于训练LSTM网络模型。


  • 文本情感数据集
NLP是机器学习领域中的重要话题。用户可以通过本数据建立模型,训练电脑分辨文本表达的两种截然相反的情感:Positive 和 Negative。


  • 复旦大学中文文本分类语料库
中国新闻数据集有20个不同的类别,用于NLP学习


  • 今日头条新闻文本
382688条今日头条新闻文本


  • 人民日报文章数据集(1979-2010)
包含人民日报从1979年至2010年的文章文本数据


  • 川普推特数据集
汇集了川总的推特数据 ( 从当选到2018年12月30号 )


  • 2014人民日报标注语料库(PFR)
PFR有1998年1-6月以及2014年版本,本语料库是2014年的标注语料版本


  • 网易云精彩评论数据集
网易云精彩评论数据集是一个CSV文件,包括了用户Id、昵称、评论内容、点赞数。
气候相关数据集:


  • 二战天气状况数据集
1940-1945年每日天气摘要


  • 多类天气图片数据集
数据集包含60000张常见天气的图像,包括晴天,多云,下雨,下雪,薄雾和雷雨,总共6种天气图像,用于天气分类及识别研究。


  • 澳大利亚山火数据集
NASA卫星数据,来自 MODIS C6 和 VIIRS 375m


  • 1750年至今全球地表气温变化数据
全球气候变化曾被美国总统特朗普指为“中国人制造的骗局”,然而这到底是伪科学,还是客观存在?


  • 从卫星图像理解云层数据集
kaggle竞赛中数据集,cv相关,用于确定卫星图像中包含的某些云层的区域


  • 台风数据分析-高德地图/Geopanda
台风数据分析-高德地图/Geopandas


  • El Nino厄尔尼诺数据集
该数据集包含从整个赤道太平洋的一系列浮标中获取的海洋学和地面气象读数
以上例举的只是和鲸社区数据集的“冰山一角”哦,想获得更多数据集请前往和鲸社区哦:
和鲸社区 - Kesci.com
发表于 2021-12-3 13:07:47 | 显示全部楼层
我获取数据的一些来源 yulang:普工的猪肉台-如何获取数据
数据比赛

Datasets | Kaggle
数据集-阿里系唯一对外开放数据分享平台
政府类

中国2000年人口普查资料
中国2010年人口普查资料
中国经济普查年鉴―2013
知乎问答

路人甲:有哪些可以获取数据的网站?[大数据]
大家都是在哪些网站找数据?
猴子:10大行业公开数据集免费下载:电商零售行业
企研数据:数据资源丨原始数据哪里找?这些网站要用好!(建议收藏)
易观,艾瑞等第三方公司的原始数据从什么地方,或者以什么形式获取的?
去哪找数据?怎么挖掘?
数据分析和挖掘有哪些公开的数据来源?
大家都是在哪些网站找数据?
有哪些「神奇」的数据获取方式
有哪些「神奇」的数据获取方式?
发表于 2021-12-3 13:08:23 | 显示全部楼层
作为程序员,玩大数据肯定要懂爬虫的,而我也比较喜欢爬一点有的没的。

大家都是在哪些网站找数据?-1.jpg
爬虫,是一个自动提取网页的程序。是搜索引擎的重要组成部分,因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。
已经成型的爬虫有几百种,今天就来强答一波,推荐一些不同开发语言的开源爬虫软件。
Python爬虫


大家都是在哪些网站找数据?-2.jpg
1、PyRailgun
这是一个非常简单易用的抓取工具。支持抓取javascript渲染的页面的简单实用高效的python网页爬虫抓取模块

  • 授权协议: MIT
  • 开发语言: Python
  • 操作系统: 跨平台 Windows Linux OS X
  • 特点:简洁、轻量、高效的网页抓取框架
github:https://github.com/princehaku/pyrailgun#readme
2、Scrapy
Scrapy 是一套基于基于Twisted的异步处理框架,纯python实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便~

  • 授权协议: BSD
  • 开发语言: Python
  • 操作系统: 跨平台
  • 特点:基于Twisted的异步处理框架,文档齐全
github:https://github.com/scrapy/scrapy
3、QuickRecon
QuickRecon是一个简单的信息收集工具,它可以帮助你查找子域名名称、perform zone transfe、收集电子邮件地址和使用microformats寻找人际关系等。QuickRecon使用python编写,支持linux和 windows操作系统。

  • 授权协议: GPLv3
  • 开发语言: Python
  • 操作系统: Windows Linux
  • 特点:具有查找子域名名称、收集电子邮件地址并寻找人际关系等功能
Java爬虫


大家都是在哪些网站找数据?-3.jpg
4、crawlzilla
crawlzilla 是一个帮你轻松建立搜索引擎的自由软件,有了它,你就不用依靠商业公司的搜索引擎,也不用再烦恼公司內部网站资料索引的问题。
由 nutch 专案为核心,并整合更多相关套件,并卡发设计安装与管理UI,让使用者更方便上手。
crawlzilla 除了爬取基本的 html 外,还能分析网页上的文件,如( doc、pdf、ppt、ooo、rss )等多种文件格式,让你的搜索引擎不只是网页搜索引擎,而是网站的完整资料索引库。

  • 授权协议: Apache License 2
  • 开发语言: Java JavaScript SHELL
  • 操作系统: Linux
  • 特点:安装简易,拥有中文分词功能
项目主页: https://github.com/shunfa/crawlzilla
下载地址 http://sourceforge.net/projects/crawlzilla/
5、Heritrix
Heritrix 是一个由 java 开发的、开源的网络爬虫,用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性,方便用户实现自己的抓取逻辑。
Heritrix采用的是模块化的设计,各个模块由一个控制器类(CrawlController类)来协调,控制器是整体的核心。

  • 授权协议: Apache
  • 开发语言: Java
  • 操作系统: 跨平台
  • 特点:严格遵照robots文件的排除指示和META robots标签
代码托管:https://github.com/internetarchive/heritrix3
6、heyDr
heyDr是一款基于java的轻量级开源多线程垂直检索爬虫框架,遵循GNU GPL V3协议。
用户可以通过heyDr构建自己的垂直资源爬虫,用于搭建垂直搜索引擎前期的数据准备。

  • 授权协议: GPLv3
  • 开发语言: Java
  • 操作系统: 跨平台
  • 特点:轻量级开源多线程垂直检索爬虫框架
7、JSpider
JSpider是一个用Java实现的WebSpider,JSpider的执行格式如下:
jspider [URL] [ConfigName]
URL一定要加上协议名称,如:http://,否则会报错。如果省掉ConfigName,则采用默认配置。
JSpider 的行为是由配置文件具体配置的,比如采用什么插件,结果存储方式等等都在conf\[ConfigName]\目录下设置。JSpider默认的配置种类 很少,用途也不大。但是JSpider非常容易扩展,可以利用它开发强大的网页抓取与数据分析工具。要做到这些,需要对JSpider的原理有深入的了 解,然后根据自己的需求开发插件,撰写配置文件。

  • 授权协议: LGPL
  • 开发语言: Java
  • 操作系统: 跨平台
  • 特点:功能强大,容易扩展
8、MetaSeeker
这是一套完整的网页内容抓取、格式化、数据集成、存储管理和搜索解决方案。网络爬虫有多种实现方法,如果按照部署在哪里分,可以分成:

  • 服务器侧:
一般是一个多线程程序,同时下载多个目标HTML,可以用PHP, Java, Python(当前很流行)等做,可以速度做得很快,一般综合搜索引擎的爬虫这样做。但是,如果对方讨厌爬虫,很可能封掉你的IP,服务器IP又不容易 改,另外耗用的带宽也是挺贵的。建议看一下Beautiful soap。

  • 客户端:
一般实现定题爬虫,或者是聚焦爬虫,做综合搜索引擎不容易成功,而垂直搜诉或者比价服务或者推荐引擎,相对容易很多,这类爬虫不是什么页面都 取的,而是只取你关系的页面,而且只取页面上关心的内容,例如提取黄页信息,商品价格信息,还有提取竞争对手广告信息的,搜一下Spyfu,很有趣。这类 爬虫可以部署很多,而且可以很有侵略性,对方很难封锁。
MetaSeeker中的网络爬虫就属于后者。
它的免费工具包利用Mozilla平台的能力,只要是Firefox看到的东西,它都能提取。

  • 特点:网页抓取、信息提取、数据抽取工具包,操作简单
下载地址:www.gooseeker.com/cn/node/download/front
9、PyRailgun
这是一个非常简单易用的抓取工具。支持抓取javascript渲染的页面的简单实用高效的python网页爬虫抓取模块。此软件也是由国人开放。

  • 授权协议: MIT
  • 开发语言: Python
  • 操作系统: 跨平台 Windows Linux OS X
  • 特点:简洁、轻量、高效的网页抓取框架
github下载:https://github.com/princehaku/pyrailgun#readme
10、Scrapy
Scrapy 是一套基于基于Twisted的异步处理框架,纯python实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便~

  • 授权协议: BSD
  • 开发语言: Python
  • 操作系统: 跨平台
  • 特点:基于Twisted的异步处理框架,文档齐全
github源代码:https://github.com/scrapy/scrapy
11、Spiderman
Spiderman 是一个基于微内核+插件式架构的网络蜘蛛,它的目标是通过简单的方法就能将复杂的目标网页信息抓取并解析为自己所需要的业务数据。

  • 确定好你的目标网站以及目标网页
  • 打开目标页面,分析页面的HTML结构,得到你想要数据的XPath
  • 在一个xml配置文件里填写好参数,运行Spiderman


  • 授权协议: Apache
  • 开发语言: Java
  • 操作系统: 跨平台
  • 特点:灵活、扩展性强,微内核+插件式架构,通过简单的配置就可以完成数据抓取,无需编写一句代码
12、WebSPHINX
WebSPHINX是一个Java类包和Web爬虫的交互式开发环境。Web爬虫(也叫作机器人或蜘蛛)是可以自动浏览与处理Web页面的程序。WebSPHINX由两部分组成:爬虫工作平台和WebSPHINX类包。

  • 授权协议:Apache
  • 开发语言:Java
  • 特点:由爬虫工作平台和WebSPHINX类包两部分组成
C++爬虫


大家都是在哪些网站找数据?-4.jpg
13、Methabot
Methabot 是一个经过速度优化的高可配置的 WEB、FTP、本地文件系统的爬虫软件。

  • 授权协议: 未知
  • 开发语言: C/C++
  • 操作系统: Windows Linux
  • 特点:过速度优化、可抓取WEB、FTP及本地文件系统
源代码:http://www.oschina.net/code/tag/methabot
14、larbin
larbin是一种开源的网络爬虫/网络蜘蛛,由法国的年轻人 Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取,最后为搜索引擎提供广泛的数据来源。Larbin只是一个爬虫,也就 是说larbin只抓取网页,至于如何parse的事情则由用户自己完成。另外,如何存储到数据库以及建立索引的事情 larbin也不提供。一个简单的larbin的爬虫可以每天获取500万的网页。
利用larbin,我们可以轻易的获取/确定单个网站的所有链接,甚至可以镜像一个网站;也可以用它建立url 列表群,例如针对所有的网页进行 url retrive后,进行xml的联结的获取。或者是 mp3,或者定制larbin,可以作为搜索引擎的信息的来源。

  • 授权协议: GPL
  • 开发语言: C/C++
  • 操作系统: Linux
  • 特点:高性能的爬虫软件,只负责抓取不负责解析
C# 爬虫


大家都是在哪些网站找数据?-5.jpg
15、spidernet
spidernet是一个以递归树为模型的多线程web爬虫程序, 支持text/html资源的获取. 可以设定爬行深度, 最大下载字节数限制, 支持gzip解码, 支持以gbk(gb2312)和utf8编码的资源; 存储于sqlite数据文件.
源码中TODO:标记描述了未完成功能, 希望提交你的代码.

  • 授权协议: MIT
  • 开发语言: C#
  • 操作系统: Windows
  • 特点:以递归树为模型的多线程web爬虫程序,支持以GBK (gb2312)和utf8编码的资源,使用sqlite存储数据
github源代码:https://github.com/nsnail/spidernet
16、Sinawler
国内第一个针对微博数据的爬虫程序!原名“新浪微博爬虫”。
登录后,可以指定用户为起点,以该用户的关注人、粉丝为线索,延人脉关系搜集用户基本信息、微博数据、评论数据。
该应用获取的数据可作为科研、与新浪微博相关的研发等的数据支持,但请勿用于商业用途。该应用基于.NET2.0框架,需SQL SERVER作为后台数据库,并提供了针对SQL Server的数据库脚本文件。
另外,由于新浪微博API的限制,爬取的数据可能不够完整(如获取粉丝数量的限制、获取微博数量的限制等)
5.x版本已经发布! 该版本共有6个后台工作线程:爬取用户基本信息的机器人、爬取用户关系的机器人、爬取用户标签的机器人、爬取微博内容的机器人、爬取微博评论的机器人,以及调节请求频率的机器人。更高的性能!最大限度挖掘爬虫潜力! 以现在测试的结果看,已经能够满足自用。
程序特点:

  • 6个后台工作线程,最大限度挖掘爬虫性能潜力!
  • 界面上提供参数设置,灵活方便
  • 抛弃app.config配置文件,自己实现配置信息的加密存储,保护数据库帐号信息
  • 自动调整请求频率,防止超限,也避免过慢,降低效率
  • 任意对爬虫控制,可随时暂停、继续、停止爬虫
  • 良好的用户体验


  • 授权协议: GPLv3
  • 开发语言: C# .NET
  • 操作系统: Windows
17、Web Crawler
mart and Simple Web Crawler是一个Web爬虫框架。集成Lucene支持。该爬虫可以从单个链接或一个链接数组开始,提供两种遍历模式:最大迭代和最大深度。可以设置 过滤器限制爬回来的链接,默认提供三个过滤器ServerFilter、BeginningPathFilter和 RegularExpressionFilter,这三个过滤器可用AND、OR和NOT联合。在解析过程或页面加载前后都可以加监听器。介绍内容来自Open-Open

  • 开发语言: Java
  • 操作系统: 跨平台
  • 授权协议: LGPL
  • 特点:多线程,支持抓取PDF/DOC/EXCEL等文档来源
18、网络矿工
Soukey采摘网站数据采集软件是一款基于.Net平台的开源软件,也是网站数据采集软件类型中唯一一款开源软件。尽管Soukey采摘开源,但并不会影响软件功能的提供,甚至要比一些商用软件的功能还要丰富。

  • 授权协议: BSD
  • 开发语言: C# .NET
  • 操作系统: Windows
  • 特点:功能丰富,毫不逊色于商业软件
以上就是今天的分享,推荐阅读我曾经写过的一篇
GitHub 上有哪些优秀的 Java 爬虫项目?<hr/>九章算法,国内&硅谷一线工程师在线直播授课,已经帮助30000+人成功拿到心仪offer。
tips: 点赞、喜欢、转发三连是我更新的动力~ ↙↙
您需要登录后才可以回帖 登录 | 注册

本版积分规则

QQ|Archiver|手机版|小黑屋|广告网 ( 鄂ICP备20005464号-17 )

GMT+8, 2024-5-10 00:50

Powered by Discuz! X3.5

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表