研究|从数据查询看行业的发展

CYC
Dec 29, 2021

我们生活在一个被大数据围绕的圈子里,麦肯锡全球研究所将“大数据”定义为“一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合”。大量的数据需求促进了数据提供商行业的兴起。本文简单地介绍行业内各大数据提供商及其优劣势,读者可以自行参考本文所给例子,并且根据自我需求匹配到合适的提供商以便于做更好的决策。

前言:区块链行业数据有什么不一样?

和传统金融行业不一样,区块链行业绝大部分的数据是公开透明的,我们先直接示例感受:

source: https://etherscan.io/tx/0x8c9760583fd7fe28b7ceddd6af5a4d3ac59244b2426cce1b6da6ef1cffe53045

看看这笔交易,价值几亿美金的资产交易完成,每一笔清晰可查。到今天为止,传统领域无论是顶级投行还是银行,或者其他金融机构,要如此快速处理这笔交易且如此清晰透明,简直天方夜谭。这是个全球7*24小时都在生产数据的巨大网络,数据主要来源:

  • 区块链网络数据:如区块浏览器,哈希,算力,加密货币供应计划等
  • 交易市场:去中心化或中心化交易所,衍生品交易,场外交易
  • 链下数据:GitHub,节点,客户端,社区等

以上数据绝大部分是公开的,尤其是运行在区块链网络上的任何数据,少数无法做到完全透明的如中心化交易所数据,场外交易,链下数据。利用加密生态系统中金融和网络数据的用户有:矿工,交易者,交易所,开发者,对冲基金,机构,监管机构,媒体从业者等,每个人甚至机器人即是消费者也是生产者。

什么是数据提供商?

加密领域最有趣的事情之一是绝大多数数据都是公开的。例如,在比特币网络上,从时间开始(创世区块)到现在的每一笔交易都记录在比特币区块链上。这包括人与人之间、交易所之间、服务提供商和商家之间的每一次转移。从一个地址转移到另一个地址的任何价值都会一直记录在区块链上。大多数其他区块链网络也是如此:以太坊、莱特币等。数据提供商旨在处理或汇集所有这些公共数据,以更好的方式或者界面展示帮助参与者(投资者、基金、交易所、矿工等)了解加密市场。这便产生了一个独特的发展,在加密货币市场中,个人投资者和机构投资者或者其他对数据的需求巨大且不断增长,数据提供商便成为行业不可或缺的角色。

source:IOSG

我们研究整理了市场上最早出现以及发展至今常见和常用的部分主流数据提供商,并做了简单的分类处理。

source: CRYPTOYC

以加密货币市值为纵轴,以发展时间为横轴,把提供数据的项目出现时间放进去做个模拟,就会明白为什么我们可以从数据查询看行业发展。

Source: CRYPTOYC https://coinmarketcap.com/zh/charts/

我们认为随着行业的发展,可以把数据提供商的分类如下:

1.区块链浏览器:基础数据查询

2009年1月3日,比特币创世区块被挖出。这个时候的比特币小众且边缘,还只是些极客和理想主义者们所关注参与,早期对区块链数据最原始的需求就是,地址里的余额,发起交易的状态,出块高度,网络状态等,像blockchain.com,btc.com, Etherscan等这样的区块链浏览器便应运而生,而这个古典的数据浏览器也沿用至今,且成为行业数据查询的基石。比特币常用的有btc.com,以太坊则是Etherscan.com 如下图:

2.数据聚合器:进阶数据查询

随着加密货币种类和交易市场的发展,对于价格,交易量等交易类数据查询需求旺盛,人们需要查询代币的实时价格,市值,流通量,排名等以及周边数据,这些数据大多公开且免费提供,这期间所诞生的CoinMarketCap、CoinGecko便成为流量最大的数据提供商。

3.硬核玩家:细分数据看板

同一时期,我们需要关注一类数据提供商,它们大多为个人制作和维护,提供的数据非常细分且硬核。如果你不是一名比特币矿工,你甚至不会有使用需求,有些还会通过捐款的形式维持数据的更新和发展。

Woobull是行业比较久的bitcoiner,也是NVT指标(市值/每日链上数据交易量)的提出者,他的个人网站收录了比特币相关的几乎所有指标。

source: http://charts.woobull.com/

CoinDance是非常有趣的数据提供商,只做比特币,以及比特币分叉币的区块链数据,许多个人和大公司成为他们的支持者,我们看看他们官网的愿景和使命,就能想象这个团队的伟大。

source:https://coin.dance/

以下网站非常推荐你去探索,在这里就不过多阐述。

4.专业机构:数据提供商

其中专门为机构客户(传统基金、加密基金、家族办公室,政府等)提供服务的数据和分析公司如雨后春笋般的成长起来,他们各自有各自的优势和特色,多采用付费订阅的模式,甚至定制化服务以满足机构的需求。

这里我们选取部分加以说明:

Chainalysis向60多个国家的政府机构,交易所,金融机构及保险和网络安全公司提供数据,软件,服务和研究。该公司的数据平台为调查,合规和风险管理工具提供动力,这些工具已用于解决世界上一些最引人注目的网络刑事案件。这是行业里较早的专业机构,我们能看到他们服务的客户有许多政府单位。他们的报告视角也会更加宏观和独特,比如去年发布的《2020年加密货币地理报告》《加密犯罪报告:洗钱,暗网市场,骗局等》今年二月份出的《2021年密码犯罪报告》等都值得研读。

IntoTheBlock是一家数据科学公司,应用人工智能为加密市场提供可操作的智能数据服务。服务对象主要为个人投资者,交易所,机构投资者。覆盖500多个加密资产的链上数据,以及交易市场数据和市场情绪,甚至使用人工智能驱动的定向价格预测。

以上的机构大部分也会发布研究报告,大多数报告质量上乘,像Skew除了提供整个加密市场的交易数据跟踪分析,包括主流资产期权期货,还会和传统金融,其他大类资产做对比及相关性分析。更加有利于传统金融从业者进入加密市场。Glassnode的链上数据分析深且全,是众多机构用户选择对象。Tokenterminal提出一种新的财务模型,从传统金融延伸而来,值得思考与借鉴。

5.开发者的思潮:开放数据查询

随着行业的发展,开发者们对于数据有许多新的思考!

Dapp Review是行业里早期领先的基于区块链去中心化应用(Dapps)的信息和分析平台,吸引着大批的开发者前来淘金,这个聚合了行业里几乎所有的应用,如去中心化金融,游戏,艺术品等,用户可以查询任何自己喜欢的Dapp的相关信息,活跃用户,交易金额等。

Dapp Radar和Dapp Review一样,都是专注于追踪,分析和发现分布式应用的聚合器,同样覆盖NFT,DiFi,游戏,交易所等领域。类似这样的工具有很多,大多从18年开始出现,有的甚至还发行平台代币,需要使用代币才能看到更多的数据,大部分则采用订阅模式,还有的免费提供但是有广告插入,这里就不详细阐述。

接下来我们重点探索一些最有趣的数据提供商,将带来全新的视野。

Dune Analytics 是一个由其用户参与且共享的协作项目。所有参与的分析师的综合知识将使用户以最快的方式获得结果。实时地查询和实际操作可以让用户更加直观地参与内容并更快地学习。作为一个强有力的区块链分析平台,它可以用来查询,提取,并将海量的以太坊数据进行可视化。它是一个基于 web 的平台,通过使用简单的 SQL 查询,从预填充的数据库查询 Ethereum 数据(避免了每个脚本单独遍历数据,冗余交易)。不必再写一个专门的脚本,用户可以简单地查询数据库,提取区块链上面的几乎任何信息。如下图:

source: IOSG

它解决的问题非常酷:原来高质量的数据分析见解仅限于能够负担工程时间和基础设施成本的少数拥有代码能力的人,这样导致信息不对称,有价值的分析通常在孤立的封闭私人环境中,或者在有时效性的静态报告中。然而市场又是无边界且高流动性的,并且人们对于数据可视化和易于获取且及时性的需求又极为迫切。

所幸,开放透明与协作分享的力量非常强大:借助 Dune Analytics,以太坊社区现在可以使用 SQL 查询人类可读的以太坊数据,然后将结果可视化并在几分钟内与全世界分享。换句话说,用户可以在即插即用体验中创建自己的仪表板,其中包含精美的可视化图表。团队为用户实时提供所有智能合约事件、合约调用、以太坊交易等。还有代币/美元价格,可以轻松加入以获得链上活动的美元数量。

最重要的是除了数据和工具之外,用户还可以探索社区成员使用 Dune 创建的所有其他出色的分析。如果认为该方法可以改进或受到启发,只需单击一下即可分叉查询以使其成为自己的查询。就像可以为交易发送 Etherscan 链接一样,现在可以发送一个沙丘链接,该链接直接指向用户感兴趣的任何高级或低级指标的实时更新分析。目前已经得到以太坊生态上非常多的应用支持,收费还是采用订阅方式,永久免费版能做的事情相对有限,另一个390美金/月,功能非常强大。当前已经成为行业不可或缺且应用广泛的数据提供商,唯一的缺点是当前仅支持以太坊生态。

再来看看收费高昂的Nansen,同样采用订阅收费模式:

source:Nansen Plans & Pricing

其定位是面向加密交易者和投资者的链上分析平台,分析了超过9000万个带有标签的以太坊钱包,帮助交易者获取信号,去除噪音。无需任何技术知识,帮助用户发现新机会,进行尽职调查,使用智能警报进行防御,探索新项目等。能从事数据提供商的从业者都是非常硬核的,Nansen也不列外,连项目命名来自于挪威探险家弗里 乔夫·南森(Fridtjof Nansen),他同样还是科学家、人道主义者和外交家,曾于 1922 年获得诺贝尔和平奖。选择这个名字应该和 Nansen 团队成员的背景相关,创始人和首席执行官 Alex Svanevik 毕业于挪威卑尔根大学的认知科学专业,后来还在爱丁堡大学研究 AI 技术。

Nansen团队采用算法,人工调查,社区提交三种方法给地址做标记,比如巨鲸和Smart money的地址等,这大量的节省了交易者和投资者的精力和时间。最简单查询可以获取某个项目代币持仓数据,核心参与方有哪些,近期是否有加仓或者减持,清晰的可视化,这方面可以理解为高纬度进化版Etherscan。有了海量的数据,可以做的分析和呈现的方式非常多样化,Nansen团队根据用户常规需求内置十几个常见的仪表盘,比如:Token God Mode ,Wallet Profiler,Stablecoin Master,Smart Money等,当然用户也可以自定义,和Messari一样。除此之外,团队还给付费最多的用户提供更加丰富的细分服务,比如巨鲸地址异动提醒和相关情报,每周的电话会议以及私密的Telegram群组等。同样当前仅服务以太坊生态,据说团队已经在规划支持其他链生态。

TheGraph 是一种用于查询以太坊和 IPFS 等网络的索引协议。任何人都可以构建和发布称为子图的开放 API,使数据易于访问。从而告别自定义服务器,The Graph团队认为,此前的数据提供商必须开发和运营专有的索引服务器,这需要大量的工程和硬件资源,并破坏了去中心化所需的重要安全属性。他们的愿景是为Web3开发去中心化索引协议,区块链行业内称The Graph是去中心化的数据谷歌,这是当前在数据提供商里最有创新且具有挑战的先行者。具体的原理和解析我们之前已经有过一篇研究:The Graph Network,欢迎阅读。

为了支持查询市场的功能,The Graph协议引入一种原生代币:GRT。Graph 代币在协议中主要有两个用途:

1. 索引器质押

索引器质押 Graph 代币,以便自身被查询市场所发现,同时在执行工作过程中提供经济安全。

2. 策展人信号

策展人将 Graph 代币质押到策展市场中,预测哪些子图对网络具备价值,他们因为正确预测而获得奖励。

用户可以支付 ETH 或 DAI 进行查询。但是最终的结算将以 GRT 进行,以确保整个协议中使用一种通用的帐户单位。

此外,持有原生代币还能够通过通货膨胀来激励特定行为。动态调整通货膨胀的能力也是工具箱中的一个强大手段。

当前The Graph是支持生态最多的,截止到现在,他们支持了ETH及以太坊生态项目,还有Celo,Polkadot,NEAR,Solana,Fantom等,甚至还扩展到二层将索引的开放数据带入Polygon,Arbitrum Rollup。从官方获取到的数据截止到2020年6月10亿次查询开始到2021年4月200亿次查询,不到一年时间增长20倍,现在每天6.75亿次以上。钱包,DAO和网络分析仍然是子图的常见用例,Defi主导着D app的采用,占托管服务90%,其次稳定币数据的查询占6%,衍生品(如期权),保险和承保人的应用程序也越来越受欢迎。到目前为止,约16,000个开发人员为众多应用程序部署了10,000多个子图,且这个数据仍在爆发式增长。

source:https://network.thegraph.com

在官网可以查看当前的索引器和委托人的相关数据。The Graph的出现给行业带来无限想象和可能性,同时将会推动整个Web3的加速发展,这里也替官方呼吁:如果您是应用程序或者Web3应用程序的开发人员,则可以使用子图来索引和查询来自区块链的数据,更加欢迎您成为主网上的索引人,策展人或委托人。

(注:以上时间是项目成立最早时间,但真正被用户采用均发生在2019年之后)

数据提供商的发展仍在继续,我们已经看到未来的无限可能和挑战,在区块链重构人类商业的这块试验田上,数据显然是核心生产资料,更加有意义的是我们看到一个越来越开放透明,高效协作的无国界数据网络正在演变和快速成长。作为这个行业的从业者,无疑是最有智慧的一群人,带着去中心化的精神建设一个更加美好的世界。

Reference

https://duneanalytics.com

https://www.nansen.ai

https://thegraph.com

https://mp.weixin.qq.com/s/n8eDBWNHnwEo7stTYEXJvw

--

--

CYC

Distributed blockchain research institution. Focusing on underlying technology research and practice. Support us: http://giveth.io/project/cyc