区块链存储爆炸：问题、分析与优化

时间：2021-12-25|浏览：417

DeFi、GameFi等去中心化应用的蓬勃发展，极大地增加了对低交易费用的高性能区块链的需求。然而，构建高性能区块链的一个关键挑战是存储爆炸。下图是取自 Etherscan 的图表，它说明了一个以太坊全节点（存档）的区块链数据大小。
分解存储开销
如果我们进一步分析存储使用情况，我们可以发现区块数据只占了约300GB的数据（从区块高度0到13.6M），这一数字远小于9TB。那么剩下的8.7TB数据从何而来呢？
实际上，存档节点执行所有块并保留所有历史数据，包括：
区块
状态
交易收据
这其中，状态是这 8.7TB 的主要组成部分。所以有时，我们将存储爆炸称为“状态爆炸”。但是为什状态会如此之大？
什么是以太坊状态？
以太坊状态是一个Merkle Patrica树（MPT），其中
叶子节点是地址 (0x...) => 帐户的映射，其中帐户存储与地址关联的余额、nonce等
内部节点维护树结构，以便可以快速计算整个树的哈希根
由于存档节点将保留所有区块的所有历史状态，这意味着 MPT 中的任何更新都将创建 O(log(N)) 个内部节点，并且不会删除旧的内部节点。
Geth 的全节点
为了解决存档节点状态爆炸的问题，Geth 的天才工程师们创建了一种称为“修剪”模式的新模式，该模式仅定期存储 MPT。这里我们举一个简化的例子，其中节点只保存每 3 个区块的MPT。（注意，为了获得一个不包含任何状态区块的状态，节点必须获得该区块之前最近的状态，并重放接下来的交易）。
通过定期存储 MPT，状态的存储大小显著减少。据 Etherscan 数据，目前 Geth 全节点的区块链数据大小约为 1TB。
Geth 的可快速同步的全节点
通过从创世区块开始重放所有交易来运行节点的一个问题是，重放所有交易会占用很长时间。一般来说，建立这样一个节点需要数周时间才能从创世区块赶上网络的最新状态。为了加速节点的启动过程，Geth 进一步提供了一种快速同步模式，可以下载最新的稳定区块的 MPT，而无需重放和维护区块之前的历史 MPT。下载完 MPT 后，它会像全节点一样重放新区块（带有定期状态存储）。
在不存储历史 MPT（有时甚至是历史区块主体）的情况下，一个 Geth 节点的存储大小可以进一步减少到 447G（截至 2021/12/06）。通过减去 300GB 的区块数据，我们推断状态大小约为 150GB。
问题
以目前以太坊 447GB 的存储大小和 15 TPS，我们预计具有 1TB SSD 的普通配置计算机应该能够运行以太坊节点相当长的一段时间（比如数年）。那么存储爆炸或状态爆炸真的存在吗？或许未来几年以太坊并不会，但假如我们可以将以太坊的虚拟机 (EVM) 扩展到数百或数千 TPS 呢？
让我们将目光转向另一个基于 EVM 的链，币安智能链（BSC）。截至 2021 年 12 月 8 日，BSC 已有：
约 984 GB 链上数据，其中区块约占 550 GB，状态约占 400 GB。
20.6623 亿笔交易，100 TPS

区块链存储爆炸：问题、分析与优化
如果我们进一步用交易数量来预测数据大小，我们可以得到：
如果 TPS 为 100，即 ~3,153 M TPY
1 年后，总 TX ~5,219M，区块 ~ 1.375 TB，状态 ~ 1.085TB
3 年后，总 TX ~11,525M，区块 ~3.025TB，状态 ~2.387 TB
如果 TPS 为 150（观察到的峰值 TPS），即 ~4,730 M TPY
1 年后，总 TX ~6,796M，区块 ~1.809 TB，状态 ~1.427 TB
3 年后，总 TX ~16,256M，区块 ~4.327 TB，状态 ~3.414TB
综上所述，对于BSC来说，如果保持目前的速度甚至更高，则很快就会达到以太坊存档节点相同的存储大小，这是普通计算机几乎无法运行的。
具有极高 TPS 区块链的存储爆炸问题
如果我们对一个极高 TPS 的区块链（比如像 QuarkChain 能够做到的那样）做一个更大胆的假设，这个数字会变成多少？我们来考虑一个具有 1000 TPS 的区块链并分析其区块和状态大小，将是：
假设 tx 大小约为 100 字节，每年区块所需的存储量为 1000 (TPS) * 100（每 tx 字节数）* 365 * 24 * 3600 = 2.86 TB
假设 MPT 有 100 亿账户（超过世界人口！），我们预计状态大小将为 150G（以太坊状态大小）/0.18B（以太坊唯一地址）* 10B = 8.3 TB
将这些数字放在一起，我们很容易得出一个结论，这是大多数普通配置计算机将无法承受的要求！
优化
为了优化存储成本，我们必须将限制放宽为兼容 EVM 而不是兼容以太坊。即，我们必须构建/运行另一个支持 EVM 的链，而不是高度优化的以太坊客户端。
状态存储优化