财产数字化做为数字经济开展的主引擎，在全球经济开展的大情况中飞快开展。做为“新基建”重要手艺之一的区块链，俘获了大量存眷。
回忆区块链近年的开展：从 海外的DeFi 到 NFT，到国内安身实体的“财产上链潮”，再到近日火爆的元宇宙、Web3 等，区块链利用场景越来越多元化，区块链生态展开兴旺开展之势。但在区块链的世界里，无论是公链仍是联盟链，亦或是 Web3 利用，无一破例空中临统一个诉求——可信存力，即链上可信数据的存储才能。
可信存力：数据价值互联的基石
可信数据价值流转是当下数字经济建立的根底，可信数据的“存力”如电力收集的承载力一般，成为社会“数据价值互联”的基石。目前，可信存力在公链范畴支流的处理计划大都是块链式外加可验证数据构造，具有 可继续、可验证、继续增长三个显著特征。
然而那种支流计划存在一些问题，例如在以太坊存储的表示上，它的存储性能会跟着数据规模继续增加而快速衰减，在延时、吞吐的性能上并没有很强的优势（见图1左图表），面临 Web3 的利用，对性能的诉求只会越来越高。因而，比拟于共识，存储性能关于链平台的 TPS、成本影响更大。
图1 区块链存储构造存在的问题
对此，专注于区块链底层手艺研究和实体场景摸索的蚂蚁链团队，历经多年打磨，将上述的底层手艺问题逐个分析、深度比照测试，总结出区块链存储中存在着 读写放大、数据部分性、性能、成本、规模瓶颈等挑战。固然目前业界已测验考试通过弱化可验证性可逃溯、优化 kv 数据库、优化Merkle 树等标的目的进手，但无论从哪个道路动身，尚无全面处理的手艺计划。
假设想面向将来 Web3 栈利用开展处理数据规模的膨胀，就必需从头来过，而不是在原系统上做优化。在本年的云栖大会上， 蚂蚁链自研存储引擎 LETUS（Log-structured Efficient Trusted Universal Storage）正式发布，并。已经在蚂蚁数字躲品平台“鲸探”中胜利利用，实在营业情况下，鲸探的存储成本降低了约75%。LETUS 通过可验证索引定造、散布式集群扩展、异步并行等手艺全面优化存储性能、规模和成本，可不变撑持 20 亿账户规模。
可验证、高性能、大规模、低成本
做为蚂蚁链自研的区块链存储引擎，LETUS 次要为区块链供给同一的区块数据、形态数据的高效可验证存储和查询，包管数据不成窜改和可逃溯。据官方数据，LETUS 比拟业界标杆，吞吐提拔 15 倍，宽带削减 95%，延时降低 90%，空间占用削减60%。那是若何做到的？
我们无妨先往返顾一下区块链存储中的几个挑战：
读写放大
数据部分性
性能
成本
规模瓶颈
因为区块链自己要实现可验证，它需要可验证的数据构造，而可验证数据构造就会带来读写放大；数据部分性关乎存储性能效率，若数据分离特殊随机，对磁盘其实不友好，读取一个数据要拜候良多文件才气把数据读上来，性能较差。
当下已知的手艺计划大多是利用通用的KV数据库，再在其利用层、读写之间的层加一个可验证的数据构造，但那没将所有底层数据库引擎能够优化的处所考虑清晰。
因而 LETUS 处理读写放大、数据部分性、性能问题最核心的思惟是：既然以往所有读取都要颠末可验证数据，将该构造下推到数据库里，利用层无需考虑可验证数据，在数据库中让可验证数据构造和存储之间彼此操纵本身的特征做深度优化。
图2 LETUS存储引擎核心手艺
除此之外，LETUS 实现了基于版本号多版本的 Merkle 树，I/O 途径更短。版本号利用了区块号，区别于以往的内容觅址哈希，区块号处理了 Merkle 树自己版本的有序性问题。别的，每次存储时，所有的修改操做以增量体例保留，也就是不把改动数据所在的内容全量笼盖，而是只存增量。关于I/O性能、空间都有很好的改进，处理了数据读写放大的问题。
再者，LETUS 通过数据索引别离等手艺增加并行度，通过当前版本缓存又提拔系统的效率。每次 IO 时，可验证数据构造和数据同时读取实现异步并行，更好天时用缓存空间。因而，LETUS与目前支流开源计划比拟，资本消耗小，大大效率提拔，那是 LETUS 拥有卓著性能的背后原因。
要实现营业的持久继续开展，“成本”是必需考虑的问题。LETUS 通过智能控温分层存储，处理区块数据继续增长带来的容量上限和成本问题；鸿沟扫描批量裁剪处理形态数据的膨胀问题，让用户能够抉择性保留某一时间段的形态数据。
总地来说，LETUS 相当于把一个区块链利用层的组件内置到数据库里做十分针对性、全面的优化，以此来获得比力好的性能；同时 LETUS 将可验证构造下推后，能够基于存储引擎的自研构造做乖巧的数据治理战略，如数据迁徙、数据压缩、垃圾收受接管等，实现了数据膨胀、数据无限增长下的有效降成本计划。
强大的手艺实力，让 LETUS 在灰度测试期间实现“开着飞机换引擎”的“高端操做”。为了那一个硬核功效，蚂蚁链团队足足打磨了 4 年。
走远路，见微光，四年自研存储引擎
在日新月异的区块链世界中，要实现那个浩荡的处理计划，无疑是极其消耗心力的。四年前没有 Web3 的讨论声，也鲜有进进元宇宙的途径。
2019 年 4 月，蚂蚁链的赐与链金融初次胜利利用。不只搭载了蚂蚁链其时的最新版本，并且还跑出了第一个全链路隐私庇护手艺。正在团队满心等待它的表示时，却有了一个令人沮丧的发现。
蚂蚁集团区块链手艺总监闫莺表达，赐与链金融是B 端产物，与 C 端产物的交易频次比拟低一些，可能天天晚上只进来一笔交易，且形态数据量较大。当产物跑了一段时间后，性能越来越慢，团队颠末大量的研究后，发现跟着数量增加存储性能衰减，从而挈慢链平台的端到端性能。通过优化 Merkle 树构造、KV数据库调优、交易并行施行等测验考试，必然水平上提拔了性能，并没有从素质上处理性能衰减、资本消耗大等难题。于是团队决定自研存储引擎。在项目成立初期，Web3 还没太多声音，蚂蚁链团队已灵敏地洞察到需要将 LETUS 向根底设备标的目的打造。因为区块链往中心化的特征，LETUS 自降生起就拥有开放式平台的基因，同时因为其完全开放，对鲁棒性、平安性的要求较高，是个妥妥的“硬活儿”，需要破费团队浩荡资本投进。那并非随便的事，在研发 LETUS 的四年间，团队曲面各类难关，通过对手艺废寝忘食的逃求与摸索，一一霸占。
将来，陪伴 Web3、元宇宙的开展，对规模、生态、平安的要求越来越高，蚂蚁链团队已有所规划：一是在手艺上，扩展节点规模；二是在生态上，建立开发者尝试室，搀扶帮助开发者更好地实现 Web3 立异利用；三是针对关键的平安问题，将推出分片秘钥、交易平安等相关的手艺。
闫莺表达，平安也是蚂蚁链手艺开展的重点，好比蚂蚁链平台已经完成了抗量子的算法迁徙，认为保障将来链上资产平安做预备。若何在利用抗量子的密码算法上仍然连结链平台优良的性能，也是期待他们来处理的挑战。
笔者认为，蚂蚁链手艺团队在面对行业存储难题，不吝消耗浩荡资本打造出性能卓著的 LETUS，以“探路者”的身份投进自研大规模区块链存储、后量子密码算法等核心手艺。无论是 Web3 仍是元宇宙，那群手艺人未雨绸缪，正渐渐撬开那片空白市场的门。