分类: 数据库

EloqKV:一款高性能分布式数据库,超越Redis的性能与功能

2025-08-19
EloqKV:一款高性能分布式数据库,超越Redis的性能与功能

EloqKV是一款兼容Redis/ValKey API的高性能分布式数据库,它提供ACID事务、完全弹性和可扩展性、分层存储和会话式事务语法等特性,同时保留了Redis的简洁易用性。针对AI时代对数据库的高需求,EloqKV为开发者提供了强大的解决方案,其多线程架构在c6g.8xlarge实例上实现了高达160万QPS的性能,并支持分布式ACID事务,彻底解决了Redis集群中的跨槽错误问题。此外,EloqKV还具备分层存储功能,可自动将冷数据卸载到磁盘,节省高达70%的内存成本。

数据库 Redis兼容

Sirius:一款基于GPU的SQL引擎,速度提升10倍

2025-06-29
Sirius:一款基于GPU的SQL引擎,速度提升10倍

Sirius是一款原生支持GPU的SQL引擎,通过Substrait标准与DuckDB等数据库无缝对接,无需改写查询或大幅修改系统。在TPC-H基准测试中,Sirius在相同的硬件成本下,速度比现有CPU引擎快约10倍,非常适合交互式分析、金融工作负载和ETL作业。目前支持DuckDB和Doris数据库,并计划支持更多数据库。安装方法包括使用AWS镜像、Docker镜像或手动安装。尽管还处于积极开发阶段,但Sirius已展现出强大的性能潜力,为数据分析开启了GPU时代。

本地 NVMe SSD:云数据库的未来?

2025-06-02
本地 NVMe SSD:云数据库的未来?

云存储技术诞生之初,受限于老旧硬件,采用网络连接磁盘提升持久性和可扩展性。但如今,廉价高效的 NVMe SSD 已经出现,其性能远超旧式方案。文章指出,使用本地 NVMe SSD 的 PostgreSQL 数据库,在 TPC-C 和 TPC-H 基准测试中,性能远胜于 AWS RDS 和 Aurora,速度提升数倍。虽然网络连接存储仍具备弹性和持久性优势,但 NVMe SSD 的可靠性和价格优势已足以弥补,本地 NVMe SSD 有望成为云数据库的未来。

数据库

OrioleDB桥接索引:兼顾速度与生态的数据库创新

2025-05-30
OrioleDB桥接索引:兼顾速度与生态的数据库创新

OrioleDB数据库引入了桥接索引技术,巧妙地解决了如何在保持自身MVCC特性和堆外存储的同时,兼容PostgreSQL丰富的非B树索引(如GIN、GiST等)的问题。通过引入一个虚拟的iptr列和一个轻量级的桥接索引,OrioleDB将PostgreSQL的索引映射到自身的索引结构,实现了对各种非B树索引的支持。虽然查询性能会略有下降(多一次索引查找),但对于复杂的索引(如pg_vector的ANN搜索),开销可以忽略不计。这项创新让用户无需在速度和丰富的索引生态之间做出选择。

数据库 OrioleDB

HTAP数据库:从辉煌到消亡,以及湖仓一体的崛起

2025-05-29
HTAP数据库:从辉煌到消亡,以及湖仓一体的崛起

本文回顾了HTAP数据库(混合事务分析处理)的发展历程。从70年代单一数据库处理所有事务和分析到80年代的工作负载隔离,再到90年代的存储架构分裂,以及2010年代NewSQL和云数据仓库的兴起,HTAP数据库曾一度被寄予厚望。然而,由于替换现有OLTP系统难度大、大多数工作负载无需分布式OLTP、云原生架构偏好共享磁盘而非共享无以及团队利益不一致等原因,HTAP数据库最终未能广泛普及。如今,数据栈转向模块化湖仓一体架构,通过组合而非整合数据库来实现HTAP的功能,这标志着HTAP数据库作为一种独立数据库的消亡,但其理念在湖仓一体架构中得到了延续。

数据库 HTAP

ClickHouse的懒惰加载:查询速度提升1500倍

2025-04-22
ClickHouse的懒惰加载:查询速度提升1500倍

ClickHouse数据库通过一项名为“懒惰加载”的新优化,将查询速度提升了1500倍。这项技术延迟读取列数据,直到实际需要时才读取,从而显著减少了不必要的I/O操作。文章以亚马逊评论数据集为例,详细解释了懒惰加载与其他I/O优化技术(例如列存储、稀疏主键索引和PREWHERE)如何协同工作,最终将一个查询的执行时间从219秒缩短到139毫秒。懒惰加载尤其适用于Top N查询,它无需修改SQL代码即可大幅提升性能。

数据库 懒惰加载

DiceDB性能基准测试:完胜Redis?

2025-03-16
DiceDB性能基准测试:完胜Redis?

在一台配备4个vCPU和16GB RAM的Hetzner CCX23机器上进行的基准测试显示,在`num_clients = 4`的情况下,DiceDB的吞吐量和GET/SET延迟均优于Redis。DiceDB的吞吐量达到15655 ops/sec,而Redis为12267 ops/sec;在延迟方面,DiceDB的GET和SET操作的p50和p90值均低于Redis。更多详细的基准测试数据和复现方法,请参考链接。

数据库 DiceDB

PostgreSQL 性能优化:pg_mooncake 跻身 ClickBench 前十

2025-03-08
PostgreSQL 性能优化:pg_mooncake 跻身 ClickBench 前十

pg_mooncake 项目通过一系列优化,使 PostgreSQL 在 ClickBench 基准测试中进入前十,挑战了专用分析型数据库的统治地位。该项目并非简单的封装,而是在 PostgreSQL 中原生构建,通过列存储格式、向量化执行(集成 DuckDB)以及直接在 PostgreSQL 中管理元数据等技术手段,显著提升了 PostgreSQL 的实时分析性能。这证明了 PostgreSQL 在经过精心调整后,具备与专用数据库媲美的分析能力,同时保留了其灵活性和生态优势。

数据库 ClickBench

Apache Kvrocks:兼容Redis协议的分布式NoSQL数据库

2025-01-23

Apache Kvrocks是一个基于RocksDB存储引擎的分布式键值NoSQL数据库,它兼容Redis协议。它支持命名空间(类似于Redis的SELECT命令,但每个命名空间都有一个令牌)、异步复制(使用类似MySQL的binlog)、高可用性(支持Redis哨兵机制进行故障转移)以及集群(集中化管理,但可以通过任何Redis集群客户端访问)。

数据库 RocksDB

Kronotop:基于 FoundationDB 的分布式事务型文档数据库

2025-01-20
Kronotop:基于 FoundationDB 的分布式事务型文档数据库

Kronotop 是一个与 Redis 兼容的分布式事务型文档数据库,底层使用 FoundationDB。它支持类似 MQL 的查询语言和 ACID 事务,并具有主备复制模型的磁盘存储引擎。目前仍处于早期开发阶段,API 不稳定,但已具备 ZMap(有序键值存储)、命名空间以及部分 Redis 数据结构(字符串和哈希)支持。未来计划支持更多 Redis 数据结构(如列表、集合、有序集合)以及 Bucket 数据结构(用于存储 JSON 类文档并支持 MQL 查询语言和事务)。

数据库

TiDB:一款云原生分布式SQL数据库

2025-01-06
TiDB:一款云原生分布式SQL数据库

TiDB是一个开源的、云原生的分布式SQL数据库,旨在为现代应用提供高可用性、水平和垂直可扩展性、强一致性和高性能。它支持分布式事务,具有水平和垂直扩展能力,并具有高可用性。TiDB兼容MySQL,并提供多种部署方式,包括本地部署、Kubernetes和TiDB Cloud。

数据库

快手依靠OceanBase数据库400TB单集群应对海量数据挑战

2024-12-28

短视频应用快手日活用户超过千万,其原有的MySQL分库分表方案在面对日益增长的数据和高并发请求时,面临着存储瓶颈、运维复杂等问题。为此,快手团队转向OceanBase分布式数据库,成功构建了400TB单集群,有效支撑了交易验证和支付业务。OceanBase的高性能、可扩展性和易用性解决了快手的数据存储和查询问题,显著提升了系统稳定性和效率,并降低了运维成本。

数据库 OceanBase

MongoDB:云端数据腐败的守护者

2024-12-25

MongoDB Atlas,作为全球性的云数据库服务,面临着海量数据带来的数据腐败风险。文章详细介绍了MongoDB如何通过软件层面的技术,例如校验和验证、索引和复制利用以及冗余副本修复等方法,主动检测和修复云端数据腐败问题,确保数据完整性。这套系统分为三个步骤:主动监控、精确定位和修复腐败数据。即使在硬件层面存在缺陷或随机故障,MongoDB也能确保客户数据的安全可靠,从而将硬件管理的细节从客户的日常工作中剥离出来。

HNSW向量数据库并非万能药:IVF的崛起

2024-12-23
HNSW向量数据库并非万能药:IVF的崛起

HNSW算法在向量数据库中广受欢迎,但其内存密集型特性使其在大规模应用中受限。文章指出,对于海量数据集,基于磁盘的替代方案,如IVF(倒排文件索引),结合量化技术(如RaBitQ、PQ、SQ、ScaNN),在速度和可扩展性方面可能更胜一筹。IVF通过量化压缩向量,减少内存占用,并利用高效的预取和顺序扫描,显著提升搜索速度,同时降低插入和删除的成本。虽然HNSW在中小规模应用中表现出色,但面对海量数据,IVF结合量化技术才是更具优势的选择。

数据库 IVF

Apache Cloudberry:开源MPP数据库,Greenplum的替代者

2024-12-21
Apache Cloudberry:开源MPP数据库,Greenplum的替代者

Apache Cloudberry是一个先进成熟的开源MPP(大规模并行处理)数据库,由Greenplum数据库的原始开发者创建。它基于更新的PostgreSQL内核,拥有更强大的企业级功能,可用于数据仓库、大规模分析和AI/ML工作负载。Cloudberry提供多种构建和试用方式,包括从源代码构建和Docker沙箱,并拥有活跃的社区和丰富的文档支持,鼓励代码增强、错误修复、功能建议等多种贡献方式。

数据库 MPP Greenplum替代