AWS S3 Vectors: Der Aufstieg von Tiered Storage für Vektor Datenbanken?
AWS hat kürzlich S3 Vectors veröffentlicht, eine Vektor Datenbank, die auf dem S3 Objektspeicher basiert. Dies hat eine Debatte darüber ausgelöst, ob sie bestehende Vektor Datenbanken wie Milvus, Pinecone usw. ersetzen wird. Der Autor, ein Entwicklungsarchitekt bei Milvus, argumentiert, dass S3 Vectors kein Ersatz, sondern eine Ergänzung ist, die besonders für kostengünstige Szenarien mit geringer Abfragefrequenz bei kalten Daten geeignet ist. Er analysiert die technische Architektur von S3 Vectors und hebt die Vorteile in Bezug auf Kosten und Skalierbarkeit hervor, aber auch die Einschränkungen hinsichtlich hoher Abfrage-Latenz, geringer Genauigkeit und begrenzter Funktionalität. Der Autor vertieft sich in die Entwicklung von Vektor Datenbanken: vom In-Memory-Speicher über den Speicher auf der Festplatte bis hin zum Objektspeicher, was letztendlich zu einer hierarchischen Speicherarchitektur (heiße, warme und kalte Datenebenen) führt, um Leistung, Kosten und Skalierbarkeit auszugleichen. Milvus verfolgt ebenfalls diesen Weg, wobei die kommende Version 3.0 einen Vektor-Daten-See für die einheitliche Verwaltung von heißen und kalten Daten umfasst. Das Aufkommen von S3 Vectors beweist die Reife und das Wachstum des Marktes für Vektor Datenbanken, nicht seine Disruption.