Skip to content

Latest commit

 

History

History

fs

Folders and files

NameName
Last commit message
Last commit date

parent directory

..
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

ALLUXIO FOR ALL DATA STORAGE

基于Alluxio建设存算分离加速引擎

能够在跨集群、跨区域、跨国家的任何云中

将数据更紧密地编排接近数据分析和AI/ML应用程序

向上层应用提供内存速度的数据访问

Alluxio是一种分布式内存文件系统,可以将内存作为高速缓存层,加速数据访问。

在Alluxio的架构中,可以将文件系统的底层存储和计算分离开来,通过Alluxio作为中间层,实现高速缓存。

Alluxio的核心组件包括Master和Worker。Master负责元数据管理,例如文件系统的目录结构、权限等信息。

Worker则负责数据的读写和缓存,从底层存储系统中读取数据,并将数据缓存到内存中。

当用户请求数据时,Alluxio会先在内存中查找数据,如果找到则直接返回,如果没有则从底层存储系统中读取数据,并将数据缓存到内存中,以加速后续的数据访问。

Alluxio支持多种底层存储系统,例如HDFS、S3等。在使用Alluxio时,可以通过配置文件指定底层存储系统的地址和访问方式。

Alluxio的另一个重要特性是数据复制和数据迁移。数据复制可以将数据从底层存储系统复制到Alluxio的内存缓存中,以加速后续的数据访问。

数据迁移则是将数据从一个Alluxio节点迁移到另一个节点,以平衡集群中各个节点的负载。

总的来说,Alluxio通过将内存作为高速缓存层,加速数据访问,同时通过多种优化策略,例如数据复制和数据迁移,提高系统的可靠性和性能。

大数据存储解决方案

第一, 强化大数据存储解决方案的定位, 加快完善落地EC这一关键成本利器, 技术架构改造升级, 做好数据冷热分层, 利用各种手段降本提效。

第二, 积极支持存储计算分离场景, 引入缓存架构Alluxio, 在存储格式等方面提供基础框架, 有能力充分发挥各种硬件潜力, 为各种计算引擎做好优化支持

第三, 积极拥抱公有云, 充分支持和优化好主要云厂商的对象存储产品, 拥抱容器化和云原生, 融入K8S为用户提供更好的计算调度方案