C114门户论坛百科APPEN| 举报 切换到宽版

亚星游戏官网

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

亚星游戏官网-yaxin222  列兵

注册:2010-1-11
发表于 2010-1-14 14:02:12 |显示全部楼层
最底层用linux作为本地文件系统。

用UDT这种成熟的UDP传输方式实现网络传输。

用google的protobuf这种高效的文本序列化和反序列化方式实现文件读写。

用KFS的meta. data这种有冗余的方式来实现文件元数据。

这样设计应该比HADOOP这种方式的存储效率和存储速度高,跟sector应该有得一拼。



如果上面再采用HADOOP的map reduce来实现计算呢。

举报本楼

您需要登录后才可以回帖 登录 | 注册 |

手机版|C114 ( 沪ICP备12002291号-1 )|联系大家 |网站地图  

GMT+8, 2024-11-19 06:26 , Processed in 0.085541 second(s), 15 queries , Gzip On.

Copyright © 1999-2023 C114 All Rights Reserved

Discuz Licensed

回顶部
XML 地图 | Sitemap 地图