百度是如何使用hadoop的

百度作为全球最大的中文搜索引擎公司,提供基于搜索引擎的各种产品,几乎覆盖了中文网络世界中所有的搜索需求,因此,百度对海量数据处理的要求是比较高的, 要在线下对数据进行分析,还要在规定的时间内处理完并反馈到平台上。百度在互联网领域的平台需求要通过性能较好的云平台进行处理了,Hadoop就是很好 的选择。在百度,Hadoop主要应用于以下几个方面:

阅读全文 »

| 1 分2 分3 分4 分5 分 (3.77- 13票) Loading ... Loading ... | 归档目录:Hadoop, 云计算/云存储, 架构设计 | 标签: , , , , , |

做对的事情

最近感慨颇多,总想写点什么抒发一下,压在心里太多太久也会憋出问题来。可能是因为又到了入职纪念日,人总是喜欢回望走过的时光,从中找到自己曾经的辉煌,或者失败的教训。从入职之后这几年,好像更多的是后者。总觉得自己还没有学会怎么在职场混,多半还是个理想化的技术族,不管怎么样这几年还是在做对的事情,只要自己能清晰的认定这一点也就够了。

阅读全文 »

| 1 分2 分3 分4 分5 分 (4.82- 17票) Loading ... Loading ... | 归档目录:生活札记 | 标签: , |

人工神经网络简介

来自网络的资料整理:

人工神经网络

PDF下载地址:人工神经网络简介.pdf

| 1 分2 分3 分4 分5 分 (4.62- 13票) Loading ... Loading ... | 归档目录:架构设计, 算法数据结构 | 标签: |

网络基础:路由表、默认网关和掩码等

今天看到一个问题:B能否ping通A。这里完整描述一下问题:

如下图,服务器A的IP地址为192.168.26.129,掩码为255.255.255.0,服务器B的IP地址192.168.26.3,掩码被错误的设置为255.255.255.224。假设现在服务器B ping服务器A,请问能ping通吗?

阅读全文 »

| 1 分2 分3 分4 分5 分 (4.72- 18票) Loading ... Loading ... | 归档目录:WEB网络, 移动互联 | 标签: , , , |

CAP 理论

CAP理论被很多人拿来作为分布式系统设计的金律,然而感觉大家对CAP这三个属性的认识却存在不少误区。从CAP的证明中可以看出来,这个理论的成立是需要很明确的对C、A、P三个概念进行界定的前提下的。在本文中笔者希望可以对论文和一些参考资料进行总结并附带一些思考。

一、什么是CAP理论

CAP原本是一个猜想,2000年PODC大会的时候大牛Brewer提出的,他认为在设计一个大规模可扩放的网络服务时候会遇到三个特性:一致性(consistency)、可用性(Availability)、分区容错(partition-tolerance)都需要的情景,然而这是不可能都实现的。之后在2003年的时候,Mit的Gilbert和Lynch就正式的证明了这三个特征确实是不可以兼得的。

阅读全文 »

| 1 分2 分3 分4 分5 分 (4.00- 10票) Loading ... Loading ... | 归档目录:算法数据结构, 软件技术 | 标签: |

存储前沿趋势开讲

存储前沿趋势开讲啦第一季:为大数据再造存储

image

观看地址:腾讯视频

| 1 分2 分3 分4 分5 分 (3.58- 12票) Loading ... Loading ... | 归档目录:云计算/云存储, 存储技术 | 标签: , |

几道有趣的题目

1,A、B两人分别在两座岛上。B生病了,A有B所需要的药。C有一艘小船和一个可以上锁的箱子。C愿意在A和B之间运东西,但东西只能放在箱子里。只要箱子没被上锁,C都会偷走箱子里的东西,不管箱子里有什么。如果A和B各自有一把锁和只能开自己那把锁的钥匙,A应该如何把东西安全递交给B?

答案:A把药放进箱子,用自己的锁把箱子锁上。B拿到箱子后,再在箱子上加一把自己的锁。箱子运回A后,A取下自己的锁。箱子再运到B手中时,B取下自己的锁,获得药物。

2,有一个软件公司,1/2的人是系统分析员,2/5的人是软件工程师,有1/4的人两者都是,问有多少人两者都不是?

1 – 1/2 – 2/5 + 1/4= 0.35

阅读全文 »

| 1 分2 分3 分4 分5 分 (4.27- 11票) Loading ... Loading ... | 归档目录:职业发展 | 标签: |

Java泛型:类型檫除、模板和泛型传递

Java泛型(generics)是JDK 5中引入的一个新特性,允许在定义类和接口的时候使用类型参数(type parameter)。声明的类型参数在使用时用具体的类型来替换。泛型最主要的应用是在JDK 5中的新集合类框架中。对于泛型概念的引入,开发社区的观点是褒贬不一。从好的方面来说,泛型的引入可以解决之前的集合类框架在使用过程中通常会出现的运行时刻类型错误,因为编译器可以在编译时刻就发现很多明显的错误。而从不好的地方来说,为了保证与旧有版本的兼容性,Java泛型的实现上存在着一些不够优雅的地方。当然这也是任何有历史的编程语言所需要承担的历史包袱。后续的版本更新会为早期的设计缺陷所累。 

开发人员在使用泛型的时候,很容易根据自己的直觉而犯一些错误。比如一个方法如果接收List<Object>作为形式参数,那么如果尝试将一个List<String>的对象作为实际参数传进去,却发现无法通过编译。虽然从直觉上来说,Object是String的父类,这种类型转换应该是合理的。但是实际上这会产生隐含的类型转换问题,因此编译器直接就禁止这样的行为。本文试图对Java泛型做一个概括性的说明。

阅读全文 »

| 1 分2 分3 分4 分5 分 (4.55- 11票) Loading ... Loading ... | 归档目录:Java, 语言基础 | 标签: , , , |

OpenStack与运维

via:InfoQ

| 1 分2 分3 分4 分5 分 (4.45- 11票) Loading ... Loading ... | 归档目录:云计算/云存储, 架构设计 | 标签: , |

Google 网页爬虫报告无法连接站点解决办法

几次收到Google站长工具发来的Googlebot无法访问shentar.me的邮件,感觉很奇怪,空间是托管在香港的,不可能出现Google无法连接的问题。

2014-07-19-23-02-16-1 

阅读全文 »

| 1 分2 分3 分4 分5 分 (4.92- 12票) Loading ... Loading ... | 归档目录:WEB网络, 建站技术, 移动互联 | 标签: , |
返回顶部