gimmesilver's blog

Agbird.egloos.com

포토로그



태그 : hadoop 요약보기전체보기목록닫기

1

1초가 하둡을 죽였다.

관련 링크:http://gigaom.com/2012/07/01/leap-second-bugs-take-out-some-prominent-websites/http://blog.seabow.pe.kr/?p=2212http://stackoverflow.com/questions/11279076/why-does-the-leap-second-cause-proble...

하둡의 내부 I/O 동작 분석 글

http://cto.vmware.com/analyzing-hadoops-internals-with-analytics/VMWare 라는 회사의 누군가가 하둡의 I/O 동작 방식에 대해 분석한 글한 줄로 요약하자면 하둡의 MapReduce 에서는 중간에 I/O가 참 많이 발생한다... 정도가 되겠다.글의 마지막에 보면 몇 가지 질문을 던지고 있다. ...

하둡 소개 문서

 작년 상반기에 신입 사원 교육을 위해 만들었던 문서이다.  전반적인 overview 수준이지만 워낙에 하둡과 관련된 한글 문서가 희귀하니 이거라도 다른 사람들에게 도움이 되지 않을까 싶어 내용 중 회사 시스템이나 업무와 관련된 내용을 언급한 부분은 삭제하고 올린다.

In Mapper Combiner

 MapReduce 프로그램에서는 mapper에서 reducer로 전달되는 데이터 양을 줄이는 것이 매우 중요한 성능 최적화 요소이다. 그리고 이를 위해 하둡에서는 Combiner라는 인터페이스를 제공한다. Combiner는 쉽게 말해 local reducer 이다. 즉, 각 mapper 마다 자신이 처리한 데이터에 대해서 reducer 작업을...

Hadoop the Definitive Guide vs. Pro Hadoop

http://parallel.textcube.com/32
1