Комментарии: Hadoop для разработчика

Автор: Hadoop возвращается | Insight IT

Hadoop возвращается | Insight IT — Sun, 17 Aug 2008 20:16:01 +0000

[...] Поднимаем кластер ВНИМАНИЕ! Перед продолжением чтения этого раздела, настоятельно рекомендуется прочитать статью о запуске псевдо-кластера из одного компьютера. [...]

Автор: Иван Блинков

Иван Блинков — Thu, 26 Jun 2008 13:09:24 +0000

[quote comment="940"]Возможно ли в Hadoop добавлять «на лету (in run time)» data-nodes (дополнительные машины с HDD)?? Как это можно сделать или где про это можно почитать??[/quote]
При правильной настройке должны подхватываться:
bin/hadoop datanode start

Автор: knoppixmeister

knoppixmeister — Thu, 26 Jun 2008 13:03:05 +0000

Возможно ли в Hadoop добавлять «на лету (in run time)» data-nodes (дополнительные машины с HDD)?? Как это можно сделать или где про это можно почитать??

Автор: Иван Блинков

Иван Блинков — Tue, 24 Jun 2008 13:05:41 +0000

[quote comment="917"]На сегодняшний момент как узнать какая версия hadoop и hbase совместимы и самые свежие?[/quote] Самая свежая версия определенно в SVN: Hadoop и HBase. Совместимость лучше всего практическим методом проб и ошибок. В общем случае обычно относительно совместимы между собой SVN версии в /trunk и последние stable релизы.

Автор: Stanislav O. Pogrebnyak

Stanislav O. Pogrebnyak — Tue, 24 Jun 2008 08:22:58 +0000

На сегодняшний момент как узнать какая версия hadoop и hbase совместимы и самые свежие?

Автор: Иван Блинков

Иван Блинков — Sat, 07 Jun 2008 16:55:38 +0000

[quote comment="875"][quote comment="800"][quote comment="798"]В последних версиях нету уже hbase. Вот и не получилось[/quote]Хм, да, что-то я проворонил этот момент, надо бы пост подкорректировать с учетом этого.
Хотя принцип не должен был сильно измениться — достаточно просто отдельно HBase скачать.[/quote]Да, совместимость версий у них обеспечивается далеко не всегда. Судя по всему необходимо использовать лишь сборки, сделанные в примерно один и тот же момент времени.

ни разу не так. пол дня убитые на мэйл-листы показали, что текущий hbase 0.1.2 работает только с hadoop 0.16

попытки запуска hbase 0.1.2 и последнего транка под hadoop 0.18 кричали в лог нэймноды
WARN org.apache.hadoop.ipc.Server: Incorrect header or version mismatch from 127.0.0.1:32957 got version 1 expected version 2
и таймаутом коннекта к hdfs хранилищу со стороны мастер-сервера

хоть бы в вики поместили инфу о этом.[/quote]

Автор: zlovred

zlovred — Sat, 07 Jun 2008 15:28:46 +0000

[quote comment="800"][quote comment="798"]В последних версиях нету уже hbase. Вот и не получилось[/quote]Хм, да, что-то я проворонил этот момент, надо бы пост подкорректировать с учетом этого.
Хотя принцип не должен был сильно измениться — достаточно просто отдельно HBase скачать.[/quote]

ни разу не так. пол дня убитые на мэйл-листы показали, что текущий hbase 0.1.2 работает только с hadoop 0.16

хоть бы в вики поместили инфу о этом.

Автор: Иван Блинков

Иван Блинков — Mon, 26 May 2008 12:59:01 +0000

[quote comment="798"]В последних версиях нету уже hbase. Вот и не получилось[/quote]Хм, да, что-то я проворонил этот момент, надо бы пост подкорректировать с учетом этого.
Хотя принцип не должен был сильно измениться — достаточно просто отдельно HBase скачать.

Автор: Veaceslav Kunitki

Veaceslav Kunitki — Mon, 26 May 2008 12:28:11 +0000

В последних версиях нету уже hbase. Вот и не получилось

Автор: Иван Блинков

Иван Блинков — Fri, 23 May 2008 19:30:09 +0000

[quote comment="786"]Дошел до пункта
src/contrib/hbase/conf/hbase-site.xml
а нету такого файла//
как быть?[/quote]
Либо я потерял какой-то пункт в алгоритме, либо его нужно создать…

Хотя возможно и Вы что-то пропустили, например компиляцию contrib проектов.

Автор: Veaceslav Kunitki

Veaceslav Kunitki — Fri, 23 May 2008 19:18:07 +0000

Дошел до пункта
src/contrib/hbase/conf/hbase-site.xml
а нету такого файла//
как быть?

Автор: Иван Блинков

Иван Блинков — Mon, 03 Mar 2008 16:39:00 +0000

[quote comment="327"]Ошибка в команде инициализации. Нужно:
bin/start-all.sh && ~/src/contrib/hbase/bin/start-hbase.sh[/quote]
Спасибо, недоглядел, надо было всетаки копировать из консоли, а не перенабирать.
Вы, наверное, первый, кто попытался описанное выше повторить

Или просто уже имели большой опыт и сходу заметили?

Автор: Gorban

Gorban — Mon, 03 Mar 2008 15:59:16 +0000

Ошибка в команде инициализации. Нужно:
bin/start-all.sh && ~/src/contrib/hbase/bin/start-hbase.sh

Автор: ivbeg: Yahoo и Hadoop

ivbeg: Yahoo и Hadoop — Wed, 27 Feb 2008 22:01:55 +0000

[...] также интересные обзоры Ивана Блинкова “Hadoop для разработчика” и [...]

Автор: Иван Бегтин | Yahoo и Hadoop

Иван Бегтин | Yahoo и Hadoop — Wed, 27 Feb 2008 21:25:14 +0000

[...] также интересные обзоры Ивана Блинкова “Hadoop для разработчика” и “Hadoop“. —> Вы можете Оставить комментарий (0) [...]

Автор: Иван Блинков

Иван Блинков — Wed, 27 Feb 2008 20:42:37 +0000

[quote comment="281"]также добавлю вот эту презентацию (если не видели), про то, как mapred можно красиво использовать[/quote]Спасибо, презентация пришлась «в тему». Кратко и содержательно.
Саму ее раньше не видел, но большую часть информации из нее я уже встречал, на том же apache.org вроде.

Автор: johnjoy

johnjoy — Wed, 27 Feb 2008 20:11:08 +0000

Примеров действительно мало, как и документации. Как-то хадуп варится все больше в своем котле )
Из документации действительно хороши исходники, а они у hadoop/lucene/nutch очень неплохо написаны, по javadoc вполне можно сориентироваться что к чему.

также добавлю вот эту презентацию (если не видели), про то, как mapred можно красиво использовать:
http://wiki.apache.org/nutch-data/attachments/Presentations/attachments/mapred.pdf

Автор: Иван Блинков

Иван Блинков — Tue, 26 Feb 2008 19:36:52 +0000

[quote comment="271"]Вопрос в том, для каких задач можно использовать Hadoop, кроме индексов… Есть какие-нибудь статьи с разными примерами использования MapReduce?[/quote]Все ограничивается лишь воображением, документации и примеров крайне мало (по крайней мере той ее части, что мне удалось найти в интернете), но примеры, идущие «в комплекте» в состоянии подтолкнуть на несколько неплохих идей. Самый простой и наглядный пример, по-моему: вычисление больших облаков тэгов.
[quote comment="276"]может быть напишите пару примеров как все такие работает клиент Hadoop? собственно как на практике выглядит запуск задач?
хотя бы в той же Hbase shell >[/quote]Запуск задач выглядит ничуть не сложнее, чем запуск любой другой программы — просто консольная команда, в которой обычно указываются все компоненты работы: обработчики данных для этапов Map и Reduce, исходные данные, место для расположения результатов. Но дело-то не в запуске задач, а в написании программ, которые будут обрабатывать данные. Практика написания таких программ для Hadoop у меня минимально, так что от каких-либо более детальных комментариев пока воздержусь (хотя никто не мешает посмотреть исходники примеров — так все более чем ясно и очевидно).

Hbase Shell мало чем отличается от подобных консольных клиентов других СУБД, так что он скорее предназначен для ручного получения результатов запросов; для автоматизированный работы стоит использовать другие интерфейсы HBase, например REST.

Автор: Slach

Slach — Tue, 26 Feb 2008 15:19:26 +0000

отличная статья, как раз то чего мне не хватало

если не заломает
может быть напишите пару примеров как все такие работает клиент Hadoop? собственно как на практике выглядит запуск задач?
хотя бы в той же Hbase shell >

Автор: johnjoy

johnjoy — Tue, 26 Feb 2008 09:06:56 +0000

2Dima
Для задач обработки очень большого количества данных.
Например, статистика или обработка логов (например клсатер из 1K машин в Yahoo! занимается пока только этим).
С индексами, кстати, не столь все просто, мы хорошенько так подза***ись