<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
		>
<channel>
	<title>Комментарии: Hadoop</title>
	<atom:link href="http://www.insight-it.ru/masshtabiruemost/hadoop/feed/" rel="self" type="application/rss+xml" />
	<link>http://www.insight-it.ru/masshtabiruemost/hadoop/</link>
	<description>Информационные технологии</description>
	<lastBuildDate>Sat, 04 Feb 2012 03:35:20 +0000</lastBuildDate>
	<sy:updatePeriod>hourly</sy:updatePeriod>
	<sy:updateFrequency>1</sy:updateFrequency>
	<generator>http://wordpress.org/?v=3.3.1</generator>
	<item>
		<title>Автор: Вычислительное облако шагает по планете &#124; SocialTrend</title>
		<link>http://www.insight-it.ru/masshtabiruemost/hadoop/#comment-1572</link>
		<dc:creator>Вычислительное облако шагает по планете &#124; SocialTrend</dc:creator>
		<pubDate>Tue, 29 Jul 2008 17:31:42 +0000</pubDate>
		<guid isPermaLink="false">http://www.insight-it.ru/net/scalability/hadoop/#comment-1572</guid>
		<description>[...] данных будут на платформе с открытым исходным кодом Apache Hadoop, а также и другое программное обеспечение open [...]</description>
		<content:encoded><![CDATA[<p>[...] данных будут на платформе с открытым исходным кодом Apache Hadoop, а также и другое программное обеспечение open [...]</p>
]]></content:encoded>
	</item>
	<item>
		<title>Автор: Вычислительное облако (cloud computing) шагает по планете &#124; SocialTrend</title>
		<link>http://www.insight-it.ru/masshtabiruemost/hadoop/#comment-1571</link>
		<dc:creator>Вычислительное облако (cloud computing) шагает по планете &#124; SocialTrend</dc:creator>
		<pubDate>Tue, 29 Jul 2008 17:29:21 +0000</pubDate>
		<guid isPermaLink="false">http://www.insight-it.ru/net/scalability/hadoop/#comment-1571</guid>
		<description>[...] данных будут на платформе с открытым исходным кодом Apache Hadoop, а также и другое программное обеспечение open [...]</description>
		<content:encoded><![CDATA[<p>[...] данных будут на платформе с открытым исходным кодом Apache Hadoop, а также и другое программное обеспечение open [...]</p>
]]></content:encoded>
	</item>
	<item>
		<title>Автор: Файлы в космосе &#124; Insight IT</title>
		<link>http://www.insight-it.ru/masshtabiruemost/hadoop/#comment-1570</link>
		<dc:creator>Файлы в космосе &#124; Insight IT</dc:creator>
		<pubDate>Sun, 30 Mar 2008 20:07:11 +0000</pubDate>
		<guid isPermaLink="false">http://www.insight-it.ru/net/scalability/hadoop/#comment-1570</guid>
		<description>[...] меня подтолкнул вовсе не этот список. В комментариях к одной из предыдущих моих записей читатели подняли тему о целесообразности [...]</description>
		<content:encoded><![CDATA[<p>[...] меня подтолкнул вовсе не этот список. В комментариях к одной из предыдущих моих записей читатели подняли тему о целесообразности [...]</p>
]]></content:encoded>
	</item>
	<item>
		<title>Автор: Иван Блинков</title>
		<link>http://www.insight-it.ru/masshtabiruemost/hadoop/#comment-1569</link>
		<dc:creator>Иван Блинков</dc:creator>
		<pubDate>Tue, 25 Mar 2008 16:26:59 +0000</pubDate>
		<guid isPermaLink="false">http://www.insight-it.ru/net/scalability/hadoop/#comment-1569</guid>
		<description>[quote comment=&quot;408&quot;]vezhnind,
С каких это пор в Java работа с памятью эффективнее чем в C++??? Я на C++ так могу заоптимайзить работу с памятью, что работать это будет на два порядка быстрее. Да да, именно на два - не меньше! Проверено ни раз![/quote]Я был бы рад, если бы Вы представились.

А если по теме, то не забываем, что:
1) это opensource - пишется далеко не одним человеком, оптимизация работы с памятью на C могло бы довести и до массы memory leak&#039;ов благодаря мелкой ошибке одного из программистов. На Java шанс чего-то подобного существенно ниже.
2) это Apache - они активно сотрудничают с Sun во многих отношениях, а Java используется достаточно активно в их проектах - чего стоят только &lt;a href=&quot;http://tomcat.apache.org&quot; target=&quot;_blank&quot; rel=&quot;nofollow&quot;&gt;Tomcat&lt;/a&gt;, &lt;a href=&quot;http://lucene.apache.org&quot; target=&quot;_blank&quot; rel=&quot;nofollow&quot;&gt;Lucene&lt;/a&gt; и &lt;a href=&quot;http://lucene.apache.org/solr&quot; target=&quot;_blank&quot; rel=&quot;nofollow&quot;&gt;Solr&lt;/a&gt;.</description>
		<content:encoded><![CDATA[<p>[quote comment="408"]vezhnind,<br />
С каких это пор в Java работа с памятью эффективнее чем в C++??? Я на C++ так могу заоптимайзить работу с памятью, что работать это будет на два порядка быстрее. Да да, именно на два &#8212; не меньше! Проверено ни раз![/quote]Я был бы рад, если бы Вы представились.</p>
<p>А если по теме, то не забываем, что:<br />
1) это opensource &#8212; пишется далеко не одним человеком, оптимизация работы с памятью на C могло бы довести и до массы memory leak&#8217;ов благодаря мелкой ошибке одного из программистов. На Java шанс чего-то подобного существенно ниже.<br />
2) это Apache &#8212; они активно сотрудничают с Sun во многих отношениях, а Java используется достаточно активно в их проектах &#8212; чего стоят только <a href="http://tomcat.apache.org" target="_blank" rel="nofollow">Tomcat</a>, <a href="http://lucene.apache.org" target="_blank" rel="nofollow">Lucene</a> и <a href="http://lucene.apache.org/solr" target="_blank" rel="nofollow">Solr</a>.</p>
]]></content:encoded>
	</item>
	<item>
		<title>Автор: Анонимный посетитель</title>
		<link>http://www.insight-it.ru/masshtabiruemost/hadoop/#comment-1568</link>
		<dc:creator>Анонимный посетитель</dc:creator>
		<pubDate>Tue, 25 Mar 2008 15:23:33 +0000</pubDate>
		<guid isPermaLink="false">http://www.insight-it.ru/net/scalability/hadoop/#comment-1568</guid>
		<description>vezhnind,
С каких это пор в Java работа с памятью эффективнее чем в C++??? Я на C++ так могу заоптимайзить работу с памятью, что работать это будет на два порядка быстрее. Да да, именно на два - не меньше! Проверено ни раз!</description>
		<content:encoded><![CDATA[<p>vezhnind,<br />
С каких это пор в Java работа с памятью эффективнее чем в C++??? Я на C++ так могу заоптимайзить работу с памятью, что работать это будет на два порядка быстрее. Да да, именно на два &#8212; не меньше! Проверено ни раз!</p>
]]></content:encoded>
	</item>
	<item>
		<title>Автор: vezhnind</title>
		<link>http://www.insight-it.ru/masshtabiruemost/hadoop/#comment-1567</link>
		<dc:creator>vezhnind</dc:creator>
		<pubDate>Tue, 18 Mar 2008 07:51:02 +0000</pubDate>
		<guid isPermaLink="false">http://www.insight-it.ru/net/scalability/hadoop/#comment-1567</guid>
		<description>Почему это Java работает медленнее C++?
Преимущества Java:
1  Runtime-компиляция под текущий процессор.
2 Работа с памятью более эффективная чем в C++ (но не C#)
3 Повышает производительность разработчика при разработке больших продуктов. А на деньги сэкономленные с одного разработчика можно докпить пару серверов в кластер.

Я бы сказал, что в целом ситуация такова:
если 100 программистов пишут приложение/сервис, который будет где-то исполнятся в единственно экземпляре - то  нужно экономить на людях и покупать больше серверов. Поэтому Java очень подходит для серверных систем</description>
		<content:encoded><![CDATA[<p>Почему это Java работает медленнее C++?<br />
Преимущества Java:<br />
1  Runtime-компиляция под текущий процессор.<br />
2 Работа с памятью более эффективная чем в C++ (но не C#)<br />
3 Повышает производительность разработчика при разработке больших продуктов. А на деньги сэкономленные с одного разработчика можно докпить пару серверов в кластер.</p>
<p>Я бы сказал, что в целом ситуация такова:<br />
если 100 программистов пишут приложение/сервис, который будет где-то исполнятся в единственно экземпляре &#8212; то  нужно экономить на людях и покупать больше серверов. Поэтому Java очень подходит для серверных систем</p>
]]></content:encoded>
	</item>
	<item>
		<title>Автор: Иван Бегтин &#124; Yahoo и Hadoop</title>
		<link>http://www.insight-it.ru/masshtabiruemost/hadoop/#comment-1566</link>
		<dc:creator>Иван Бегтин &#124; Yahoo и Hadoop</dc:creator>
		<pubDate>Wed, 27 Feb 2008 21:25:31 +0000</pubDate>
		<guid isPermaLink="false">http://www.insight-it.ru/net/scalability/hadoop/#comment-1566</guid>
		<description>[...] Ивана Блинкова &#8220;Hadoop для разработчика&#8221; и &#8220;Hadoop&#8220;.        --&gt;  Вы можете Оставить комментарий (0) или [...]</description>
		<content:encoded><![CDATA[<p>[...] Ивана Блинкова &#8220;Hadoop для разработчика&#8221; и &#8220;Hadoop&#8220;.        &#8212;&gt;  Вы можете Оставить комментарий (0) или [...]</p>
]]></content:encoded>
	</item>
	<item>
		<title>Автор: Иван Блинков</title>
		<link>http://www.insight-it.ru/masshtabiruemost/hadoop/#comment-1565</link>
		<dc:creator>Иван Блинков</dc:creator>
		<pubDate>Tue, 26 Feb 2008 20:09:23 +0000</pubDate>
		<guid isPermaLink="false">http://www.insight-it.ru/net/scalability/hadoop/#comment-1565</guid>
		<description>[quote comment=&quot;273&quot;]G0dSha писал:
А если умрет Namenode?

Все умрет =)
[/quote]Скорее не умрет, а упадет; просто-напросто понадобится ручное вмешательство для возвращения системы к жизни. Репликацию-то своих данных оно умеет делать...
[quote comment=&quot;273&quot;]Конечно, было бы быстрее, только не на порядок, а раза в 2, что уже не так критично. В любом случае, гораздо больший прирост производительности дает доработка архитектуры и кода, а не смена языка.
С другой стороны, на яве разарабатывать быстрее, и поддерживать код проще (а хадуп уже оч большой проект, особенно если приплюсовать к нему lucene и nutch).
К тому же, использование c/c++ (с их отсутствием защиты от дурака) для написания map/reduce задач было бы весьма проблемным делом (и явовские-то писать нелегко, стоит только слегка отклониться от данных хадупом классов для использования)[/quote]
А тут сложно не согласиться, на C следовать принципу &quot;keep it simple&quot; было бы существенно сложнее. Только вот все предположения насчет &quot;на С было быстрее&quot; взяты, по-моему, с потолка... Да и при желании никто не мешает использовать в качестве обработчиков данных любые подходящие скрипты и исполняемые файлы.</description>
		<content:encoded><![CDATA[<p>[quote comment="273"]G0dSha писал:<br />
А если умрет Namenode?</p>
<p>Все умрет =)<br />
[/quote]Скорее не умрет, а упадет; просто-напросто понадобится ручное вмешательство для возвращения системы к жизни. Репликацию-то своих данных оно умеет делать&#8230;<br />
[quote comment="273"]Конечно, было бы быстрее, только не на порядок, а раза в 2, что уже не так критично. В любом случае, гораздо больший прирост производительности дает доработка архитектуры и кода, а не смена языка.<br />
С другой стороны, на яве разарабатывать быстрее, и поддерживать код проще (а хадуп уже оч большой проект, особенно если приплюсовать к нему lucene и nutch).<br />
К тому же, использование c/c++ (с их отсутствием защиты от дурака) для написания map/reduce задач было бы весьма проблемным делом (и явовские-то писать нелегко, стоит только слегка отклониться от данных хадупом классов для использования)[/quote]<br />
А тут сложно не согласиться, на C следовать принципу &#171;keep it simple&#187; было бы существенно сложнее. Только вот все предположения насчет &#171;на С было быстрее&#187; взяты, по-моему, с потолка&#8230; Да и при желании никто не мешает использовать в качестве обработчиков данных любые подходящие скрипты и исполняемые файлы.</p>
]]></content:encoded>
	</item>
	<item>
		<title>Автор: johnjoy</title>
		<link>http://www.insight-it.ru/masshtabiruemost/hadoop/#comment-1564</link>
		<dc:creator>johnjoy</dc:creator>
		<pubDate>Tue, 26 Feb 2008 09:21:58 +0000</pubDate>
		<guid isPermaLink="false">http://www.insight-it.ru/net/scalability/hadoop/#comment-1564</guid>
		<description>G0dSha писал:
А если умрет Namenode?

Все умрет =)
На самом деле, в продакшн он ставится в failover стандартными средствами - 2 сервера+shared storage.
Также замечу, что у GoogleFS/BigTable тоже есть центральный нод, который тоже может упасть.

Про яву тоже мои 5 копеек:
Конечно, было бы быстрее, только не на порядок, а раза в 2, что уже не так критично. В любом случае, гораздо больший прирост производительности дает доработка архитектуры и кода, а не смена языка.
С другой стороны, на яве разарабатывать быстрее, и поддерживать код проще (а хадуп уже оч большой проект, особенно если приплюсовать к нему lucene и nutch).
К тому же, использование c/c++ (с их отсутствием защиты от дурака) для написания map/reduce задач было бы весьма проблемным делом (и явовские-то писать нелегко, стоит только слегка отклониться от данных хадупом классов для использования)</description>
		<content:encoded><![CDATA[<p>G0dSha писал:<br />
А если умрет Namenode?</p>
<p>Все умрет =)<br />
На самом деле, в продакшн он ставится в failover стандартными средствами &#8212; 2 сервера+shared storage.<br />
Также замечу, что у GoogleFS/BigTable тоже есть центральный нод, который тоже может упасть.</p>
<p>Про яву тоже мои 5 копеек:<br />
Конечно, было бы быстрее, только не на порядок, а раза в 2, что уже не так критично. В любом случае, гораздо больший прирост производительности дает доработка архитектуры и кода, а не смена языка.<br />
С другой стороны, на яве разарабатывать быстрее, и поддерживать код проще (а хадуп уже оч большой проект, особенно если приплюсовать к нему lucene и nutch).<br />
К тому же, использование c/c++ (с их отсутствием защиты от дурака) для написания map/reduce задач было бы весьма проблемным делом (и явовские-то писать нелегко, стоит только слегка отклониться от данных хадупом классов для использования)</p>
]]></content:encoded>
	</item>
	<item>
		<title>Автор: Иван Блинков</title>
		<link>http://www.insight-it.ru/masshtabiruemost/hadoop/#comment-1563</link>
		<dc:creator>Иван Блинков</dc:creator>
		<pubDate>Sat, 23 Feb 2008 08:24:17 +0000</pubDate>
		<guid isPermaLink="false">http://www.insight-it.ru/net/scalability/hadoop/#comment-1563</guid>
		<description>[quote comment=&quot;239&quot;]Спасибо за статью. Действительно инетерсный фраймворк.[/quote]Рад, что Вам понравилось!
[quote comment=&quot;240&quot;]Единственный недостаток имхо в медленности программ на java. Кпд будет заметно ниже чем, если бы система была написана на тех же С++. При построении высоконагрузочной системы можно забить на кроссплатформенность, т.к. оборудование скорее всего будет использоваться специально под проект и можно создавать систему сразу на одной платформе.[/quote]Чисто в теории я бы конечно согласился, но этот продукт медлительным назвать сложно. Вчера я успел только развернуть эту систему у себя дома и запустить демонстрационные вычисления, которые были в комплекте. Но даже при более чем скромной вычислительной мощности моего &quot;кластера&quot; оно выполняло вычисления вроде подсчета количества экземпляров каждого слова для нескольких книг  в .txt буквально за пару секунд.
[quote comment=&quot;242&quot;]А если умрет Namenode?[/quote]
Да, на данный момент это основное узкое место в плане надежности. Метаданные конечно тоже реплицируются, но автоматическое перехватывание его роли другим компьютером в кластере в случае сбоя Namenode разработчики еще только пишут, к релизу по идее должно быть и это воплощено в жизнь.</description>
		<content:encoded><![CDATA[<p>[quote comment="239"]Спасибо за статью. Действительно инетерсный фраймворк.[/quote]Рад, что Вам понравилось!<br />
[quote comment="240"]Единственный недостаток имхо в медленности программ на java. Кпд будет заметно ниже чем, если бы система была написана на тех же С++. При построении высоконагрузочной системы можно забить на кроссплатформенность, т.к. оборудование скорее всего будет использоваться специально под проект и можно создавать систему сразу на одной платформе.[/quote]Чисто в теории я бы конечно согласился, но этот продукт медлительным назвать сложно. Вчера я успел только развернуть эту систему у себя дома и запустить демонстрационные вычисления, которые были в комплекте. Но даже при более чем скромной вычислительной мощности моего &#171;кластера&#187; оно выполняло вычисления вроде подсчета количества экземпляров каждого слова для нескольких книг  в .txt буквально за пару секунд.<br />
[quote comment="242"]А если умрет Namenode?[/quote]<br />
Да, на данный момент это основное узкое место в плане надежности. Метаданные конечно тоже реплицируются, но автоматическое перехватывание его роли другим компьютером в кластере в случае сбоя Namenode разработчики еще только пишут, к релизу по идее должно быть и это воплощено в жизнь.</p>
]]></content:encoded>
	</item>
	<item>
		<title>Автор: G0dSha</title>
		<link>http://www.insight-it.ru/masshtabiruemost/hadoop/#comment-1562</link>
		<dc:creator>G0dSha</dc:creator>
		<pubDate>Sat, 23 Feb 2008 07:56:15 +0000</pubDate>
		<guid isPermaLink="false">http://www.insight-it.ru/net/scalability/hadoop/#comment-1562</guid>
		<description>А если умрет Namenode?</description>
		<content:encoded><![CDATA[<p>А если умрет Namenode?</p>
]]></content:encoded>
	</item>
	<item>
		<title>Автор: Орлангур</title>
		<link>http://www.insight-it.ru/masshtabiruemost/hadoop/#comment-1561</link>
		<dc:creator>Орлангур</dc:creator>
		<pubDate>Sat, 23 Feb 2008 00:54:22 +0000</pubDate>
		<guid isPermaLink="false">http://www.insight-it.ru/net/scalability/hadoop/#comment-1561</guid>
		<description>Единственный недостаток имхо в медленности программ на java. Кпд будет заметно ниже чем, если бы система была написана на тех же С++. При построении высоконагрузочной системы можно забить на кроссплатформенность, т.к. оборудование скорее всего будет использоваться специально под проект и можно создавать систему сразу на одной платформе.</description>
		<content:encoded><![CDATA[<p>Единственный недостаток имхо в медленности программ на java. Кпд будет заметно ниже чем, если бы система была написана на тех же С++. При построении высоконагрузочной системы можно забить на кроссплатформенность, т.к. оборудование скорее всего будет использоваться специально под проект и можно создавать систему сразу на одной платформе.</p>
]]></content:encoded>
	</item>
	<item>
		<title>Автор: shuron</title>
		<link>http://www.insight-it.ru/masshtabiruemost/hadoop/#comment-1560</link>
		<dc:creator>shuron</dc:creator>
		<pubDate>Fri, 22 Feb 2008 22:03:14 +0000</pubDate>
		<guid isPermaLink="false">http://www.insight-it.ru/net/scalability/hadoop/#comment-1560</guid>
		<description>Спасибо за статью. Действительно инетерсный фраймворк.</description>
		<content:encoded><![CDATA[<p>Спасибо за статью. Действительно инетерсный фраймворк.</p>
]]></content:encoded>
	</item>
</channel>
</rss>

