| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2008-06-20 13:50 ［招待講演］100億規模のWebページ収集とその活用 ○山名早人（早大）  DE2008-17 PRMU2008-35 |
|
| 抄録 | （和） | インターネット上のWebサーバから発信されるWebページ数は，2005年10月時点で537億ページと推測されている．我々は文部科学省のe-Societyプロジェクトの一環として，2004年1月～2006年7月末の間に，全世界の5,548万台のWebサーバからユニークWebページ数として14,456,201,906ページを収集した．収集にあたっては，高速収集の実現と相手Webサーバへの負担軽減といった相反する事項の両立が重要である．本プロジェクトでの実験を通じて，Webサーバへのリクエスト間隔の動的な調整，アクセスコントロール等，様々なノウハウを蓄積することができた．また，収集済Webページの約107億ページを対象に，記述言語分布，トップレベルドメイン分布，Webサーバの地理的位置の解析，Webサーバ単位でのバックリンク解析やPageRank計算を進めてきた．本講演では，これまでの経験を踏まえ，大規模なWebページ収集を行うためのクロール技術とWebページの活用について述べる． |
| （英） | The number of Web pages distributed from Web servers is estimated about 53.7 billion as of Oct. 2005. We had gathered 14,456,201,906 Web pages from 5,548 Web servers during Jan. 2004 to July 2006. It had been conducted as part of e-Society project which is one of MEXT, Ministry of Education, Culture, Sports, Science and Technology, leading projects. Speedup of crawling Web pages conflicts with Web-site friendly crawling, however, both are indispensable for gathering Web pages. In the project, we have studied and proposed a dynamic delay adjustment scheme for accessing Web servers to prevent hammering them. Moreover, many know-how including access control for Web servers have been studied. As for the analysis, written language distribution, top level domain distribution and geographical location distribution of 10.7 billion of Web pages were calculated. Besides that, back-link analysis and PageRank calculation among Web servers were done. In this talk, I will introduce a crawling technique for gathering large amount of Web pages and applications for best use of gathered Web pages. | |
| キーワード | （和） | Webリポジトリ / Webクローラ / Web解析 / リンク解析 / / / / |
| （英） | Web repository / Web crawler / Web analysis / Link analysis / / / / | |
| 文献情報 | 信学技報, vol. 108, no. 93, DE2008-17, pp. 95-96, 2008年6月. | |
| 資料番号 | DE2008-17 | |
| 発行日 | 2008-06-12 (DE, PRMU) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | DE2008-17 PRMU2008-35 |
|
| 研究会情報 | |
| 研究会 | PRMU DE |
| 開催期間 | 2008-06-19 - 2008-06-20 |
| 開催地（和） | 小樽市民会館 |
| 開催地（英） | Otaru-Shimin-Kaikan |
| テーマ（和） | 膨大なデータから学ぶもの |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | DE |
| 会議コード | 2008-06-PRMU-DE |
| 本文の言語 | 日本語 |
| タイトル（和） | 100億規模のWebページ収集とその活用 |
| サブタイトル（和） | |
| タイトル（英） | Gathering Over 10 Billion of Web Pages and its Applications |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Webリポジトリ / Web repository |
| キーワード(2)（和/英） | Webクローラ / Web crawler |
| キーワード(3)（和/英） | Web解析 / Web analysis |
| キーワード(4)（和/英） | リンク解析 / Link analysis |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 山名 早人 / Hayato Yamana / |
| 第1著者 所属（和/英） | 早稲田大学 (略称： 早大) Waseda University (略称： Waseda Univ.) |
| 講演者 | 第1著者 |
| 発表日時 | 2008-06-20 13:50:00 |
| 発表時間 | 50分 |
| 申込先研究会 | DE |
| 資料番号 | DE2008-17, PRMU2008-35 |
| 巻番号（vol） | vol.108 |
| 号番号（no） | no.93(DE), no.94(PRMU) |
| ページ範囲 | pp.95-96 |
| ページ数 | 2 |
| 発行日 | 2008-06-12 (DE, PRMU) |
[研究会発表申込システムのトップページに戻る]