ソフトウェアスパイダーとは何ですか?

「ソフトウェアスパイダー」は、検索エンジンによって操作される無人のプログラムであり、ユーザーが行うように Web をサーフィンします。各 Web サイトにアクセスすると、各サイトのすべての単語を記録 (ハードドライブに保存) し、他のサイトへの各リンクを記録します。次に、リンクを「クリック」すると、別の Web サイトを読み取り、索引付けし、保存します。

ソフトウェアスパイダーは、多くの場合、アクセスした各 Web サイトのテキスト全体を読み取ってインデックスを作成し、対象の検索エンジンのメインデータベースに格納します。最近、AltaVista などの多くのエンジンは、サイトの特定のページ数 (多くの場合、合計で約 500 ページ) までのインデックス作成を開始し、その後停止します。明らかに、これは Web が大きくなりすぎて、すべてのインデックスを作成することが不可能になったことが原因です。スパイダーがインデックスを作成するページ数は完全には予測できません。したがって、重要なキーワードを含むページなど、インデックスを作成するサイト内の重要な各ページを具体的に送信することをお勧めします。

ソフトウェアスパイダーは、世界中のすべての図書館の各本の目次を切り取り、それらを巨大なマスターインデックスに分類し、どのテキストが他のどのテキストを参照しているかに関する情報を格納する電子書誌を構築する電子図書館員のようなものです。一部のソフトウェアスパイダーは、1 日に 100 万件以上のドキュメントをインデックス化できます。検索エンジンのスパイダーが行うことは 2 つだけであることを理解することが重要です。

それらはテキストに索引を付けます。
彼らはリンクをたどります。

SearchEngineWatch.com が主催した最近の Search Engine Strategies カンファレンスで、ゲストスピーカーの 1 人である Grantastic Designs の Shari Thurow がこの点を強調し、その重要性を説明するために何度か繰り返しました。彼らはテキストに索引を付け、リンクをたどります。それは彼らがするすべてです。

彼女のポイントは、検索エンジンのスパイダーの性質を理解する上で重要かつ中心的なものです。 Web サイトのテキストがグラフィック内に含まれている場合、検索エンジンはインデックスを作成できません。ランキングを獲得したい重要なキーワードがすべて HTML テキストではなくグラフィックに含まれていると、あなたのサイトはランキングを獲得できません。検索エンジンは画像に索引を付けたり、画像を読んだりするのではなく、テキストに索引を付けてリンクをたどることを忘れないでください。それで全部です。表示可能なページにテキストがない場合、キーワードメタタグにキーワードをいくら入れても、ランキングを獲得するのに役立ちません。

スパイダーがサイト上で何を見ているかによって、サイトがインデックスにどのようにリストされるかが決まります。検索エンジンは、検索エンジンが秘密にしようとする複雑なスコアリングシステムに基づいて、サイトの関連性を判断します。このシステムは、キーワードがページに何回出現したか、ページのどこに出現したか、単語の合計数などに基づいてポイントを加算または減算します。最も多くのポイントを獲得したページが検索結果の上部に返されます。残りは底に埋もれ、発見されることはありません。

ソフトウェアスパイダーがサイトにアクセスすると、ページ上の他のサイトへのリンクが記録されます。検索エンジンの膨大なデータベースには、サイト間のすべてのリンクが記録されています。検索エンジンは、あなたがどのサイトにリンクしたか、さらに重要なことに、どのサイトにリンクしたかを知っています。多くのエンジンは、サイトへのリンク数を人気の指標として使用し、この要素に基づいてランキングを上げます。