Semalt: Blockieren Sie den Zugriff auf Ihren Site-Inhalt mit Meta-Tags und Robots.txt-Dateien

Laut Jason Adler, dem Semalt Customer Success Manager, ist es möglich zu steuern, was mit Bing, Yahoo und Google geteilt wird, wenn Sie die Daten sicher aufbewahren und nicht im Internet teilen. Zu den Daten, die Sie geheim halten müssen, gehören Kontaktinformationen, PayPal-ID, Kreditkartendaten, Benutzernamen und Passwörter. Sie sollten verhindern, dass diese Art von Informationen in Google und anderen Suchmaschinen indiziert wird. Wenn Sie die URLs Ihrer Website blockieren, können Sie Google und andere Suchmaschinen daran hindern, bestimmte Seiten oder Artikel zu crawlen. Dies bedeutet, dass Personen, die die Suchergebnisse durchgehen, die blockierten URLs nicht sehen und nicht zu ihnen navigieren können. Außerdem können sie nicht auf den Inhalt zugreifen, und Sie können verhindern, dass viele Artikel in den Suchergebnissen von Google angezeigt werden. So blockieren Sie den Zugriff auf den Inhalt Ihrer Website:

Blockieren der Suchindizierung mit Meta-Tags: Sie können das Anzeigen von Seiten in Suchmaschinen leicht blockieren, wenn Sie die Nicht-Index-Meta-Tags im HTML-Code Ihrer Site verwenden. Googlebot crawlt Seiten, die dieses Meta-Tag nicht haben, und löscht Ihre spezifischen Seiten aufgrund dessen aus den Suchergebnissen. Lassen Sie sich hier mitteilen, dass dieses Meta-Tag nur funktioniert, wenn Ihre robots.txt-Datei nicht geändert wurde.

Blockieren von URLs mit robots.txt-Dateien: Die Robots.txt-Datei befindet sich im Stammverzeichnis Ihrer Website und gibt den Teil Ihrer Website an, den Suchmaschinen-Crawler und -Spinnen nicht indizieren sollen. Es verwendet den Robots Exclusion Standard, ein Protokoll mit einer Reihe von Befehlen, die angeben, wo und wie die Webcrawler auf Ihre Site zugreifen. Robots.txt verhindert außerdem, dass Bilder in den Suchergebnissen angezeigt werden, verhindert jedoch nicht, dass Benutzer Ihre Website mit ihren eigenen Seiten verknüpfen. Sie sollten die Einschränkungen und Einschränkungen von robots.txt-Dateien berücksichtigen, bevor Sie sie bearbeiten. Einige Mechanismen stellen sicher, dass die URLs ordnungsgemäß blockiert sind. Die Anweisungen von robots.txt sind Anweisungen, was bedeutet, dass sie das Verhalten von Webcrawlern nicht erzwingen können. Alle Crawler interpretieren die Syntax auf ihre eigene Weise, und die robots.txt-Dateien können die Verweise auf Ihren Link von den anderen Websites nicht verhindern. Google ist gut darin, die Anweisungen von robots.txt-Dateien zu befolgen, aber es ist der Suchmaschine aufgrund ihrer Richtlinien möglicherweise nicht möglich, eine blockierte Website zu indizieren.

Deaktivieren von Google Local und Google Properties: Sie können verhindern, dass Ihre Inhalte nach der Indizierung in verschiedenen Google-Eigenschaften angezeigt werden. Dies umfasst Google Local, Google Flights, Google Shopping und Google Hotels. Wenn Sie die Anzeige in all diesen Verkaufsstellen deaktivieren, werden Ihre gecrawlten Inhalte nicht aufgelistet oder aktualisiert. Alle Artikel, die auf einer dieser Plattformen angezeigt werden, werden innerhalb von 30 Tagen nach dem Deaktivieren entfernt.

Fazit:

Es ist wichtig, die weniger wertvollen und nützlichen Inhalte vor Ihren Besuchern zu verbergen. Wenn Ihre Website an mehreren Stellen ähnliche Themen enthält, kann dies einen negativen Eindruck bei Suchmaschinen und Ihren Besuchern hinterlassen. Deshalb sollten Sie alle diese Seiten ausblenden und nicht von den Suchmaschinen indizieren lassen. Entfernen Sie den Inhalt von Drittanbietern. Sie müssen um jeden Preis Inhalte von Drittanbietern entfernen, die für Ihre Website nicht wertvoll sind. Lassen Sie Google nicht sehen, dass Sie Inhalte von Drittanbietern teilen, da die Suchmaschine in diesem Fall weniger Wert auf Ihrer Website sieht. Wenn Sie Inhalte von einer großen Anzahl von Websites kopiert haben, werden Sie möglicherweise von Google bestraft, und Sie können doppelte Artikel blockieren, um Ihre Google-Ränge zu verbessern.