Post on 10-Jul-2020
Qualität von OnpageToolsVictoria Samarina & Daniel Wette
Qualität von Onpage Crawlern
Qualität von Onpage Crawlern
Crawling Verarbeitung Auswertung
Qualität von Onpage Crawlern
Crawling Verarbeitung Auswertung
Qualitätsvergleich
Test-Projekt
URL-Normalisierung● Was ist URL-Normalisierung● Wofür braucht man das?
○ Search engines○ Web Crawler○ Browser
Arten von URL-Normalisierung
● Normalisierung, die normalerweise der Semantik vorauskommt:○ Hinzufügen von trailling slashes
<A href=’http://www.crawler-test.com/subdir-slash-test-1’><A href=’http://www.crawler-test.com/subdir-slash-test-2/’>
● Entfernen von dot-segments<A href=’http://www.crawler-test.com/../a/b/../c/./test-1.html’>
Arten von URL-Normalisierung● Normalisierung mit Änderung der Semantik
○ Entfernen von Fragmenten<A href=’http://www.crawler-test.com/fragement-processing.html#jump1’> ->
<A href=’http://www.crawler-test.com/fragement-processing.html’>
○ Entfernen von duplicate slashes<A href=’http://www.crawler-test.com/duplicate-slashes-path//test-2.html’> ->
<A href=’http://www.crawler-test.com/duplicate-slashes-path/test-2.html’>
○ Sortierung von Query Parametern
<A href=’http://www.crawler-test.com/uri-norm/test.php?a=1&b=2&c=3&d=4’><A href=’http://www.crawler-test.com/uri-norm/test.php?b=2&a=1&c=3&d=4’>
Durchgeführte Tests: URL-Normalisierung
● Percent-Encodinghttp://www.localseo.wiki/~subdir/url-normalization-test-1.htmlhttp://www.localseo.wiki/%7Esubdir/url-normalization-test-2.htmlhttp://www.localseo.wiki/%7esubdir/url-normalization-test-3.html
● Port 80 in URIVerlinkte URL: <a href=’http://www.crawler-test.com:80/port-80-url-normalization-test-1.html’>
● Duplicate Slashes<A href=’http://www.crawler-test.com/duplicate-slashes-path//test-2.html’>
Durchgeführte Tests: Quotes● Quotes
<a href=http://www.localseo.wiki/linked-without-quotes.html>linked without quotes</a><a href='http://www.localseo.wiki/linked-with-single-quotes.html'>linked with single quotes</a></p><a href="http://www.localseo.wiki/linked-with-double-quotes.html">linked-with-double-quotes.html</a>
Durchgeführte Tests: Relative Linking
● Relative Linking<a href=’/subdir-2-1/relative-linking-test-1.html’><a href=’./subdir-1-3/relative-linking-test-2.html’><a href=’../subdir-1-3/relative-linking-test-3.html’><a href=’../../subdir-1-3/relative-linking-test-4.html’><a href=’../../../../subdir-1-3/relative-linking-test-4.html’><a href=’http://www.crawler-test.com/../a/b/../c/./test-1.html’>
● Base URL<a href="http://www.localseo.wiki/relative/linking/test/relative-linking-base-test.html">
Relative Verlinkungen
Relative Verlinkungen
Relative Verlinkungen
Relative Verlinkungen
Relative Verlinkungen
Relative Verlinkungen
Durchgeführte Tests: Redirect● 301 Redirect● 302 Redirect● 303 Reditect● Ketten gecrawlt // erkannt● Loop erkannt
Durchgeführte Tests: nofollow
● Nofollow Linkinterner nofollow Link von a auf b, interner follow Link von c auf b
● x-robots nofollow● META Nofollow
<meta name="robots" content="nofollow">
Durchgeführte Tests● Framesets● robots.txt
User-agent: *Disallow: /disallowed-directory/Disallow: /disallowed-file.html
● Javascript
Durchgeführte Tests● Whitespaces
<A href= ‘http://www.crawler-test.com/whitespace-test-1.html’ >
<A href = ‘http://www.crawler-test.com/whitespace-test-2.html’>
<A href= ‘http://www.crawler-test.com/whitespace-test-3.html’>
● Mentions etc.<!--a link in a comment. <A href=’http://www.crawler-test.com/linked-in-comment-test-1.html’>-->
<!--a mention in a comment. http://www.crawler-test.com/linked-in-comment-test-2.html-->
<!--a mention in a comment. www.crawler-test.com/linked-in-comment-test-3.html-->
Die Auswertung
Die Gewinner
12 3