Description Usage Arguments Value
crawlt den Inhalt einer Website und gibt den passenden xml-Output zurück Der Crawl über die eigene IP oder das TOR-Netzwerk gestartet werden.
1 2 3 | (url, ua = "", proxy = "socks5h://127.0.0.1:9153", hidden = T,
info = F, verbose = F, timeout = 5, encoding = "UTF-8", wait = 0,
try.con = 10, ssl = F)
|
url |
zu crawlende url |
ua |
zu verwendender user agent |
proxy |
hidden=T, verwendeter socks port, um TOR-Browser anzusprechen |
hidden |
crawl mit eigener (hidden=F) oder TOR-IP (hidden=T) |
info |
anzeige welche IP verwendet wird (T/F) |
verbose |
Ausgabe zusätzlicher Informationen zum Crawl (T/F) |
timeout |
Zeit, in der auf Rückmeldung von Website gewartet wird; vor Verbindungsabbruch |
encoding |
verwendeter Zeichensatz der Website |
wait |
Wartezeit vor Crawl in Sekunden |
try.con |
Anzahl der gescheiterten Verbindungsversuche mit TOR, bis eigene IP verwendet wird |
ssl |
ssl.verifypeer (T/F) |
XML-Inhalt der aufgerufenen url
Add the following code to your website.
For more information on customizing the embed code, read Embedding Snippets.