AporrhoiaBot

AporrhoiaBot is the web reader of aporrhoia, a tool that writes guides for websites. It reads a website when its operator, a customer of ours, asks us to: to map its pages and to write guides that fit them.

For a customer's market analysis, it also reads the home page of websites that compete with that customer: their robots.txt and the home page, nothing more.

User-Agent: AporrhoiaBot/1.0 (+https://aporrhoia.com/bot)

Every request is signed with HTTP Message Signatures (RFC 9421, Web Bot Auth). Our public keys are listed in the key directory below.

AporrhoiaBot runs on Cloudflare Workers and has no fixed IP addresses. The signature shows that a request really comes from us.

https://aporrhoia.com/.well-known/http-message-signatures-directory

When reading a website, AporrhoiaBot follows robots.txt (RFC 9309). It uses the groups for “AporrhoiaBot” and for our former name “aporrhoia-Bestandsaufnahme” if there are any, otherwise the group for all (*). If that group sets a Crawl-delay, we keep it as the gap between two requests to the same host, up to 10 seconds. We follow a redirect right away. To keep it out completely:

One request at a time, never several at once, with a pause of at least 0.5 seconds between two requests to the same host (never less than 0.25 after a slow-down). A redirect is followed right away. If a server signals that it is busy (for example with 429 or 503), AporrhoiaBot slows down to up to 8 seconds and stops after 12 such answers in a row. It also stops after 3 refused requests in a row.

If a website blocks us, we pause there: 30 minutes, longer after further blocks, at most 24 hours. If it names a waiting time with Retry-After, we wait that long, at most 24 hours.

E-mail: info@aporrhoia.com

AporrhoiaBot ist der Leser von aporrhoia, einem Werkzeug, das Ratgeber für Websites schreibt. Er liest eine Website, wenn ihr Betreiber, einer unserer Kunden, uns darum bittet: um ihre Seiten zu erfassen und passende Ratgeber zu schreiben.

Für die Marktanalyse eines Kunden liest er außerdem die Startseiten von Websites, die mit diesem Kunden im Wettbewerb stehen: ihre robots.txt und die Startseite, sonst nichts.

User-Agent: AporrhoiaBot/1.0 (+https://aporrhoia.com/bot)

Jede Anfrage ist signiert, mit HTTP Message Signatures (RFC 9421, Web Bot Auth). Unsere öffentlichen Schlüssel stehen im Schlüsselverzeichnis unten.

Unser Leser „AporrhoiaBot“ läuft auf Cloudflare Workers und hat keine festen IP-Adressen. Die Signatur zeigt, dass eine Anfrage wirklich von uns kommt.

https://aporrhoia.com/.well-known/http-message-signatures-directory

Beim Lesen einer Website hält sich unser Leser an die robots.txt (RFC 9309). Er nimmt die Gruppen für „AporrhoiaBot“ und für unseren früheren Namen „aporrhoia-Bestandsaufnahme“, wenn es welche gibt, sonst die für alle (*). Nennt diese Gruppe einen Crawl-delay, halten wir ihn als Abstand zwischen zwei Anfragen an denselben Host ein, höchstens 10 Sekunden. Einer Weiterleitung folgen wir sofort. So sperrst du ihn ganz aus:

Immer nur eine Anfrage, nie mehrere zugleich, mit mindestens 0,5 Sekunden Pause zwischen zwei Anfragen an denselben Host (nie weniger als 0,25 nach einer Bremsung). Einer Weiterleitung folgt unser Leser sofort. Meldet ein Server, dass er ausgelastet ist (etwa mit 429 oder 503), wird unser Leser langsamer, bis zu 8 Sekunden, und hört nach 12 solchen Antworten in Folge auf. Nach 3 abgewiesenen Anfragen in Folge hört er ebenfalls auf.

Sperrt uns eine Website, machen wir dort Pause: 30 Minuten, nach weiteren Sperren länger, höchstens 24 Stunden. Nennt sie mit Retry-After eine Wartezeit, warten wir so lange, höchstens 24 Stunden.

E-Mail: info@aporrhoia.com