Ce se întâmplă când dai un link
La fiecare analiză, pagina e cerută de 6 ori, secvențial, sub identități diferite: o dată ca browser Chrome și de cinci ori ca GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot și ChatGPT-User. Diferența dintre statusul primit de browser și cel primit de boți e cea mai importantă măsurătoare din tot tool-ul, fiindcă prinde firewallul care blochează fără să spună nimănui.
În paralel se cer robots.txt, llms.txt și sitemap-ul, iar pagina e randată într-un browser real pentru comparația dintre HTML-ul brut și DOM-ul final.
Cererile către același site se fac una după alta, niciodată în paralel. Un val de șase cereri simultane ar declanșa chiar rate limiting-ul pe care l-am raporta apoi ca „botul e blocat”.
