Robots qui ont interrogé le fichier robots.txt en 2024.

Ces identificateurs sont ceux qui ont demandé robots.txt depuis le 01/01/2024 avant d'explorer le site.
La liste a été mise à jour le 25/04/2024 à 23:36.

1. CCBot/2.0 (https://commoncrawl.org/faq/)
   Dernière requête : 2024-03-04 01:44:08
2. facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
   Dernière requête : 2024-04-12 19:56:15
3. Mozilla/4.0 (compatible; fluid/0.0; +http://www.leak.info/bot.html)
   Dernière requête : 2024-04-23 10:35:43
4. Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)
   Dernière requête : 2024-04-25 19:14:27
5. Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)
   Dernière requête : 2024-04-05 16:06:15
6. Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)
   Dernière requête : 2024-03-31 05:49:52
7. Mozilla/5.0 (compatible; DataForSeoBot/1.0; +https://dataforseo.com/dataforseo-bot)
   Dernière requête : 2024-04-18 06:00:18
8. Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)
   Dernière requête : 2024-04-17 04:29:30
9. Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
   Dernière requête : 2024-04-25 10:15:32
10. Mozilla/5.0 (compatible; Konqueror/3; Linux)
    Dernière requête : 2024-03-13 08:15:00
11. Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; +https://help.mail.ru/webmaster/indexing/robots)
    Dernière requête : 2024-04-13 04:49:10
12. Mozilla/5.0 (compatible; SeekportBot; +https://bot.seekport.com)
    Dernière requête : 2024-04-18 04:52:03
13. Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)
    Dernière requête : 2024-01-15 06:03:01
14. Mozilla/5.0 (compatible; SEOkicks; +https://www.seokicks.de/robot.html)
    Dernière requête : 2024-02-29 16:44:34
15. Mozilla/5.0 (compatible; SurdotlyBot/1.0; +http://sur.ly/bot.html)
    Dernière requête : 2024-04-15 22:58:32
16. Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
    Dernière requête : 2024-04-22 21:26:06
17. Mozilla/5.0 (compatible;PetalBot;+https://webmaster.petalsearch.com/site/petalbot)
    Dernière requête : 2024-04-24 16:50:56
18. Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.7729.1339 Mobile Safari/537.36
    Dernière requête : 2024-03-25 01:10:16
19. Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2262.1877 Mobile Safari/537.36
    Dernière requête : 2024-03-10 13:02:45
20. Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.1857.1165 Mobile Safari/537.36
    Dernière requête : 2024-04-13 05:26:35
21. Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.1919.1812 Mobile Safari/537.36
    Dernière requête : 2024-03-13 17:07:31
22. Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.7423.1003 Mobile Safari/537.36
    Dernière requête : 2024-03-16 19:19:56
23. Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.5037.1299 Mobile Safari/537.36
    Dernière requête : 2024-03-23 23:55:14
24. Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.9504.1329 Mobile Safari/537.36
    Dernière requête : 2024-03-16 04:11:42
25. Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.5136.1143 Mobile Safari/537.36
    Dernière requête : 2024-03-07 20:48:47
26. Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.6446.1176 Mobile Safari/537.36
    Dernière requête : 2024-03-29 01:24:47
27. Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.5438.1092 Mobile Safari/537.36
    Dernière requête : 2024-03-03 11:11:42
28. Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.7313.1862 Mobile Safari/537.36
    Dernière requête : 2024-03-03 21:50:44
29. Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.9446.1299 Mobile Safari/537.36
    Dernière requête : 2024-03-20 05:59:48
30. Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.8569.1406 Mobile Safari/537.36
    Dernière requête : 2024-03-15 09:20:55
31. Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.6213.1664 Mobile Safari/537.36
    Dernière requête : 2024-04-13 06:06:30
32. Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.7081.1139 Mobile Safari/537.36
    Dernière requête : 2024-03-18 22:31:18
33. Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.6918.1405 Mobile Safari/537.36
    Dernière requête : 2024-03-14 18:27:58
34. Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.7722.1538 Mobile Safari/537.36
    Dernière requête : 2024-03-09 05:15:18
35. Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.8934.1986 Mobile Safari/537.36
    Dernière requête : 2024-03-11 18:49:00
36. Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.5124.1837 Mobile Safari/537.36
    Dernière requête : 2024-03-27 01:18:01
37. Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.4427.1900 Mobile Safari/537.36
    Dernière requête : 2024-03-13 02:36:13
38. Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.7442.1196 Mobile Safari/537.36
    Dernière requête : 2024-03-27 15:39:02
39. Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.7738.1342 Mobile Safari/537.36
    Dernière requête : 2024-03-21 10:04:54
40. Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2656.1757 Mobile Safari/537.36
    Dernière requête : 2024-03-25 20:43:53
41. Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.5436.1218 Mobile Safari/537.36
    Dernière requête : 2024-03-23 00:57:11
42. Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.1368.1930 Mobile Safari/537.36
    Dernière requête : 2024-03-30 05:04:43
43. Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.7772.1725 Mobile Safari/537.36
    Dernière requête : 2024-04-03 06:51:29
44. Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.3344.1971 Mobile Safari/537.36
    Dernière requête : 2024-03-18 05:50:47
45. Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.8089.1632 Mobile Safari/537.36
    Dernière requête : 2024-03-22 00:56:32
46. Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.3289.1394 Mobile Safari/537.36
    Dernière requête : 2024-04-01 06:33:35
47. Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.9946.1706 Mobile Safari/537.36
    Dernière requête : 2024-03-17 07:32:46
48. Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:123.0) Gecko/20100101 Firefox/123.0
    Dernière requête : 2024-03-04 22:39:45
49. Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:124.0) Gecko/20100101 Firefox/124.0
    Dernière requête : 2024-03-04 17:14:45
50. Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)
    Dernière requête : 2024-04-25 05:31:54
51. Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
    Dernière requête : 2024-04-25 05:06:10
52. Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36
    Dernière requête : 2024-03-04 18:04:04
53. Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.6 Safari/605.1.1 7.13
    Dernière requête : 2024-01-23 01:54:43
54. Mozilla/5.0 (Macintosh; Intel Mac OS X 14_2_1) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.2 Safari/605.1.15
    Dernière requête : 2024-02-28 19:18:36
55. Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.3 4.11
    Dernière requête : 2024-04-22 03:00:44
56. Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.54 2.48
    Dernière requête : 2024-02-22 01:57:36
57. Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3359.164 Safari/537.36
    Dernière requête : 2024-02-11 08:41:38
58. Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.70 Safari/537.36
    Dernière requête : 2024-01-05 03:19:41
59. Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.106 Safari/537.36
    Dernière requête : 2024-02-01 03:27:04
60. Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.115 Safari/537.36
    Dernière requête : 2024-01-20 06:43:20
61. Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4556.0 Safari/537.36
    Dernière requête : 2024-02-22 01:30:03
62. Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36
    Dernière requête : 2024-03-01 13:54:51
63. Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.50 Safari/537.36
    Dernière requête : 2024-01-25 06:55:35
64. Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36
    Dernière requête : 2024-02-14 07:00:19
65. Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.74 Safari/537.36
    Dernière requête : 2024-01-13 04:33:35
66. Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/121.0
    Dernière requête : 2024-04-10 04:13:34
67. Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:123.0) Gecko/20100101 Firefox/123.0
    Dernière requête : 2024-03-05 07:15:20
68. Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5 (.NET CLR 3.5.30729)
    Dernière requête : 2024-04-19 11:52:06
69. Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36
    Dernière requête : 2024-04-22 15:20:47
70. Mozilla/5.0 (X11; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/115.0
    Dernière requête : 2024-03-05 07:31:52
71. Mozilla/5.0 (X11; Linux x86_64; rv:122.0) Gecko/20100101 Firefox/122.0
    Dernière requête : 2024-03-04 20:23:44
72. Mozilla/5.0 (X11; Linux x86_64; rv:123.0) Gecko/20100101 Firefox/123.0
    Dernière requête : 2024-03-04 16:46:34
73. Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:123.0) Gecko/20100101 Firefox/123.0
    Dernière requête : 2024-03-05 00:48:51
74. netEstate NE Crawler (+http://www.website-datenbank.de/)
    Dernière requête : 2024-04-04 05:23:34
75. serpstatbot/2.1 (advanced backlink tracking bot; https://serpstatbot.com/; abuse@serpstatbot.com)
    Dernière requête : 2024-02-19 20:05:23
76. Turnitin (https://bit.ly/2UvnfoQ)
    Dernière requête : 2024-04-21 16:02:14

 avec un identificateur faux ou non identifié :

1. aragna.net_bot
   Dernière requête : 2024-02-20 20:16:40
2. ClaudeBot
   Dernière requête : 2024-04-19 03:07:54
3. Go-http-client/1.1
   Dernière requête : 2024-04-04 11:13:06
4. Googlebot (+http://www.google.com/bot.html))
   Dernière requête : 2024-04-25 20:15:48
5. Mozilla/5.0 (compatible; Qwantify-prod/1.0; +https://help.qwant.com/bot/)
   Dernière requête : 2024-04-20 10:45:03
6. Mozilla/5.0 (compatible; VelenPublicWebCrawler/1.0; +https://velen.io)
   Dernière requête : 2024-04-19 04:33:32
7. Mozilla/5.0 (compatible; wpbot/1.0; +https://forms.gle/ajBaxygz9jSR8p8G9)
   Dernière requête : 2024-04-14 09:45:10
8. Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)
   Dernière requête : 2024-04-03 06:51:12
9. Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/605.1.16 (KHTML, like Gecko; compatible; Friendly_Crawler/2.0) Chrome/120.0.6099.217 Safari/605.1.15/Nutch-1.20-SNAPSHOT
   Dernière requête : 2024-04-12 12:19:16
10. Mozilla/5.0 (Windows; U; Windows NT 5.0; en-US; rv:1.4b) Gecko/20030516 Mozilla Firebird/0.6
    Dernière requête : 2024-03-25 03:38:12
11. Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36
    Dernière requête : 2024-04-24 17:31:40
12. Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
    Dernière requête : 2024-04-25 23:36:50
13. Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)
    Dernière requête : 2024-04-17 05:45:33
14. PhxBot/0.1 (phxbot@protonmail.com)
    Dernière requête : 2024-01-06 10:22:17
15. python-asks/3.0.0
    Dernière requête : 2024-03-20 18:23:17
16. python-requests/2.31.0
    Dernière requête : 2024-03-05 07:42:54

Tous les robots ne demandent pas robots.txt et ceux qui le demandent ne lui obéissent pas forcément.

Afficher les robots qui ont récemment exploré le site