asteroza + crawler   28

mroth/unindexed
Code to self destruct a website if indexed by a google crawler
self  destruct  website  google  crawler  security  Delicious 
march 2015 by asteroza
Netflix/Scumblr
Netflix uses Scumblr to crawl for useful info to feed to people (basically scraping for potentially useful security info)
netflix  opensource  software  internet  information  search  engine  crawler  collector  webapp  security  Delicious 
august 2014 by asteroza
Trapit
Another offshoot of the CALO research, which created Siri. A learning news filterer/gatherer operating as a kind of personal research assistant. Could be big.
CALO  personal  information  discovery  agent  assistant  AI  software  web  service  news  crawler  Trap.it  Siri  Delicious 
october 2011 by asteroza

related tags

2.0  80legs  AboutYou  Acidus  actuator  agent  aggregator  AI  analysis  aplication  app  assistant  automation  binary  bot  cable  CALO  cargo  censorship  check  checker  checking  chilling  cloud  collector  compression  computing  content  crawl  crawler  crawling  crowdsourcing  CSS  dad  data  dataset  Death  deep  defense  Delicious  destruct  detection  development  devices  directory  discovery  DNS  domain  drone  duct  effect  electric  electronics  engine  forms  framework  free  full  generator  google  GZip  GZipbomb  hacking  hardware  html  HTTP  hunter  hybrid  inchworm  information  injection  inspection  interest  internet  IronIO  IronMQ  japan  justice  lifestream  link  lookup  manifold  marine  mashup  masscan  media  metrics  mineral  mining  motion  multicopter  netflix  news  node  nodule  nokogiri  ocean  offshore  opensource  penetration  pentest  pentesting  person  personal  pipe  Plura  prank  profile  programming  propulsion  prototype  public  python  quadcopter  query  recon  reconnaissance  reference  research  robot  robotics  ROV  rover  ruby  scalability  scale  scan  scanner  scanning  scraper  Scrapy  Scrawlr  screenscraping  seabed  seafloor  search  security  sediment  self  selfcensorship  server  service  shodan  Siri  site  slithering  snake  snow  snowmobile  SNS  social  software  solution  speech  spider  SQL  SQLi  standards  startup  statistics  strip  SubBrute  subdomain  sysadmin  tadpole  tag  tank  tensegrity  test  testing  tetrahedron  threat  tools  tracked  transportation  Trap.it  tread  treaded  tree  trike  tube  twisted  UAV  UGV  underwater  user  utilities  UUV  validation  validator  vehicle  vigilante  visualization  vulnerability  w3c  web  webapp  webdev  webpage  website  windows  worm  XHTML  XSS  yokoku.in  zipbomb 

Copy this bookmark:



description:


tags: