Web Crawling

What kind of data should the tool work with?

Yahoo Pipes allows users to combine, filter, translate, and geocode data from RSS feeds, JSON, KML, or other similar formats, and power widgets/badges using that data.

Last updated: 18 Jan 2017

trust your unique day will bring you bunches of joy, love and fun. You merit them a great deal. Appreciate!

Have a great birthday. I wish your consistently to be loaded with heaps of adoration, chuckling, satisfaction and the glow of daylight.

May this birthday be loaded with heaps of glad hours furthermore your existence with numerous upbeat birthdays, that are yet to come. Upbeat birthday.

Code license: Open source
Last updated: 14 Dec 2016

Eventseer is a personalized tracker that alerts you when a new event matches your interests (people, topics, organizations). You may contribute material on your personal research whiteboard, such as job offers, requests for reviewers, or information about software releases, workshops, conferences and seminars

Last updated: 14 Jul 2016

Modernizr es una biblioteca pequeña JavaScript que detecta la disponibilidad de implementaciones originarias para las futuras generaciones de tecnología web, con características que derivan de especificaciones HTML5 y CSS3.

Code license: Open source, BSD, MIT License
Last updated: 12 Oct 2015

Open Science Framework (OSF) es una herramienta de código abierto gratuita diseñada para que los investigadores administren el flujo de trabajo de investigación en su totalidad: la planificación, la ejecución, la generación de informes, el archivado y el descubrimiento. Es en parte un software colaborativo y en parte, un sistema de control de versión. Se puede usar OSF para administrar proyectos individuales o proyectos colaborativos más extensos.

Code license: Apache License
Last updated: 14 Jun 2015

Scrapy es una biblioteca de programación de código abierto para el rastreo web y la extracción de texto de las páginas web escritas en Python. Se pueden realizar llamadas con la utilización del código Scrapy desde el interior de las aplicaciones y secuencias propias de cada usuario para así automatizar la tarea de extraer información de los sitios webs.

Code license: Open source
Last updated: 22 May 2015

WordPress es una plataforma de publicación electrónica fácil de usar y originalmente diseñada en torno a los blogs. Actualmente ha desarrollado sus funciones y ha evolucionado en un contenido sólido y en un sistema de gestión de aprendizaje, con muchos temas y extensiones (plugins) para obtener una mayor funcionalidad .

Code license: GNU GPL v2
Last updated: 19 Oct 2016

SiteSucker es un programa OSX e iOS que puede descargar sitios web completos, incluyendo imágenes y vídeos.

Last updated: 6 May 2015

HTTrack es una interfaz fácil de usar que sirve para descargar sitios web (inclusive HTML, imágenes y otros archivos) o para actualizar una copia de un sitio previamente descargado.

Code license: Open source, GNU GPL
Last updated: 6 May 2015

SearchTeam es un motor colaborativo de búsqueda que permite a los individuos y grupos para curar resultados de búsqueda en un SearchSpace público o compartido.

Code license: Closed source
Last updated: 1 May 2015

GNU Wget is a free software package for retrieving files using HTTP, HTTPS and FTP.

Code license: Open source, GNU GPL
Last updated: 29 Dec 2014

H-Net is an international interdisciplinary organization of scholars and teachers dedicated to developing the enormous educational potential of the Web by providing curated lists and web sites publishing peer reviewed essays, multimedia materials, and discussion.

Last updated: 29 Dec 2014

Silobreaker is a search engine that aggregates the news from numerous sources and presents the contents in various visualization formats.

Last updated: 29 Dec 2014

SiteCrawler is a website downloading application that allows users to capture entire sites or selected portions of sites like image galleries.

Code license: Closed source
Last updated: 29 Dec 2014

News and RSS reader designed for iOS and Android mobile devices. Has been replaced by Google Play Newsstand (https://play.google.com/store/newsstand?hl=en)

Last updated: 29 Dec 2014
CSV
Subscribe to Web Crawling