README_ES.md

Django y Scrapy

Un ejemplo de como usar el Django para guardar datos obtenidos mediante un Spider de Scrapy en una base de datos y exponerlos via REST

Requerimientos no instalables por pip

• Python 2.7
• pip
• virtualenv
• Un broker compatible con celery, este proyecto asume redis
• Una motor de base de datos compatible con django

Instalación

# instalar fabric en ambiente global
pip install fabric
# clonar repositorio
git clone git://github.com/gcba/Scrapy-Django.git
cd rScrapy-Django
# correr setup
fab DEV setup

Para usuarios de OSX solamente

Reemplazar el último comando por la siguiente secuencia

fab DEV setup_virtualenv
# activar virtualenv
source bin/activate
# instalar lxml con dependencias estáticas
STATIC_DEPS=true pip install lxml
# continuar instalación
fab DEV update

Customización de Settings

Cualquier customización de settings necesaria hacerla sobre settings_local.py. Copiar archivo demo:

cp settings_local_demo.py settings_local.py

y modificarlo a gusto

Correr redis-server y celery deamon

redis-server

python manage.py celeryd

Correr spider

scrapy runspider scrap.py

Correr server de prueba para ver resultados

python manage.py runserver