Pregunta Curl para descargar gran CSV


Estoy usando Curl a través de Cygwin en Windows 7 para descargar contenido de Apache Solr en formato CSV. Este es mi comando que se ejecuta en un bucle for

curl -o ret-key-data-$i.csv $URL

Como el contenido es muy grande, estoy descargando 100k filas a la vez. El tamaño del archivo es aprox. 4mb cada uno. Sin embargo, si aumento la cuenta de filas a 1 millón, Curl no está escribiendo ningún contenido en el disco.

¿Qué otra opción tengo que configurar para asegurar rizo puede manejar un contenido más grande?

EDITAR: El comando no da error No se cuelga. Espera un período de tiempo y finaliza con éxito, pero genera un archivo de cero kb. Parece que la red se está agotando.


1


origen


Por favor sea más específico en cuanto a lo que sucede. ¿Cómo es "no escribir ningún contenido"? ¿El comando espera por siempre y no hay un archivo de salida, o uno vacío? ¿Ves algún mensaje de salida a la terminal? - slhck
¿Podría el servidor web tener un tiempo de espera y cortar la conexión? - rob
Uso cURL diariamente para descargar archivos en cientos de GB y no he tenido problemas con los límites para escribir en el archivo. ¿Puedes publicar los resultados usando el interruptor detallado -v? Sería útil ver los detalles de la solicitud y la respuesta del servidor. - MikeBoss


Respuestas: