(En fin, redacto de nuevo el mensaje que estaba redactando a las 15:50, medio minuto antes de dar de baja el sitio y 10 minutos antes de entrar a rendir un final...)
Lo que les comentaba era lo siguiente... como inscripción tras inscripción el sitio está saturadísimo. En realidad más que de costumbre, porque estas últimas semanas no bajamos de las 2200 visitas diarias, lo cual es un record.
La diferencia fundamental en la que estamos en esta última (y la anterior también) inscripción con respecto a otros años es que ahora el hosting no es una computadora tirada en mi casa que sólo sirve al foro sino que estamos en un servidor más grande que nos prestan de buen grado. En estos últimos días el foro comió tanto del servidor que lo tiró abajo varias veces.
Llevo 3 días monitoreando los recursos ininterrumpidamente y buscándole la vuelta al foro para evitar que voltee al resto del servidor, y al caudal de tráfico que se está manteniendo en estos días es practicamente imposible. Intenté mantener a raya los servicios en momento de saturación como fuera posible e intentando mantener en pie a un servidor que no está cómodo para darle un reset si se freezea por completo.
Por eso, hoy, cuando el método agresivo de control que venía ensayando desde la mañana (el cual demostró no matar al servidor, al menos) rompió la coherencia de la base de datos; la decisión inmediata fue el dar de baja el foro hasta poder limitar de manera más drástica el uso de recursos.
En el contexto de hosting de calidad en el que estamos ahora, que nos viene de favor, y prácticamente en un server dedicado; no puedo menos que anteponer la estabilidad del servidor a la estabilidad del foro.
Es por eso que limité la cantidad de conexiones concurrentes al motor de base de datos, a un número que voy a ir evaluando en estos días, para evitar que vuelvan a caer otros 30 sitios que no tienen nada que ver con este por culpa de lo desmedido de recursos que exige nuestro foro para funcionar.
Como siempre, les hago el mismo pedido que cada inscripción, o cada vez que sucede un hecho que moviliza a la gente a entrar al foro:
Intenten cuidar ustedes mismos el servicio. Aflojen con el posteo innecesario. Aflojen con el reload permanente. Aflojen con vivir enchufados. Eviten las horas picos. Si ven que en un horario está muy saturado, vuelvan en otro. Hagan un uso moderado del servicio para que el mismo pueda estar disponible para los demás que en este momento lo precisan.
Es medio irrelevante el color de las barras cuando no hay eje de ordenadas, pero, de todos modos, son cantidad de páginas, cantidad de clicks y cantidad de KBs.
Tomando en cuenta lo uniforme que es el foro; las tres cosas son practicamente intercambiables... el gráfico úsenlo sólo para ver la proporción.
Aparentemente revisa todas las indexaciones de la página, ingresa a ellas y verifica cuales siguen vigentes...
Me imagino que no debe ser algo rápido de hacer (Por más que sea "automático"), y además debe solicitar una página atras de otra (Sin descanso)...
¿Es eso o además de leerlo le erré duro? (Me convertiría en más que estúpido automaticamente)
Registrado: 28 Oct 2006
Mensajes: 255
Ubicación: Ptricio
Carrera: Informática
SebastianSantisi escribió:
Se busca al pelotudo de IP 190.49.96.160 quien aprovechó este preciso instante para meter un crawler a correr en el foro.
Simplemente bannearlo para que el foro dejara de andar para atrás.
Te habras fijado ya, pero la ip es de Speedy y esta siendo usada desde miramar... claro que me estoy finado un rato largo despues y puede haberse entregado a otro cliente de telefonica... igualmente mantienen los rangos de Ip por regiones asi que es posible que el "susodicho" siga de vacaciones en miramar.
Pudiste cruzar la info de algun logueo exitoso a esa IP???
Crawlear es bajarse una página inicial, y luego bajarse todos los enlaces que contenía esa página y luego bajarse los enlaces que contenían las siguientes páginas y así. Es lo que hacen todos los motores de búsqueda para armar su base de datos.
En particular, quien sea el que estaba descargándose hoy el sitio lo estaba haciendo con una herramienta que evidentemente descargaba en paralelo las distintas páginas. Esto es, segundo a segundo, al menos estaba descargándose 3 páginas, permanentemente, durante los 10 minutos que lo seguí antes de bannearlo.
Cualquier robot razonable, como por ejemplo el Googlebot, dan aire entre pedido y pedido... es cierto, Google nos está crawleando casi permanentemente; pero descarga como mucho 5 páginas por minuto.
Estar descargando absolutamente todos los enlaces habidos y por haber de un sitio sin parar, es como si hubieran 100 usuarios reales navegando en el servidor, a nivel carga.
Hoy hubo otro robot no común que nos cayó que fue el de IRI... estuvo bajando todo el día, pensé que iba a estar sólo un par de horas, pero a las 22 todavía seguía, si bien bajando no groseramente concurrente. A esa hora decidí que lo mejor iba a ser dejarlo afuera.
¿Cuál es el saldo del que se puso a bajarse el foro completo hoy a la mañana y la gente del proyecto IRI?
Código:
Day Number of visits Pages Hits Bandwidth
01 Mar 2008 1918 26715 177839 1.74 GB
02 Mar 2008 1958 83225 217110 4.33 GB
Con la misma cantidad de visitas que ayer, se triplicó la carga del foro.
Supongo que lo que se viene a nivel desarrollo es limitar las conexiones de una misma fuente durante un determinado lapso de tiempo.
Si notaron al servidor pesadito hoy, fue por el pelotudo de IP 190.210.79.153 (IPlan) (¿algo que ver con una famosa inmobiliaria?) que lleva una buena punta de horas bajándose toooooooooooodo lo que está enlazado.
Es más, bloqueé la IP hace más de 15 minutos y siguen entrando al menos 2 pedidos por segundo desde ahí.
Ver tema siguiente Ver tema anterior Podés publicar nuevos temas en este foro No podés responder a temas en este foro No podés editar tus mensajes en este foro No podés borrar tus mensajes en este foro No podés votar en encuestas en este foro No Podéspostear archivos en este foro No Podés bajar archivos de este foro
Todas las horas son ART, ARST (GMT - 3, GMT - 2 Horas)
Protected by CBACK CrackerTracker 365 Attacks blocked.
![[tex] ${. \ \ \ \ \ \ \ \ \ .}$ [/tex]](images/latex/d678cf273c99d2546c259db3422b3d968b184721_0.png "[tex] ${. \ \ \ \ \ \ \ \ \ .}$ [/tex]")
![[tex] ${\Large Usá \LaTeX, no seas foro...}$ [/tex]](images/latex/1e6580e1ed9e054ddefd65c0551c670c44f57f38_0.png "[tex] ${\Large Usá \LaTeX, no seas foro...}$ [/tex]")
![[tex]\int Oso + 10\ dt...[/tex]](images/latex/a328513baa7a9ae1a5f22b69d45dd2a6b90980e8_0.png "[tex]\int Oso + 10\ dt...[/tex]")
![[tex]\mbox{Detrás de todo 'tengo hambre' hay un gran 'comete esta'}[/tex]](images/latex/8abc5691357a123d82fd07cae688fd7767bf6633_0.png "[tex]\mbox{Detrás de todo 'tengo hambre' hay un gran 'comete esta'}[/tex]")
![[tex]\mbox{¿Qué culpa tengo yo de tener la sangre } \mbox{\color{red}{roja}} \mbox{ y el corazón a la }izquierda\mbox{?}[/tex]](images/latex/ace6c59303939940fdfb3148df4eed185b385156_0.png "[tex]\mbox{¿Qué culpa tengo yo de tener la sangre } \mbox{\color{red}{roja}} \mbox{ y el corazón a la }izquierda\mbox{?}[/tex]")
![[tex]\mbox{Be water... my friend.}[/tex]](images/latex/cca11b574881173fa0ea09c63498fa05830b9139_0.png "[tex]\mbox{Be water... my friend.}[/tex]")
![[tex]How\mbox{ }do\mbox{ }you\mbox{ }make\mbox{ }a\mbox{ }computer\mbox{ }blink?[/tex]](images/latex/3e54eb9dda4de029cca893e7fac6b02c13f1b31a_0.png "[tex]How\mbox{ }do\mbox{ }you\mbox{ }make\mbox{ }a\mbox{ }computer\mbox{ }blink?[/tex]")
