Blog de Ibercivis

Estimados participantes de Ibercivis:

¡¡Por fin estamos en marcha!!
Primero agradeceros a los que habeís participado en la fase de pruebas
por vuestro interés, y a los que os habeís añadido a partir del día 20 también.

Estamos creciendo en usuarios, potencia de calculo y en comunicación
entre usuarios.
Los servidores de Ibercivis estan soportando satisfactoriamente el trabajo
y nosotros seguimos trabajando para ir ajustando todas las cosas lo
mejor posible y podais utilizar todas las funcionalidades que iremos añadiendo a la página web.

Queremos pedir vuestra comprensión por si se origina algún problema
en los puntos más críticos, como por ejemplo los sistemas de visualización.
Y os agradeceremos vuestra información sobre los eventuales errores.

Hemos preparado un video que resumen nuestro proyecto, y podeis verlo en http://www.csic.es/mostrarVideo.do?video=Ibercivis

Con vuestra participación y esfuerzo, estamos construyendo un gran proyecto entre todos.

El equipo de Ibercivis.

Etiquetas: tarancon, general

Hola. Abro este comentario para centralizar un poco las dudas sobre la instalacion de BOINC y los manejos especificos de ibercivis (basicamente, a fecha de ahora, la geolocalizacion de los participantes y la seleccion de aplicaciones). Ahora, al menos me consta que Canal BOINC ha abierto un subforo especifico para ibercivis, y es posible que otros equios sigan palo.

Etiquetas: arivero, ayuda

Si bien llevamos un mes probando carga con la colaboracion de antiguo participantes de Zivis, el anuncio al publico ha sido otra cosa... en el fin de semana la participacion se esta multiplicando por diez y ademas hay que contar los accessos a la web, que estaba al ralenti durante la prueba de carga.

Lo primero que se presenta es agilizar la presentacion del mapa de actividades hasta recuperar el tiempo real (cinco minutos dibujados en cinco minutos) y asegurarnos que los bocadillos indican datos actualizados, o al menos del dia. Esto segundo tiene que ver con el sistema de redundancia de la base de datos; la copia para la web se toma de bajada, no de subida, y parece que por ello no recibe los creditos (las maquinas de bajada, registro y subida forman un circulo mySQL, las de la web son ramificaciones que salen de algun nodo del circulo).

La web en general es muy divertida para los programadores: es un cobertura AJAX de desarrollo propio sobre el viejo legacy PHP de la distribucion BOINC, y con sitio para un monton de expansion. Ya os iremos contando.

Etiquetas: arivero, software

Buenas a todos y bienvenidos a Ibercivis. Soy David (aka Deuvedé) y voy a comentar el estado de las aplicaciones en Ibercivis.

Actualmente disponemos de tres proyectos: fusión, docking de proteínas y materiales. Si queréis aprender más sobre cada uno de ellos, no tenéis más que navegar a las secciones correspondientes en la web de ibercivis. Lo que voy a comentar es el estado de las aplicaciones de cada uno de estos proyectos.

Fusión:

La aplicación de fusión está disponible para todas las plataformas, y funciona correctamente en todas ellas. En estos momentos, los investigadores están afinando los parámetros del simulador gracias a las pruebas que se están lanzando estos días.

Se ha encontrado recientemente explicación a un bug en la aplicación que se experimenta cuando se cierra el cliente de Boinc mientras un trabajo de fusión se está calculando. Cuando el cliente vuelve a abrirse, la aplicación de fusión no arranca correctamente. La explicación, a priori (hay que comprobarlo con certeza), viene dada porque la aplicación de fusión encuentra los resultados medio calculados de cuando se cerró el cliente, decide que es un estado erroneo y acaba. Obviamente, esta situación conduce a un error de cálculo. Por supuesto, os mantendremos informados sobre el desarrollo para arreglarlo.

Quiero agradecer a los miembros del equipo Canal@Boinc, en especial a Andrea.p,Algol y El Califa, por señalar la causa de este fallo que me traía de cabeza las últimas semanas.

Materiales:

La aplicación de materiales está disponible para todas las plataformas excepto para Mac sobre PowerPc. Esta aplicación ha resultado un reto técnico ya que la duración de sus trabajos se mide en docenas de horas. Y ahora direis "¿Pero si en mi máquina está como media hora?". Lo que ocurre es que esta aplicación dispone de un sistema especial para dejar y continuar trabajos a medias. Por ejemplo, si un trabajo de materiales tiene 20 horas de cálculo, quiere decir que alrededor de 40 ciudadanos habrán colaborado en terminar este trabajo. Cuando un ciudadano realiza una porción del cálculo, devuelve el trabajo y éste es reenviado para su continuación.

Habreis observado que materiales tiene diferentes aplicaciones distinguidas por un número al final de las mismas (materiales16,materiales32,materiales64). Este número es un índice del tamaño de la simulación. Cada aplicación está optimizada para un tamaño concreto. Todas las aplicaciones están aproximadamente equilibradas para que la cantidad de cálculo sea la misma por unidad de trabajo, para que cualquiera de ellos esté la misma cantidad de tiempo en una máquina concreta. La diferencia entre ellas es que un trabajo de materiales64, por ejemplo, tiene que pasar por más ciudadanos para poder completarse.

La semana pasada, por un despiste del investigador encargado de este proyecto, se enviaron trabajos erroneos de materiales64. Estos trabajos exigían de las máquinas más cálculos que los que podían ofrecer. En el momento de postear esta entrada, estos trabajos ya deberían haber caducado y no deberían aparecer más, pero lo comento por si alguien se unió al proyecto la semana pasada y le cayó alguno de estos.

Docking:

La aplicación de docking está para todas las plataformas excepto para Mac sobre PowerPc y para cualquier máquina con Windows de 64 bits. Actualmente, el equipo encargado del desarrollo de las versiones de las aplicaciones para las diferentes plataformas está trabajando en las versiones que faltan. Habeis leído bien, ya existe versión para los Linux 64 bits puros.

Aunque la versión para Windows de 32 bits existe y funciona no se lanza por la forma que tiene el cliente de pedir los trabajos. Si el cliente de Boinc se instala en una máquina de 64 bits, entiende, por defecto, que dicha máquina es compatible con trabajos de 32 bits. Esto, actualmente, no tiene por qué ser así y ocurre que se sirven trabajos de docking de 32 bits a máquina de 64 bits, ocasionando fallos de cálculo. Esperamos tener las versiones que faltan la semana que viene y así poder lanzar este proyecto para todas las plataformas.

La aplicación de docking no tiene fallos conocidos. No obstante, esta aplicación consume bastante memoria virtual y nos consta que algunos usuarios experimentan pequeños parones cuando se libera de golpe dicha memoria porque el trabajo ha terminado. Este consumo es debido a la enorme complejidad que supone simular una proteína. Para los que les parezca mucho, les comento desde aquí que la primera versión de docking que paso por mis manos hace meses cuando empezaron las primeras pruebas, requería de un 1 GB de memoria virtual por trabajo. Ahora el consumo es menos de la tercera parte.

Y hasta aquí todo por hoy. Gracias por participar.

Deuvedé

Edit: El fallo de fusión ha sido confirmado. Se ha comunicado a los investigadores para que cambién su código.

Etiquetas: Deuvedé, Software

Hola de nuevo. Ayer, un usuario desde Japón posteó comentando que la aplicación de docking no funcionaba en su MacBook. Tras mirar mirar los logs, el problema parece ser el siguiente:

dyld: Library not loaded: /opt/local/lib/gcc42/libgfortran.2.dylib
  Referenced from: /Library/Application Support/BOINC Data/slots/4/CDOCK.exe
  Reason: image not found

Así que el problema parece ser la falta de esa librería. He detectado otros usuarios de Macintosh con el mismo problema. Por si acaso, he pedido al equipo que se encarga de las aplicaciones que compilen una versión estática de docking.

Gracias a Imaum del equipo BOINC@MIXI por comunicar el fallo.

Hi again. Yesterday, an user from Japan posted that the docking application was failing on his MacBook. After looking into the logs, the problem seems to be this:

dyld: Library not loaded: /opt/local/lib/gcc42/libgfortran.2.dylib
  Referenced from: /Library/Application Support/BOINC Data/slots/4/CDOCK.exe
  Reason: image not found

So, the problem is just the lack of that library. I detected other Mac users with the very same problem. Besides, I have asked the team that compiles the applications to create a static version of docking.

Thanks to Imaum from BOINC@MIXI team for comunicating this failure.

Etiquetas: Deuvedé, Software

Extraigo de la bolsa de comentarios algunos que pueden ser de interes general, de galle y rompeolas. El inicio del de galle se debe a que era la tercera vez que intentaba enviarlo.

me cago en tó

mejor que lo vayais haciendo o no os enteraréis de nada.
lo primero que aparece es "resources share"; esto es, si participas en otros proyectos, el porcentaje de tiempo que trabajará en este proyecto en relación al resources share que le hayas puesto a los demás proyectos. por ejemplo, tengo 300 para ibercivis, 300 para einstein, 300 para WCG y 20 para varios proyectos minoritarios... lo que trabaje el ordenador en cada cosa dependerá de esos valores. lo otro de interés en esa página es "run only the selected applications" osease, trabajar solo com las aplicaciones seleccionadas; aquí deberéis marcar los programas que funcionan en vuestro ordenador, y no marcar las que no funcionan... le dais a "update preferences" (actualizar preferencias) y listo. 2-opciones de trabajo. me refiero a las que te permiten elegir como y cuando funciona boinc. desde la página de "your account", le clickais en "preferencias del cálculo computacional", le dais a "edit" y ya podéis cambiar cositas: "suspender el trabajo mientras el ordenador usa las baterías", "detener el trabajo mientras el ordenador está en uso" según quieras que funcione siempre o arranque como el protector de pantalla... despues un montón de cosas que mas o menos dan igual... seleccionar el espacio de disco dedicado a boinc... y finalmente "Maintain enough work for an additional [...] days" mantener trabajo adicional para tantos días. poneis un número grandecito y se bajará mas tareas. poneis los valores que os de la gana en cada sitio y le dais abajo de todo a "update preferences".
3-Usando boincmanager. para que todo lo que acabais de hacer funcione teneis que actualizar el proyecto. abrís el boincmanager, en "ver" elegís una de las vistas avanzadas; saldrá una ventana gorda con varias pestañas y botoncitos a la izquierda. en la pestaña de "proyectos" le dais encima a ibercivis y a la izquierda al botoncito de "actualizar" esto lo haréis frecuentemente cuando haya una tarea finalizada que ponga "listo para informar", y tambien sirve para pedir trabajo.el otro punto interesante es: en la ventana de boincmanager, arriba del tó, aparece "avanzado" le dais y a "preferencias" es una forma rápida de cambiar el funcionamiento del programa, podéis elejir cuanto estrujar el CPU y otras cosillas interesantes...lo demás pues vayan probando un poco que es como hicimos los demás y no pasó nada...

No te preocupes por el porcentaje Fuguilla. A nadie le funciona. En mi equipo lo sabemos porque llevábamos tiempo ya procesando trabajos y al principio nos creíamos lo mismo, que no hacían nada, pero ya verás como cuando pase como mucho 40 minutos terminarán.

Te digo los tiempos aproximados que me tardan a mí:

Doking no lo sé porque no está para windows ahora mismo...

Materiales32 entre 14-15 minutos

Materiales64 entre 30-40 minutos

Fusion entre 28-34 minutos

Yo tengo otro problema que me gustaría que se solucionase lo más pronto posible por el bien de todos (en caso de ser importante el plazo de entrega de los trabajos para los investigadores). Resulta que como las estimaciones de duración de cada unidad de trabajo no están del todo bien, puede ocurrir (me estaba ocurriendo) que te envíen más de las que realmente te dé tiempo a procesar antes de que venza el plazo (lo he comprobado calculando los tiempos aproximados de cada unidad de trabajo frente al tiempo del que dispongo para entregarlos) y... si para los investigadores esto es malo, también lo es para todos.

En mi caso, las unidades de trabajo de materiales64 las envían con una estimación inferior a los 4 minutos cuando realmente tardan entre 30 y 40 minutos. Es por eso que he tenido que decirle que no me envíen más de momento.

Por si a alguien más le pasa esto, una solución puede ser el darle a la opción "no pedir nuevas tareas" que se encuentra en la pestaña de proyectos (es la primera comenzando a contar de izquierda a derecha) en el BOINC. Asi se evita que siga descontrolado y te envíe una avalancha de unidades de trabajo. Luego cuando quieras que te manden más, solo hay que darle de nuevo a ese mismo botón y se quitará esta restricción.

Un saludo.

Etiquetas: arivero, ayuda

Estos últimos días se hubo de desactivar la versión de Docking para Windows, porque no teníamos bien perfilada la versión de Win64.

En realidad la aplicacion no funcionaba por una serie de circunstancias encadenadas, pero el codigo esta muy bien preparado para funcionar en multiplataforma.

Ahora ya la tenemos y en breve empezareis a recibir trabajos de docking para la gente de Windows.

Nota: La mala noticia es que no hemos podido solucionar de momento el problema de las librerias compartidas de fortran en Mac.

Etiquetas: calfonso, compilacion, docking, win64

En la web de Ibercivis se pueden encontrar dos mapas principales de monitorización.

El primero de ellos es el de la introducción. Es estático, y en él se muestran todos los usuarios de Ibercivis. En color azul aparecen los que nos han proporcinado sus coordenadas, y en naranja aparecen los que no se han geoposicionado, que son colocados aleatoriamente alrededor de la Península ibérica.

El segundo es el mapa de actividades. Lo podemos encontrar en la subsección "Mapas" de la sección "Clasificaciones". En él se muestran también todos los usuarios de ibercivis de la misma forma que en el mapa de usuarios, pero además también se muestran animaciones que representan el envío (desde el Bifi hasta los usuarios), recepción (desde los usuarios hasta CetaCiemat) y validación (desde CetaCiemat al Bifi) de trabajos entre usuarios y servidores con un retraso de 5 minutos. Los haces de color verde representan trabajos de "Docking", los azules de materiales, y los rojos son de fusión.

Para introducir las coordenadas hay que dirigirse a: Ibercivis -> Unirte a Ibercivis -> Tu cuenta. Una vez allí, si rellenamos nuestros datos correctamente, se calcularán nuestras coordenadas automáticamente, aunque también se puede hacer manualmente clicando directamente sobre el mapa, para lo que no hace falta facilitar ningún dato. Podemos corregir la posición volviendo a clicar en otro lugar del mapa o arrastrando el marcador. Para borrar las coordenadas basta con clicar sobre el marcador.

Etiquetas: gruiz, mapas, registro, coordenadas, geoposicion, actividades, usuarios

Aunque sea algo pronto, aqui presentamos los datos de la evolucion
de usuarios en Zivis y en Ibercivis.
Son los datos de numero de personas registradas en la base de datos.
En el caso de ibercvis, el dia del lanzamiento es la fila 4
y en Ibercivis la 23 (asi podreis igualar escalas)
En el fichero de zivis los usuarios son la unica columna, en el
de ibercivis son la segunda.
Cuando haya mas datos de ibercivis los pondremos.

Se puede construir la grafica que adjunto.

Podriamos preguntarnos varias cosas
1) Existe una forma funcional sencilla para las curvas?
2) Es posible preveer la evolucion futura?

Hay mas preguntas, que espero planteeis y respondais.

Datos de Zivis

0
18
46
383
730
928
1091
1160
1207
1288
1353
1501
1604
1669
1718
1769
1815
1926
2012
2100
2200
2262
2311
2370
2432
2481
2551
2589
2613
2644
2665
2694
2716
2733
2748
2765
2791
2810
2818
2834
2851
2874
2888
2905
2917
2955
2963
3011
3039
3059
3073
3087
3096
3105

3112

Los datos de Ibercivis

1212132840 263
1212133078 263
1212393086 277
1212398254 278
1212444147 286
1212530504 412
1212565686 415
1212616930 433
1212704444 445
1212789791 455
1212876189 461
1212962591 465
1213048934 475
1213135411 479
1213221785 489
1213308193 491
1213481392 501
1213567759 502
1213653848 503
1213740253 536
1213826603 550
1213913441 566
1213999972 758
1214086535 1602
1214178633 2096
1214264103 2720

Aqui un archivo para visualizarlos en gnuplot y generar el archivo users.gif

set term gif font 'l047013t'
set xlabel "días"
set ylabel "Usuarios registrados"

set output "users.gif"
p "zivis_users.txt" u ($0-2):1 w l lw 4 t "Zivis",
  "users.txt" u ($0-21):2 w l lw 4 t "Ibercivis"

Datos de Ibercivis

Etiquetas: zivis, ibercivis, evolucion

Hola a todos. Como ya dije hace unos días, los investigadores de fusión están afinando el simulador. Ayer realizaron una modificación y el validador no reconoce los nuevos resultados. Hasta que me llegue uno nuevo que trate correctamente los nuevos resultados he parado el validador de fusión. Los resultados nuevos se guardarán hasta que llegue.

Mientras tanto, he rastreado los resultados que han sido marcados como validados erroneamente cuando en realidad sí estaban bien, y he asignado 10 créditos a cada uno de esos resultados. Los resultados seguirán marcados como validados erroneamente pero los créditos los tendréis.

Disculpad las molestias. Saludos y gracias por participar.

Etiquetas: Deuvedé, Software, Fusión

Los investigadores de Materiales han tenido un pequeño problema con sus resultados y es que no se han recogido todos los que se han calculado, por un pequeño fallo. Hoy se ha preparado una solución con una mínima modificación que permitirá recuperar todo lo calculado de una vez... seguramente mañana tendremos la nueva versión lista.

En cuanto a Fusión, también se ha preparado una modificación para evitar algunas incidencias cuando se cancelaban las tareas. Tras unos intercambios de codigos fuentes, también tendremos mañana la nueva versión de Fusión, con el mini-bug solucionado. De todas formas, no os preocupeis porque los resultados que se estaban obteniendo son buenos (a pesar de que el validador haya dicho lo contrario... ya se ha comentado por ahi).

La aplicación de Docking parece que funciona sin demasiados problemas ¿no?

Etiquetas: calfonso, materiales, fusion, bugs, aplicaciones, upv

Pues eso, que mañana por fin tendremos la version de docking para mac-intel que no depende de las librerias dinamicas que incorpora gfortran. Al final, como la opcion -static no esta disponible para el ld de mac (al parecer por motivos de licencias), hemos tenido que enlazar a mano. El mayor problema ha sido encontrar donde estaban los simbolos que ibamos necesitando.

Edit: Devuedé. Pues ya está lista la nueva versión. A ver que tal funciona.

Etiquetas: calfonso, docking, mac, intel, compilar, fortran, upv

Despues de un tiempo en el que han ocurrido inestabilidades con la aplicación de fusión (el validador dejó de funcionar bien y ocurrían algunos problemas si los usuarios cancelaban los trabajos), finalmente ya tenemos una versión que corrige estos bugs.

Ahora tenemos todas las aplicaciones en pleno funcionamiento, porque parece que materiales y docking van funcionando bastante bien, ¿no? (con la salvedad de este problema que ha surgido con la descarga del archivo de datos de docking en algunas máquinas).

Etiquetas: calfonso, fusion, aplicaciones, version, upv