Aplicación Java para dividir un archivo de texto muy grande en varios archivos más pequeños

jueves, 7 de agosto de 2014

En varias ocasiones he tenido que lidiar con archivos de texto extremadamente largos, con miles de líneas de texto, y en una de esas veces me tocó un archivo de Log con cientos de miles de líneas que mis editores de texto en Windows no podían abrir, y los que si lo lograban, no me permitían manipular el archivo sin antes quedarse congelados. Aunque encontré algunas herramientas en línea que podían abrir el archivo y permitirme leer, no me permitían manipularlo.

Mi solución, para mi caso particular, fue dividir el archivo en varios archivos más pequeños, ya que era un Log de transacciones de una aplicación y solo necesitaba depurar usando las entradas del log. Lo que hice fue escribir un pequeño programa en Java. Hace poco le agregué una interfaz gráfica para facilitar su uso.

Para utilizar esta herramienta deberás contar con lo siguiente:

  1. Tener instalado el JRE 6 de Java. el común de los equipos ya deben tenerlo instalado. Solo deberás tener por seguro que tienes la versión 6.
  2. Descargar la herramienta desde el repositorio en GitHub.
  3. Descomprimir el archivo ZIP en una ubicación que conozcas. Por ejemplo, en C:\Users\jesfre\Documents\text-splitter-pack. En tu caso sería tu nombre de usuario.
  4. Entrar a la carpeta y hacer doble-clic en el archivo run.bat. Deberá abrirse una ventana de comandos y ejecutarse automáticamente una pequeña interfaz gráfica similar a esta:
  1. En esta ventana deberás:
  • Seleccionar el archivo de texto muy grande que quieres dividir.
  • Seleccionar la carpeta donde quieres que se guarden los archivos más pequeños que se generarán como resultado de la división del archivo grande.
  • Asignar la cantidad máxima de líneas que deberá tener cada archivo dividido. Por ejemplo, si el archivo grande tiene 1200 líneas de texto, y quieres que se generen 10 archivos más pequeños, deberás asignar en Set the number of lines per file: la cantidad de 120.
  • Hacer clic en Save files para generar los nuevos archivos. En mi caso, el archivo se llama prueba_archivo grande.txt y contiene 389 líneas de texto.
  • Al terminar deberás poder ver los resultados de la siguiente forma:

Para ver tus archivos, navega hasta la carpeta que seleccionaste en Target folder... y verás los nuevos archivos que han sido generados recortando el archivo más grande.


Para terminar, simplemente cierra la ventana de la aplicación.

Esta herramienta funciona con cualquier archivo que contenga texto plano, como archivos de tipo .txt, .csv, entre otros.

Podrás ver que es una herramienta muy simple. Ahora te invito a compartirla y mejorarla, pues es de código abierto y está disponible en https://github.com/jesfre/file-splitter.





Mavenizar un proyecto Web existente usando project-mavenizer

martes, 29 de julio de 2014

Aunque personalmente no me gusta el anglicismo Mavenizar, es el tema que abordaré para esta guía.

Explicaré cómo mavenizar un proyecto Web que no cumple con la estructura de directorios estándar de Maven. Estos proyectos no estándares pueden ser aquellos que han sido construidos hace ya un tiempo atrás, legados, o aquellos generados usando las herramientas de un IDE como Eclipse y por lo cual no se ajustan a los requerimientos convencionales de Maven. En ocasiones he 
mavenizado algún proyecto ya existente que he tenido que modificar para aprovechar los beneficios de algunos plugins de Maven y así evitar reinventar la rueda en su código.
Además, esta guía tiene el objetivo de explicar el funcionamiento de una herramienta de código abierto para llevar a cabo la tarea de mavenización. La herramienta es project-mavenizer. Con esta herramienta podremos generar un archivo de configuración POM que pueda utilizar la estructura no estándar del proyecto existente, en vez de modificar la estructura del proyecto para que se ajuste a las convenciones de Maven.

La guía de project-mavenizer la podemos encontrar también en inglés, nivel Tarzán, en GitHub.

Descargar y descomprimir la herramienta

  1. Descarga la herramienta desde GitHub. Este es un archivo ZIP llamado project-mavenizer-pack.zip que contiene:
    • La herramienta de mavenización project-mavenizer-0.0.1.jar.
    • Un proyecto Web de ejemplo llamado NonStandardWebProject que no cumple con el estándar de directorios de Maven.
    • El archivo sample.properties que deberás editar, y opcionalmente renombrar, para poder usar con tu proyecto.
  2. Descomprime el archivo project-mavenizer-pack.zip en una ubicación bien identificada; por ejemplo en C:\mavenizator\project-mavenizer-pack\.

Agregar tus configuraciones

  1. Deberás editar el archivo C:\mavenizator\project-mavenizer-pack\sample.properties y seguir las instrucciones que vienen en el mismo. En resumen es asignar los siguientes valores:
    • Asignar un nombre al proyecto, digamos miproyectomaven. Este será también el nombre del archivo WAR generado.
    • Asignar la ubicación de la carpeta de tu proyecto. Para el caso de nuestro ejemplo de prueba es C:\mavenizator\project-mavenizer-pack\NonStandardWebProject.
    • Asignar la ruta a la carpeta con el contenido Web del proyecto. Para nuestro ejemplo, C:\mavenizator\project-mavenizer-pack\NonStandardWebProject\WebContent.
    • Asignar la ruta a las carpetas con código fuente y recursos para el classpath del proyecto. En el archivo sample.properties vienen unos ejemplo.
    • Asignar la ruta a la carpeta que contiene todas las librerías usadas en tu proyecto. Ve el ejemplo en el archivo.

Mavenizar el proyecto Web

  1. Abre una ventana de comandos y navega hacia la carpeta que descomprimiste. En los siguientes ejemplos estaré usando MS-DOS.
  2. Desde tu ubicación en línea de comandos, ejecuta lo siguiente: c:\mavenizator\project-mavenizer-pack> java -jar project-mavenizer-0.0.1.jar.
Deberás ver algo similar a esto:
C:\mavenizator\project-mavenizer-pack> java -jar project-mavenizer-0.0.1.jar 
Set the properties file name:sample.properties 
Loading /C:/mavenizator/project-mavenizer-pack/sample.properties 
Generated file is: C:/mavenizator/project-mavenizer-pack/NonStandardWebProject\pom.xml 
C:\mavenizator\project-mavenizer-pack>


Probarlo

  1. Ahora puedes usar tu proyecto como un proyecto Web Maven. El pom.xml generado en el proyecto tiene las configuraciones necesarias para correr la aplicación usando un Tomcat embebido. Para correrlo, desde la ventana de comandos navega a la carpeta del proyecto Web y ejecuta c:\mavenizator\project-mavenizer-pack\NonStandardWebProject > mvn clean tomcat7:run.
  1. Si puedes ver algo similar a Starting ProtocolHandler ["http-bio-9966"] y sin errores previos entonces abre el enlace http://localhost:9966/miproyectomaven/ desde un navegador de Internet.

Después de ejecutar el comando se deberá haber generado un nuevo archivo pom.xml en la carpeta raíz del proyecto. Sería c:\mavenizator\project-mavenizer-pack\NonStandardWebProject\pom.xml.


Prueba la herramienta, espero que te sirva y, si quieres, puedes mejorarlo pues es de código abierto. El código está disponible en https://github.com/jesfre/project-mavenizer.



Cómo convertirse en un desarrollador de aplicaciones Web modernas

miércoles, 4 de junio de 2014

En este artículo busco resumir mi experiencia en cuanto a los pasos o la trayectoria que normalmente se seguiría para llegar a dominar el desarrollo de aplicaciones Web.
Aunque yo aprendí de forma distinta, ya que me tuve que meter de lleno al desarrollo e ir aprendiendo al paso, lo más normal y muy efectivo es siempre iniciar de cero. Pero, para aquellas personas que ya tienen bases o experiencia, puede que haya sido distinto. Lo siguiente, sin embargo, lo comprendí después de haber estado enseñando a mi futura esposa cómo desarrollar aplicaciones Web y viendo la forma en que ella aprendía.

Primero: Identifica qué es lo que sabes y comienza por lo básico, lo que aun no conoces.
Haz un análisis de los conocimientos que tienes actualmente. Normalmente, si estas estudiando una carrera, estarás aprendiendo algún lenguaje de programación, y cualquiera que este sea te será muy útil. Entre las cosas básicas que deberás aprender están:

HTML: Luego de aprenderlo, también deberás comprender lo que es XHTML.
El protocolo HTTP: Deberás entender qué son las peticiones, tipos y cómo se procesan.
CSS: Qué es, cómo se agrega al HTML y cómo se usa.
Javascript: Ees una de las herramientas más importantes para tí como desarrollador de aplicaciones Web modernas; debes aprender qué es, cómo se agrega al HTML y cómo funciona. Aquí deberás hacer uso de tus conocimientos de programación; si no tienes ningún conocimiento de programación, no te preocupes ya que encontrarás muchos tutoriales que también te ensañan las nociones de la programación a través de Javascript.

De todas estas puedes encontrar infinidad de manuales y tutoriales en todo Internet.

Segundo: Determinar hasta dónde quieres llegar.
Ten en cuenta que para desarrollar aplicaciones Web deberás aprender distintas tecnologías, algunas ya las he mencionado, y dependiendo de la complejidad con la que has de desarrollar las aplicaciones y el tipo de aplicaciones Web.
De acuerdo a la complejidad necesitarás aprender lo siguiente:

XML (ya habrás entendido un poco al leer acerca de XHTML)
Un lenguaje para el servidor (aquí comienza el dinamismo de las aplicaciones Web) como Java, PHP, lenguajes de .Net, etc. Esto ya dependerá de varios factores como el proyecto y tus gustos. Ten en cuenta que al decidirte por una tecnología para el servidor, habrás de aprender además otras tecnologías necesarias para el desarrollo de tus aplicaciones.

Tercero: Paciencia y entusiasmo.
Puedo decir que este es el flujo de aprendizaje común para comenzar a desarrollar aplicaciones Web. Puedes comenzar haciendo pequeñas páginas usando HTML y CSS, luego agregarle alguna intereactividad con Javascript, y posteriormente agregarle complejidad.
Pero como siempre, para llegar al lugar que quieres, deberás tener paciencia y estar dispuesto a leer y hacer "pininos" conforme aprendas nuevas cosas. Ten en cuenta que no te servirá mucho si devoras un libro Javascript sin hacer ejemplos, ya que esto se trata de leer, entender y poner en práctica. Tal vez este último punto lo puedo resumir en, pasión.

Espero te sirva.

Problemas con SpringSource Tool Suite + Papyrus

miércoles, 21 de mayo de 2014

Actualmente estoy trabajando sobre un proyecto de código abierto, y algunos otros de mi trabajo; en los cuales he requerido generar cierta documentación técnica. Para realizar la documentación he decidido utilizar alguna herramienta libre o gratuita para diagramar el sistema. Después de buscar y probar algunos encontré Papayrus de la fundación Eclipse, y quise probarlo.


Después de haber instalado el plugin en STS (SpringSource Tool Suite o Spring Tool Suite) a través del Update Site, fue momento para comenzar a usarlo. Pero la sorpresa fue que al crear un proyecto o un modelo de Papyrus, la ventana del Wizard no cerraba al hacer click en Finish, y al intentar abrir el modelo desde el Project Explorer, marcaba el siguiente error.

Your model is corrupted, invalid links have been found: Problems encountered while loading one of the models.
...
org.eclipse.papyrus.infra.core.resource.uml.UmlModel : org.eclipse.core.internal.resources.ResourceException: Resource '../../model.uml' does not exist.

Después de busccar un rato por Google, encontré en un foro que puede ser por conflicto de versiones de un plugin, Google Guava. Para resolver el problema y poder utilizar Papyrus desde el STS lo que hice fue:

  1. Ir a la carpeta de plugins de STS. .../sts-3.4.0.RELEASE-test-papyrus/plugins/
  2. Buscar la palabra "guava".
  3. Encontré dos versiones com.google.guava_11.0.2.v201303041551 y com.google.guava_13.0.0.
  4. Moví com.google.guava_13.0.0 a una carpeta distinta como respaldo, para dejar solamente la versión 11.0.2.
  5. Reincié STS.
  6. Volví a crear un nuevo proyecto de Papyrus, y todo comenzó a funcionar correctamente.
Si llegan a tener el mismo problema espero les pueda funcionar esta solución.
Esperemos a que en las nuevas versiones resuelvan este problema.

Cliente para HSQLDB en Windows

sábado, 26 de enero de 2013

Bases de datos en memoria

Cuando comenzamos a trabajar con las bases de datos en memoria como lo son H2, HSQLDB (antes HypersonicSQL) o Derby, encontramos que son excelentes herramientas para tener acceso rápido a datos persistentes; y que ofrecen grandes ventajas para construcción de software de todo tipo en Java. Ya sea como base de datos temporal de nuestra aplicación empresarial, para ejecución de pruebas o para demostraciones a los clientes, siempre se hace indispensable la administración visual de estas bases de datos, tablas, registros, etc.

Las herramientas gráficas de administración de las RDBMS como los TOAD, SQLyog, MySQL Workbench, SQL Developer, entre otros, ofrecen grandes facilidades para las bases de datos correspondientes. Pero, ¿y para las bases de datos en memoria? 

SQuirreL SQL Client es la herramienta gráfica que utilizo para visualizar mis bases de datos en memoria, ya sea con H2, HSQLDB o Derby, aunque también soporta otros motores de bases de datos tradicionales.

SQuirreL SQL Client es muy sencillo de configurar y utillizar. Pero con la introducción de Windows Vista/7 encontré un problema al intentar instalarlo y posteriormente al intentar correr la herramienta.

Mi ambiente de trabajo:
  • Laptop Mexicana 
  • Procesador de 64bits
  • 8GB de RAM 
  • Windows 7 Professional de 64 bits

Problema al instalar SQuirreL SQL Client en Windows 7

El primer problema surgió al intentar instalar SQuirreL, ya que no permitía crear la carpeta de instalación en Program Files (x86), esto por el permisos de seguridad.
Tratándose de un archivo JAR el instalador del programa, Windows no da la opción de Correr en modo administrador.
Por lo tanto, al intentar crear la carpeta de instalación de SQuirreL muestra el error: "This directory can not be written! Please chose another directory"
La instalación se lleva a cabo con el clásico Next>Next.

  










 



Solución 1 al problema de seguridad: Desactivar la seguridad del control de acceso

Para solucionarlo se puede bajar el nivel de seguridad en el control de acceso de Windows. Esto significará reiniciar el equipo antes de poder ejecutar nuevamente la instalación, y nuevamente después de haber instalado para incrementar nuevamente la seguridad. Procedimiento para desactivar UAC. No queremos esto.


Solución 2 al problema de seguridad: Abrir desde navegador

Otra opción para poder ejecutar completamente la instalación de SQuirreL, es 

  1. Abrir un navegador de Internet (IE) en modo administrador (Para este caso no usaremos Google Chrome)
  2. Arrastrar y soltar el instalador de SQuirreL en la ventana del navegador. En mi caso: C:\downz\squirrel-sql-3.3.0-install.jar. O copiar la ruta del archivo del Explorador de Windows y pegarlo en la barra de direcciones del navegador.
  3. En la ventana de diálogo, seleccionen Abrir.


Esto ejecutará el archivo de instalación en modo administrador, con lo que permitirá terminar la instalación del programa.


Problema para ejecutar el programa recién instalado y solución

Al finalizar la instalación de SQuirreL podríamos comenzar a usar la aplicación. Pero surge ahora un nuevo problema. Al hacer doble clic o correr el archivo por lotes que ejecuta el programa, simplemente no lo carga. El problema está en que el archivo por lotes que ejecuta el programa necesita una corrección ya que la ruta de instalación de Java, apuntado por nuestra variable JAVA_HOME contiene espacios. Por ejemplo, C:\Program Files (x86)\Java\jdk1.6.0_17. Para solucionarlo, editaremos el archivo squirrel-sql.bat modificando la línea set IZPACK_JAVA=%JAVA_HOME% agregándole comillas set IZPACK_JAVA="%JAVA_HOME%". Con esta modificación ya será posible ejecutar y comenzar a usar nuestro cliente de gestión de bases de datos en memoria.


Últimas anotaciones

Claro que podríamos habernos evitado todo esto con solo seleccionar una ruta distinta para instalar nuestro programa. Pero nosotros los programadores en ocasiones... 

Disfruten tirando código.

Problema al crear nuevo módulo de un proyecto Maven

miércoles, 12 de septiembre de 2012

Al estar creando un nuevo módulo para un proyecto Maven usando Spring Source Tool Suite 2.9.2.RELEASE surgió el siguiente error:

Could not calculate build plan: Failed to parse plugin descriptor for org.apache.maven.plugins:maven-resources-plugin:2.4.3 (C:\Users\jruiza\.m2\repository\org\apache\maven\plugins\maven-resources-plugin\2.4.3\maven-resources-plugin-2.4.3.jar): error in opening zip file
Failed to parse plugin descriptor for org.apache.maven.plugins:maven-resources-plugin:2.4.3 (C:\Users\jruiza\.m2\repository\org\apache\maven\plugins\maven-resources-plugin\2.4.3\maven-resources-plugin-2.4.3.jar): error in opening zip file
El problema surge porque STS viene configurado por defecto para usar la librería de Maven embebida, sí, la que viene con el IDE, y esta tiene sus propias configuraciones como la ruta del repositorio de librerías. Al ser así, Maven intenta encontrar el repositorio en la ruta por defecto establecida, que es C:\Usuario\.m2\repository\ pero mi repositrio existe en otra ruta, por lo tanto ocurre este error.
Para solucionarlo simplemente modifiqué las configuraciones de la instalación de Maven y el repositorio.

Desde el menú superior: Window>Preferences>Maven>Installations
Aquí agregué una nueva instalación de Maven, la cual estoy usando en lugar del que viene embebido con STS.
Desde el menú superior: Window>Preferences>Maven>User Settings
Aquí seleccioné el archivo de configuración de Maven que requiero usar. De esta forma toma la ubicación del repositorio de Maven que tengo configurado en el archivo.


Una vez hechas estas configuraciones volví a intentar crear el nuevo modulo de Maven y funcionó correctamente.


Depurar codigo desde Eclipse usando el plugin de Jetty para Maven

martes, 10 de enero de 2012

Hace ya un tiempo estuve desarrollando una aplicación usando Maven como sistema de building. Pero llegué al punto de que cuando quería depurar la aplicación desde Eclipse, simplemente por la forma en la que funciona el plugin de Jetty para Maven, no me redirigía al código fuente cuando se detenía en un breakpoint, sino en el .class, claro, eso es un problema cuando necesitas ver las líneas de código. Pues bien, luego de un poco de búsqueda, encontré que en la documentación del plugin de Jetty explican cómo lograr depurar el código fuente.

Simplemente es necesario seguir el tutorial que está disponible en

Con esos dos pasos se puede comenzar a depurar el código usando Eclipse, un poco tedioso pero muy rápido de configurar y funciona muy bien.

Files are locked on Windows and can't be replaced

domingo, 1 de enero de 2012

Existe un problema al estar usando el plugin de Jetty para Maven, y es que el plugin bloquea (lock) los archivos de contenido estáticos como .html, .css, .js e imágenes y los usa en memoria (algo de un conector NIO). Por tal razón, si se está ejecutando un comando como mvn jetty:run, y se intenta editar este tipo de archivos, entonces aparece este error.


image.png
Para solucionar este problema, en la página del plugin tienen documentado este problema, que sucede solo con Windows. (Files locked on Windows)
Para solucionarlo se debe hacer lo siguiente:
1. Deshabilitar el uso de archivos mapeados en memoria. Para hacer esto, se debe extraer el archivo org/mortbay/jetty/webapp/webdefault.xml localizado en el JAR de Jetty (lib/jetty.jar) y cambiar la siguiente configuración a FALSE:

<init-param>
<param-name>useFileMappedBufferparam-name>
<param-value>trueparam-value>
init-param>

2. Asegurarse que esta configuración se aplica a todas las webapps. Para hacerlo, la siguiente configuración en etc/jetty.xml debe apuntar hacia nuestro archivo:
<Call name="addLifeCycle">
<Arg>
<New class="org.mortbay.jetty.deployer.WebAppDeployer">
<Set name="contexts"><Ref id="Contexts"/>Set>
<Set name="webAppDir"><SystemProperty name="jetty.home" default="."/>/webappsSet>
<Set name="parentLoaderPriority">falseSet>
<Set name="extract">trueSet>
<Set name="allowDuplicates">falseSet>
<Set name="defaultsDescriptor">/jesfre/jetty/mywebdefaults.xmlSet>
New>
Arg>
Call>

Espero les sirva y puedan seguir codificando a gusto.