Big Data y Data WareHouse, Diferencias.

Muchas empresas hoy en día hablan de BigData, generan proyectos e invierten dinero en BigData y se leen o escuchan conversaciones en las cuales se dice ¿O sea que ya no necesito Data WareHousing?

La verdad es que son dos cosas distintas, ¡Muy Distintas! Big data es una tecnologia y DataWare House es una arquitectura. Si vamos a los principios de un Data WareHouse que expresa Kimball:

• Un Data Warehouse proporciona una visión global, común e integrada de los datos de la organización, independiente de cómo se vayan a utilizar posteriormente por los consumidores o usuarios. Normalmente en el almacén de datos habrá que guardar información histórica que cubra un amplio período de tiempo. Pero hay ocasiones en las que no se necesita la historia de los datos, sino sólo sus últimos valores, siendo además admisible generalmente un pequeño desfase o retraso sobre los datos operacionales. En estos casos el almacén se llama almacén operacional (ODS, Operational Data Store).

Si con tu Data WareHouse no estas en capacidad de relacionar los datos por ejemplo de: atención de clientes con los datos de consumo y la respuesta financiera a la variación de estas dos variables, te informo que en realidad tienes una agrupación de varios datamart en un solo servidor no un Data WareHouse. Y si aun peor los datos que tienes en tu "DataWarehouse" están en tercera forma normal ni la mas remota idea de que es lo que tienes, tal vez un "data warhouse", seria un híbrido entre una copia de tu aplicación de negocio mezclado con un datamart.

Ahora que tenemos definido lo que es un Data Warehouse y sabemos que es una arquitectura que nos sirve para agregar valor al negocio ya podremos definir lo que es Big Data.Hay muchas formas de definirlo pero una de las mas generalizadas es la que encontró hadoop:

• Tecnología capaz de almacenar grandes cantidades de datos.
• Tecnología que puede contener los datos en dispositivos de almacenamiento de bajo costo.
• Tecnología, donde el procesamiento se realiza por el método de "censo romano".
• Tecnología donde los datos son almacenados en formato no estructurado

Pueden haber mas características de una implementación de big data pero estas son las que se consideraran mínimas para Hadoop. 

Como podemos ver las diferencias son gigantescas, Big Data en una tecnología que nos permite almacenar y manejar grandes volúmenes de datos y data ware housing es una forma o arquitectura para organizar datos que proporcionan credibilidad e integridad en un único entorno.

Las tecnologías de BigData están en capacidad de analizar fuentes de diferentes tipos de información estructurada y no estructurada, almacenada en diferentes medios, provenientes de diferentes plataformas que no tienen ningún tipo de relación entre si, todo esto sin necesidad de darle estructura a los datos ni almacenarlos dentro de un único contenedor.

PINEAPPLE MARK IV

Tal vez esta información le sirva a alguien que tenga una Mark IV, hace algunos meses deje de usarla y cuando la encendí me di cuenta que había perdido la contraseña, lo primero que se ocurre hacer es un factory reset que consiste en sostener el botón reset oprimido por 5 segs. intente esto mucho tiempo y nunca funciono. Buscando por alli encontre este procedimiento que me funciono a la perfeccion.

1. Descarga el ultimo firmware de la mark 4 https://www.wifipineapple.com/downloads
2. Iniciar en modo recovery manteniendo el boton reset oprimido, el boton WPS encendera intermitentemente.
3. Luego se conecta por medio de un cable de red al PC, dejando la ip del computador fija con el segmento de red 192.168.1.x y mascara de subred 255.255.255.0
4. telnet a 192.168.1.x
5. Pasarse al directorio tmp cd /tmp
6. transferir el archivo de firmware a la mark 4 wget http://192.168.1.2/upgrade-2.8.1.bin
7. Ejecutar sysupgrade -n -v /tmp/upgrade-2.8.1.bin
8. Esperar a que inicie de nuevo la mark 4 y ya tendra usuario y password de fabrica

Para tener en cuenta: la direccion de administracion cambia en esta version del firmware:

http://172.16.42.1:1471

La Rata Gorda (FatRat)

Video del funcionamiento de TheFatRat una aplicación que nos permite modificar la firma de un BackDoor para superar los detectores de malware

Agregar columna con totales en GridView

Agregar la sumatoria de filas es una labor sencilla desde SQL solo realizando un agrupado, pero algunas veces es necesario sumar las columnas con un valor total al final, con esta simple rutina se calcula el total para un datatable en C#.



public DataTable TotalColumn(DataTable dt)
        {
            //Suma de la columna dos hasta la ultima y agrega una columna de totales
            DataColumn Total = new DataColumn();
            Total.ColumnName = "Total";
            dt.Columns.Add(Total);
            Double total = 0;
           
            for (int i=0; i

            {
                for (int j = 1; j < dt.Columns.Count-1; j++)
                {
                    try
                    {
                        total = Convert.ToDouble(dt.Rows[i][j].ToString()) + total;
                    }
                    catch
                    {
                        Console.WriteLine("Error al sumar, en fila " + i.ToString() + "Column" + j.ToString());  
                    }
                   
                }
                dt.Rows[i]["Total"] = total;
                total = 0;
            }

            return dt;

        }


Saludos.