CLUSTER ANALYSIS

AdministratorESTADISTICA, MODELOS Y TECNICAS, SEGMENTACION DE MERCADOLeave a Comment

“Dios los cría y ellos se juntan”. Así como este refrán hay una docena más que hacen referencia al proceso natural que agrupa a las personas, animales o cosas parecidas entre si. Por ejemplo, “Los burros del mismo pelo trotan juntos” o “De tal palo tal astilla” o que tal “Hijo de tigre pintito” o como decía mi amá “Todos coludos o todos rabones”, apuesto a que te sabes otros tantos. Bueno, así como hay dichos también hay formas, estadísticamente hablando, de agrupar a los objetos o sujetos que se basan precisamente en la filosofía común de que “Los pájaros del mismo plumaje vuelan juntos”. De todos ellos, quizá el método más conocido es el análisis de agrupamiento jerárquico o hierarchical cluster analysis en la lengua de Shakespeare y Ronald A. Fisher.

La descripción más exacta que podemos hacer de este método, ya la hicieron los Beatles hace décadas y dice así:

Antes de que nos metamos en la bronca de explicarte como funciona esta cosa o porqué los Beatles cantan “todos juntos ya”, déjanos decirte para que sirve, total si no te sirve pos para qué continuas leyendo, ¿verdad? Mira, el cluster analysis es una técnica, desde el momento en que leo que esto o aquello es una técnica siento que no vale la pena seguir leyendo y quizá a ti te pasa igual por eso mejor hagamos un reset.

Para vender productos o servicios debes perfilar a tus posibles víctimas (clientes); es decir, no puedes ofrecer tus servicios a todo mundo porque muchos de ellos simplemente no los utilizan o les importa un reverendo pepino lo que haces, anuncias o vendes; una vez que encuentras a las víctimas tienes que asegurarte de que no sólo están interesadas en lo que vendes sino que además son las más dóciles y cooperativas que hay o sea que en cuanto les digas “Eat at Joe’s” se dirijan, sin chistar, inmediatamente a tu changarro. Suena fácil ¿no es así? pero como dicen, del dicho al hecho hay mucho trecho, distancia. Por eso, para lograrlo tienes que acortar esa distancia ofreciéndoles lo que necesitan, desean, buscan, etc. ¿cómo? pues investígales, pregúuuuuuuntales, ca’ y con base a lo que te digan que les gusta y necesitan agrúpales; asimismo, observa si, además de parecerse en eso, también son similares por su edad, sexo, nivel socioeconómico, estado civil, marcas que usan, etc. A esta práctica se le nombra segmentación de mercados y es necesaria pues a través de ella se logra mayor efectividad del marketing.

Ahora sí, el cluster analysis se utiliza para dicha segmentación de mercado. Aquí te voy a decir como funciona el método jerárquico, el cual comienza con una simple unidad (objeto o sujeto) y termina agrupándolo todo. Hagamos un pequeño ejercicio, a pie, para que le tomes sabor a lo que decían los Beatles: “one, two, three, four…all together now”. El ejemplo de Hair, Anderson, Tatham y Black del libro “Análisis Multivariante” sobre cluster análisis es muy didáctico, así que nos lo vamos a “piratear”. En una escala de 0 a 10 donde 0 es nada leal y 10 es totalmente leal, se les preguntó a 7 sujetos que tan leales se consideran a la tienda donde compran y marca que compran, sus respuestas fueron las siguientes:

tabla de lealtad cluster

Con una inspección somera de la tabla puedes darte cuenta que el sujeto E y F son muy parecidos, tienen casi los mismos niveles de lealtad a la tienda y marca y en ambos casos se trata de los niveles de lealtad más altos y aunque los sujetos C y D son muy leales a la marca no lo son tanto a la tienda. Gracias a la inventiva de René (no la rana) sino Descartes, para los amigos Renatus Cartesius (de allí el nombre de ejes cartesianos), podemos observar a través de los ejes coordenados de forma más fácil y mucho más si se trata de tan sólo dos dimensiones (lealtad a la tienda y a la marca) las relaciones entre puntos (sujetos). La siguiente gráfica nos muestra de manera instantánea que hay tres segmentos o grupos y la distancia que hay entre los sujetos dentro de cada grupo.

Gráfica de lealtad cluster

Antes de continuar, déjame hacerte una observación que tal vez no venga al caso pero que me muero de ganas por hacerla. Si tuviéramos 3 dimensiones todavía podríamos graficarlas y tratar de analizar visualmente las relaciones entre sujetos y los grupos resultantes pero sería mucho más complicado y por supuesto, mucho menos podríamos hacer este análisis en un gráfico en cuatro dimensiones porque todavía no se han inventado y ni idea de como serían*; además, imagínate lo qué sucede cuando tenemos más de 7 sujetos, digamos cientos de miles y las variables son más de tres, qué tal decenas. ¿No se puede verdad? Esta es la razón por la que insistimos en que entiendas que hay detrás de los modelos matemáticos de análisis de investigación (v.gr. el cluster análisis) porque sin ellos no se pueden resolver este tipo de problemas y quizá más importante aún es que te des cuenta que funcionan a la perfección sin importar que los puedas ver o no en un gráfico cartesiano.

Existen varios métodos para llegar a una solución dentro del cluster analysis, en general, este proceso se divide en 3 pasos:

  1. El método para medir la similitud
  2. El método para agrupar a los sujetos
  3. El método para decidir la cantidad de grupos

1. La similitud se puede medir a ojo de buen cubero, o sea como lo hicimos hace un momento, pero como te diste cuenta este método se vuelve obsoleto rápidamente, un método matemático-estadístico es la mejor solución. Por ejemplo, usando una medida de chi cuadrado, correlación o distancias euclidianas; de los dos primeros ya hemos hablado anteriormente en este blog así que vamos a hablar de distancia euclidiana. Observa el triángulo rojo de la gráfica de arriba en el cuál se unen los sujetos E y F, la diagonal que los conecta (hipotenusa) es la distancia que hay entre ellos; tú sabes que la fórmula matemática para medir esa distancia euclidiana, la cual se llama así porque se hace a través de las formas geométricas y euclides es el padre de esa ciencia, se obtiene con la siguiente fórmula:

distancia euclidiana

La mayoría de nosotros cuando vemos una fórmula, actuamos como si viéramos un hombre o mujer feo(a) o en el mejor de los casos a alguien que no nos interesa; es decir, volteamos para otro lado. Déjame retomar la primera analogía. Hay gentes que en primera instancia nos parecen feas pero cuando las conocemos y tratamos durante un buen tiempo nos damos cuenta de su belleza intrínseca, de la cual no nos habíamos percatado e incluso en algunos casos dicha relación se vuelve matrimonio. Las matemáticas son así, tienes que aprender a conocerlas para que veas esta belleza. Por ejemplo, te das cuenta que en la fórmula de arriba se obtiene la distancia dimensión por dimensión; es decir, se calcula la distancia que hay en el eje “X” de un punto al otro punto y se suma con la distancia calculada que hay de los mismos puntos sobre el eje “Y”; si tuvieras una tercera dimensión, digamos “Z”, tendrías que obtener la distancia de ese mismo par de puntos sobre este otro eje o dimensión y sumarla a las distancias anteriores, de esta forma al final obtienes la distancia que hay entre un punto y otro punto o entre sujetos y no importa cuantas variables tengas o cuantos sujetos haya la fórmula sigue funcionando. La fórmula con tres dimensiones sería así:

distancia euclidiana 3

Ahora, observa que la diferencia en distancia de un punto a otro punto, dentro de cada dimensión, está elevada al cuadrado, la explicación es muy simple: si en una dimensión (i.e “X”) la diferencia es positiva o negativa y en la otra dimensión (i.e. “Y”) la diferencia va en sentido contrario, al sumar las dimensiones estás diferencias siempre se anularían y nos encontraríamos con el resultado de que las diferencias son muy pequeñas o no las hay, esa es la razón por las que se elevan al cuadrado, para que siempre se puedan sumar, pero y este es un gran PERO, por lo cual te pido que pongas mucha atención. Esta forma de obtener las distancias anula la covarianza; en otras palabras, si un sujeto es leal a la tienda y también a la marca o si tiene mucha lealtad a la tienda y muy poca a la marca el cluster analysis no lo detecta; es más, NI siquiera está interesado en saber si esas distancias o diferencias entre dimensiones están relacionadas (el caso contrarío es el análisis de correlación); lo que le interesa es conocer la distancia que hay entre los sujetos, determinar si piensan igual, no le interesa, en lo más mínimo, saber cómo o en qué piensan. Esa es la gran debilidad del cluster análisis, NO hay un sustento teórico detrás de los grupos que forma y por eso el procedimiento para segmentar al mercado pasa por varios otros tipos de análisis como el análisis factorial, del cual ya también hablamos aquí y el análisis discriminante, del cuál muy pronto publicaremos un artículo.

Antes de concluir con la decodificación de la fórmula, permíteme insistir en el punto anterior, si tienes dos sujetos y uno dice que es totalmente leal a la tienda o sea tiene un puntaje de 10 y el otro sujeto dice que su lealtad es de 9, la distancia que hay entre ellos es de uno (raíz de 10-9 elavado al cuadrado es 1). ¿de acuerdo? Bueno, si observas a otros 2 sujetos diferentes en el que el primero tiene calificación de lealtad a la tienda de 0, o sea que no es nada leal y el otro tiene una lealtad de 1, que significa que su lealtad está por los suelos, la diferencia seguiría siendo uno (raíz de 0-1 elevado al cuadrado es 1); el cluster análisis junta a estos cuatro sujetos y claro que le tiene sin cuidado que los dos primeros sean leales y los otros dos no ¿me captas? Puedes terminar juntando peras con manzanas; no hay una estructura conceptual sobre la cual descanse el andamiaje de los grupos ¿Cómo te previenes de que te suceda ésto? pues incluyendo varias dimensiones, no nada más dos, asegurándote que las dimensiones que estás incluyendo en tu análisis son importantes para tu mercado y que tienen validez y confiabilidad. Muy bien, como te prometí, la raíz cuadrada en la fórmula, obedece a que las distancias se elevaron al cuadrado y se desea regresar las distancias resultantes a sus unidades originales. Más sin embargo, debido a que en la práctica se combinan distintas medidas o escalas y un resultado así carece de significado (v.gr. lealtad en una escala de 0 a 10 e intención de compra en una escala del 1 a 5) la mayoría de los programas estadísticos reescalan o estandarizan las distancias del cluster. En la imagen de abajo tenemos la distancia resultante entre el sujeto E y F, en sus escalas originales.

distancia euclidiana 2

Este cálculo se hace para todos los pares de puntos que hay y con ello se forma una matriz de similitudes o distancias entre sujetos, la cual se basa en tan sólo dos dimensiones: lealtad a la tienda y lealtad a la marca, no importa si tienes más variables de cualquier manera obtendrías una matriz del mismo tamaño, esta sólo cambiaría si hubieses entrevistado a más de 7 sujetos. Este otro asunto parece pueril, por obvio, pero hace algunos años era vital pues la mayoría de los programas estadísticos no podían correr un cluster analysis con más de 300 o 400 casos, por lo que se usaba una submuestra de casos, cuando tenías miles de ellos, determinabas cuál era el número de grupos con dicha submuestra y utilizabas un procedimiento llamada Cluster K-means, el cual podía agruparte a todos tus sujetos con la condición de que le indicaras cuantos grupos debía de obtener; lo de “K-means” se refiere a que introduzcas el promedio de distancia en cada grupo aunque, en la mayoría de los programas ya no es necesario, basta con que señales cuantos grupos quieres. A continuación nuestra matriz de distancias resultante.

matriz de simlitudes

2. Lo que sigue, como dice mi compadre Cenobio**, es “arrejuntar” a los sujetos y también allí existen varios métodos; el que describen Hair, Anderson y compañía, se llama jerárquico y aglomerativo. Es jerárquico porque como su nombre lo indica agrupa primero a los 2 sujetos más parecidos, luego busca al otro par más parecido para agruparlo y si alguno de ellos ya existe dentro de un grupo pos simple y sencillamente los aglomera. Ve el cuadro de abajo para que te quede más claro este procedimiento jerárquico y aglomerativo.

cluster jerarquico

Para empezar desde el principio, te puedes dar cuenta que se tienen tantos grupos como sujetos, 7 grupos en total; entonces lo que se busca es juntar a esta gente en una sola familia y una forma de hacerlo es como sugieren los Beatles, paso por paso; en el paso “one”, los sujetos más cercanos son el E y el F por lo cual se procede a juntarlos con lo que ahora nos quedamos con sólo 6 grupos; en el paso “two” se buscan a los sujetos más cercanos después del E y F y da la casualidad que son el E y G pero como el E ya pertenece a un grupo se procede a aglomerarlos en otro grupo más grande, de tal forma que ahora sólo nos quedan 5 grupos; si sigues este procedimiento al último vas a terminar cantando…”all together now”. ¿Lo ves?

3. Tal ves la parte más difícil del cluster analysis es decidir con cuántos grupos te debes quedar, tradicionalmente, los investigadores se apoyan en un elemento gráfico llamado dendrograma.

dendrograma

Como puedes ver, es un tipo de gráfico que en el eje de las x’s señala la distancia (reescalada) a la que se encuentran cada uno de los sujetos, graficados en el eje de las y’s con respecto a sus contrapartes. Por ejemplo, E y F estan separados por un poco más de una unidad de distancia, mientras que el G está a dos unidades de distancia del grupo formado por E y F. En general, es más o menos fácil ver que hay tres grupos: E-F-G, B-C-D, y A, este último grupo, que en realidad es sólo un sujeto, está a más de tres unidades de cualquiera de los otros dos grupos. No obstante, esta herramienta, el juicio para decidir cuantos grupos se deben considerar en la solución final depende de los aspectos prácticos de una segmentación, algunos de los que recuerdo son: que los grupos sean rentables (tamaño suficiente y que compren), alcanzables, es decir, que puedan leer tus mensajes tipo “Eat at Joe’s”. Estadísticamente hablando, los grupos deben ser muy homogéneos en su interior, esto quiere decir, que la distancia entre los sujetos que los componen sea pequeña y muy heterogéneos entre ellos; lo cual se lee: la distancia entre grupos debe ser la máxima.

Hacer este análisis en SPSS no implica ninguna dificultad, de hecho, creo que este programa es el más didáctico y fácil que existe pero si no cuentas con él y quieres hacerlo en R puedes consultar la sintaxis aquí.

Gracias por leernos y hasta la próxima.

P.D. Para los que nos han solicitado un libro, les queremos comentar que vamos en un 20% y que a este paso lo concluiremos a finales del próximo año pero es una promesa que lo tendremos que publicar tarde o temprano.

* Me refiero a las dimensiones del tipo cartesiano no a los vectores que se pueden construir en un mapa de 2 o 3 dimensiones como el factorial o discriminante.

** Se utiliza este nombre en doble sentido. Por un lado, así se llama mi compa pero por el otro es el concepto que se utiliza para describir a un grupo de células que, tras dividirse, no se separan y permanecen en grupos dentro de una vaina o sustancia mucilaginosa (wikipedia).

¡Compártelo a tus amigos(as)!...Tweet about this on TwitterShare on LinkedInShare on FacebookShare on Google+Email this to someone
AdministratorCLUSTER ANALYSIS

Leave a Reply

Your email address will not be published. Required fields are marked *