Como calcular la frecuencia de término – frecuencia inversa de documento
La frecuencia de término – frecuencia inversa de documento (TF-IDF) por sus siglas en inglés) es un cálculo utilizado en el área de Machine Learning para poder computar la similitud entre dos documentos. Hay varias maneras de calcularla. A continuación les presento la manera mas fácil que he visto de calcularla con un ejemplo muy simple. Espero que les sirva.
Variables a utilizar:
- Cantidad de documentos siendo analizados: 64
- Ocurrencias de la palabra “la” en el documento siendo analizado: 1,000
- Ocurrencias de la palabra “bruja” en el documento siendo analizado: 5
- En cuantos de los 64 documentos siendo analizados aparece la palabra “la”: 63
- En cuantos de los 64 documentos siendo analizados aparece la palabra “bruja”: 3
Fórmulas:
- Frecuencia de Término: la cantidad de veces que aparece una palabra en el documento siendo estudiado
- Frecuencia Inversa de Documento: log. # de documentos totales / 1 + cantidad de documentos donde aparece la palabra
Ejemplo utilizando las variables definidas:
- Frecuencia de Término para la palabra “la” = 1,000
- Frecuencia de Término para la palabra “la” = 5
Frecuencia de Término:
la
bruja
1,000
5
Frecuencia Inversa del Documento: Para la palabra “la”: log (64 / 1 + 63 )= 0 Para la palabra “bruja”: log (64 / 1 + 3) = 4
la
bruja
0
4
Una vez que hemos calculado ambos valores tan solo queda realizar la multiplicación de los vectores para generar el TF * IDF
la
bruja
1,000 * 0 = 0
5*4 = 20
Así que el TF * IDF de la palabra “la” es 0 y el TF * IDF de la palabra “bruja” es 20. Es importante notar que este ejemplo tiene el trasfondo de demostrar como este cálculo ayuda a reducir el peso d palabras que son comunes localmente (“la”) e incrementar el peso de palabras que aparecen escasamente en el resto de documentos siendo comparados (“bruja”).
Artículos relacionados
Química, por qué la capacidad de convivir en harmonía es tan importante
Realmente no importa cuál sea la finalidad de un grupo de personas, la capacidad de colaborar y mantener un ambiente agradable entre sus miembros es una habilidad importante que se debe desarrollar si se quiere llegar lejos.
Estamos dormidos y el abecedario nos lo puede demostrar
A,b,c,d,e,f…. Todos nos lo sabemos de memoria. La N va después de la M y la Z lo termina todo. Antes de la Q va la P. El abecedario es cómo es y así funciona bastante bien. Pero…
Aprender de los mejores, algunas recomendaciones y links
Realmente es increíble. El acceso que tenemos a los expertos más reconocidos de todo el mundo es ilimitado. No importa que disciplina nos interese, con un par de clicks nos podemos sentar a estudiar las sutilezas de cómo lo hacen los mejores.