paint-brush
Estos datos de Google Maps descubiertos por un científico de datos son increíblespor@shauryauppal
928 lecturas
928 lecturas

Estos datos de Google Maps descubiertos por un científico de datos son increíbles

por Shaurya Uppal4m2023/01/11
Read on Terminal Reader

Demasiado Largo; Para Leer

Como científico de datos, considero que la personalización y la clasificación de las búsquedas son un desafío complejo e interesante. Google Maps reconoce mi ubicación y muestra las cinco ubicaciones más populares visitadas o en las que han hecho clic las personas que previamente escribieron "ei". Todos los resultados están cerca de mi ubicación (ver Fig. 1)
featured image - Estos datos de Google Maps descubiertos por un científico de datos son increíbles
Shaurya Uppal HackerNoon profile picture
0-item


Google Maps es un producto increíble y aporta mucho valor a la vida de las personas. Hoy, pensé en compartir mis puntos de vista sobre cómo alguien puede construir un producto como este desde cero.


Si bien es cierto que la búsqueda involucra tanto la ingeniería como la ciencia de datos, muchas empresas pueden subestimar la importancia de la ciencia de datos en la búsqueda. La búsqueda no se trata solo de construir una infraestructura técnica para procesar y devolver resultados para una consulta determinada, sino también de comprender y anticipar las necesidades y preferencias de los usuarios, y usar datos para adaptar la experiencia de búsqueda a usuarios individuales.


Como científico de datos, considero que la personalización y la clasificación de las búsquedas son un desafío complejo e interesante. Captamos el interés de los usuarios al examinar: consultas de búsqueda de usuarios, historial de búsqueda anterior y datos de clics.


Este boletín responderá a todas sus preguntas sobre:


  • ¿Qué datos se requieren?
  • ¿Necesita clasificación y relevancia en los mapas?
  • ¿Por qué aparece un resultado particular?


Descargo de responsabilidad: envíe un mensaje privado antes de volver a publicar esta estrategia en otras plataformas, ya que es completamente original para mí y no fue copiada. No apoyo ninguna marca; los ejemplos compartidos son solo para aprender. Cualquiera puede crear sus propios mapas desde cero usando este concepto.

Si alguien quiere una consulta mía, comuníquese AQUÍ

¿Por qué este resultado y cómo?

Lo que buscamos: Vivo en Gurugram y busco la “Torre Eiffel, París”

Comencemos a escribir "EI" en Maps y analicemos. Obtuvimos los 5 mejores resultados de la consulta que se enumeran a continuación.

Fig.1 Análisis de búsqueda


¿Por qué hay sólo cinco resultados? La búsqueda tiene que ver con la clasificación y la relevancia. El objetivo del algoritmo es hacer que el usuario obtenga el resultado deseado con una longitud de consulta mínima. Por otro lado, es preferible tener más contexto para el algoritmo que el esfuerzo de desplazarse por una larga lista de resultados devueltos por la consulta "ei".


Figura 1. Análisis de búsqueda


Motivo de este resultado: la popularidad y las señales contextuales se disparan aquí. Google Maps reconoce mi ubicación y muestra las cinco ubicaciones más populares visitadas o en las que hicieron clic las personas que escribieron previamente "ei". Todos los resultados están cerca de mi ubicación (ver Fig. 1). La consulta "eif" coloca a la Torre Eiffel en la tercera posición debido a su mayor puntaje de popularidad. (ver Fig. 2)


Fig.2 Búsqueda basada en la popularidad y la distancia

¿Cómo construir la búsqueda basada en la ubicación de un usuario?

¿Que tenemos?


  • Conocemos la Ubicación del Usuario
  • Ubicaciones de todas las Entidades registradas: Tiendas, Cafés, Restaurantes, Hoteles, etc.

Enfoque ingenuo

Usando la fórmula de Haversine, calcule la distancia entre User Lat/Long y otras ubicaciones dentro de una ciudad o código postal. (ver Fig.3)


Fig.3 Fórmula Haversine


A nivel de GMaps, donde hay miles de millones de entidades y millones de usuarios, este enfoque no es escalable.

Enfoque más inteligente con DS Intelligence

  • Digamos que estamos haciendo esta acumulación de búsqueda solo para la región de Bangalore.
  • Agrupamos cada entidad registrada, dividiendo la región completa en grupos de subentidades más pequeños, digamos 50. (ver Fig.4)

Fig.4 Bangalore en grupos de subentidades


  • Cuando un usuario se conecta, simplemente verifique su Lat-Long y clasifique las entidades según la popularidad dentro del grupo. Este enfoque agrega elementos basados en la distancia y la popularidad a nuestros resultados de búsqueda.

PD. Algunos de ustedes pueden preguntar si esto se puede hacer dentro de Elastic Search. Echa un vistazo a la clasificación geográfica

Fig.5 Clasificación geográfica ES

¿Cómo hacer que la búsqueda sea más contextual o personalizada?

Para que la búsqueda sea más contextual o personalizada, puede considerar el uso de enfoques basados en datos que tengan en cuenta las necesidades o preferencias específicas del usuario. Por ejemplo, si el Sr. Wolf está buscando restaurantes y ha realizado varias consultas relacionadas con restaurantes en un período corto de tiempo o en la misma sesión, puede priorizar mostrarle resultados personalizados para su ubicación y también considerar su historial de búsqueda anterior. Esto puede implicar clasificar los restaurantes cercanos a él más arriba en los resultados de búsqueda y presentarle opciones que se adapten a sus gustos o preferencias o a sus visitas anteriores a diferentes lugares.


Mediante el uso de enfoques basados en datos, puede proporcionar al Sr. Wolf resultados de búsqueda más relevantes y específicos en lugar de confiar simplemente en criterios populares o basados en la distancia.

Alguien puede preguntar, Shaurya, ha hablado sobre el aspecto de popularidad en la búsqueda, pero ¿cuáles son algunas formas diferentes de identificar una ubicación como popular?

  • Número de vistas/clics en el último mes
  • Número de personas que visitaron un lugar en el último mes
  • Proxy multiplataforma: análisis de transacciones de Google Pay, una tienda comercial se considera popular si el volumen de transacciones es alto

Recomendaciones de búsquedas anteriores en caché

Ningún modelo de ciencia de datos puede superar la simplicidad de los datos históricos bien presentados (consulte la Fig. 6) con algoritmos de almacenamiento en caché: LFU (Usado con menor frecuencia) o LFU con envejecimiento dinámico (consulte el siguiente enlace para obtener una explicación detallada de LFU con envejecimiento dinámico).


Consulte mi blog aquí: https://shauryauppal.medium.com/thinking-data-strategies-in-fintech-universe-building-payments-recommendation-system-for-google-95c746e3dd0e

Fig. 6 Búsqueda en caché

Resumen de nuestro análisis

1. Discutimos por qué se muestran 5 resultados en la lista de resultados de búsqueda

2. Ranking de resultados en función de la puntuación de Popularidad + Distancia

3. Clasificación geográfica en búsqueda elástica

4. Personalización en la búsqueda basada en la categoría histórica de consultas

5. ¿Cómo identifica una entidad como un lugar popular?

6. Recomendaciones basadas en el almacenamiento en caché de consultas de búsqueda anteriores y lugares visitados


Gracias a todos por regalarme este premio


Noonies Tech 2022


Conéctate, sígueme o apóyame en LinkedIn si encuentras útil esta lectura. Para saber más de mí visita: Aquí


Estoy buscando un rol interesante de líder/científico de datos sénior: si tiene algo para mí, conéctese con [email protected]


Volver a publicar desde mi boletín: aquí y aquí