Desarrolle XR con Oracle, Ep 5 Healthcare, Vision AI, capacitación/colaboración y mensajería

Esta es la quinta pieza de una serie sobre el desarrollo de aplicaciones y experiencias XR con Oracle y se centra en las aplicaciones XR de atención médica, IA de visión, capacitación y colaboración, y mensajería, incluidos otros temas como el desarrollo multiplataforma, etc.

Encuentre los enlaces a los primeros cuatro artículos a continuación:

Desarrolle XR con Oracle, Ep 1: Espacial, AI/ML, Kubernetes y OpenTelemetry
Desarrolle XR con Oracle, Ep 2: Gráficos de propiedades y visualización de datos
Desarrolle XR con Oracle, Ep 3: Computer Vision AI y ML
Desarrolle XR con Oracle, Ep 4: Gemelos digitales y observabilidad

Al igual que en las publicaciones anteriores, mostraré específicamente las aplicaciones desarrolladas con la base de datos Oracle y las tecnologías en la nube usando HoloLens 2, Oculus, iPhone y PC y escritas usando la plataforma Unity y OpenXR (para soporte multiplataforma), Apple Swift y WebXR.

A lo largo del blog, haré referencia al video de demostración correspondiente a continuación.

Realidad Extendida (XR) y Salud

Remitiré al lector al primer artículo de esta serie (nuevamente, el enlace está arriba) para obtener una descripción general de XR, y no profundizaré en la amplia gama de tecnología involucrada en el sector de la salud, sino que me centraré en la habilitación de XR de estos temas y el uso de la tecnología de Oracle para este fin, particularmente porque Oracle tiene un mayor enfoque en esta área a través de la adquisición de Cerner y otros esfuerzos. Es bien sabido que la telesalud ha crecido enormemente desde la pandemia, alcanzando un máximo de 78 veces la tasa solo un mes antes de la pandemia e incluso ahora sigue estabilizándose en 38 veces esa tasa.

Estos y otros números y su impacto están bien documentados en numerosas publicaciones, como este informe de McKinsey y el Foro de atención médica de asociaciones de VR/AR , al que se hará referencia en este artículo. Uno solo necesita haber oído hablar del uso de XR para cirugías en vivo por parte de Johns Hopkins en 2021 para comprender hasta qué punto XR ayudará en esta industria, por lo que nuevamente, no profundizaré demasiado para intentar probar esto, pero proceda a dar algunos ejemplos e ideas que involucran la base de datos Oracle y las tecnologías en la nube.

Vision AI e inteligencia contextual: análisis y diagnóstico en tiempo real

El primer ejemplo implica el uso de los auriculares de realidad mixta Hololens (aunque se podrían usar otros auriculares/dispositivos) y el servicio Vision AI de Oracle. No debería ser una gran imaginación imaginar a los trabajadores de la salud usando dispositivos XR que les brinden funcionalidad e información adicionales (y, de hecho, muchos ya lo son).

Hoy en día, los médicos, dentistas, etc. hacen referencias cruzadas constantes de una pantalla de computadora con un paciente para verificar la información y orientar lo que ven (rayos X, resonancia magnética, etc.) y, a menudo, luces montadas en la cabeza, lupas monoculares, etc. Las soluciones XR que se analizan aquí son meras evoluciones de eso. Se pueden encontrar más detalles sobre esta aplicación en el blog de investigación aquí , pero los detalles básicos de cómo funciona se describen aquí.

La aplicación que se ejecuta en Hololens toma fotografías con su cámara integrada utilizando el campo de visión del usuario como referencia y lo hace a intervalos regulares. Esto proporciona una experiencia de manos libres que es, como mínimo, más conveniente. Aún así, en muchas situaciones, como en la sala de operaciones, es necesario que las manos de los usuarios interactúen con el mundo real (o XR), por lo que es una solución más óptima. Esto también significa que el sistema puede recoger información contextual de la que el profesional puede no tener conocimiento o tener acceso mientras recopila y procesa rápidamente dicha información sin que el profesional tenga que instruirlo explícitamente, lo que también ahorra tiempo. Esto conduce a la optimización que proporciona la realidad mixta, un emocionante subproducto de la inmersión.

Luego, Hololens envía estas imágenes a OCI Object Storage a través de llamadas REST seguras, donde OCI Vision AI Service puede acceder a ellas directamente y también almacenarlas o acceder a ellas en la base de datos.

Hay varios enfoques y arquitecturas diferentes que se pueden usar desde este punto para llevar a cabo la lógica y las llamadas a las API de Oracle Vision AI para procesar las imágenes enviadas por el dispositivo XR. Por ejemplo, en cuanto al lenguaje utilizado, las versiones iniciales se escribieron utilizando OCI CLI, Java y Python, y se utilizó una versión final de imagen nativa de Java GraalVM.

Además, dado que la imagen nativa de Java GraalM se inicia casi instantáneamente cuando el servicio realiza una rutina particular de corta duración, es un buen candidato para una función sin servidor. Opcionalmente, el Servicio de notificación de OCI puede escuchar los cambios del Almacén de objetos y también llamar a funciones sin servidor.

El servicio de Java recibe una notificación de carga de imágenes en el almacenamiento de objetos y realiza una serie de acciones de la siguiente manera:

1. Realiza una llamada API del servicio OCI Vision AI respaldada por un modelo de detección de objetos de rayos X y proporciona la ubicación de la imagen enviada por Hololens.
2. Recibe una respuesta del modelo de detección de objetos con el porcentaje de probabilidad de que los rayos X estén en la imagen y las coordenadas delimitantes de la misma.
3. Recorta la imagen original utilizando las coordenadas delimitadoras.
4. Realiza otra llamada a la API del servicio OCI Vision AI respaldada por un modelo de clasificación de rayos X y le proporciona la imagen recortada de la radiografía.
5. Recibe una respuesta del modelo de clasificación de imágenes con cambio porcentual de rayos X que contienen signos de anomalías/neumonía.
6. La aplicación Hololens recibe esta respuesta y notifica al usuario con una notificación audible; esto es configurable y también puede ser visual. En el caso de esta aplicación, la información incluye la imagen de la radiografía recortada con los detalles descubiertos enumerados y almacenados en un menú virtual ubicado en la muñeca y visible solo para el usuario. Este enfoque evita la interrupción del usuario, aunque también es posible superponer los resultados en la radiografía de la vida real de la que se derivaron.

Vision AI y XR son una combinación natural para las soluciones en una serie de áreas, incluidos los trabajadores de la salud, como se muestra aquí, y las personas con afecciones como Parkinson, autismo, Alzheimer, discapacidad visual y auditiva, etc. (por ejemplo, aplicaciones/ las soluciones que se pueden utilizar en este espacio se describen en este blog )

Estudio de movimiento y sentimiento: análisis de seguimiento de rostro y cuerpo en tiempo real

Hoy en día, el 95 % de los centros de atención médica brindan tratamiento y rehabilitación a distancia. Las tecnologías XR se pueden utilizar para ayudar a los pacientes a comprender mejor sus condiciones y opciones de tratamiento. Esto puede ayudar a los pacientes a sentirse más informados y empoderados en sus decisiones de atención médica.

El siguiente ejemplo se implementó usando el iPhone y Swift usando RealityKit de Apple para los movimientos de seguimiento del cuerpo. Las coordenadas conjuntas del movimiento de un modelo se registran y envían a la base de datos de Oracle a través de llamadas Rest a ORDS. Una persona (ya sea un paciente, atleta, etc.) que usa la aplicación intenta realizar el mismo movimiento y sus coordenadas articulares se comparan con las del modelo de movimiento almacenado en la base de datos. Si se excede la desviación/delta permitida de los movimientos, las articulaciones y los huesos correspondientes se muestran en rojo en lugar de verde.

Esta retroalimentación se brinda en tiempo real para medir el progreso (p. ej., después de un manguito rotador u otra cirugía) y/o para permitir que el usuario modifique su movimiento para que coincida con el modelo de control, así como para trabajar en el equilibrio y la coordinación. Estos movimientos pueden, a su vez, ser analizados (más sobre XR y Oracle Analytics en un próximo blog), reproducidos, manipulados para realizar simulaciones, etc. Estos casos de uso, por supuesto, se extienden a los sectores de deportes, entretenimiento, etc. como Bueno.

Gemelos digitales + dobles y mensajería multijugador/participante: formación y colaboración

Un estudio reciente informado por Unity muestra que aproximadamente el 94 % de las empresas que usan tecnología 3D en tiempo real la consideran valiosa para la capacitación del personal y la usan para crear experiencias de aprendizaje guiadas e interactivas. Esto se aplica a todas las industrias, incluidas la fabricación, el transporte, la atención médica, la venta minorista y muchas más, y aquí se analizan algunas tendencias en el área (muchas de las cuales coinciden con lo que se muestra en este blog).

Las tecnologías XR se pueden utilizar para crear simulaciones realistas de escenarios médicos, lo que permite a los profesionales de la salud practicar procedimientos y técnicas en un entorno seguro y controlado. Por ejemplo, los estudiantes de medicina y los cirujanos pueden usar simulaciones XR para practicar cirugías con sensaciones táctiles que brindan la retroalimentación de una cirugía real, y las enfermeras pueden usar simulaciones AR para practicar la administración de medicamentos. Esto puede ayudar a los profesionales de la salud a obtener una valiosa experiencia sin poner en riesgo la seguridad del paciente.

Además de la enseñanza, XR brinda una capacidad única para la colaboración entre personas en diferentes lugares y especialidades, creando un espacio virtual compartido donde varios usuarios pueden interactuar entre sí y con objetos virtuales. Hay varias técnicas y opciones de software diferentes disponibles para crear capacitación y colaboración de participantes/multijugadores XR, incluido el software de conferencias y metaversos XR, Photon y otros similares, Rest, WebSockets y diferentes tipos de mensajería.

El software y las plataformas de conferencias XR, como Alakazam, son cada vez más populares y permiten que múltiples usuarios participen en reuniones virtuales, eventos, sesiones de capacitación, etc.

Photon es una plataforma que permite a los desarrolladores crear juegos y aplicaciones multijugador utilizando Unity, Unreal Engine y otros motores de juegos, y se puede instalar fácilmente y aprovechar Oracle Cloud Compute (incluida NVIDIA GPU ). Es quizás la más famosa de estas plataformas, pero hay otras.

WebSockets es un protocolo para la comunicación en tiempo real entre clientes y servidores web y puede ser un método más rápido y eficiente para tales casos de uso que Rest, aunque las llamadas Rest también son una opción simple y viable en muchos casos, y hay más API disponibles a través de Descansa en general que cualquiera de los otros métodos.

La mensajería es otra técnica que se puede utilizar para crear experiencias de colaboración y capacitación XR. Los sistemas como Kafka y JMS tienen pub/sub (temas de múltiples consumidores) y productor/consumidor (temas de un solo consumidor) y son muy flexibles para diferentes necesidades de capacitación y colaboración.

En la aplicación de capacitación que se muestra en el video, utilicé varias de las técnicas anteriores, pero me centré en usar el motor de mensajería TxEventQ de Oracle (anteriormente conocido como AQ). Esta es una oferta muy poderosa y única por varias razones, una de las cuales es clave por su capacidad para realizar trabajos de base de datos y mensajes en la misma transacción local. Esto es único y se adapta perfectamente a los microservicios, ya que proporciona un patrón de bandeja de salida de transacciones y también entrega de mensajes exactamente una vez, de modo que no hay pérdida de mensajes y no es necesario que el desarrollador escriba la lógica de deduplicación.

Esto puede no ser necesario para juegos convencionales o transmisión de películas, pero es imprescindible para sistemas de misión crítica y proporciona algunos aspectos extremadamente interesantes y únicos para XR donde la capacidad de almacenar de manera confiable un objeto compartido (3D) (especialmente aquellos que son dinámicos o creados). a través de la IA generativa, por ejemplo) y las interacciones/mensajes que varios participantes han hecho sobre él es una herramienta muy poderosa.

Eso es precisamente lo que se hace en la aplicación que se muestra en el video. La sesión colaborativa no solo se graba en 3D para verla como un video, sino que los objetos reales y sus interacciones por parte de los participantes se graban en la base de datos y están disponibles para su reproducción para que puedan ser interceptados y manipulados más adelante. Esto permite la capacidad de realizar un aprendizaje más profundo y ejecutar más modelos (IA o de otro tipo), simulaciones, escenarios, etc., ajustando los objetos y las interacciones como/con libros de jugadas.

Con el desarrollo de tecnología más avanzada y dispositivos más potentes, el entrenamiento XR prevalecerá en el futuro cercano, haciendo que la experiencia de entrenamiento sea más inmersiva e interactiva.

Otra pequeña nota es que la aplicación en el video tiene trabajadores de la salud en capturas de video volumétricas 3D completas realizadas profesionalmente en un estudio, pero también es un video 2D simple con el canal alfa de pantalla verde eliminado a través de un sombreador de Unity que proporciona un holográfico similar. efecto con el mínimo esfuerzo (la calidad podría ser mejor con más esfuerzo de iluminación, etc.). Se podría usar una pantalla verde virtual de Zoom para este fin, así como activos gratuitos con animación realizada en Blender. Unity, Zoom y Blender son gratuitos y usan la base de datos autónoma siempre libre de Oracle, lo que hace que la creación de la solución sea muy accesible en cuanto a costos de software y nube.

Ecosistema de datos: telesalud y centros de salud virtuales

Un centro de salud u hospital virtual es un centro de atención médica que brinda servicios médicos a través de canales digitales, como videoconferencias, chat en línea, monitoreo remoto y, cada vez más, tecnologías XR. Estas herramientas digitales permiten a los pacientes acceder a los servicios de atención médica desde la comodidad de sus hogares o ubicaciones remotas sin la necesidad de visitar físicamente un hospital o una clínica.

El concepto de centro de salud virtual se está volviendo cada vez más popular debido a la creciente demanda de servicios de telemedicina, especialmente a raíz de la pandemia de COVID-19. Un centro de atención médica virtual puede brindar una amplia gama de servicios médicos, como atención primaria, consultas especializadas, pruebas de diagnóstico y reabastecimiento de recetas, y ofrece comodidad y flexibilidad a los pacientes que pueden acceder a los servicios médicos desde cualquier lugar y en cualquier momento.

Esto puede ser especialmente beneficioso para pacientes con problemas de movilidad, aquellos que viven en áreas rurales o pacientes que necesitan consultar con un especialista que no está disponible en su área local. También puede reducir los costos de atención médica tanto para los pacientes como para los proveedores de atención médica. Mediante el uso de consultas y monitoreo remotos, los proveedores de atención médica pueden reducir la necesidad de costosas consultas en persona y estadías en el hospital. Los pacientes también pueden ahorrar dinero en costos de transporte y tiempo libre del trabajo.

Un centro de salud virtual puede mejorar la calidad de la atención a los pacientes. Con el monitoreo remoto, los pacientes pueden recibir atención personalizada y continua, con proveedores de atención médica capaces de monitorear su salud en tiempo real e intervenir rápidamente si es necesario. Esto puede resultar en mejores resultados de salud y menos reingresos hospitalarios.

Sin embargo, también existen algunos desafíos para implementar centros de salud virtuales. Estos incluyen problemas relacionados con la privacidad y la seguridad de los datos, así como la necesidad de un acceso adecuado a Internet y alfabetización digital entre los pacientes. Además, es posible que algunos pacientes aún prefieran la atención tradicional en persona y, aunque el número está disminuyendo, existen limitaciones en cuanto a los servicios médicos que se pueden brindar de forma remota. El concepto de un centro de atención médica virtual tiene el potencial de revolucionar la forma en que se brinda la atención médica, con beneficios tanto para los pacientes como para los proveedores de atención médica. Sin embargo, se necesita una cuidadosa consideración y planificación para garantizar que la implementación de centros de atención médica virtuales sea segura, efectiva y equitativa para todos los pacientes.

Oracle, con la adquisición de Cerner y un mayor enfoque en el futuro de la atención médica, se encuentra en una posición única para facilitar tales soluciones de XR por su capacidad para "Ofrecer mejores conocimientos de salud y experiencias centradas en el ser humano para pacientes, proveedores , los pagadores y el público. Oracle Health ofrece las soluciones de atención médica más seguras y confiables, que conectan datos clínicos, operativos y financieros para mejorar la atención y avanzar en la toma de decisiones sobre salud y bienestar”. ( Página de salud de Oracle ). Larry Ellison lo dejó claro en su presentación de Oracle OpenWorld, donde la atención médica era la prioridad para el futuro de Oracle, y a principios de año cuando afirmó : "Juntos, Cerner y Oracle tienen toda la tecnología necesaria para construir un nuevo y revolucionario sistema de información de gestión de la salud en la nube."

Salud mental

Más del 20 % de los adultos estadounidenses experimentan enfermedades mentales, mientras que más de 2,5 millones de jóvenes luchan contra la depresión severa y 800 000 personas se suicidan cada año en el mundo debido a enfermedades mentales. Simultáneamente, existe un déficit creciente de profesionales de la salud mental, que es un problema a nivel nacional pero que es particularmente grave para los menores y adolescentes. Según el Departamento de Salud y Servicios Humanos de EE. UU., se espera que el país tenga una escasez de 10 000 profesionales de la salud mental para 2025.

La salud mental es una de las áreas en las que la XR se ha investigado más ampliamente y se ha demostrado que es extremadamente eficaz como una forma de brindar terapias y tratamientos para afecciones de salud mental como la ansiedad, la depresión y el TEPT. Por ejemplo, la terapia de exposición de realidad virtual se puede utilizar para ayudar a los pacientes a enfrentar y superar sus miedos al exponerlos a simulaciones de las cosas que temen en un entorno controlado y seguro.

La terapia cognitiva conductual (TCC), XR se puede utilizar para crear experiencias inmersivas y meditativas para promover la atención plena, la relajación y la reducción del estrés. Por ejemplo, los entornos de realidad virtual pueden simular entornos naturales tranquilos y relajantes, como playas, bosques, montañas o el espacio. Los niños, los ancianos y otras personas que pueden pasar períodos prolongados en hospitales, etc., están utilizando XR para explorar el mundo y socializar.

Usando XR y teleterapia, los terapeutas pueden crear entornos virtuales que pueden simular sesiones de terapia en persona, brindando una experiencia más inmersiva y personalizada mientras reducen las inhibiciones del paciente e incluso permiten el uso de lentes AR y avatares para privacidad.

El análisis de sentimiento de NLP (Procesamiento de lenguaje natural), como el que proporciona el servicio Oracle AI correspondiente, puede interpretar las emociones y la intención de la comunicación verbal, y con los avances en el reconocimiento facial y el análisis de sentimiento facial, ahora es posible detectar con gran precisión el emociones que una persona está sintiendo y/o expresando de manera no verbal (lo mismo ocurre con el seguimiento del cuerpo/gestos). La neurotecnología y las interfaces neuronales en coordinación con XR ahora pueden interpretar y dar una idea de la intención humana y medir la emoción, brindando una comprensión aún mayor de la intención y la emoción.

Y, por supuesto, el mundo está bastante familiarizado con la mayor y más sencilla accesibilidad de las interfaces de IA como ChatGPT, etc., para facilitar esto. Al igual que con el ejemplo de rayos X dado anteriormente, estos pueden, en algunas situaciones, proporcionar una precisión y velocidad mayores y más consistentes que un ser humano, pero también pueden actuar como tecnologías de asistencia para los trabajadores de la salud. Más ejemplos de esto estarán en próximos blogs.

Pensamientos Adicionales

He dado algunas ideas y ejemplos de cómo la salud y la XR pueden usarse juntos y facilitados por Oracle. Espero publicar pronto más blogs sobre este tema y otras áreas de XR con Oracle Cloud and Database.

Consulte mis otras publicaciones para obtener más información sobre XR y la base de datos y la nube de Oracle, así como varios temas sobre microservicios, observabilidad, procesamiento de transacciones, etc., así como este blog reciente sobre qué es AR . Además, siéntase libre de contactarme con cualquier pregunta o sugerencia para nuevos blogs y videos, ya que estoy muy abierto a las sugerencias. Gracias por leer y mirar.