Por qué el AI en dispositivos está en ascenso

Los desarrolladores y fabricantes están trasladando cada vez más las cargas de trabajo de inteligencia artificial de los grandes centros de datos corporativos a dispositivos personales como teléfonos inteligentes, laptops, relojes inteligentes y dispositivos wearables emergentes. El cambio está impulsado por tres beneficios principales: velocidad, privacidad y eficiencia de costos. Cuando el AI se ejecuta de forma local, las respuestas pueden entregarse en fracciones de un segundo, eliminando la latencia que de otra manera obstaculizaría aplicaciones en tiempo real como la detección de objetos o la asistencia de navegación.

Velocidad y rendimiento en tiempo real

La velocidad es fundamental para tareas que no pueden tolerar retrasos. Por ejemplo, un sistema de AI que alerta a un usuario sobre un obstáculo en su camino debe responder de inmediato. Los modelos en dispositivos, que se ejecutan en chips especializados, pueden entregar resultados precisos dentro de unos 100 milisegundos para la clasificación de imágenes, un nivel de rendimiento que era inalcanzable solo cinco años atrás. Las tareas más exigentes, como la detección de objetos, la segmentación instantánea, el reconocimiento de actividades y el seguimiento de objetos, aún requieren asistencia en la nube, pero la tendencia general apunta hacia un procesamiento local más rápido y capaz a medida que mejora el hardware.

Ventajas de privacidad

Procesar datos en el dispositivo mantiene la información personal, como preferencias, ubicación e historial de navegación, bajo el control del usuario. Cuando los datos permanecen cifrados en un teléfono o laptop, están menos expuestos a las vulnerabilidades de la transmisión por internet y el almacenamiento de terceros. Empresas como Apple emplean la "Computación en la nube privada", enviando solo los datos mínimos necesarios para una tarea a servidores de propiedad de Apple y asegurando que no se almacenan ni se acceden más allá de la computación inmediata.

Ahorro de costos para desarrolladores y usuarios

Ejecutar modelos de AI de forma local elimina las tarifas continuas de servicios en la nube para la potencia de computación y la energía. Los desarrolladores pequeños pueden escalar aplicaciones sin incurrir en costos de infraestructura masivos. Por ejemplo, una aplicación de mezcla de ruido que utiliza un modelo en dispositivo para seleccionar y ajustar sonidos existentes incurre en gastos adicionales prácticamente nulos a medida que crece su base de usuarios.

Innovaciones en hardware y modelos

Las empresas líderes están integrando hardware y modelos optimizados para AI en sus dispositivos. La "Inteligencia de Apple" aprovecha un modelo en dispositivo de 3 mil millones de parámetros para tareas como resumir mensajes y reconocimiento visual. Los teléfonos Pixel de Google ejecutan el modelo Gemini Nano en un chip Tensor G5 personalizado, alimentando funciones como Magic Cue, que presenta información relevante de correos electrónicos y mensajes sin una búsqueda manual. El jefe de AI generativa de Qualcomm, Vinesh Sukumar, enfatiza el desafío de ajustar AI sofisticado en el espacio limitado de los dispositivos wearables, señalando que la descarga en la nube sigue siendo necesaria para las operaciones más intensivas en términos de computación.

Perspectiva académica

El profesor de Carnegie Mellon, Mahadev Satyanarayanan (conocido como Satya), ha investigado durante mucho tiempo la computación en el borde, abogando por el procesamiento lo más cerca posible del usuario, reflejando cómo el cerebro humano opera sin dependencia de la nube externa. Reconoce que, si bien la naturaleza tardó miles de millones de años en evolucionar hacia tal eficiencia, los ingenieros buscan acelerar el progreso dentro de una década mediante el avance de ambos hardware y algoritmos.

Perspectiva futura

Los expertos anticipan que, dentro de los próximos cinco años, las mejoras en el hardware de AI móvil y la eficiencia algorítmica permitirán que se ejecuten tareas más complejas de forma local. Las aplicaciones potenciales incluyen alertas de navegación en tiempo real, asistencia de conversación contextual y recomendaciones personalizadas que respetan la privacidad del usuario. Si bien la capacidad completa en dispositivo para cada función de AI no es aún una realidad, el impulso hacia el AI centrado en el borde sugiere un futuro en el que la mayoría de las características inteligentes operen directamente en los dispositivos de los usuarios.

Usado: News Factory APP - descubrimiento de noticias y automatización - ChatGPT para Empresas