La excelencia en ingeniería como decisión de producto

Mi forma de entender la calidad parte de cumplir con la expectativa del cliente dentro de una población determinada. Esa idea tiene antecedentes claros. Joseph M. Juran la relacionó con la adecuación al uso; Philip B. Crosby, con la conformidad con los requisitos. W. Edwards Deming insistió en comprender el sistema y su variación para mejorar de manera sostenida. No son definiciones idénticas, pero juntas permiten conectar la necesidad, la especificación y la consistencia de lo que entregamos.^{1, 2}

Durante mucho tiempo he explicado mi concepto hablando de la expectativa del cliente en una media poblacional. La expresión necesita una precisión: una población no tiene una sola expectativa y su media no representa necesariamente a una persona real. Lo que buscamos es conocer la distribución de necesidades de quienes queremos atender, establecer compromisos y comprobar en qué medida los cumplimos. Mi definición es una síntesis personal de esas ideas, no una cita literal atribuible a uno de esos autores.

También conviene separar población, muestra y espacio muestral. La población es el conjunto sobre el que queremos aprender: por ejemplo, los titulares de una tarjeta que cumplen ciertas condiciones durante un periodo. La muestra es el subconjunto que observamos. En probabilidad, el espacio muestral es el conjunto de resultados posibles de un experimento; no es el nombre técnico de las personas entrevistadas. En investigación de clientes, además, necesitamos un marco muestral: la lista o mecanismo desde el cual podemos seleccionar participantes.

Con esa precisión, diría que calidad significa cumplir de manera consistente las expectativas y los requisitos relevantes de una población definida, con evidencia suficiente para conocer tanto el cumplimiento como sus límites. Esto incluye condiciones que el cliente quizá no sabe formular, como la seguridad de un mecanismo, la integridad de sus datos o la accesibilidad de una función. El usuario no tiene que conocer la especificación de un tornillo para esperar que la silla sea segura.

Pensemos en un ejemplo ilustrativo, ajeno a los resultados de mis proyectos. Cinco usuarios tardan 2, 3, 3, 4 y 18 minutos en completar un canje. La media es 6 minutos: sumamos los tiempos y los dividimos entre cinco. La mediana es 3: ordenamos los valores y tomamos el central. Ambas cifras son correctas, pero responden a preguntas diferentes.

La media ayuda a dimensionar el tiempo total consumido y puede servir para estimar capacidad operativa. La mediana describe mejor el centro de esta distribución, porque el caso de 18 minutos desplaza considerablemente el promedio. Sin embargo, escoger la mediana porque produce un resultado más agradable sería otra manera de ocultar el problema. Ese usuario también forma parte de la experiencia que entregamos.

Para decidir necesitamos observar la dispersión, las condiciones del caso extremo y, cuando el volumen lo permita, percentiles. Un percentil 95 de tiempo indica el valor que aproximadamente el 95 % de las observaciones no supera, según el método de cálculo utilizado. No promete que todos terminarán antes de ese límite. En una aplicación puede ayudar a ver esperas que la mediana disimula; en un servicio, a entender cuántos clientes enfrentan demoras particularmente largas.

La misma lógica aparece al diseñar una silla. Una altura promedio no resuelve simultáneamente la necesidad de alguien con piernas cortas y la de alguien con piernas largas. Tampoco una persona que está en el percentil 50 de estatura estará necesariamente en el mismo percentil de longitud de antebrazo o anchura de cadera. Por eso el diseño antropométrico requiere dimensiones pertinentes y combinaciones reales, además de mecanismos de ajuste.

Antes de elegir un indicador conviene reconocer qué decisión dependerá de él. El promedio puede orientar una estimación de costo; la mediana, describir una experiencia central; los extremos, revelar exclusiones o riesgos. Y una escala de satisfacción necesita cuidado adicional: pasar de dos a tres estrellas no tiene por qué representar el mismo cambio subjetivo que pasar de cuatro a cinco. Ningún resumen sustituye la lectura de la distribución y de las respuestas que lo originaron.

Cuando trabajaba para un banco participamos en la definición de un programa de lealtad con puntos Payback. Había una intención comercial razonable: ofrecer algo a cambio del uso de la tarjeta y mantener una relación con el cliente. Existían convenios y recompensas, pero encontrábamos una distancia entre el interés que despertaba recibir un beneficio y el uso efectivo de lo que ofrecíamos.

La impresión que teníamos era que casi nadie entendía cómo funcionaba el programa. A las personas les interesaba recibir algo por sus compras, pero pocas accedían a los convenios que teníamos disponibles. Esa observación no era todavía una explicación. Podíamos estar frente a un problema de comunicación, de relevancia del premio, de esfuerzo para canjear o de condiciones difíciles de cumplir. Cada posibilidad habría requerido una intervención distinta.

Empezamos por determinar la población que queríamos conocer y seleccionar una muestra. Después vinieron las entrevistas, las encuestas, la lectura de las respuestas, su clasificación y el análisis de resultados. La estrategia del plan de lealtad se construyó con esa información y posteriormente establecimos grupos de control dentro de la población seleccionada para medir el desempeño. No conservo aquí una cifra verificable de mejora, así que no tendría sentido convertir ese recuerdo en un porcentaje de éxito.

Definir una población obliga a tomar decisiones incómodas. Si escuchamos únicamente a quienes ya canjean, aprenderemos mucho sobre usuarios que superaron las barreras y poco sobre quienes quedaron fuera. Si invitamos solo desde la aplicación, dejaremos de observar a quienes no entran en ella. Y si dependemos de respuestas voluntarias, es posible que participen con mayor frecuencia las personas más satisfechas o las más molestas.

En un programa como este podría ser útil distinguir clientes que conocen el beneficio y lo usan, quienes lo conocen pero no lo usan y quienes no lo conocen. También podrían importar la antigüedad, la frecuencia de uso, la ubicación o el canal habitual. Estas categorías deben responder a una hipótesis de producto, no a la facilidad de llenar una presentación con segmentos. Tener más grupos no garantiza entender mejor a las personas.

Las entrevistas y las encuestas aportan evidencias diferentes. Una entrevista puede descubrir una dificultad que no habíamos considerado; una encuesta bien diseñada puede ayudarnos a estimar su frecuencia. Para pasar de respuestas abiertas a datos necesitamos criterios de clasificación, conservar el texto original y revisar los casos ambiguos. Una misma respuesta puede contener varias causas, y forzarla a entrar en una sola casilla puede distorsionar lo que el cliente dijo.

También hay que resistir la tentación de presentar toda muestra como representativa. El tamaño necesario depende de la precisión buscada, la variabilidad, el diseño de selección y la comparación que queremos realizar. Para un experimento importa, entre otras cosas, el efecto mínimo que necesitamos detectar. Una muestra grande obtenida de un canal sesgado puede describir con mucha precisión a la población equivocada.

En un trabajo exploratorio pequeño podemos encontrar problemas valiosos sin estimar su prevalencia en el mercado. Eso fue relevante en mi experiencia con mobiliario: el presupuesto limitaba el número de participantes, pero sus observaciones podían cambiar decisiones concretas. El límite estaba en lo que podíamos afirmar después. Descubrir una dificultad en varias personas justifica investigarla; no demuestra automáticamente qué porcentaje de todos los compradores la experimentará.

Tuve la oportunidad de colaborar con compañeros dedicados a medir antropometría y estudiar su impacto en el diseño de sillas de oficina. El propósito incluía mejorar la postura y reducir condiciones que pudieran perjudicar las articulaciones. Al participar en ese proyecto encontré mucha experimentación, registro y escucha. Las respuestas de quienes probaban el producto se leían en relación con el mercado objetivo que buscábamos atender.

El presupuesto nos obligó a trabajar con una muestra reducida. Aun así, la información tuvo consecuencias importantes en la ingeniería: ayudó a definir la construcción, los sistemas de nivelación y los ajustes de postura. Después tuvimos que buscar proveedores capaces de responder al diseño y sus especificaciones técnicas. La investigación no terminaba en una recomendación; seguía hasta las condiciones necesarias para fabricar.

Para explicar el tipo de relación que aparece en esos proyectos, imaginemos que una persona no apoya bien los pies, que otra encuentra presión detrás de las rodillas y que una tercera no alcanza cómodamente el ajuste. Son ejemplos ilustrativos, no observaciones que esté atribuyendo al registro de aquel proyecto. Cada uno conduce a revisar variables diferentes: altura, profundidad, geometría o ubicación del mecanismo. La frase «no me resulta cómoda» necesita convertirse en preguntas que podamos investigar.

Además, comodidad percibida, postura observada y prevención de lesiones son resultados distintos. Una prueba breve puede ayudar a entender los dos primeros; demostrar reducción de lesiones requiere otro alcance, seguimiento y evidencia. La honestidad sobre ese límite forma parte de la calidad. No podemos transformar un comentario favorable en una afirmación clínica sobre la protección de las articulaciones.

Lo que más me interesa de aquella experiencia es cómo la voz del usuario llegaba a una decisión material. Cambiar un rango de ajuste podía exigir otro mecanismo, alterar el costo, reducir el número de proveedores disponibles o modificar el mantenimiento. La ingeniería del entorno entraba así en la promesa del producto. Diseñar un ajuste excelente que no podemos fabricar de manera consistente sigue dejando la necesidad sin resolver.

Si quisiéramos evaluar un nuevo mecanismo de silla, podríamos comparar un grupo que utiliza el modelo de referencia con otro que prueba la modificación. Tendríamos que definir antes qué mediremos, bajo qué condiciones y durante cuánto tiempo. La tarea, la duración de uso y las características de los participantes podrían influir tanto como el mecanismo. Una comparación útil necesita reconocer esos factores.

Cuando es viable, asignar al azar reduce el riesgo de que los grupos difieran sistemáticamente desde el inicio. Otra opción es que una persona pruebe ambas versiones, alternando el orden entre participantes. Ese diseño puede ser útil para ciertas medidas de uso, pero debe considerar aprendizaje, fatiga y efectos que persistan de una prueba a otra. No todo producto admite el mismo experimento.

En el programa de lealtad, un grupo de control permite estimar qué habría ocurrido sin la intervención. Supongamos, solo como ejemplo, que una nueva explicación alcanza 12 % de canje y el control llega a 9 %. La diferencia es de tres puntos porcentuales, equivalente a un aumento relativo de aproximadamente 33.3 %. Esa aritmética no demuestra por sí misma un efecto: todavía necesitamos revisar el tamaño de los grupos, la incertidumbre, la asignación y el periodo de observación.

Conviene fijar la métrica principal y las condiciones de decisión antes de mirar resultados. Si buscamos suficientes indicadores, siempre será más fácil encontrar alguno que parezca mejorar por azar. También debemos cuidar la unidad experimental: asignar por usuario evita ciertos cruces entre sesiones, pero quizá sea necesario asignar por hogar o sucursal cuando las personas comparten información y contaminan la comparación.

Un grupo de control tampoco es lo mismo que una gráfica de control. El primero sirve para comparar una intervención; la segunda ayuda a vigilar un proceso a lo largo del tiempo. Y un experimento aleatorizado en una muestra sesgada puede estimar bien el efecto dentro de esa muestra sin justificar una conclusión para todo el mercado. La calidad de la comparación y la posibilidad de generalizar son preguntas relacionadas, pero distintas.

En producto digital encuentro una afinidad con esa disciplina cuando hablamos de Test-Driven Development, o TDD. Su ciclo consiste en escribir una prueba automatizada que falla, implementar el código necesario para que pase y después mejorar la estructura del código conservando las pruebas satisfactorias. Es una práctica de desarrollo que obliga a explicitar comportamientos y proporciona retroalimentación rápida sobre ellos.⁸

La comparación con el trabajo físico resulta útil si respetamos sus límites. Una prueba de código puede verificar que un saldo insuficiente impida un canje o que un reintento no duplique una operación. No puede demostrar por sí sola que el cliente comprende los puntos, aprecia el beneficio o encuentra accesible el recorrido. TDD permite comprobar parte de la solución construida; investigar al usuario permite cuestionar si esa solución responde a la necesidad.

Por eso no describiría TDD, A/B, soft launch y friends and family como nombres intercambiables. Un A/B compara variantes mediante un diseño experimental; un lanzamiento limitado restringe la exposición inicial; una prueba con personas cercanas facilita observaciones tempranas, aunque introduce sesgos de selección y familiaridad. Podemos combinar estas prácticas, pero cada una produce evidencia diferente.

La historia de la investigación médica muestra que disponer de recursos y rigor técnico no elimina los sesgos de selección. En Estados Unidos, una guía de la FDA de 1977 recomendó excluir a mujeres con posibilidad de embarazo de la fase I y de las primeras etapas de fase II, por preocupación ante riesgos reproductivos y del desarrollo fetal. La restricción se retiró en 1993. En 2026 hablamos de una política originada hace 49 años y revisada hace 33, no simplemente de que «hace cuarenta años solo se probaba en hombres».⁹

La diferencia importa: no se excluía a todas las mujeres de todos los ensayos y de todas las fases. El problema incluía una representación insuficiente y la pérdida de oportunidades para conocer diferencias de respuesta desde etapas tempranas. En 1993, además, la NIH Revitalization Act incorporó requisitos de inclusión de mujeres y minorías en investigación clínica financiada por los NIH, con condiciones y excepciones definidas. Su alcance no debe confundirse con el de toda investigación realizada en cualquier país.¹⁰

También debemos cuidar la interpretación de las advertencias sobre embarazo. Algunas reflejan falta de datos suficientes; otras responden a riesgos identificados mediante evidencia humana, animal o farmacológica. No es correcto asumir que una advertencia existe únicamente porque el medicamento no se probó en embarazadas. La FDA plantea un etiquetado que distingue resumen de riesgos, consideraciones clínicas y datos disponibles precisamente porque esas situaciones no son equivalentes.¹¹

La lección para producto digital es reconocer a quiénes excluye nuestro mecanismo de observación. Podemos probar en teléfonos recientes, redes estables y participantes familiarizados con tecnología, y después presentar el resultado como una propiedad universal. Podemos escuchar solo a clientes activos y omitir a quienes abandonaron durante el registro. Incluso podemos confundir una ausencia de quejas con satisfacción cuando el canal para quejarse resulta inaccesible.

Hoy podemos observar mapas de calor, botones utilizados, funcionalidades adoptadas y tableros consultados. Esa capacidad es valiosa, aunque genera una tentación: medir lo que la herramienta entrega con facilidad y después buscarle un significado. Un botón muy pulsado puede ser útil, confuso o incapaz de responder al primer intento. Una página poco visitada puede ser irrelevante o resolver una necesidad excepcional de enorme importancia.

Para evaluar calidad prefiero conectar las señales con una tarea y su resultado. En un proceso de canje distinguiría visualizar el beneficio, iniciar la solicitud, completarla en el sistema y recibir efectivamente la recompensa. El clic vive en la interfaz; el cumplimiento puede depender de un servicio externo y de una operación posterior. Si solo observamos el primero, podemos celebrar una mejora que el cliente nunca recibió.

La ingeniería de medición requiere acordar nombres de eventos, identificadores, marcas de tiempo y reglas para evitar duplicados. También necesita diferenciar intención de confirmación. Un evento emitido al presionar «canjear» no debe llamarse «canje completado» si todavía falta la respuesta del sistema. Las fallas de instrumentación pueden producir conclusiones tan equivocadas como las fallas del producto.

En una herramienta empresarial sucede algo parecido. Que un tablero sea el más visto no demuestra que mejore una decisión. Podemos explorar si reduce el tiempo necesario para resolver una tarea, si sus datos son confiables y si evita trabajo posterior. En un servicio, una atención más corta podría indicar eficiencia o una conversación interrumpida antes de resolver el problema. La medición necesita seguir al cliente hasta un resultado significativo.

Finalmente, una asociación entre acciones no basta para establecer causalidad. Los clientes más comprometidos podrían usar más una función y renovar más, sin que la función explique por sí sola la renovación. Ese hallazgo justifica una hipótesis y quizá un experimento. Saltarse ese paso convierte una correlación prometedora en una prioridad de inversión que todavía no hemos demostrado.

En las conversaciones sobre datos de clientes suelen mezclarse CRM, CDP, analítica de producto y gestión de ingresos. Conviene ordenar sus papeles porque una plataforma no resuelve automáticamente el trabajo de las demás. Aquí uso RGM en el sentido habitual de Revenue Growth Management: una disciplina para gestionar crecimiento mediante precio, promociones, mezcla y presentación de la oferta, que puede apoyarse en distintas soluciones tecnológicas.¹²

Un CRM organiza la relación comercial y de servicio. HubSpot reúne capacidades de gestión de contactos, oportunidades, marketing y atención; su utilidad para producto está en relacionar promesas comerciales, fricciones y continuidad de la relación. Treasure Data es una CDP orientada a integrar datos y construir perfiles y segmentos. Mixpanel trabaja con eventos para analizar recorridos, conversiones y retención. Las capacidades disponibles dependen de la configuración y contratación de cada producto.^{13, 14, 15}

La inteligencia artificial puede ayudar a clasificar respuestas abiertas, proponer temas de entrevista, resumir incidencias o explorar agrupaciones de comportamiento. En una investigación con cientos de comentarios, una aplicación razonable sería usarla para sugerir categorías y después revisar una muestra de las clasificaciones contra los textos originales. Así podemos aprovechar velocidad sin perder la posibilidad de comprobar qué ocurrió con cada respuesta.

El riesgo aparece cuando confundimos fluidez con fidelidad. Un resumen puede borrar contradicciones, una clasificación puede fallar más en cierto vocabulario y un segmento puede reflejar principalmente las variables que decidimos capturar. Si una población no participó en el estudio, generar respuestas sintéticas con IA no la incorpora a la evidencia. Puede servir para explorar hipótesis, pero no reemplaza observar a esas personas.

Por eso conservaría la trazabilidad entre respuesta, categoría y conclusión; revisaría errores por grupo y documentaría cambios en el modelo o en las instrucciones de clasificación. También limitaría los datos personales a los necesarios para la pregunta. La capacidad de unir fuentes no justifica hacerlo indiscriminadamente. La investigación debe permitir aprender sin convertir cada interacción del usuario en información disponible para cualquier propósito.

La oportunidad más interesante está en acortar el recorrido entre observación y decisión. Un patrón detectado puede convertirse en una hipótesis, esa hipótesis en un experimento y su resultado en una modificación. La mejora continua ocurre cuando completamos ese recorrido y volvemos a medir. Clasificar más información sin cambiar nada produce archivos más ordenados, pero no necesariamente un producto mejor.

La decisión de ampliar una entrega debería considerar la mejora buscada y los límites que no aceptamos deteriorar. Un canje más frecuente puede ser valioso, pero hay que revisar fallas, reclamaciones, costos y capacidad de entrega. Una silla puede mejorar su ajuste y volverse más difícil de reparar. La calidad necesita una lectura conjunta porque el cliente recibe el producto completo, no la métrica que cada área escogió para demostrar su avance.

Al final regreso a lo que me interesa de la ingeniería: su capacidad de convertir comprensión en una solución que funciona. Escuchar a una persona, ubicar su experiencia dentro de una población y reconocer los límites de nuestra evidencia cambia lo que construimos. La excelencia aparece cuando esas decisiones permiten cumplir de forma consistente lo que prometimos y seguir aprendiendo de quienes usan el producto. Cuando algo está bien hecho, se siente; nuestro trabajo es entender qué lo hace posible y conseguir que esa experiencia se repita.