12 Eficiencia en los sistemas de preguntas y respuestas
12.2 Artículo
Según la Real Academia Española, se define eficiencia como “la capacidad de disponer de alguien o de algo para conseguir un efecto determinado”. En los sistemas de información, la eficiencia es un factor importante a ser tomado en cuenta en la fase de análisis de la aplicación.
Un sistema de preguntas y respuestas (Q&A) es un sistema de información con un repositorio de respuestas a preguntas comunes sobre un tópico en particular. El objetivo del sistema es brindar soporte a los usuarios finales, respondiendo a sus cuestionamientos de forma eficiente. El tópico a tratar depende del rol del negocio que lo implemente como las operaciones de una empresa, afiliación a un sitio en internet, datos sobre una disciplina en particular, etc.
Mediante el presente estudio se plantea la “eficiencia” de un sistema de preguntas y respuestas en términos de atributos de un sistema de información. El experimento se dividió en dos etapas, en ambas se recolectaron datos por medio de encuestas.
1. DEFINICIÓN DEL EXPERIMENTO
Esta etapa es para obtener los elementos que determinan la eficiencia en un sistema de preguntas y respuestas.
2. ETAPA INICIAL: BÚSQUEDA DE ITEMS
Se obtienen los elementos que definen la eficiencia de un sistema de preguntas y respuestas.
La encuesta se realizó a estudiantes de la jornada matutina de la Universidad de San Carlos de Guatemala, en las facultades de Farmacia, Ingeniería y Derecho.
Para que la encuesta fuera fácil de contestar para todos los participantes, se realizaron preguntas sobre aspectos importantes de un buscador web (interpretado como un sistema de preguntas y respuestas). La encuesta incluía las preguntas:
- ¿Utiliza algún motor de búsqueda para consultar información en internet?
- ¿Por qué utiliza ese motor de búsqueda?
- ¿Qué ventaja tiene su motor de búsqueda sobre otros?
2.1 DESCRIPCIÓN DE LA MUESTRA
La encuesta se realizó en un grupo de 100 personas incluyendo hombres y mujeres. Los datos de la muestra son los siguientes:
Figura 12.1: Edad de encuestados
2.2 RESULTADOS OBTENIDOS
Después de analizar las respuestas obtenidas en la encuesta, se identificaron una serie de ventajas y motivos por el cual los usuarios utilizan su buscador de respuesta favorito, siendo estas:
- Acierto en respuestas
- Fácil de usar
- Sencillez / Práctico
- Rapidez (Las respuestas aparecen rápido)
- Completo / Mayor información (la base de datos del buscador cuenta con un gran volumen de datos)
- Múltiples respuestas (el buscador da muchas respuestas y el usuario busca la correcta)
- Bonita interfaz gráfica (Usabilidad)
- Muestra respuestas relacionadas
- Seguridad
- Contenido indexado
- Utilidad
- Robusto (Cuenta con un gran volumen de datos)
La frecuencia de votos obtenidos para cada ventaja (ITEMS de ahora en adelante) se detalla en la siguiente tabla:
Figura 12.2: ITEMS identificados
2.3. ITEMS PROPUESTAS
Cada uno de los ITEMS identificados pueden clasificarse dentro de agrupaciones, las cuales determinarán los constructores de la investigación. Para agrupar los elementos se definieron las siguientes categorías:
- Confianza
- Facilidad de uso
- Desempeño
- Utilidad
Los ITEMS fueron clasificados tal y como se muestra en la siguiente tabla:
Figura 12.3: Constructores e ITEMS propuestos
Estos constructores son constituyen una proporción inicial, la cual fue sometida a prueba en la segunda etapa de la investigación.
3. ETAPA FINAL: DEFINICIÓN DE CONSTRUCTORES
Durante la segunda etapa de la investigación se validaron los ítems encontrados en la primera etapa y se analizaron los constructores que determinan la eficiencia de un sistema Q&A.
Los datos recabados en esta etapa proceden de una segunda encuesta, realizada a los estudiantes de las facultades de Ciencias Económicas e Ingeniería de la jornada sabatina de la Universidad de San Carlos de Guatemala.
3.1. DESCRIPCIÓN DE LA MUESTRA
La encuesta se realizó en un grupo de 100 personas con las siguientes características:
3.1. DESCRIPCIÓN DE LA MUESTRA
La encuesta se realizó en un grupo de 100 personas con las siguientes características:
La encuesta realizada solicitaba asignar un grado de importancia a los ítems de la encuesta basado en la siguiente escala:
- No importa (1)
- Poco importante (2)
- Importante (3)
- Muy importante (4)
- Indispensable (5)
A cada grado de importancia se asignó un valor entre 1 y 5, para facilitar la tabulación y manipulación estadística de los datos. Los elementos evaluados fueron:
- Respuesta correcta
- Fácil de usar
- Rapidez
- Muchas respuestas
- Volumen de datos
- Sugerencias temas relacionados
A continuación se presenta el mapeo entre preguntas e ítems de la investigación:
Figura 12.4: Preguntas e ítems de la encuesta
Se sumaron las puntuaciones obtenidas en cada pregunta realizada en la encuesta obteniendo los siguientes resultados:
Figura 12.5: Sumatoria de puntos para cada elemento evaluado
Los valores para la moda obedecen a la escala 1 = No importa, 2 = Poco importante, 3 = Importante, 4 = Muy importante, 5 = Indispensable.
4. ANÁLISIS DE DATOS
Cada uno de los factores fue calificado por los usuarios en una escala cualitativa (no importa, poco importante, importante, muy importante, indispensable) la cual fue traducida en una escala de valores de 1 a 5 (siendo 1 = no importa y 5 = indispensable). Los valores obtenidos en dicha encuesta fueron utilizados para el análisis estadístico y determinar los constructores que definen la eficiencia de los sistemas de preguntas y respuestas.
Se realizó un análisis de correlación (con SPSS 17.0) y un análisis de factores (con Amos 20.0 de SPSS)
4.1. CORRELACIÓN
Se realizó un análisis de correlación de Pearson a dos colas con un nivel de confianza del 95%.
El análisis se hizo con la herramienta SPSS, utilizando los siguientes parámetros:
- Coeficiente de correlación: Pearson
- Significancia de la prueba: A dos colas
A continuación se muestra la correlación entre las variables de estudio:
Figura 12.6: Correlación entre las variables de estudio
La variable exactitud se encuentra relacionada levemente con la variable facilidad de uso, con todas las demás variables el grado de relación es casi nulo por lo que la variable exactitud es independiente de las demás variables. La variable facilidad de uso tiene una correlación media con la variable rapidez y una correlación pobre con las demás variables. Sin embargo, es independiente de las demás. La variable rapidez se encuentra relacionada con la variable facilidad de uso, las demás variables son independientes de la variable rapidez.
Esta variable se encuentra levemente relacionada con la variable temas relacionados. Las variables volumen de datos y temas relacionados son las que tienen menor relación con las demás variables del estudio y por ello son descartables del modelo propuesto.
4.2. ANÁLISIS CONFIRMATORIO DE FACTORES (CFA)
El análisis de factores se realizó con la herramienta Amos 20.0 de SPSS. Se utilizaron los pesos de regresión estandarizados para medir el grado de exactitud del modelo. Se realizaron tres modelos para determinar el modelo que mejor ajuste las variables exactitud, facilidad de uso, rapidez, múltiple respuesta, volumen de datos y temas relacionados a la eficiencia de un sistema Q&A.
A continuación se muestra el resultado del cuarto modelo, el cual arrojó la mejor correlación.
4.2.1. MODELO FINAL
La variable Temas Relacionados no fue considerada, ya que es la variable con el menor grado de correlación con los valores inferiores a 0.1.
Figura 12.7: Modelo No. 4
Figura 12.8: Pesos de regresión estandarizados (Cuarto modelo)
Los valores de regresión son altos para las variables Rapidez y Facilidad de Uso.
Las variables Exactitud y Múltiple respuesta cuentan con un valor medio de regresión y la variable volumen de datos una correlación baja.
La variable observada “confianza” explica en un 95% a la variable “eficiencia”, lo que representa un nivel de relación alto.
Este modelo fue tomado como el modelo final y el que explica las variables que describen la eficiencia de un sistema de preguntas y respuestas.
5. MODELO DE EFICIENCIA DE UN SISTEMA DE PREGUNTAS Y RESPUESTAS
El análisis de factores produjo el siguiente diagrama que ilustra los constructores de la eficiencia de un sistema Q&A.
Figura 12.9: Constructores que determinan la eficiencia de un sistema de preguntas y respuestas
Los constructores definidos para medir la eficiencia de un sistema de preguntas y respuestas son:
- Facilidad de Uso: El sistema debe de ser fácil de utilizar para los usuarios finales.
- Confianza: El sistema produce confianza a los usuarios finales. Esto se alcanza cuando el sistema brinda la respuesta correcta y muestra más de respuesta posible.
- Rapidez: El sistema responde en un tiempo mínimo, el usuario no se desespera antes de obtener una respuesta.
La confianza a su vez es explicada por los constructores:
- Exactitud: El sistema brinda la respuesta correcta.
- Múltiple respuesta: El sistema muestra más de una respuesta posible, el usuario selecciona la mejor respuesta.
- Volumen de datos: El sistema cuenta con una gran cantidad de información para asegurar que generará la respuesta correcta.
12.3 Glosario
- Eficiencia: Capacidad de disponer de alguien o de algo para conseguir un efecto determinado.
- Exactitud: Puntualidad y fidelidad en la ejecución de algo
- Q&A: Acrónimo de Question and Answer (Preguntas y Respuestas en español).
- Rapidez: Velocidad impetuosa o movimiento acelerado.
12.4 Conclusiones
- La exactitud de un sistema de preguntas y respuestas reside en que el mismo provea la respuesta correcta a un cuestionamiento.
- La eficiencia de un sistema de preguntas y respuestas (Q & A) se traduce en exactitud en las respuestas generadas por el mismo, el usuario final busca obtener la respuesta correcta de ser posible en la primera respuesta otorgada por el sistema.
- La exactitud de una respuesta se encuentra íntimamente relacionada con la cantidad de datos que posea el sistema, es decir a mayor número de respuestas mayor será la probabilidad de acierto. Se recomienda la ponderación de respuestas (rating) para categorizar la exactitud de la respuesta.
- Para que un sistema Q & A sea aceptable debe inducir confianza entre sus usuarios, esto se logra mediante la exactitud de la respuesta, el acceso a múltiples respuestas y que el sistema cuente con un alto volumen de datos para la consulta de posibles respuestas.
- La rapidez es un factor que se encuentra ligado directamente con la eficiencia de un sistema, se recomienda la indexación de consultas para la aceptación del sistema.
- Los constructores que definen la eficiencia de un sistema de preguntas y respuestas son facilidad de uso, confianza y rapidez.
12.5 Agradecimientos
A la Universidad de San Carlos de Guatemala y estudiantes que participaron en el desarrollo de las encuestas.
12.6 Referencias
- [1] Whitman, Michael E., and Woszczynski , Amy B. The Handbook of Information Systems Research. Idea Group Publishingm, Hershey PA, 2004.
- [2] Real Academia Española http://rae.es
