Año 6 N° 11 / Enero – junio 2020. 87 - 94

ISSN 2477-9342

 

ENSAYO

El cuestionario: potenciales fuentes de error

Questionnaire: potential sources of error

Carlos César Calderón Padilla

carloscalderon72@yahoo.es

Escuela Técnica Industrial – Táchira (Venezuela)

Recibido 03 de marzo de 2019 / aprobado 18 de julio de 2019

Palabras clave

Cuestionario, vigilancia epistemológica, confiabilidad

Resumen

El uso de los cuestionarios, como instrumentos de recolección de datos, con propósitos descriptivos, es recurrente por parte de los investigadores noveles, de pregrado, especialización y maestría. Situación que pareciera no ameritar mayor atención, sin embargo, dichos investigadores suelen encontrarse en situaciones en las que sus limitaciones teóricas, motivadas a su falta de experiencia o a debilidades en su formación, dificultan avanzar en sus procesos investigativos con mayores niveles de eficiencia. Superar estas situaciones, requiere tomar en consideración ciertos aspectos, que muchas veces se dejan pasar sin el rigor requerido, los cuales pudieran ser potenciales fuentes de error, tales como: a) una deficiente vigilancia epistemológica de procesos de selección e implementación del cuestionario, b) una débil reflexión sobre la idea de medir, c) imprecisiones del cuestionario como tipo de estudio, técnica o instrumento, y d) determinación incorrecta de la confiabilidad. A continuación, se presentan una serie de orientaciones, sobre cómo un investigador novel, de pregrado, especialización o maestría, puede superar dichas fuentes potenciales de error, en el marco de su proceso investigativo.

 

 

Keywords

Questionnaire, epistemological inspection, reliability

Abstract

The use of questionnaires as tools to collect data with descriptive purpose is recurrent amongst novel researchers from pre-graduate levels, as well as specialization and master. This situation seems not to request much attention; nevertheless, these researchers usually find situations in which their theoretical limitations make it harder to advance in their research with better efficiency levels. This is so, motivated by either their little experience or formation weaknesses. Overcoming these situations requires to take into consideration certain aspects that might not be properly handled, and could be potential sources for error: a) an insufficient epistemological inspection of the different processes regarding questionnaire selection and implementation; b) a weak reflection about the idea of measuring; c) questionnaire inaccuracies just as study type, technique or instrument and; d) improper determination about reliability. Here we have some guidance about how novel researchers from pre-graduate levels, as well as specialization and master can overcome such sources of potential error, framed within the investigative process.

 

 

 

Introducción

La selección del cuestionario, como instrumento de medición y recolección de datos, de la técnica de la encuesta, es de uso recurrente en las ciencias sociales y particularmente en la investigación educativa. Sin embargo, su implementación por parte de investigadores noveles en general y de pregrado, especialización o maestría en particular, sin considerar sus verdaderos propósitos, puede conducir a una serie de errores, que solo son posibles de evidenciar y corregir en primera instancia, desde esfuerzos particulares y colectivos de los corresponsables del proceso investigativo. 

Es importante destacar, que el cuestionario es ampliamente utilizado, en los trabajos de investigación, tanto a nivel de pregrado, como en las especializaciones y maestrías, esto hace necesario que su uso adecuado y debería ser del dominio común en dichos ámbitos. Sin embargo, es posible que debido a lo amplio del temario en las unidades curriculares de los programas de formación ciertos tópicos no sean desarrollados de manera plena, dando lugar a vacíos con los cuales se enfrentan los estudiantes en el planteamiento y desarrollo de sus respectivos trabajos de investigación.

En este sentido, es pertinente aproximarnos al tema con los recursos teóricos que permitan solventar ciertas debilidades, particularmente, sobre los potenciales riesgos de error que pudieran presentarse al investigador novel al momento de seleccionar al cuestionario como instrumento de recolección de datos, concretamente: a) deficiente vigilancia epistemológica de los procesos de selección e implementación del cuestionario, b) débil reflexión sobre la idea de medir, c) imprecisiones del cuestionario como tipo de estudio, técnica o instrumento, y d) determinación incorrecta de la confiabilidad. Su identificación puede coadyuvar significativamente a orientar la práctica investigativa por caminos más confiables y seguros.

Sobre la vigilancia epistemológica y su relación con el cuestionario

La vigilancia epistemológica, es un recurso a considerar al momento de controlar progresivamente la calidad de los procesos investigativos. Una primera alerta, en este sentido, es planteada por Bourdieu, Chamboredon y Passeron (2002) en los términos siguientes: “los grandes procedimientos lógicos no pueden aún ser explicados, con suficiente precisión, por separado de sus aplicaciones” (p. 11). De lo cual, se puede precisar que cualquier procedimiento o método está íntimamente consustanciado con su aplicación, por tanto, no correcto seguir un procedimiento sin considerar las implicaciones de su puesta en práctica, es importante reflexionar con antelación sobre los efectos de los procedimientos en términos de su validez. Dichos autores enfatizan sobre este tema, expresado desde la sociología, que se suele desvincular los métodos o la teoría, con las acciones inherentes a su puesta en práctica. Situación, que también es factible se presente en las ciencias de la educación. Esto implica que, la tentación a la rutina, o la práctica común y cotidiana por parte de los investigadores noveles, motivado a la poca experiencia en el área investigativa o debido a debilidades en su formación, puede conllevar a la adopción de métodos, técnicas e instrumentos, no adecuados.

En referencia a las razones que dan lugar a la desvinculación entre métodos-teoría-practica, Bourdieu et al (2002) identifican el exceso de confianza en el sentido común y la instauración inconsciente de rutinas investigativas, siendo importante mantener una alerta permanente (auto supervisión), con el propósito de superar durante todo el proceso investigativo las tendencias rutinarias que nos pueden conllevar a la aplicación automática, obviando, por la fuerza de la costumbre, la reflexión epistemológica mínima que debe existir. No tomar esta previsión puede generar errores que ponen en riesgo los esfuerzos investigativos.

Referente a la selección del cuestionario, como instrumento de recolección de datos en el marco de la vigilancia epistemológica, es pertinente reflexionar sobre cuál es el propósito real de su implementación, si deseamos realizar una medición o pretendemos indagar sobre la presencia o no de un reactivo en el encuestado. La respuesta a la interrogante anterior, nos permite gestionarlos desde dos (2) enfoques distintos: 1) la medición y 2) la descripción. 

De los planteamientos anteriores, se puede concluir que la vigilancia epistemológica descansa en la idea de que antes de usar conceptos y técnicas en los procesos investigativos, estos deben ser sometidos a un análisis previo, con el propósito de determinar las condiciones y los límites de su validez práctica, so pena de dar lugar a la existencia del error investigativo. Este proceso debería ser internalizado en la formación del investigador novel.

Sobre la idea de medir

Antes de diseñar un cuestionario, es pertinente reflexionar sí el propósito del mismo es un acto de medición o, es una exploración sobre la presencia o no de un reactivo en el encuestado con el propósito de describir una situación o fenómeno. Pero ¿qué podemos entender por medición? De acuerdo con Hernández, Fernández y Baptista (2010) consiste en asignarle a un concepto abstracto expresado o evidenciado desde la realidad concreta, un indicador empírico (número), en función de un concepto preconcebido por el investigador, teniendo un papel central el instrumento de medición o recolección, por tanto, el instrumento de recolección de datos es un punto crítico del proceso de medición, viene a ser el factor que permite relacionar lo abstracto con lo empírico. Esto nos remite a una reflexión profunda sobre los aspectos relacionados con el instrumento, debiendo ser éste un espacio o momento priorizado del proceso investigativo. Por tanto, la pregunta clave a considerar en primera instancia debe ser la siguiente: ¿voy a medir o describir? Interrogante que nos ubica en lo planteado por Ruíz (2002), como la primera fase para la construcción de un instrumento “Determinar el propósito de un instrumento” (p. 30).

Debe precisarse, además, si se pretende medir el desempeño del participante en la resolución de una situación problemática, en la cual la respuesta correcta está predeterminada. O bien si lo que desea es explorar o describir una situación o un fenómeno, mediante la indagación de presencia o no del reactivo en el encuestado, para lo cual cualquier opción de respuesta es correcta.

No es lo mismo utilizar un cuestionario con propósitos descriptivos que con el objetivo de medir. Sus condiciones y límites de validez son diferentes. Ruíz (2002) lo expresa claramente, el propósito del cuestionario y el tipo de información son consustanciales a cada investigación. Es aquí precisamente donde la vigilancia epistemológica, cobra una importancia vital. Esta interpelación ontológica y teleológica al instrumento, debe orientar de manera certera al investigador sobre el propósito de la recolección de datos que realizará.

Una de las posibles causas que motiva dicho error es la rutina investigativa, que a su vez genera inercias metodológicas y dificultan reflexionar lo suficiente sobre la pertinencia o validez de procedimientos, técnicas e instrumentos. Dando en algunas ocasiones, tratamiento a cuestionarios con propósitos descriptivos como si fueran con intención de medición o viceversa.

Sobre la imprecisión del cuestionario

Es común que el investigador novel requiera establecer el uso del cuestionario como tipo de estudio, técnica o instrumento, para ello debe revisar los referentes metodológicos y es posible que se encuentre con diferentes posturas al respecto. Una manera de superar dicha situación es adoptar la postura con la que se sienta más cómodo el investigador desde su trabajo o postura investigativa, pero por encima de esta premisa, es necesario estar claro en el significado y los presupuestos que cada autor adopta al respecto, así como también la correcta utilización de los mismos, dentro de un marco lógico argumentativo. 

A manera de ejemplo, Arias (2006), se refiere al cuestionario, en los siguientes términos:

Es la modalidad de encuesta que se realiza de forma escrita mediante un instrumento o formato en papel contentivo de una serie de preguntas. Se le denomina cuestionario autoadministrado porque debe ser llenado por el encuestado, sin intervención del encuestador. (Arias, 2006, p. 74)

Desde esta perspectiva el cuestionario es una modalidad de la encuesta, que se materializa mediante un instrumento de papel, en el cual tienen lugar una serie de preguntas. Dicho autor, a su vez define la encuesta como una “técnica que pretende obtener información que suministra un grupo o muestra de sujetos acerca de sí mismos, o en relación con un tema en particular” (p. 72). De lo cual se puede apreciar que la encuesta es asumida como una técnica, y el cuestionario como una modalidad de dicha técnica. Arias (2006) para superar el obstáculo de la ubicación de la encuesta en el universo bibliográfico, deja planteada la encuesta como una técnica de la investigación de campo.

La ubicación del cuestionario, como un tipo de estudio, técnica o instrumento, es facultativo del investigador, depende de la bibliografía adoptada como referencia. Sin embargo, el manejo de diversas referencias puede confundir, de allí la necesidad de hacer distinción permanente de los significados y su vinculación discursiva. Es fundamental dejar constancia de la bibliografía utilizada en cada momento y del significado asumido en la investigación, so pena de caer en una especie de intoxicación bibliográfica.

La confiabilidad del cuestionario: medición / descripción

Luego de haber realizado las reflexiones pertinentes en el marco de la vigilancia epistemológica, y habiendo determinado al cuestionario como un instrumento de recolección de datos, que tiene como propósito una medición del desempeño del participante, en el marco de una prueba o test, la confiabilidad bien puede determinarse, según la naturaleza de la investigación, por los métodos prescritos para cada caso. Pero, cuando se determine que el propósito del cuestionario es describir una situación o fenómeno a partir de la indagación sobre la presencia o no de un reactivo en el encuestado, el establecimiento de la confiabilidad no suele ser un proceso recurrente en la investigación. La bibliografía generalmente consultada no es muy fecunda en el tema. Situación que pudiera generar por rutina o inercia, acciones investigativas no adecuadas en cuanto al tratamiento de la confiabilidad en este tipo de cuestionarios.

En referencia a la confiabilidad de los cuestionarios, Ruiz (2002) señala que se calcula el coeficiente de confiabilidad cuando se trata de pruebas o escalas de estimación. De lo contrario, la confiabilidad queda implícita en las valoraciones funcionales de los ítems de la prueba piloto. Queda claro que, a un cuestionario con fines descriptivos, no es necesario determinar el coeficiente de confiabilidad.

Sin embargo, en aras de incrementar los niveles de calidad del instrumento, cuando se trata de encuestas sociales en las que se consideran aspectos de tipo poblacional o demográfico, y cuyo propósito es determinar la presencia o no de un reactivo en el encuestado, es factible considerar la confiabilidad, desde el enfoque de la precisión, planteado por Ruiz (2002) como “ausencia relativa de error de medición en el instrumento” (p. 56), es decir, la valoración del error, concretamente error no muestral, el cual según el documento del Ministerio de Hacienda, de la Ciudad de Buenos Aires: Evaluación de la Calidad. Encuesta Anual de Hogares 2014, se fundamenta “en el hecho que estas actividades son el resultado de distintas etapas que involucran a seres humanos” (p. 7). Es decir, aquellos errores que tienen lugar en el proceso de aplicación de la encuesta. Dichos errores no muestrales, según el documento citado anteriormente, se pueden clasificar según la fuente de donde provienen: de “marco, falta de respuesta, de especificación, de medida, y de procesamiento” (p. 7). 

El más apropiado y factible de utilizar, para un cuestionario descriptivo es el error de medida, atribuible al informante, al entrevistador o al cuestionario de la encuesta, puede tener lugar información falsa, registros incorrectos, entre otras situaciones afines. Teniendo entre sus instrumentos y modelos teóricos para su cuantificación, el Índice de Consistencia Global (ICG) y del Indicador de Porcentaje de Casos Idénticamente Clasificados (PIC). 

Para el caso particular del cuestionario descriptivo, es factible la adecuación del Índice de Consistencia Global (ICG) y del Indicador de Porcentaje de Casos Idénticamente Clasificados (PIC). Es imprescindible llevar a cabo un proceso de re-test a la muestra piloto (test-retest). Dicha adecuación consiste en aplicar el cuestionario final (posterior a la validación por los expertos) a cada uno de los integrantes de la muestra piloto en dos momentos no muy distantes. Luego, evaluar cada estímulo del cuestionario, para cada participante y entre todos los participantes. Primero se calcula el Porcentaje de Casos Idénticamente Clasificados (PIC), por cada ítem y encuestado. Considerando el criterio de que, si las respuestas por participante coinciden, en los dos (2) momentos, para cada estímulo, entonces hay concordancia perfecta y se le asigna una ponderación de 100, de lo contrario la concordancia sería imperfecta (0%), y se le asigna una ponderación de 0. Luego, se suman las ponderaciones y se divide el resultado entre la máxima ponderación posible. Para el Índice Consistencia Global (ICG), se determina el promedio de todos los porcentajes de casos idénticamente clasificados de cada ítem. Considerando el criterio que, si el ICG es menor a 90 debería ser analizado y estudiado cada ítem, de acuerdo con su nivel (de menor a mayor) PIC.

Reflexión final

Se puede señalar que, para un investigador novel de pregrado, especialización o maestría, la vigilancia epistemológica sobre los procesos investigativos, sus métodos, técnicas e instrumentos, debe ser un recurso transversal para minimizar la posibilidad de cometer errores que pudieran poner en riesgo la investigación. Además, es preciso destacar que, ante la necesidad de determinar la confiabilidad de un cuestionario con fines descriptivos se debe dejar constancia que la misma está implícita en la determinación de la funcionalidad de cada ítem, en la muestra piloto, tal como lo plantea Ruiz (2002), sin embargo, para el caso de investigaciones de tipo poblacional o demográfico, puede asegurar o incrementar los niveles de confiabilidad del cuestionario, a través de la adecuación del Índice de Consistencia Global (ICG) y del Indicador de Porcentaje de Casos Idénticamente Clasificados (PIC).

Referencias

Arias, F. (2006).  El proyecto de investigación. Introducción a la metodología científica. (5a. ed.). Caracas: Editorial Episteme

Bourdieu, P., Chamboredon, J. y Passeron, J. (2002). El oficio del sociólogo. Presupuestos epistemológicos. Metodología de la investigación. Buenos Aires: Siglo XXI

Gobierno de la Ciudad de Buenos Aires (2016). Informe de evaluación de la calidad. Encuesta de hogares 2004. Recuperado de: https://www.estadisticaciudad.gob.ar/eyc/wp-content/uploads/2016/01/evaluacion_calidad_EAH_2014.pdf

Hernández Sampieri, R., Fernández Collado, C., y Baptista Lucio, P. (2010). Metodología de la investigación (5a. ed.). D.F., México: McGraw-Hill

Ruiz, C. (2002). Instrumentos de investigación educativa (2a. ed.). Barquisimeto, Venezuela: CIDEG