¡Descarga Análisis de Experimentos: Efectos Indeseados y Diseños Alternos y más Guías, Proyectos, Investigaciones en PDF de Metodología de Investigación solo en Docsity!
capítulo
Diseños experimentales. Segunda parte
INTRODUCCIÓN
El presente capítulo amplía algunos conceptos vertidos en el capítulo 7 de Metodología de la investigación , 6ª edición, en par- ticular, los referidos a las fuentes de invalidación interna, la necesidad de varios grupos de comparación, la equivalencia de los grupos experimentales y la técnica de emparejamiento, así como el diseño experimental de Solomon. Asimismo, se revisan otros diseños experimentales: las series cronológicas múltiples y los factoriales. Finalmente, se comentan los diseños cuasiex- perimentales.
FUENTES DE INVALIDACIÓN INTERNA (AMPLIACIÓN Y EJEMPLIFICACIÓN)
En el libro impreso se describieron estas fuentes y se recomienda eliminarlas mediante el control, lo que The SAGE Glossary of the Social and Behavioral Sciences (2009p) y León y Montero (2003) denominan “descartar causas alternativas o extrañas”. A continuación se amplían y ejemplifican.
1. Historia. Estas fuentes constituyen acontecimientos que ocurren durante el desarrollo del experimento, que pueden afec- tar a la variable dependiente y llegan a confundir los resultados. Por ejemplo, durante un experimento para analizar el efecto que tienen distintas formas de realimentación en el trabajo sobre la motivación (vía el supervisor “cara a cara” y por escrito), se consideran dos grupos de obreros: a uno le aumentan el salario o se le felicita por su desempeño laboral mientras se lleva a cabo el experimento y al otro grupo, no. Las diferencias en la variable dependiente pueden atribuirse a la manipulación de la independiente o a un acontecimiento que sucedió durante el experimento. Supongamos que experimentamos la mejora de procesos industriales y el estímulo es la introducción de un sistema ISO de calidad, pero en una sola planta, no en la otra. Para tener certeza respecto de los resultados debemos evitar que en ambas ocurra algo que altere significativamente tal mejora y que sea independiente del estímulo. O bien, imaginemos que en un experimen- to donde se prueba la eficacia de un medicamento y se tienen grupos pequeños (digamos de cuatro personas cada uno), al grupo experimental se les administra el medicamento y al grupo de control, no. Sin embargo, no sabemos que dos miembros de este último se automedican en secreto, lo cual invalida los resultados del experimento. 2. Maduración. Son procesos internos que afectan a los participantes que operan como consecuencia del tiempo y afectan los resultados del experimento, tales como cansancio, hambre, aburrimiento, envejecimiento y cuestiones similares. Si a un grupo de niños se le expone a un nuevo método de aprendizaje por dos años, los resultados pueden estar influidos simplemente por la maduración de los infantes durante el tiempo que duró el experimento. En un experimento quizá los sujetos pueden cansarse y sus respuestas serán afectadas por ello. Si tenemos dos grupos y la condición experimental del primero implica mucho más tiempo que la del segundo, puede alterar esta fuente. Lo mismo sucede cuando experimentamos con medicamentos, intervenciones o tratamientos médicos
2 Capítulo 5 Diseños experimentales. Segunda parte
o psicológicos. En estos casos, el factor tiempo tiene que ser idéntico entre los grupos participantes, al igual que cuando experimentamos con sustancias o elementos como el fuego.
3. Inestabilidad del instrumento de medición. En este caso, la poca o nula confiabilidad de las mediciones provoca desconfianza en las puntuaciones obtenidas, es decir, no sabemos si las deducciones son certeras porque el instrumento a veces da unos resultados y luego, otros. Este inconveniente se evita mediante el diseño de instrumentos válidos y confiables (vea el capítulo 9 del libro: “Recolección de los datos cuanti- tativos”). 4. Inestabilidad del ambiente experimental. Tal como se mencionó en el capítulo 7 del texto impreso, las condiciones o componentes del ambiente o entorno del experimento pueden ser desiguales para los grupos participantes. Imaginemos que dos grupos son sometidos a un mismo experimento sobre memorización y, al sortearlos, a uno le corresponde realizarlo en un aula cerca de donde se efectúa una remodelación del edificio y al otro, en un recinto donde priva el silencio. Si el experimento requiriera de una elevada concentración de los individuos que participan en él, la concentración de un grupo podría ser diferente de la del otro (a causa del ruido, del tránsito de personas, etc.), lo que afectará la interpretación de los resultados. Tal vez las diferencias entre los grupos se deban a variaciones en la concentración y no a la variable independiente, o es posible que esta sí ejerza algún efecto, pero no podemos estar seguros de ello. No tenemos confianza en los resultados. En experimentos en ciencias naturales es claro que cuestiones como la temperatura ambiental deben estar perfectamente controla- das. Asimismo, en experimentos médicos el entorno debe ser similar para todos. 5. Administración de pruebas. Se refiere al efecto que puede tener la aplicación de una prueba sobre las puntuaciones de pruebas subsecuentes. Por ejemplo, si en un experimento sobre prejuicio a un grupo se le aplica una prueba para detectar su nivel de prejuicio, y luego se le expone a un estímulo experi- mental (que supuestamente debe reducir el prejuicio), y después se mide nuevamente el prejuicio para evaluar si disminuyó o no, puede ocurrir que las puntuaciones de prejuicio de la segunda medición (después del estímulo) sean influidas por la aplicación de la primera prueba (antes del estímulo). Es decir, la administración de la primera medición puede sensibilizar a los participantes del experimento y, cuando responden a la segunda prueba, sus respuestas podrían estar afectadas por esa sensibiliza- ción. Si disminuye el prejuicio y no hay control, no sabremos cuánto se debió al estímulo experimen- tal o a la variable independiente y cuánto a dicha sensibilización. 6. Instrumentación. En este caso se hace referencia a cambios en los instrumentos de medición o en los observadores, modificaciones que pueden producir variaciones en los resultados. Si la prueba del grupo experimental es diferente a la del grupo de control u otro grupo experimental, puede ser a causa de la instrumentación. Por ejemplo, si queremos ver el efecto de dos métodos de enseñanza, sometemos a cada grupo a un método diferente y después aplicamos un examen de conocimientos para ver la eficacia de cada método y comparar los resultados. Si los exámenes no fueran equivalentes podría presentarse esta fuente. Imaginemos que el examen de un grupo es más fácil que el del otro. En este caso, ¿cómo podremos estar seguros de que las diferencias entre las puntuaciones de los exá- menes se deben al estímulo (método de enseñanza) y no a que las mediciones son distintas? Esta incertidumbre se repite en el caso de un experimento para probar la eficacia de dos medicamentos que reducen la hipertensión. El procedimiento y no sólo el aparato para medir la presión arterial debe ser el mismo (incluyendo número de mediciones, tiempo entre ellas, posición de los pacientes, etcétera). 7. Regresión estadística. Esta fuente se presenta si seleccionamos participantes sobre la base de puntuacio- nes extremas. Cuando las variables que nos interesan se miden por primera vez, se encuentran en valores muy altos o bajos, pero después tienden a regresar a su estado normal, y en una segunda medición se obtienen valores no extremos; la comparación entre las dos mediciones indica un cam- bio, pero en realidad lo que ocurre es que la primera medición la realizamos cuando la condición de la variable era extrema. En términos de Campbell y Stanley (1966), se trata de un efecto provocado por la tendencia que muestran los participantes seleccionados sobre la base de puntuaciones extremas a regresar en pruebas posteriores a un promedio en la variable en la que fueron medidos.
4 Capítulo 5 Diseños experimentales. Segunda parte
turbar a toda la muestra, lo cual afectaría al experimento. Si en el caso de Naves y Poplawsky (1984), los estudiantes hubieran comentado a los demás participantes que se les “aparecía” un deficiente mental, los siguientes individuos no actuarían con naturalidad y el experimento resultaría un fracaso. Esta fuente resulta un riesgo cuando los grupos del experimento mantienen cercanía o contacto, pero se puede evitar si se eligen participantes que pertenezcan a diferentes ámbitos, pero equivalentes (en el ejemplo, estudiantes de diferentes carreras y semestres). Cuando se sospeche que los tratamientos se difunden, conviene entrevistar a los participantes para evaluar el grado de comunicación entre grupos y sus consecuencias.
12. Actuaciones anormales del grupo de control. Consiste en que si el grupo testigo conoce su condición y se esfuerza en un grado superlativo por obtener puntuaciones más favorables en la variable depen- diente. Por ejemplo, en un experimento para probar un nuevo método educativo, los participantes del grupo que no aprende por medio de este enfoque innovador, al deducir que se espera de ellos que obtengan las puntuaciones más bajas, se esfuerzan más de lo normal y obtienen calificaciones eleva- das. O bien, pacientes del grupo de control que al saber que no reciben el estímulo, cuiden mucho más su alimentación, se automediquen, hagan más ejercicio, etcétera. 13. Compensación. Los beneficios de un experimento pueden ser desiguales o inequitativos para los grupos, lo que puede provocar que el grupo de control lo resienta y esto afecte los resultados (Creswell, 2013a). Por ejemplo, si el grupo experimental recibe una terapia o tratamiento médico y el de control, no, los miembros de este último pueden sentirse devaluados o desmoralizados, situación particularmente crítica cuando a un grupo se le otorgan estímulos económicos y al otro, no, como ya se señaló. Por ejemplo, en un experimento para analizar si un equipo de trabajo incrementa significativamente su productividad y calidad cuando se le asigna una nueva maquinaria, para lo cual se comparan sus resultados con los de otra cuadrilla que aún trabaja con el equipo antiguo, podría presentarse la compensación o una actuación anormal de cualquiera de los grupos. 14. Otras interacciones. Es posible que se presenten diversos efectos provocados por la interacción de las fuentes de invalidación interna. La selección puede interactuar con la mortalidad experimental, la historia con la maduración, la maduración con la inestabilidad, etc. También pueden operar simul- táneamente varias de estas fuentes y la validez interna se deteriora aún más. Cada vez que hay mayor presencia de tales amenazas, crece la incertidumbre con respecto a las causas que produjeron cambios en las variables dependientes. Si no hubo cambios, no podemos saber si se debió a que una o más fuentes contrarrestaron los posibles efectos del tratamiento. Por ejemplo, un método de enseñanza exitoso se utilizó con los participantes menos motivados y el menos exitoso con los más motivados, lo cual provocó que se compensaran ambos factores. De este modo, no sabremos cómo interpretar los resultados.
Los sujetos participantes y el experimentador como fuentes de invalidación
interna
Otra razón que atenta contra la interpretación correcta y certera de los resultados de un experimento en el que se involucran personas, es el comportamiento de estas. Es posible que ellas ingresen al experimen- to con ciertas actitudes, expectativas y prejuicios que alteren su comportamiento durante el estudio, por ejemplo, no colaborar y actuar negativamente, hasta el punto de llegar a ser hostiles. Este posible compor- tamiento debe tenerse presente antes y durante la investigación. Es necesario evaluar qué participantes pueden arruinar el experimento y descartarlos, o procurar que en todos los grupos haya personas con actitudes positivas y negativas (si todos los que tienen actitudes negativas integran un grupo, la validez interna estaría en problemas). Recordemos que los individuos que intervienen en un experimento, de una manera u otra, tienen motivos para participar y su conducta muchas veces puede afectar la calidad de las interpretaciones. Además, el mismo experimentador no es un observador pasivo que no interactúa, sino un sujeto activo que puede influir en los resultados del estudio (Christensen, 2006). El investigador tiene una serie de motivos que lo impulsan a realizar su experimento, pues con los resultados que este genere puede pro-
5
bar sus hipótesis. Ello, conscientemente o no, puede conducirlo a afectar el comportamiento de los sujetos en dirección de su hipótesis. Por ejemplo, dar explicaciones más completas a uno de los grupos. Hay que evitar todas estas posibles desviaciones. Por ello, en ciertos casos quien trate con los participantes no debe ser el experimentador, sino alguien que no conozca la hipótesis, las condiciones experimentales ni los propósitos del estudio, sino que sólo reciba instrucciones precisas sobre lo que debe hacer y cómo desem- peñarse. En ciencias exactas, a pesar de que se experimenta con sustancias o fuerzas, el investigador que manipula las condiciones también debe estar consciente de su rol. Quienes participan en el experimento tampoco deben conocer las hipótesis ni las condiciones experi- mentales; incluso, con frecuencia es necesario distraerlos de los verdaderos propósitos del estudio, aunque al finalizar se les deba dar una explicación completa de la investigación. Cuando, por ejemplo, se analizan los efectos de ciertos medicamentos, los investigadores hacen creer a un grupo que se le está administran- do una medicina cuando en realidad no es así, sino que se le proporciona píldoras de azúcar. Este “truco” evita la influencia que la expectativa de recibir medicamento pudiera tener en la variable dependiente. A esta sustancia que no tiene efectos se le denomina “placebo”. Con métodos de instrucción, por ejemplo, ocurre que el grupo que se expondrá al método innovador es influido por el simple hecho de decirle que se trata de un nuevo método. Lo mismo con pruebas de sabor de un producto alimenticio, programas de televisión, experiencias motivacionales, diseños arquitectónicos, sistema de calidad en las empresas, etc. Por tanto, estos aspectos deben tomarse muy en cuenta.
VARIOS GRUPOS DE COMPARACIÓN
En el capítulo siete del texto impreso y en líneas anteriores, se hace hincapié en que para lograr la validez interna y el control en un experimento es necesario que se aplique, por lo menos, a dos grupos compara- bles. En primer término, porque si se trabaja con un solo grupo no es posible saber con certeza si influye- ron las fuentes de invalidación interna o no. Por ejemplo, mediante un experimento intentamos probar la hipótesis que sostiene que “a mayor información psicológica sobre una clase social, menor prejuicio hacia ella”. Si decidimos trabajar con un solo grupo, se debería exponerlo a un programa de sensibilización donde se proporcione información sobre la manera en que vive dicha clase, sus angustias y problemas, necesidades, sentimientos, aportaciones a la sociedad, etc., para luego observar el nivel de prejuicio (el programa debe incluir charlas de expertos, películas y testimonios grabados, lecturas, etc.). Este experi-
Momento 1 (X) Momento 2 (O) G Exposición al programa de sensibilización
Observación del nivel de prejuicio
mento se esquematizaría así: Todo en un único grupo. ¿Qué sucede si se observa un bajo nivel de prejuicio en el grupo? ¿Podemos deducir con absoluta certeza que se debió al estímulo? Desde luego que no. Es posible que ese bajo nivel se deba al programa de sensibilización, que es la forma de manipular la variable indepen- diente “información psicológica sobre una clase social”, pero también a que los participantes tenían un bajo nivel de prejuicio antes del experimento y, en realidad, el programa no afectó. Además, no lo podemos saber porque no hay una medición del nivel de prejuicio al inicio del experimento (antes de la presentación del estímulo experimental); es decir, no existe punto de comparación. Pero, aunque hubiera ese punto de contraste inicial, con un solo grupo no podríamos estar seguros de cuál fue la causa del nivel de prejuicio. Supongamos que este nivel de prejuicio antes del estímulo o tratamiento era alto, y después del estímulo, bajo. Quizás el tratamiento sea la causa del cambio, pero tal vez tam- bién ocurrió lo siguiente:
1. Que la primera prueba de prejuicio sensibilizara a los sujetos participantes y que influyera en sus respuestas en la segunda prueba. De este modo, las personas crearon conciencia de lo negativo de ser prejuiciosas cuando respondieron a la medición previa (administración de prueba).
7
Equiv alencia inicial Implica que los grupos son similares entre sí en el momento de iniciarse el experimento.
asegura que antes de iniciar el experimento ambos tipos de trabajadores están igualmente motivados? Puede haber discrepancias en la motivación inicial porque los supervisores de distintos turnos motivan de diferente manera y grado, o tal vez los del turno vespertino preferirían trabajar en la mañana o se les pagan menos horas extras, etc. Si no están igualmente motivados, podría ocurrir que el estímulo aplicado a los del turno de la mañana aparentara ser el más eficaz, cuando en realidad no es así. Veamos un ejemplo que nos ilustrará el efecto tan negativo que puede generar la inequivalencia de los grupos sobre los resultados de un experimento. ¿Qué investigador probaría el efecto de diferentes métodos para sensibilizar a las personas respecto de lo terrible que puede ser el terrorismo si un grupo está consti- tuido por miembros de Al-Qaeda y el otro por familiares de las víctimas de los atentados en Londres, en julio de 2005? Los grupos deben ser equivalentes cuando se inicia y durante todo el desarrollo del experimento, menos en lo que respecta a la variable independiente. Asimismo, los instrumentos de medición deben ser iguales y aplicados de la misma manera.
Equivalencia inicial
Este requisito implica que los grupos son similares entre sí en el momento de iniciarse el experimento. Si este versa sobre los métodos educativos, los grupos deben ser equiparables en cuanto a número de perso- nas, inteligencia, aprovechamiento, disciplina, memoria, género, edad, nivel socioeconómico, motiva- ción, nutrición, conocimientos previos, estado de salud física y mental, interés por los contenidos, extraversión, etc. Si inicialmente no son equiparables, digamos en cuanto a motivación o conocimientos previos, las diferencias entre los grupos —en cualquier variable dependiente— no podrían atribuirse con certeza a la manipulación de la variable independiente. La equivalencia inicial no se refiere a equivalencias indivi- duales, porque todos diferimos de manera natural en muchos aspectos, sino a la equivalencia entre grupos. Si trabajamos con dos grupos, es indudable que habrá, por ejemplo, personas muy inteli- gentes en uno de ellos, pero también debe haberlas en el otro. Si en uno hay mujeres, en el otro debe haberlas en la misma proporción. Y así con todas las variables que pue- dan afectar a la o las variables dependientes, además de la variable independiente. Para hablar de experi- mentos válidos no pueden existir diferencias significativas entre los grupos.
Equivalencia durante el experimento
Durante el estudio, los grupos deben mantener la equivalencia inicial en los aspectos concernientes al desarrollo experimental, excepto en la manipulación de la variable independiente: mismas instrucciones (salvo variaciones que sean parte de esa manipulación), personas con las que tratan los participantes y maneras de recibirlos, lugares con características semejantes (iguales objetos en los cuartos, clima, ventila- ción, sonido ambiental, etc.), igual duración del experimento, así como del momento y, en fin, todo lo que sea parte del estudio. Cuanto mayor sea la equivalencia, durante su desarrollo, habrá mayor control y posibilidad de que, si observamos o no efectos, estemos seguros de que verdaderamente los hubo o no. Cuando trabajamos simultáneamente con varios grupos, es difícil que las personas que dan las ins- trucciones y vigilan el desarrollo de los grupos sean las mismas. En este caso debe buscarse que su tono de voz, apariencia, edad, género y otras características capaces de afectar los resultados sean iguales o simila- res, y mediante entrenamiento debe estandarizarse su proceder. Algunas veces se dispone de menos cuar- tos o lugares que de grupos. En consecuencia, la asignación de los grupos a los cuartos y horarios se realiza al azar, pero se debe procurar que los procedimientos se apliquen, dentro de lo posible, en horarios coincidentes. Otras veces, los participantes reciben los estímulos individualmente y su exposición no puede ser simultánea. Se deben sortear de manera que en un día (por la mañana) personas de todos los grupos participen en el experimento, lo mismo por la tarde y durante el tiempo que sea necesario (los días que dure el experimento).
8 Capítulo 5 Diseños experimentales. Segunda parte
Recordatorio: ¿cómo se logra la equivalencia inicial? Asignación al azar
Como se comentó en el capítulo 7 de la obra impresa, el método más exacto para lograr la equivalencia inicial es la asignación aleatoria o al azar de los participantes a los grupos del experimento (en inglés, randomization ). La asignación al azar nos asegura probabilísticamente que dos o más grupos son equiva- lentes entre sí (Kirk, 2012; Knapp, 2008; Pettygrove, 2007 y Peng, 2003). Esta técnica de control tiene como propósito dar al investigador la seguridad de que variables extrañas, conocidas o desconocidas, no afectarán de manera sistemática los resultados del estudio (Christensen, 2006). Esta técnica, que fue dise- ñada por Sir Ronald A. Fisher, en la década de 1940, ha demostrado durante años que funciona para hacer equivalentes a grupos de participantes. Como mencionan Cochran y Cox (1992), la asignación aleatoria es en cierta forma análoga a un seguro, por el hecho de que es una precaución contra interferencias que pueden o no ocurrir, y ser o no importante si suceden. Por lo general, es aconsejable tomarse el trabajo de distribuir aleatoriamente, aun cuando no se espere que haya un sesgo importante si se opta por otro enfo- que. Si la única diferencia que distingue al grupo experimental y al de control es la variable independiente, las diferencias entre ellos pueden atribuirse a esta última. Pero si hay otras diferencias, no podríamos hacer tal afirmación.
EJEMPLO DE EQUIVALENCIA INICIAL DE LOS GRUPOS EN EXPERIMENTOS
En el capítulo 7 del libro impreso se señaló que en un experimento, los grupos de comparación deben poseer equivalencia inicial.^5 A continuación ejemplificamos esta noción. Si suponemos que todas las variables (V) pudieran medirse de uno a 10, la equivalencia entre grupos se debería conceptualizar tal como en la tabla 5.l.
Al inicio del experimento Grupo 1
V1 = 8 V2 = 4 V3 = 6 V4 = 7. V5 = 10 20 mujeres, 21 hombres Promedio de edad = 25 años, 6 meses V6 = 2 Vk = K V = una variable (V1 = variable 1, V2 = variable 2...)
Grupo 2
V1 = 7. V2 = 4. V3 = 6 V4 = 7. V5 = 9. 19 mujeres, 22 hombres Promedio de edad = 25 años, 4 meses V6 = 2 Vk = K
Tabla 5.1 Esquema para ilustrar la equivalencia inicial de los grupos.
(^1) En experimentos en ciencias biológicas, obviamente los ejemplares de los grupos que se contrastan también deben ser similares, y en experi- mentos con materiales, sustancias, fuerzas y objetos en ciencias físicas, por ejemplo, ocurre lo mismo (incluso idénticos, por ello les denominamos “ciencias exactas”). La equivalencia inicial es una condición de la experimentación.
Veamos en la tabla 5.2 un ejemplo de equivalencia entre dos grupos respecto de ciertos rasgos físicos para ilustrar el concepto.
10 Capítulo 5 Diseños experimentales. Segunda parte
Se procede entonces a empatar gradualmente a dos grupos en la variable deseada, en este caso, inteli- gencia:
Participante Coeficiente de inteligencia (ci)
Participante Coeficiente de inteligencia 01 129 09 110 (ci) 02 127 10 110 03 119 11 108 04 119 12 107 05 117 13 106 06 116 14 105 07 114 15 104 08 113 16 102
Sujeto 02 (CI = 127)
Grupo 1 Grupo 2
Sujeto 03 (CI = 119) Sujeto 04 (CI = 119)
Grupo 1 Grupo 2
Sujeto 01 (CI = 129)
Hasta ahora, el grupo 1 lleva dos puntos más que el grupo 2 (grupo 1 = 248, grupo 2 = 246), por lo cual es necesario compensarlo.
Sujeto 05 (CI = 117) Sujeto 06 (CI = 116)
Grupo
Sujeto 07 (CI = 114) Sujeto 08 (CI = 113)
Grupo 2
Grupo
Grupo 2
11
Hasta aquí se ha conservado el balance entre los grupos (grupo 1 = 477 y grupo 2 = 477).
Sujeto 10 (CI = 110)
Grupo 1 Grupo 2
Sujeto 11 (CI = 108) Sujeto 12 (CI = 107)
Grupo 1 Grupo 2
Sujeto 09 (CI = 110)
Sujeto 14 (CI = 105)
Grupo 1 Grupo 2
Sujeto 15 (CI = 104) Sujeto 16 (CI = 102)
Grupo 1 Grupo 2
Sujeto 13 (CI = 106)
De esta forma, los grupos quedarían emparejados en inteligencia.
Grupo 1 Grupo 2 Sujeto CI Sujeto CI S01 129 S02 127 S03 119 S04 119 S06 116 S05 117 S08 113 S07 114 S09 110 S10 110 S11 108 S12 107 S13 106 S14 105 S16 102 S15 104 Promedio = 112.87 Promedio = 112.
13
Teóricamente, 02 debería ser igual a 05, porque ambos grupos recibieron el mismo tratamiento; asi- mismo, 04 y 06 deberían tener el mismo valor, porque ninguno recibió estímulo experimental. Pero 02 ≠ 05 y 04 ≠ 06. Entonces, ¿cuál es la única diferencia entre 02 y 05, y entre 04 y 06? La respuesta es la preprueba. Las diferencias pueden atribuirse a un efecto de la preprueba (la preprueba impacta, aproxima- damente, tres puntos, y el tratamiento experimental también tres puntos, poco más o menos). Veámoslo de manera esquemática:
Ganancia con preprueba y tratamiento = 6
Ganancia con preprueba y sin tratamiento = 2.9 (casi 3).
Debido a que, al inicio, la técnica de distribución aleatoria atribuye equivalencia a los grupos, supues- tamente el promedio de la preprueba hubiera sido para todos cerca de ocho, si se hubiera aplicado a los cuatro grupos. La “supuesta ganancia” (supuesta porque no hubo preprueba) del tercer grupo, con trata- miento y sin preprueba, es de tres. Y la “supuesta ganancia” (supuesta porque tampoco hubo preprueba) del cuarto grupo es nula o inexistente (cero). Estas conclusiones indican que cuando hay preprueba y estímulo se obtiene la máxima puntuación de 14, si sólo hay preprueba o estímulo la puntuación es de 11, y cuando no hay preprueba ni estímulo es de ocho (calificación que todos deben tener inicialmente por efecto de la asignación al azar). También podría ocurrir un resultado como el de la tabla 5.5.
RG 01 = 7.9 X 02 = 14.
RG 0 3 = 8.0 — 04 = 8.
RG — X 0 5 = 11.
RG — — 06 = 7.
Tabla 5.5 Ejemplo del efecto de interacción entre la preprueba y el estímulo en el diseño de Solomon.
En este caso, la preprueba no afecta (vea la comparación entre 0 3 y 0 4 ), pero el estímulo sí lo hace (compare 0 5 con 0 6 ); sin embargo, cuando el estímulo o tratamiento se junta con la preprueba se observa un efecto importante (compare 0 1 con 0 2 ), un efecto de interacción entre el tratamiento y la preprueba. El diseño de Solomon controla todas las fuentes de invalidación interna por las mismas razones que fueron explicadas en diseños “puros” del texto impreso. La administración de pruebas se somete a un análisis minucioso.
FUENTES DE INVALIDACIÓN EXTERNA A DETALLE
En el texto impreso se dijo que se ampliarían las fuentes de invalidación externa en el centro de recursos en línea, por lo que aquí se hace.
1. Efecto reactivo o de interacción de las pruebas
Este efecto se presenta cuando la preprueba aumenta o disminuye la sensibilidad o la calidad de la reacción de los participantes a la variable experimental, lo cual contribuye a que los resultados obte- nidos para una población con preprueba no puedan generalizarse a quienes forman parte de esa pobla- ción sin preprueba. Babbie (2012) utiliza un excelente ejemplo de esta influencia: en un experimento diseñado para analizar si una película disminuye el prejuicio racial, la preprueba podría sensibilizar al
14 Capítulo 5 Diseños experimentales. Segunda parte
grupo experimental y la película podría lograr un efecto mayor del que tendría si no se aplicara la preprueba (por ejemplo, si se pasara la película en un cine o en la televisión).
2. Efecto de interacción entre los errores de selección y el tratamiento
experimental
Este factor impone que se elijan personas con una o varias características que permitan que el trata- miento experimental produzca un efecto, el cual no se lograría si las personas no tuvieran esas peculia- ridades. Por ejemplo, si seleccionamos trabajadores muy motivados para un experimento sobre productividad, podría ocurrir que el tratamiento sólo tuviera efecto en este tipo de trabajadores y no en otros (solo funciona con individuos sumamente motivados). Ello se resolvería con una muestra representativa de todos los trabajadores o mediante la introducción de un diseño factorial y que una de las variables fuera el grado de motivación (vea más adelante diseños factoriales). En ocasiones, este factor se presenta cuando se reclutan voluntarios para la realización de algunos experimentos.
3. Efectos reactivos de los tratamientos experimentales
La “artificialidad” de las condiciones puede hacer que el contexto experimental resulte atípico respecto de la manera en que se aplica regularmente el tratamiento (Campbell, 1975). Por ejemplo, a causa de la presencia de observadores y equipo, los participantes cambian su conducta normal en la variable dependiente medida, la cual no se alteraría en una situación común donde se aplicara el tratamiento. Por ello, el experimentador tiene que ingeniárselas para hacer que los sujetos se olviden de que están en un experimento y no se sientan observados. A esta fuente también se le conoce como “efecto Hawthorne”, por una serie de experimentos muy famosos desarrollados entre 1924 y 1927, en una planta del mismo nombre de la Western Electric Company, en la cual, al variarse la intensidad de la iluminación se observaban incrementos de la productividad de los trabajadores, tanto al aumentarla como al disminuirla. Por lo tanto, se concluyó que los cambios en la productividad se debían a que los participantes se sentían observados (Ballantyne, 2000).
4. Interferencia de tratamientos múltiples
En este caso se aplican varios tratamientos a un grupo experimental para conocer sus efectos por sepa- rado y en conjunto (por ejemplo, enseñarle a niños hábitos higiénicos con un video, más una diná- mica que implique juegos, más un libro explicativo); incluso, si los tratamientos no son de efecto reversible, es decir, si no es posible eliminar sus efectos, las conclusiones solo podrán hacerse extensivas a los infantes que experimenten la misma secuencia de tratamientos, sean múltiples o repetitivos (vea en páginas subsecuentes los diseños con diversos tratamientos).
5. Imposibilidad de replicar los tratamientos
Cuando los tratamientos son tan complejos que no pueden replicarse en situaciones no experimenta- les, es difícil generalizar sus efectos.
6. Descripciones insuficientes del tratamiento experimental
En ocasiones, el tratamiento o los tratamientos experimentales no se describen con suficiente detalle en el reporte del estudio, por lo que si otro investigador desea reproducirlos, le resultará muy difícil o imposible hacerlo (Mertens, 2010). Por ejemplo, señalamientos tales como “la intervención funcionó” no nos dice nada, por lo cual se debe especificar en qué consistió tal intervención. Las instrucciones deben incluirse, y la minuciosidad con que se comuniquen es un elemento importante.
16 Capítulo 5 Diseños experimentales. Segunda parte
cionales para trabajadores que duran semanas), pues con el paso del tiempo es más difícil mantener la equivalencia inicial de los grupos. Un ejemplo del proceso de diagramación de las series cronológicas experimentales se muestra en la tabla 5. 6.
Las pospruebas pueden ser tantas como se requiera y sea posible aplicar. Asimismo, en otras ocasiones se desea analizar la evolución de los grupos antes y después del tra- tamiento experimental. En esta situación pueden incluirse varias prepruebas y pospruebas, en cuyo caso se tendrían esquemas como el siguiente:
Tabla 5.6 Ejemplos de experimentos de series cronológicas. Serie cronológica sin preprueba, con varias pospruebas y grupo de control RG 1 X 1 01 02 03 RG 2 X 2 04 05 06 RG 3 X 3 07 08 09 RG 4 (^010 011 ) Serie cronológica con preprueba, con varias pospruebas y grupo de control RG 1 01 X 1 02 003 004 RG 2 05 X 2 06 007 008 RG 3 09 (^010 011 ) Serie cronológica basada en el diseño de cuatro grupos de Solomon RG 1 01 X (^02 ) RG 2 04 (^05 ) RG 3 X (^07 ) RG 4 (^09 )
R G 1 01 02 03 X 1 0 0 0
R G 2 04 05 06 X 2 0 0 0
R G 3 07 08 09 0 0 0
Diseño experimental de serie cronológica
Un consultor en cuestiones organizacionales estudia el efecto sobre la dedicación al trabajo que tiene la difusión de una serie de valores, que la directiva de una corporación considera deben ser implantados en la empresa. Pregunta de investigación: ”Cuanto más conozca el personal de una corporación los valores de esta (definidos por su directiva), ¿mostrará mayor dedicación al trabajo? Hipótesis de investigación: “El mayor conocimiento de los valores corporativos genera mayor dedicación al trabajo”. Hipótesis estadística: rxy > 0 El consultor selecciona a 99 personas de la corporación, de todos los niveles jerárquicos, y los asigna al azar a tres grupos:
- Uno participa en una reunión de dos horas en donde se le presentan ampliamente los valores corporativos con aplicaciones a situaciones específicas de trabajo; posteriormente sus miembros reciben un folleto con explicaciones adicionales.
- Otro asiste a una sesión breve donde se proporciona un folleto sobre los valores corporativos (no hay explicación verbal ni discusión o sesión de preguntas y respuestas).
Ejemplo
17
Figura 5.1 Diseño del ejemplo de serie cronológica sobre la dedicación al trabajo de tres grupos.
Una ventaja del diseño consiste en que es posible evaluar la evolución comparativa de los grupos. Por ejemplo, si se encontraran los siguientes resultados con una escala (hipotética) de dedicación al trabajo, con valores de 0 a 25:
- El tercer grupo asiste a una sesión donde se trata algún aspecto no relacionado con el trabajo o la organización (digamos, un tema de interés general).
Antes de administrar los tratamientos a todos los participantes, se les aplica tres mediciones de la dedicación al tra- bajo. Asimismo, después de los tratamientos, también se les aplica tres mediciones de la misma variable (al corto, mediano y largo plazos). El diseño se debería diagramar como se muestra en la figura 5.1. Recuerde que se pretende medir la dedicación al trabajo. Cada grupo estaría integrado por 33 personas.
R G 1 11 11 11.2 X 1 16 18 21
R G 2 10.8 11 10.9 X 2 15 14 11.
R G 3 11.1 10.9 11.3 11 10.8 11.
Podemos observar que X 1 tiene un efecto que aumenta con el paso del tiempo y X 2 produce un efecto en el corto plazo, pero tiende a desvanecerse con el paso del tiempo. Esto podría graficarse del siguiente modo:
19
En los diseños experimentales de series cronológicas se realiza este tipo de gráficas, las cuales enri- quecen la interpretación de la evolución de los grupos. Algunas de las diversas configuraciones que se presentan se muestran en las figuras 5.2, 5.3 y 5.4. En este caso, debe observarse que no sea algún suceso ajeno el que provoque el efecto, en lugar de la manipulación de la variable independiente. Podría ocurrir que:
Figura 5.2 Ejemplo de un suceso ajeno a X que provoca el efecto.
Escala de la variable dependiente
(^01 0 2 0 3 0 4 0 5 06 07 )
Suceso que esindependiente a X
20 Capítulo 5 Diseños experimentales. Segunda parte
Figura 5.3 Ejemplo de un efecto que perdura.
Figura 5.4 Ejemplo de ausencia de efecto por el tratamiento.
(^01)
01 0 2 03 X (^04 0 5 0 6 0 )
Escala de la variable dependiente
0 1 02 0 3 04 X 0 5 0 6
