02 mayo 2014
Probablemente bajo la influencia de las clasificaciones mundiales de universidades, que se centran de manera desproporcionada en el volumen de publicaciones científicas como el indicador más importante de la investigación universitaria y, por lo tanto, de la calidad de la enseñanza(Hazelkorn, 2013; Rauhvarges, 2011; Dill & Soo, 2005), el número de artículos de los docentes universitarios publicados en revistas indexadas es el criterio de mayor peso en el modelo de evaluación llevado a cabo por el CEAACES . Mas aun, la importancia de este criterio trasciende el tema de la evaluación y pasa a convertirse en un parámetro determinante en la vida universitaria; una suerte de fetiche académico que norma desde los requisitos de promoción de los docentes hasta sus obligaciones de desempeño académico , pasando por los niveles de remuneraciones de las autoridades universitarias . De esta manera, la escasa o casi nula productividad de los docentes universitarios (en términos de artículos publicados en revistas internacionales) se presenta como otra de las evidencias que alimenta el discurso sobre el pobre desempeño de la universidad ecuatoriana y se convierte en el referente para el diseño de políticas y estrategias que, como se advierte más adelante, pueden resultar hasta contra-producentes con el objetivo de mejorar la enseñanza superior.
Al enfocarse en los artículos publicados en revistas indexadas como la medida primaria de la calidad y productividad de la educación superior, las categorizaciones y rankings universitarios centran toda la amplitud de la actividad de la educación superior, incluyendo la enseñanza, el aprendizaje, la experiencia, en el número de publicaciones. Ninguna atención se presta al impacto social y económico del conocimiento y de la transferencia de tecnología, y lo único que interesa es la productividad de la investigación medida sobre la base de información bibliométrica y de citaciones suministrada básicamente por dos empresas (Thomson Reuter’s Web of Science de Thomson Reuter y Scopus de Elsevier) . Es así como, sobre información arbitraria, incompleta y notoriamente sesgada, se instala en la academia una nueva escala de prestigio, bajo la cual los docentes e investigadores son obligados a competir en un mercado organizado y controlado por compañías privadas que, unilateralmente y en buena medida sin tener que rendir cuentas a nadie, han establecido una estructura cartelizada de poder sobre la información y comunicación científicas (Vessuri, 2008). Teniendo en cuenta que una gran parte de los artículos son el resultado de investigaciones financiadas con fondos públicos, se trata, en realidad, de la apropiación de una renta publica en beneficio privado de empresas transnacionales.
Las limitaciones y distorsiones de la información bibliométrica para evaluar la producción investigativa de las universidades se manifiestan a diferentes niveles. Se trata de información sesgada desde el punto de vista lingüístico y disciplinario, que notoriamente favorecen ciertas disciplinas y penalizan otras, no tienen en cuenta la temporalidad en cuanto a la relevancia de las publicaciones y, sobre todo, ignoran su pertinencia local. De ahí que la utilización de esta información en la evaluación de las universidades sea objeto de un fuerte cuestionamiento y de un llamado de atención para resituar el criterio de la producción científica bajo estándares de pertinencia y de relevancia verdadera para el mejoramiento de la calidad de la enseñanza. La presión a la que se pretende someter a los docentes universitarios por publicar resultará, sin duda alguna, en la producción masiva de papers, de importancia cada vez más dudosa cuando no triviales.
Una herramienta incongruente
Ante todo, es necesario empezar recordando que el índice de citaciones (ISI Quotation Index) fue diseñado como una herramienta, especialmente de la sociología de la ciencia, para el monitoreo de cómo las ideas científicas en ciertas disciplinas circulaban entre los investigadores de las universidades de los países industrializados y como estas ideas eran comunicadas entre los investigadores individuales (Altbach, 2006). A medida que los costos de investigación experimentaban un crecimiento exponencial, los gobiernos de los países industrializados, en particular, empezaron a mostrar preocupación sobre la brecha institucional entre la producción y distribución del conocimiento científico y, por consiguiente, sobre la necesidad de idear mecanismos que permitan trascender los estrechos márgenes de comunidades de especialistas y lograr un mayor acercamiento de las instituciones de investigación hacia la sociedad y el sector público (Gibbons, Limoges, & Nowotny, 1994). Es en este contexto que surgió la necesidad de entender como los descubrimientos e innovaciones científicas son comunicadas, cómo funciona la investigación y cuáles son sus impactos. Por consiguiente, el propósito inicial de la información bibliométrica y de citaciones no fue la evaluación de académicos, universidades o sistemas académicos; de ahí el cuestionamiento que un sistema inventado para funciones limitadas, como las anteriormente señaladas, sea utilizado para llenar objetivos para las cuales no fueron diseñados (Altbach, 2006).
Sesgo lingüístico.
Resulta evidente que la información bibliométrica utilizada en la evaluación de la productividad académica recompensa de manera desproporcionada la investigación publicada en inglés, en revistas internacionales y revisadas por pares. Al respecto, se debereconocer que el uso del idioma inglés es un factor inhibidor para la publicación de trabajos científicos de investigadores fuera de la órbita anglófona y la razón es simple: los angloparlantes no nativos tienen que dedicar mayores esfuerzos porque están obligados a aprenderlo y como la señala Ammon (2011) contribuyen así con un mayor peso a la creación del bien público de un lenguaje común. Añade este autor que si bien es cierto el uso del inglés para las interacciones globales contribuye a difundir la innovación y favorece el avance de la ciencia, este idioma no puede ser considerado como una lingua franca en el sentido de no ser una lengua nativa para todos sus usuarios como, por ejemplo, lo fue el latín medieval. Se trata de “un idioma global asimétrico cuyos beneficios están distribuidos desigualmente” (Ammon, 2011, p. 159).
Esta desigualdad determina que los artículos publicados en inglés y los países que publican la mayoría de sus revistas científicas en ingles sean los mayores beneficiarios de los índices bibliométricos , lo que en parte explica que las clasificaciones mundiales de las universidades sean en gran medida dominadas por universidades anglo-americanas. Esta disparidad a lo largo de las disciplinas y de países es también reflejada en las prácticas de citación. Una larga proporción de publicaciones científicas es editada y publicada en los Estados Unidos debido al tamaño y fortaleza del mercado académico en este país, por lo que muchas revistas, en diferentes disciplinas, exigen a los autores ajustarse a las normas metodológicas y orientación de las revistas en esos campos. Por otra parte, los investigadores norteamericanos tienden a citar otros investigadores norteamericanos en publicaciones editadas en ese país, mientras investigadores de otros países con perspectiva más internacional tienden a ser ignorados. De esta manera, la “insularidad estadounidense” distorsiona aún más el sistema de citaciones en cuanto a lenguaje y nacionalidad (Altbach, 2006). Aquí conviene tener presente que la relevancia y beneficio de las citaciones para medir el impacto de las publicaciones es simplemente un fenómeno de la academia, que ignora por completo el amplio valor económico y social y el beneficio de la investigación e innovación, es decir, la productividad de la investigación, que es precisamente la característica que se intenta medir.
Por último, un aspecto rara vez mencionado acerca del uso del inglés como lengua hegemónica, es aquel relacionado con problemas de carácter cultural y semántico. Ammon (2011) advierte al respecto una singular paradoja: por un lado, no puede desconocerse que el uso de un idioma global constituye un factor que contribuye al avance de la ciencia; pero, por otra parte, el uso de un idioma global también obstaculiza su avance al no tomar en cuenta el potencial cognitivo de otros idiomas. Añade este autor que diferencias culturales están intrínsecamente presentes en la estructura semántica de un idioma dado. Esto significaría, en principio, que el multilingüismo da a los no anglófonos una ventaja cognitiva sobre los anglófonos nativos, aunque esto requiere ser corroborado y ciertamente no compensa las dificultades en la comunicación.
Sesgo disciplinario.
La utilización de la información bibliométricas y de citaciones como información de base para evaluar la productividad investigativa de una universidad favorece netamente a la producción en ciencias naturales y, por consiguiente, tiende a penalizar la producción académica de las ciencias sociales y humanidades, áreas en las cuales América Latina tiene una larga y respetada tradición (Ordorika & Rodriguez, 2010; Rauhvarges, 2011; Scott, 2013). Al respecto, Altbach (2006), señala que la producción semanal de citas científicas es de alrededor de 350 mil, mientras las ciencias sociales generan 50 mil y las humanidades 15 mil. Esto significa que las universidades con una fuerte orientación hacia las ciencias duras tienen una ventaja en los rankings mundiales en relación a universidades con una orientación más equilibrada hacia el resto de disciplinas.
En particular, las principales disciplinas beneficiarias de esta práctica son las ciencias biomédicas y las ciencias naturales (la física, en particular), simplemente porque estas disciplinas publican frecuentemente con múltiples autores. En contraste, las ciencias sociales y las humanidades, por lo general, tienen un único autor y se publican bajo un amplio rango de formatos (monografías, reportes, traducciones etc.). En la misma línea, las artes producen trabajos de arte, composiciones, producciones multimedia y las ingenierías producen memorias (proceedings) de conferencias y prototipos, generalmente en formatos electrónicos, bajo la modalidad open source. Todas estos formatos de publicación y comunicación son ignorados por los métodos bibliométricos tradicionales que únicamente reconocen la producción científica codificada de acuerdo a las normas del cartel mundial de publicaciones científicas (Hazelkorn, 2013).
El sesgo de los métodos bibliométricos se manifiesta claramente en la importancia asignada a los libros y aquí, nuevamente son las ciencias sociales y las humanidades las disciplinas penalizadas, si se tiene en cuenta el papel de los libros y otros documentos en el proceso de comunicación científica en distintos ámbitos. La relevancia de los libros, tanto como forma de publicaciones, así como fuentes de citaciones, varía enormemente en el acervo de las diferentes disciplinas. Estos se citan con más frecuencia que otro tipo de publicaciones en ciertas disciplinas y por lo tanto, su relevancia no puede equipararse a la de los artículos publicados en revistas científicas. Al respecto, Archambault y Larivière (2011) presentan una síntesis de diferentes análisis sobre citas en ciencias sociales y constatan, por ejemplo, que el porcentaje de referencias a publicaciones indexadas varía desde alrededor del 35 por ciento en historia, filosofía y ciencias sociales al 94 por ciento en inmunología; mientras que las citas a libros muestra un tendencia inversa: alrededor del 40 por ciento de las citas en sociología y 25 por ciento en economía provienen de libros, en comparación con el escaso 0.9 en la física de alta energía, por ejemplo. Esta es una evidencia adicional que los indicadores bibliométricos penalizan a las ciencias sociales y humanidades y favorecen a las ciencias duras y biomédicas.
Obsolescencia de las publicaciones
Otro factor que incide en tratamiento discriminatorio de las diferentes disciplinas es aquel de la obsolescencia de las publicaciones. Si cabe el término, la vida útil de los conocimientos producidos puede enfocarse desde dos perspectivas: ‘la edad promedio’ de la bibliografía citada por las diferentes disciplinas y el periodo de tiempo promedio o intensidad con la que se citan los artículos luego de su publicación. Aquí también, las diferentes disciplinas presentan ritmos diferenciados. Respecto a la primera, el rango va desde los doce a catorce años en las artes y humanidades hasta cinco años en medicina (las ciencias naturales presentan un promedio de 6 años). En cuanto a la segunda, los artículos de las ciencias naturales alcanzan el pico de su citación dos o tres años después de su publicación, mientras que en el caso de las ciencias sociales es de diez años en promedio (Archambault & Larivière, 2011). El rango temporal para el recuento de las citas considerado en las principales bases bibliométricas es de dos a tres años; rango que nuevamente favorece a las ciencias naturales y nuevamente penaliza las ciencias sociales y humanidades.
Pertinencia de las publicaciones
Quizá el problema más preocupante del predominio de las bases bibliométricas referidas es el hecho de que ellas han pasado a convertirse en la escala o arbitro de las producciones científicas nacionales. Las empresas que las producen no solo determinan como publicar, donde publicar sino que temas deben publicarse. Muchos temas de investigación en países en desarrollo, como el caso del Ecuador, se inclinan hacia lo local, especialmente en el campo de las ciencias sociales y humanidades. La mayoría de temas pueden expresarse y entenderse solamente en la cultura de la que emanan y, es muy probable que los lectores potenciales de los resultados de las investigaciones estén limitados a un país o una región y, por consiguiente, estos sean publicados en la lengua materna y en revistas de distribución internacional muy restringida (Archambault & Larivière, 2011). Entonces, es escasamente factible que estos temas tengan cabida en las publicaciones internacionales, creando un peligroso desincentivo para la publicación de artículos sobre temas de relevancia local. De esta manera, la brecha divisoria entre ciencia hegemónica y ciencia periférica (Vessuri, 2008) tiende a ahondarse como resultado de estructuras de control y prestigio creadas en torno a la cartelización de la producción científica mundial. Este problema fue advertido hace ya algunas décadas por Darcy Ribeiro (citado en Ayala Mora, 1976):
“Es natural, pues, que todo aspirante a científico mire con reverencia a esa Meca del Norte, crea que cualquier dirección que allí se indique es progresista y única, acuda a sus templos a perfeccionarse, y una vez recibido su espaldarazo mantenga a su regreso –si regresa- un vínculo más fuerte con ella que con su medio social. Elige uno de los temas allí en boga y cree que eso es libertad de investigación”.
Un creciente cuestionamiento al control de la comunicación científica por parte de un cartel de empresas editoriales está tomando cada vez más fuerza. La Declaración de San Francisco sobre la Evaluación de la Investigación, promovida por la Sociedad Americana de Biología Celular hace un llamado para eliminar el uso de métricas como la del Journal Impact Factors de Thomson y Reuter, Scimago, h-index, etc. y evaluar la investigación sobre la base de sus propios meritos en lugar de la revista en la que es publicada. La Declaración hace un llamado a la comunidad académica internacional a capitalizar las oportunidades que provee la publicación en línea y explorar nuevos indicadores de significancia e impacto para las publicaciones bajo esta modalidad.
En el mismo sentido, el biólogo estadounidense y premio Nobel en medicina, R.W. Schekman, ha instado a “romper la tiranía de las revistas de lujo”, Nature, Cell y Science, en particular, a las que ha acusado de hacer un daño a la ciencia al guiarse únicamente por criterios comerciales a la hora de publicar artículos científicos . Como lo anota F. Carrión “La gran judtificacion del eufemismo de ‘alto impacto de las revistas’ es solo una estrategia de marketing, que nunca aparece evidente a la hora de medir la distribución y la lectura. …
El ‘alto impacto’ es fundamentalmente económico y de escasa relevancia en términos de difusión del conocimiento”
En la misma dirección, algunos países de la región han lanzado iniciativas en diversas direcciones para superar los problemas de la comunicación científica. El establecimiento de bibliotecas virtuales de libre acceso a la información científico tecnológica por parte de Brasil (CAPES/MEC, Scielo) y un sistema regional de información en línea para revistas científicas de América Latina, el Caribe, España y Portugal (Latindex), coordinado por la Universidad Autónoma de México, son herramientas que permiten la reducción de inequidades y la remoción de barreras de conocimiento que se erigen hoy entre el “centro” y la “periferia”. La continuidad de este esfuerzo muy probablemente asegurará una curva de crecimiento de la producción y productividad científica de la región (Vessuri, 2008).
Producción académica y ‘calidad’ de la educación
La importancia asignada en la evaluación de las universidades a la investigación se sustenta en el supuesto de una relación directa entre la intensidad de la investigación, medida por el número de artículos publicados por los docentes, y la calidad de la enseñanza. En otros términos, mientras mayor sea el número de publicaciones de los docentes de una universidad, mejor será su calidad de enseñanza. Esta hipótesis conduce a plantearnos la pregunta: ¿las universidades con una fuerte orientación hacia la investigación ofrecen el mejor entorno de aprendizaje y proveen la mejor educación?
La respuesta requiere ante todo aclarar el significado de la expresión ‘universidad orientada a la investigación’. Astin (1996) la define en términos de comportamiento y actitud de la docencia: “el volumen de publicaciones de los docentes, el tiempo que ellos invierten en la investigación y su compromiso personal con la investigación”. Entonces, una universidad con una marcada orientación a la investigación es aquella cuyos docentes publican muchos artículos y libros, dedican la mayor parte de su tiempo de trabajo a la investigación y asignan una prioridad personal a esta actividad. Como antítesis a esta categoría de universidad, el autor mencionado distingue una ‘universidad orientada a los estudiantes’ (o universidad de docencia) como aquella cuyos objetivos son: “enseñar a los estudiantes como cambiar la sociedad, inducir a la reflexión sobre problemas sociales y ambientales, ayudar a los estudiantes a entender sus propios valores, desarrollar un sentido de comunidad entre docentes y estudiantes y facilitar el involucramiento de los estudiantes en actividades y servicios sociales y comunitarios”. La pregunta anterior puede ser entonces reformulada en los siguientes términos: ¿Qué tipo de universidad, la orientada a la investigación o la orientada a la docencia, es preferible en términos de un mejor aprendizaje y educación?
Los resultados de un volumen significativo de investigación empírica sugieren que la correlación entre la productividad de la investigación y la educación de pregrado es negativa o, en el mejor de los casos insignificante y que la enseñanza y la investigación parecen ser más actividades independientes que actividades articuladas entre sí(Astin, 1996; Dill & Soo, 2005; Donoghue, 2008) . Los autores mencionados coinciden en afirmar que la orientación de la docencia hacia la investigación incide negativamente en una serie de factores que tienen que ver con la enseñanza: horas dedicadas a la enseñanza y consulta, compromiso con el desarrollo de los estudiantes, uso de técnicas activas de aprendizaje en el aula y el porcentaje de docentes comprometidos con un sentido de comunidad universitaria. La explicación es simple: los docentes dedicados a la producción de papers pueden dedicar únicamente un tiempo muy limitado de su tiempo académico a las actividades mencionadas. Los autores mencionados concluyen que la orientación hacia la investigación tiene efectos negativos en la satisfacción de los estudiantes con la docencia. “Existe in conflicto obvio entre investigación [en el sentido anteriormente definido] y docencia” (Astin, 1996, p. 592).
Estas observaciones son suficientes para llamar a una seria reflexión en los estándares de evaluación definidos por el CEAACES. De acuerdo a estos estándares (benchmarks) la producción ideal de un docente a tiempo completo es como sigue: 1 libro cada tres años, 1.5 artículos por año publicados en las revistas que figuran en las listas Scimago (Scopus) o ISI Web of Knowledge y 2 artículos por año en una de las revistas de Latindex. En otras palabras, se espera que a lo largo de una carrera docente de treinta años, un profesor universitario haya publicado por lo menos 10 libros y más de cien artículos en revistas científicas . Y, ¿dónde queda la enseñanza?
Conclusión
Resulta entonces difícil entender la obstinación de las instituciones que rigen el sistema de educación superior del Ecuador en otorgar a los indicadores y parámetros de la “bibliometría internacional” un papel preponderante en los lineamientos y normas de la reforma universitaria en marcha. No solamente son los sesgos y distorsiones de estos parámetros los que invalidan su utilización en la evaluación de la docencia y las instituciones, sino, sobre todo, una posición que va contra corriente de un movimiento mundial por transformar una estructura jerárquica de manejo, control y monopolio de la comunicación científica. Resulta también difícil entender la segregación y hasta una suerte de menosprecio de la producción científica nacional al someter los artículos publicados en revistas académicas nacionales a una incalificable discriminación. En lugar de valorar y apoyar nuestro acervo académico, las autoridades han optado por seguir obedientemente los dictámenes de un imperialismo cultural bajo una actitud política que pretende una ciencia “virgen, apolítica, autónoma”, llevada a cabo por investigadores adaptados al mercado científico, que renuncian a preocuparse por el significado social de su actividad, desvinculándola de los problemas sociales y aceptando las normas y valores de carteles transnacionales (Ayala Mora, 1976).
* Profesor de la Universidad Andina Simón Bolívar
Altbach, P. (2006). The Tyranny of Citations. Retrieved from Inside Higher Ed: http://www.insidehighered.com
Ammon, U. (2011). La hegemonia del ingles. In Informe sobre las ciencias sociales en el mundo: Las brechas del conocimiento (pp. 159-160). Mexico: Unesco y Foro Consultivo Cientifico y Tecnologico A.C.
Archambault, É., & Larivière, V. (2011). Los límites de la bibliometría en el análisis de la literatura en ciencias sociales y humanidades. In Informe sobre las ciencias sociales en el mundo: Las brechas del conocimiento (pp. 262-267). Mexico: Unesco y Foro Consultivo Científico y Tecnológico A.C.
Astin, A. (1996). Involvement in learning revisited. Journal of College Student Development, 40 (5), 587-597.
Ayala Mora, E. (1976). Reforma, Contrareforma y Modernizacion. Revista de la Universidad Catolica (Separata), IV (11).
Dill, D., & Soo, M. (2005). Academic quality, league tables, and public policy: A cross-national analysis of university ranking systems. Higher Education (49), 495-533.
Donoghue, F. (2008). The Last Professors: the corporate university and the fate of humanities. New York: Fordham University Press.
Gibbons, M., Limoges, C., & Nowotny, H. (1994). The new production of knowledge. Londres: SAGE Publications.
Hazelkorn, E. (2013). World-class universities or world-class system? Rankings and higher education policy choices. In P. Marope, P. Wells, & E. Hazelkorn, Rankings and Accountability in Higher Education: uses and misuses (pp. 71-94). Paris: UNESCO.
Ordorika, I., & Rodriguez, R. (2010). El ranking Times en el mercado del prestigio universitario. Perfiles Educativos , 8-29.
Rauhvarges, A. (2011). Les classements mondiaux d’universites et leur impact. La Association eurpeenne de l’universite, EUA.
Scott, P. (2013). Ranking higher education institutions: a critical perspective. In P. Marope, P. Wells, & E. Hezelkorn (Eds.), Rankings and Accountability in Higher Education: uses and misuses (pp. 115-127). Paris: UNESCO.
Vessuri, H. (2008). El futuro nos alcanza: Mutaciones previsibles de la ciencia y la tecnologia. In A. L. Gazzola, & A. Didriksson (Eds.), Tendencias de la educacion superior en America Latina y el Caribe (pp. 55-86). Caracas: IESALC.
Villavicencio, A. (2013). Hacia donde va el proyecto universitario de la Revolucion Ciudadana? In J. Cuvi, D. Machado, & N. Sierra, El correismo al desnudo (pp. 216-231). Quito: Montecristi Vive.
