Métricas alternativas: ¿una nueva forma de medir el impacto científico?

Por Carolina De Volder[1]

Introducción

Algunas de las preguntas comunes que escucho en el Instituto de Investigaciones Gino Germani en el cual coordino el Centro de Documentación e Información son ¿en qué revista me conviene publicar? ¿Cómo sé si una revista es de calidad? ¿Cómo logro mayor impacto con mis publicaciones? Estos interrogantes generan entre los becarios e investigadores un debate muy interesante con múltiples aristas.

Una de las cuestiones en las que siempre hago hincapié es en que el trabajo de escritura de un artículo no termina cuando el artículo está listo o en proceso de revisión o publicación. Es necesario pensar un plan o estrategia de comunicación posterior. Por eso, antes de publicar o querer publicar, recomiendo pensar qué objetivos se proponen, a qué público quieren llegar, a qué área geográfica, qué discusión quieren lograr, que repercusiones pretenden conseguir o si solo lo hacen “por obligación”, porque la academia les exige una cantidad de publicaciones determinadas para seguir en carrera.

Dentro de estas estrategias de comunicación de la producción científica hay dos alternativas complementarias que sugiero:

– Publicar en acceso abierto: elegir revistas de calidad que ofrezcan acceso libre y gratuito a sus contenidos;

– Utilizar y aprovechar el potencial de las redes sociales y otros medios actuales de comunicación en internet para lograr mayor impacto.

En este artículo voy a centrarme en el segundo punto, describiendo cómo los investigadores hacen uso de la web social y haciendo un énfasis especial en las métricas alternativas y en cómo éstas pueden complementar los actuales métodos de medición y evaluación de la actividad científica.

Tradicionalmente, la medición y evaluación de la actividad científica y de los investigadores se ha apoyado en dos indicadores: el número de citas y el factor de impacto. Dichos indicadores, junto con el sistema de revisión por pares, han venido funcionando bastante bien, aunque con algunas deficiencias: el proceso de acumulación de citas es lento, de forma que determinar el impacto real de un trabajo puede llevar meses; los comportamientos de citación varían notablemente según las áreas y disciplinas; y las citas que recibe un artículo no siempre son un reflejo de la calidad del mismo. Hay artículos de alto nivel científico que apenas han sido citados por estar publicados en revistas de bajo perfil o comerciales y, por el contrario, existen artículos que han sido altamente citados como resultado de un proceso de refutación más que por su calidad.

En los últimos años, y en paralelo al surgimiento y crecimiento de la web social, ha aparecido una corriente que propone subsanar estas deficiencias utilizando una forma diferente de medición: las denominadas altmetrics (article level metrics) o métricas alternativas.

Las altmetrics son nuevos indicadores propuestos para analizar el impacto y visibilidad de la actividad científica en la web social: número de tweets, menciones en un blog, cantidad de “me gusta” en facebook, presencia en gestores bibliográficos, etc. La diferencia fundamental con las métricas tradicionales es que mientras las primeras miden en función del prestigio de las revistas o de su factor de impacto, éstas últimas miden a nivel artículo. Además, las métricas tradicionales tienen en cuenta un único producto de investigación: el artículo publicado en revistas académicas, dejando de lado otro tipo de productos como las presentaciones en congresos, artículos de divulgación, datasets, software, documentos de trabajo, preprints, etc. La finalidad de las métricas alternativas no es reemplazar a las tradicionales, sino complementarlas añadiendo una nueva perspectiva.

De esta forma, el entorno digital actual posibilita la medición del alcance y popularidad en la web social no solo de los productos tradicionales, como los artículos de revista, sino también la amplia e instantánea difusión de los objetos de investigación “no tradicionales” mencionados anteriormente. Esto ofrece una visión más amplia de la repercusión de todas las actividades de un investigador, con independencia del tipo de actividad, producto y lugar de publicación.

La web social, los investigadores y la ciencia 2.0

Antes de profundizar en las ventajas y limitaciones de las altmetrics y en las diferentes iniciativas existentes, me gustaría reflexionar acerca del uso que hacen los investigadores de la web social y cómo esto afecta su quehacer diario.

La web social está compuesta por una serie de servicios web que comparten una misma filosofía y características: la inteligencia colectiva y la arquitectura de la participación. La primera se refiere a la suma del saber de todo un colectivo a partir de la colaboración y la segunda es la que permite y favorece la democratización de la participación (O’Reilly, 2005).

Estos servicios –que ya tienen más de 10 años– ubican al usuario en el centro de la escena, dándole un lugar central en la creación y difusión de contenidos, mejorando y potenciando el sistema. Blogs, wikis, marcadores sociales, gestores de referencia, redes sociales, sitios de almacenamiento de fotos y videos, son todas herramientas de la web social, donde los usuarios no solo pueden buscar y encontrar información, sino también crear y compartir contenidos además de interactuar con otras personas de intereses similares. De este modo, cuanto mayor es la colaboración y participación de las personas, mayor será la utilidad de los servicios.

La ciencia no se ha mantenido ajena a la web social y los investigadores vienen utilizando estas tecnologías desde sus comienzos. Entre los beneficios que estas herramientas ofrecen a los investigadores podemos mencionar los siguientes:

  • La posibilidad de mayor colaboración y comunicación entre pares independientemente del país en el que se encuentren o disciplina a la que pertenezcan;
  • El aumento de la visibilidad de la actividad científica (ya sea formal o informal), llegando al público especializado o general (comunicación social de la ciencia);
  • Sirven como medio para filtrar y recolectar información científica relevante y de actualidad;
  • La posibilidad de crear y mantener una imagen profesional online.

Más allá de los beneficios u oportunidades también podemos mencionar algunos obstáculos:

  • La ausencia de una clara comprensión de la utilidad y beneficios que el uso de estas aplicaciones puede tener en la práctica académica;
  • La percepción –equivocada– de que es necesario poseer o desarrollar habilidades tecnológicas que permitan su adopción;
  • La ausencia de una masa crítica de usuarios que las use (es constatable la predisposición a integrar nuevas herramientas cuando son ampliamente usadas, especialmente por colegas);
  • Las dudas relativas a los derechos y copyright de los contenidos;
  • El poco o nulo reconocimiento institucional a su uso.

La investigación científica es –o debería ser– una actividad social y comunicativa, donde el intercambio, debate y difusión de ideas sea algo fundamental. Por eso, no es extraño que los investigadores adopten estas herramientas y que las empleen tanto desde un punto de vista metodológico como para la difusión de los resultados de investigación. Los recursos tecnológicos de apoyo a la investigación abren nuevos canales para que los científicos realicen su actividad y para la comunicación de su producción. De este modo, actividades sociales/académicas como la creación y producción de conocimiento, la búsqueda y recuperación de información o su difusión pueden verse facilitadas mediante el uso de las tecnologías 2.0, dando paso a la llamada Ciencia 2.0 (Fresco Santalla, 2013).

Dentro de la web 2.0 existen multitud de posibilidades en cuanto a servicios y aplicaciones, desde herramientas genéricas para la escritura colaborativa como Google Docs, sitios de almacenamiento web como Dropbox y servicios de redes sociales como Facebook o Twitter, hasta aplicaciones especializadas orientadas a comunidades científicas como los gestores de referencias bibliográficas que ayudan al investigador a organizar una base de datos personal y los asisten en las tareas de citación y elaboración de la bibliografía (Mendeley, Zotero) y las redes sociales académicas donde los investigadores se relacionan y comunican de forma rápida y simultánea y comparten recursos de información y documentación de cualquier tipo (ResearchGate, Academia.edu, entre otras). Todas ellas cuentan con una característica común: son servicios y herramientas –generalmente gratuitas– que facilitan la creación, publicación e intercambio de contenidos y que aprovechan al máximo la inteligencia colectiva. Su empleo en el mundo académico ha dado lugar ha dado lugar a formas alternativas de crear, colaborar y comunicar el conocimiento científico, produciéndose ahora en un entorno más interactivo. El proceso de comunicación académica no ha cambiado, pero los canales y herramientas empleados sí. (Fresco Santalla, 2013).

Siguiendo las etapas fundamentales que tienen lugar en el ciclo de investigación científica podemos agrupar las herramientas en tres categorías diferentes: localización y recuperación de información, creación de conocimiento y difusión del mismo (ver gráfico Nº 1). Dichas categorías no son excluyentes ni fijas, dado que lo más habitual es que la mayoría de las aplicaciones tengan cabida en dos o incluso tres de ellas. Los servicios de migroblogging son un claro ejemplo de esta circunstancia: Twitter es una herramienta eficaz tanto a la hora de filtrar y recuperar información como en el momento de difundirla. Su utilidad y facilidad de uso ha determinado que, pese a ser un servicio de carácter “generalista”, esté siendo adoptado por la comunidad científica, junto a su uso cada vez más frecuente como canal para la retransmisión y difusión de congresos y conferencias. Twitter también sirve como herramienta de discusión y evaluación online de la calidad de los artículos científicos, característica también extensible a los blogs gracias al sistema de comentarios (Fresco Santalla, 2013).

Gráfico Nº 1. Uso de las tecnologías 2.0 en las distintas fases del proceso de investigación científica.grafico-de-volderFuente: Fresco Santalla, 2013.

Por un lado, su utilización en las etapas de localización y recuperación de información así como en la creación colaborativa de conocimiento permite lograr mayor eficiencia y productividad; por otro lado, su incorporación en la difusión de los resultados de investigación permite aumentar la visibilidad de los mismos y también su impacto y popularidad.

Métricas tradicionales vs. métricas alternativas: ¿sustituto o complementos?

Retomando el tema de la evaluación, amerita realizar un comentario sobre los “Criterios de evaluación de la producción científica de las Humanidades y Ciencias Sociales”, redactados durante el año 2012 y discutidos en el 2013 en la Jornada de discusión sobre Sistemas y Procesos de Evaluación Científica por integrantes de la Comisión Interinstitucional de elaboración de criterios de evaluación para las humanidades y ciencias sociales (CIECEHCS). Los mismos tienen la finalidad de reflexionar, promover y contribuir activamente al mejoramiento, la democratización y la creciente calificación de los procesos de evaluación de la investigación académica en Humanidades y Ciencias Sociales en los sistemas nacionales (Argentina).

El documento expresa que:

constituye la antesala de un proceso complejo, de debate entre los colegas de diferentes instituciones. Los distintos aspectos involucrados en el mismo toman en cuenta cuestiones nodales que hacen al reconocimiento y valorización de la especificidad de las Humanidades y Ciencias Sociales y, en ese marco, a la necesidad de establecer criterios de evaluación pertinentes, públicos y conocidos con antelación por la comunidad científica (…). Las articulaciones entre la tarea de investigación, transferencia, divulgación y formación amerita un debate a fondo aún pendiente, reconociendo que se trata de quehaceres que condensan una actividad científica que nutre no solo a la comunidad de pares sino a la sociedad en su conjunto. La revisión de los criterios de evaluación supone un proceso que va más allá de formular técnicamente los instrumentos más convenientes, esto es, supone reflexionar sobre las perspectivas involucradas en la evaluación de la calidad científica. Su explicitación constituye aún una asignatura pendiente. Por otra parte, la definición de criterios adecuados teniendo en cuenta lo antes planteado amerita una reflexión no marginal acerca del sistema de evaluación global que involucra a toda la comunidad de pares y a quienes tienen responsabilidades en las diferentes instancias de evaluación”. Y respecto al tema de las publicaciones expresa que “la indexación de las publicaciones periódicas no puede ser el único criterio de validación de un texto académico ya que con esta operación sólo se evalúa el impacto numérico y la visibilidad internacional de la revista, no el contenido de los artículos. Es importante tener en cuenta que no puede utilizarse el factor de impacto y el índice H exclusivamente en los procesos de evaluación de la producción científica, no sólo por la escasa representatividad de las bases de datos que los producen, sino principalmente por la necesidad de evaluar la calidad del trabajo. Además, el proceso de indexación no es automático, hay buenas revistas no indexadas por desconocimiento del procedimiento y/o falta de interés por parte de sus editores (CIECEHCS, 2013).

En línea con estos argumentos, además de revisar los criterios actuales de evaluación en nuestro país es necesario pensar criterios de evaluación complementarios y/o alternativos, entre los cuales podemos mencionar las denominadas altmetrics o métricas alternativas. El término altmetrics fue propuesto por Jason Priem en un tweet publicado el 28 de septiembre de 2010[1]. Hoy por hoy, la expresión altmetrics (en inglés) o métricas alternativas (en español) es usada y aceptada amplia e indistintamente por la comunidad académica, incluida la bibliotecaria, para referirse a “la creación y el estudio de nuevas métricas basadas en la web social para el análisis de la información académica” (Priem, Taraborelli, Groth, & Neylon, 2010). En otras palabras, las altmetrics se consideran como los nuevos estándares alternativos para medir el impacto de la producción científica desde la perspectiva y difusión en la web 2.0. Algunos autores hablan de la función de éstas métricas como una forma de revisión por pares tras la publicación (Crotty, 2012).

Las altmetrics tienen sus antecedentes más próximos en la webmetría. La webmetría es el estudio de los aspectos cuantitativos de la construcción y uso de los recursos de información, estructuras y tecnologías de una parte concreta de Internet, por regla general a una web o portal, desde perspectivas bibliométricas e informétricas (Björneborn, 2004). Ambas, junto a otras disciplinas derivadas del campo de las ciencias de la información, como la bibliometría y la cienciometría, establecen pronósticos sobre las tendencias de la comunicación científica. La diferencia radica en que éstas últimas se encargan de analizar y evaluar diferentes aspectos de la ciencia desde su producción literaria, utilizando métodos establecidos, como por ejemplo, la citación del autor en diferentes publicaciones, el factor de impacto de la revista, la evolución y proyección de un campo determinado de acuerdo a los artículos escritos. Mientras tanto, las altmetrics surgen como una técnica distinta que evalúa el comportamiento de la literatura científica pero utilizando un método complementario como es la cantidad de veces que un artículo ha sido mencionado en las redes sociales.

En lo que a indicadores se refiere se puede establecer una diferenciación entre métricas a corto plazo, como los tweets o los “me gusta” y a largo plazo como el número de descargas de un artículo. Por otro lado, la naturaleza de estos indicadores es diversa y compleja, coexistiendo indicadores bibliométricos de autor, de uso, difusión, valoración y conectividad social (Orduña-Malea, E; Martín-Martín, A.; Delgado-López-Cózar, E., 2016)[2].

Respecto a los servicios creados para evaluar el impacto de los diferentes productos académicos en la web, los hay gratuitos, como la app de la Public Library of Science (PLoS)[3]; de código abierto, como las desarrolladas por el mundo académico, como ImpactStory[4]; y comerciales, como Plum Analytics o Altmetric.com[5] (si bien en el caso de esta última el servicio es gratuito para personas individuales).

En cuanto al uso concreto, son numerosas las editoriales científicas que están integrando en sus sitios web este tipo de servicios: Elsevier, IOP Publishing, Cambridge Journals Online, Frontiers, BioMed Central, Pensoft Publishers y HighWire, entre otras. También hay instituciones que han comenzado a utilizarlas, como por ejemplo la Universidad de Pittsburgh.

Entendiendo qué son, de dónde vienen y el uso que se hace de ellas hay que considerar cuales son las ventajas que ofrecen para los investigadores, entre las cuales podemos mencionar (Margolles, 2014):

Estimulan la divulgación científica: la presencia de estos sistemas de evaluación hace que los científicos se interesen más aún por comunicar adecuadamente y de forma abierta su trabajo al público no científico;

  • Rápido feedback: la web 2.0 facilita la instantaneidad y permite al científico averiguar en mucho menos tiempo en qué medida su trabajo es relevante. Twittear, comentar en un blog o recibir un comentario online es mucho más sencillo y veloz que publicar un artículo científico referenciado y esperar dos años a que lo publiquen;
  • Facilitan la revisión por pares: ante una revisión por pares no sólo debería tenerse en cuenta la información de un único revisor sino también aquella procedente de la masa de personas que podrían leer y comentar el artículo en internet mucho más rápidamente y con amplios puntos de vista;
  • Información exhaustiva: No solo tienen en cuenta las citas académicas de toda la vida sino también los nuevos medios de comunicación. Esto permite tener un mejor conocimiento sobre el impacto y relevancia de un documento científico en el mundo académico y social. Las altmetrics permiten conocer si algo se leyó, se comentó, se descargó, se puso como favoritos, se mencionó, se recomendó y proporcionan al científico una información con la que conseguir mejorar o redirigir su actual área de investigación;
  • Ajustadas al panorama tecnológico actual: el factor de impacto y el índice H fueron buenos sistemas. Sin embargo no responden bien ante el nuevo sistema social y tecnológico. Ya no hay un sólo nicho para la ciencia, el público general necesita de una vez por todas enterarse de qué hacen los científicos en sus laboratorios. Es por esta razón que se hace indispensable comenzar a medir la capacidad de un científico no sólo para hacer ciencia sino también para comunicarla adecuadamente. Para este fin, las altmetrics son una herramienta esencial;
  • Permiten encontrar colaboradores: en base al feedback obtenido, el investigador puede encontrar colaboradores adecuados mucho más rápido para llevar a cabo un determinado proyecto;
  • Permiten una evaluación basada en el contenido y no en el continente: se centran en el potencial de difusión de un documento y no sólo de la revista que lo contiene;
  • Facilitan el filtrado de la información: una mayor cantidad de indicadores cuantitativos elevados sobre el impacto de un paper está correlacionado con una mayor calidad o relevancia de la información contenida en él. Por esta razón, conocer qué documentos o materiales tienen mayor un impacto permite crear estudios de mayor calidad;
  • Potencian la innovación: las altmetrics permiten obtener información sobre el grado de evolución y el impacto social de un campo científico rápidamente estimulando así la innovación en aquellas áreas que mejores indicadores hayan obtenido;
  • Facilitan la toma de decisiones sobre financiación y promoción: es difícil tomar una decisión sólo en base a los datos proporcionados por las altmetrics, más aún teniendo en cuenta que están todavía en desarrollo. Sin embargo, proporcionan una excelente información para facilitar las tareas de resolución y promoción de científicos al tener una gran cantidad de datos sobre sus habilidades científico-técnicas y de comunicación.

Si bien las ventajas de las nuevas métricas parecen claras, lo cierto es que el hecho de hallarse todavía en una fase “beta” genera diversos interrogantes referidos tanto al significado como al valor real de las mismas. Las preocupaciones giran en torno a varias cuestiones:  la facilidad para manipular los indicadores; la necesidad de poder contextualizar las métricas así como la exigencia de establecer medios que permitan recoger, normalizar y visualizar los datos; el carácter evanescente, inherente tanto a las fuentes como a los propios indicadores (Fresco Santalla, 2014).

Declaración de San Francisco y el Manifiesto Leiden

Por último, me parece importante mencionar dos iniciativas relacionadas con el tema de la evaluación y las métricas alternativas. La primera es la Declaración de San Francisco sobre Evaluación de la Investigación (DORA, del inglés San Francisco Declaration on Research Assessment), que recoge una serie de recomendaciones dirigidas a agencias de financiamiento, instituciones académicas, revistas, y organizaciones que se dedican al análisis y medición de la literatura científica y de los investigadores. La misma fue redactada en diciembre de 2012, durante la Reunión Anual de la Sociedad Americana Celular en San Francisco (California), donde un grupo de directores y editores de revistas científicas acordaron que era necesario mejorar la forma en que se evalúan los resultados de la investigación científica.

La Declaración propone, por un lado, la necesidad de eliminar el uso de medidas basadas en las revistas, tales como el factor de impacto, a la hora de otorgar subsidios o considerar promociones. Además propone la necesidad de basar la evaluación en los propios méritos del investigador. Como recomendación general propone no utilizar técnicas basadas en revistas como una medida sustitutiva de la calidad de los artículos de investigación individuales cuando se quiera evaluar la producción de un investigador o asignar presupuestos. A los organismos de financiación los insta a ser explícitos acerca de los criterios utilizados para evaluar la producción científica y considerar el valor y el impacto que los resultados de la investigación producen en el medio en el que se desarrolla. A las instituciones les recomienda también claridad en los criterios que determinan la contratación, la tenencia y las decisiones de promoción, dando importancia al contenido científico de los artículos más que a las métricas de publicación o la identidad de la revista en la que fueron publicados. También destaca la necesidad de considerar el valor y el impacto de los resultados de investigación. Entre sus recomendaciones incluye las de carácter general como también algunas destinadas a organizaciones de financiamiento, organizaciones que proveen instrumentos de medición, editoriales e investigadores.

Dicha iniciativa tiene alcance mundial y abarca todas las disciplinas académicas. Cualquier investigador o institución puede firmar la declaración en el sitio web. Al día de hoy la Declaración ha conseguido 12.431 firmas individuales y 825 de instituciones[6].

Por otra parte, y en la misma dirección, en septiembre del 2014 en la “19 Conferencia Internacional de Indicadores de Ciencia y Tecnología” se originó el Manifiesto Leiden en el cual se declaran diez principios que deben ser aplicados a la hora de evaluar investigaciones científicas:

  1. La evaluación cuantitativa tiene que apoyar la valoración cualitativa por expertos.
  2. El desempeño debe ser medido de acuerdo con las misiones de investigación de la institución, grupo o investigador.
  3. La excelencia en investigación de relevancia local debe ser protegida.
  4. Los procesos de recopilación y análisis de datos deben ser abiertos, transparentes y simples.
  5. Los datos y análisis deben estar abiertos a verificación por los evaluados
  6. Las diferencias en las prácticas de publicación y citación entre campos científicos deben tenerse en cuenta.
  7. La evaluación individual de investigadores debe basarse en la valoración cualitativa de su portafolio de investigación.
  8. Debe evitarse la concreción improcedente y la falsa precisión.
  9. Deben reconocerse los efectos sistémicos de la evaluación y los indicadores.
  10. Los indicadores deben ser examinados y actualizados periódicamente.

Reflexiones

Quiero reflexionar aquí acerca de dos cuestiones. La primera, el rol del investigador y la denominada ciencia 2.0; y la segunda, la función de las agencias de investigación y promoción de la actividad científica y la urgencia de un cambio en los criterios de evaluación y el posible uso de métricas alternativas.

En primer lugar, teniendo en cuenta la actividad que realizan los investigadores en las diferentes fases del proceso de investigación científica considero que deberían incorporar entre sus tareas el diseño de un plan de comunicación de los resultados de sus investigaciones. Su trabajo no está acabado al terminar la investigación o al publicar esos resultados en un libro o un paper. La comunicación al mundo académico y a la sociedad, el intento de llegar a una mayor audiencia y lograr mayor impacto debería ser parte de la responsabilidad social de los investigadores. Sin embargo, muchos científicos consideran que esta es una tarea que le corresponde a la editorial o a la institución que publicó su investigación. Y es cierto, debería serlo, pero también es cierto que no hay como el interés del propio autor para difundir su obra, ya que su leitmotiv debería ser que ese producto sea visible y accesible a la mayor cantidad de público posible. Si ese interés no existe hay un serio problema en la motivación que lo lleva a investigar. La web social favorece este proceso de difusión y divulgación como nunca antes: los canales de comunicación que existen hoy posibilitados por las nuevas tecnologías son muchos y muy variados y abarcan no sólo la comunicación entre pares sino también a la comunidad en general. Si la producción científica de un investigador, de una institución o de un país no se ve, ¿cuál es el motivo de investigar?

En segundo lugar, me quiero referir al rol de las agencias de evaluación y promoción y los criterios que utilizan para la evaluación de los proyectos e investigadores. Me toca trabajar en el ámbito de las ciencias sociales y me cruzo cotidianamente con becarios e investigadores preocupados e incómodos por la forma en que se realizan estas evaluaciones: no solo los evaluados sino también los evaluadores. Ambos muestran preocupación y descontento con los criterios que se utilizan para evaluar. En los criterios de evaluación redactados por el CIECEHCS y también en la Resolución 2249/14 del CONICET[7] se declara que la indexación de las revistas en donde publican los investigadores no puede ser el único criterio de validación de un texto académico ya que con esta operación sólo se evalúa el impacto numérico y la visibilidad internacional de la revista, no el contenido de los artículos. También se propone descartar la utilización del factor de impacto y el índice H como método exclusivo en los procesos de evaluación de la producción científica, no sólo por la escasa representatividad de las bases de datos que los producen, sino principalmente por la necesidad de evaluar la calidad del trabajo. En este sentido, creo que hay un avance positivo en diferenciar los métodos de evaluación de las ciencias sociales y humanas de otros campos disciplinarios como pueden ser las ciencias exactas y naturales en donde existe cierto consenso entre los investigadores para el uso de dichas categorías en la evaluación.

Sin embargo, a pesar de estas declaraciones y recomendaciones, los modos de evaluación siguen siendo básicamente cuantitativos y poco transparentes. Realizar una evaluación cualitativa parece ser casi imposible y ésta parece ser la justificación perfecta con la que se termina o posterga cualquier discusión. Entonces, si se sigue pidiendo y predicando un cambio y hay un fuerte acuerdo en diferenciar a las ciencias sociales y humanas de otras disciplinas, ¿por qué este cambio no se concreta realmente? ¿Qué esperan los investigadores integrantes de las comisiones asesoras y de evaluación para oponerse firmemente a estos criterios? ¿Es justa la aplicación de una Resolución que jerarquiza las revistas por su inclusión en bases de datos y que beneficia a los artículos publicados en bases comerciales por sobre bases regionales o nacionales que favorecen el acceso abierto? ¿Es correcto beneficiar a los investigadores que publican en revistas internacionales prestigiosas por sobre quienes eligen revistas menos conocidas y locales pero de calidad y que ofrecen sus contenidos de forma libre y gratuita? ¿Vale más que un investigador publique muchos artículos sobre el mismo tema y poco originales pero en bases internacionales, o bien pocos artículos pero originales, curiosos, con perspectivas novedosas, que fueron publicados en revistas regionales?

Por último, y asociado a este último punto, es que introduje en este artículo la perspectiva de las métricas alternativas, que pueden ser utilizadas para evaluar la visibilidad y la repercusión de la investigación, no solo en la propia comunidad académica y entre pares, sino también en la sociedad en general. A su vez, toman en cuenta como objeto de evaluación a los investigadores y los productos creados por ellos (no solo los papers sino cualquier otro tipo de productos), y no a las revistas y el factor de impacto como en la tradicional bibliometría. Aunque los indicadores altmetrics tienen sus limitaciones, considero que son mecanismos de evaluación adaptados a la actual sociedad de la información, donde muchos de los datos que circulan en internet lo hacen a través de medios sociales como blogs, redes sociales generales y científicas, gestores bibliográficos y otras herramientas similares. Estos indicadores miden en tiempo real, tienen en cuenta no solo las citaciones académicas sino también aquellas realizadas en medios informales y no académicos y, por lo tanto, son más abarcativos. En este sentido, siempre me surge la misma pregunta: ¿qué vale más, un artículo publicado en una revista con factor de impacto o indexada en los sistemas de indexación internacionales más renombrados, pero sin citas ni menciones, o bien un artículo de divulgación publicado en un blog cuya repercusión fue tal que obtuvo varias citas, menciones y comentarios en las redes sociales?

El beneficio más notable de las métricas alternativas sin dudas es que miden el impacto individual (contenido) y no la revista que lo contiene (continente). Sin embargo, sus medidas, indicadores y plataformas son aún volátiles e inestables. La aplicación de estos indicadores y  métricas constituyen entonces un desafío para los próximos años, al mismo tiempo que se reclaman cambios urgentes en los procedimientos de evaluación: mayor claridad, mayor transparencia y criterios cualitativos que valoren la actividad de los investigadores.

Ojalá discusiones como éstas se instalen entre investigadores, evaluadores y agencias responsables de la promoción y evaluación científica. Entre todos tenemos la responsabilidad y el poder de modificar el actual esquema –bastante oscuro y perverso por cierto– y volverlo más justo para todos.

Referencias bibliográficas

Björneborn, L. (2004). Small-world link structures across an academic web space: a library and information science approach. Ph.D. Thesis. Copenhage: Department of Information Studies, Royal School of Library and Information Science. Disponible en: http://iva.ku.dk/ansatte/?pure=files%2F47039808%2Flennart_bjorneborn_phd.pdf

Castro Ponce, S. (2014). Conceptos básicos sobre Altmetrics. Disponible en: http://www.infotecarios.com/conceptos_basicos_sobre_altmetrics/

Comisión Interinstitucional de elaboración de criterios de evaluación para las humanidades y ciencias sociales (2013). Criterios de evaluación de la producción científica de las Humanidades y Ciencias Sociales. Disponible en: http://www.asaih.org/wp-content/uploads/2015/04/Documento-CIECEHCS-2014.pdf

Crotty, D (2012). Post-Publication Peer Review: What Value Do Usage-Based Metrics Offer? Disponible en: https://scholarlykitchen.sspnet.org/2012/04/19/post-publication-peer-review-what-value-do-usage-based-metrics-offer/

Fresco Santalla, A. M. (2013).  Edición y comunicación científica: evolución y tendencias actuales. (Tesis de Maestría, Universidad Carlos III de Madrid). http://eprints.rclis.org/24471/1/Scholarly_comm_and_publishing_Evolution_and_Trends_AFresco.pdf

INAECU (2014). ltmetría, influmetría… ¡Informetría! Disponible en: http://www.inaecu.com/altmetria-influmetria-informetria/

Leiden manifiesto for research metrics (2014). Disponible en: http://www.leidenmanifesto.org/

Margolles, P. (2014). Averigua si eres un científico de alto impacto con altmetrics. Disponible en: http://www.neoscientia.com/altmetrics/

Orduña-M,alea, E; Martín-Martín, A.; Delgado-López-Cózar, E. (2016). The next bibliometrics: ALMetrics (Author Level Metrics) and the multiple faces of author impact. El profesional de la información, v. 25, n. 3, pp. 485-496.

O’Reilly, T.(2005). What Is Web 2.0: Design Patterns and Business Models for the Next Generation of Software. O’Reilly [en línea]. Disponible en: http://www.oreilly.com/pub/a/web2/archive/what-is-web-20.html

Priem, J., Taraborelli, D., Groth, P. & Neylon, C. (2010), What’s altmetrics? Disponible en: http://altmetrics.org/about/

San Francisco Declaration on research assessment (2012). Disponible en: http://www.ascb.org/dora/

[1] El primer tweet donde se mencionó el término altmetrics: https://twitter.com/jasonpriem/status/25844968813?lang=es

[2] Una descripción detallada de cada uno de estos indicadores se puede encontrar en el artículo de Orduña-Malea, E; Martín-Martín, A. y Delgado-López-Cózar, E. (2016).

[3] Article Level Metrics de PLOS: https://plos.org/article-level-metrics

[4] ImpactStory: https://impactstory.org/

[5] Plum Analytics: http://plumanalytics.com/products/ y Altmetrics: https://www.altmetric.com/

[6] Sitio web de DORA: http://www.ascb.org/sign-the-declaration/

[7] Resolución 2249/2014. Ministerio de Ciencia, Tecnología e Innovación Productiva, CONICET. http://www.caicyt-conicet.gov.ar/wp-content/uploads/2014/07/CCSH_-RD-20140625-2249.pdf

[1] Licenciada en Bibliotecología y Documentación, Facultad de Humanidades, Universidad Nacional de Mar del Plata. Coordinadora del Centro de Documentación e Información del Instituto de Investigaciones Gino Germani, Facultad de Ciencias Sociales, UBA. Docente, en la Carrera de Bibliotecología, Instituto de Formación Técnica y Superior Nº 13 (GCBA) y tutora de la Especialización docente en Educación y TIC de Ministerio de Educación de la Nación. Miembro del Comité de Expertos en Repositorios Digitales (SNRD), Ministerio de Ciencia y Tecnología. Infotecaria. Coordina el Proyecto especial sobre comunicación científica y acceso abierto en el Instituto de Investigaciones Gino Germani (FSOC-UBA). e-mail: carolina_devolder@yahoo.com.ar