¿Qué dice la investigación
Johannes Bohannon publicó un estudio en los Archivos Internos de Medicina de la comparación de tres grupos de personas que hacen dieta:
- Grupo de control
- grupo bajo en carbohidratos
- grupo bajo en carbohidratos-más-de chocolate negro
Estos participantes se adhirieron a las dietas prescritas durante 21 semanas. Los investigadores indicaron que el grupo bajo en hidratos de carbono y el grupo bajo en carbohidratos-más-el chocolate perdieron más peso que el grupo de control.
Pero antes de empezar a comer chocolate, tenemos que tomar un bocado más profundamente en el estudio y pedir hasta una pequeña parte de las estadísticas.
¿Qué es el valor de p?
Muchas personas tienden a pasar por alto las secciones de resultados de los artículos de investigación, ya que están plagados de terminología estadística, tales como ” t (67) = 2.1, p < .05.” Pero hay una cosa importante en que la declaración estadística – la última pequeña parte con el p , que se llama el valor de p.
El valor p es simplemente la probabilidad de que no hay ningún efecto. Si este valor es pequeño (por ejemplo, menos del 5%), estamos diciendo que encontramos algo. Más exactamente, pero no gramaticalmente correcto, estamos diciendo, “Probablemente no tenemos nada”.
Los científicos son a menudo muy orgullosos de sus valores de p pequeños y verá frases como ” p = 0,00001.” Puede parecer un poco hacia atrás para decir que, probablemente, no tenemos nada, pero es la forma en que este tipo de pruebas trabajos. Es similar a decir, “inocente hasta que se demuestre lo contrario”, pero que puede resultar culpables si tenemos una probabilidad del 5% o menos de la inocencia.
“Cuando probamos durante muchos resultados diferentes, es como la celebración de muchos billetes de lotería. Existe la posibilidad de que encontraremos un hallazgo significativo que no es real (un falso positivo). Es una de las limitaciones de este tipo de pruebas en que estamos haciendo una suposición basada en la probabilidad “.
Pero cuanto más se prueba, es más probable que vamos a tener un bajo valor de p o un efecto significativo. Es como tener un billete de lotería. Si sólo tengo una, tengo una muy baja probabilidad de ganar. Si usted tiene sesenta billetes de lotería, las probabilidades de ganar son mucho mejor que la mía. Cuando se prueba para muchos resultados diferentes, es como la celebración de muchos billetes de lotería. Existe la posibilidad de que encontraremos un hallazgo significativo que no es real (un falso positivo). Es una de las limitaciones de este tipo de pruebas en el que estamos haciendo una suposición basada en la probabilidad.
El investigador del artículo chocolate de la prueba de un gran número de efectos (en muchos puntos de tiempo). Es decir, que estaba conteniendo cientos de billetes de lotería y fue obligado a encontrar algo significativo. Para ponerlo en términos del valor p, si tengo un centenar de pruebas, en promedio, cinco saldría significativa (es decir, donde el 5% proviene). Por lo tanto, los tres o cuatro efectos que mencionan en el artículo podrían ser falsos positivos.
El investigador en este caso fue la celebración de cientos de billetes de lotería, lo que se vio obligado a encontrar algo significativo.
Número de participantes
Una de las primeras cosas que los métodos de investigación jóvenes estudiantes captura es cuando un estudio tiene una pequeña muestra. Las muestras pequeñas no son intrínsecamente mala. Sin embargo, no son tan precisos como muestras grandes.
En una pequeña muestra, podríamos encontrar a la persona extraña que es bastante diferente de todos los demás. Que una persona puede alterar los resultados (pensar acerca de la persona en su gimnasio que sobresale en todo enseguida). En una muestra grande, usted tiene una mayor posibilidad de equilibrar los extremos. Por lo tanto, las estimaciones podrían ser más precisos.
“Las muestras pequeñas no son intrínsecamente mala. Sin embargo, no son tan precisos como muestras grandes.”
El estudio chocolate tiene muchos problemas métodos estadísticos que son demasiado densos para este artículo. Pero una es que no mencionan el tamaño de la muestra en cualquier parte del papel. Podemos diseñar su tamaño de la muestra hacia atrás al ver los valores de p y el tipo de prueba que se utilizan. De mis estimaciones, no había más de veinte personas en este estudio (dependiendo de la forma en que los dividieron en los tres grupos).
De este modo, una persona podría haber estado conduciendo los resultados cuando el grupo de chocolate mejoró (de nuevo, imaginar a la persona en el gimnasio que se destaca no importa lo que el ejercicio que hacen). Si, por otra parte, estos resultados son verdaderas, entonces se verá el efecto de chocolate cuando otro investigador hace otro estudio.
El autismo y las vacunas
Podemos ver algo de ciencia similar en el informe de 1998 en The Lancet que las vacunas MMR estaban relacionados con la incidencia del autismo . Este estudio sólo tenía doce participantes y esta correlación entre los dos no puede ser replicado en estudios más amplios (por otra parte, el documento original fue redactada como las principales investigaciones falsificado datos). Sin embargo, este falso positivo lleva a muchos padres que se evite vacunar a sus hijos.
Desafortunadamente, el reciente estudio en realidad no hacen un caso sonido para el consumo diario de chocolate.
Revistas-pagar para jugar
La publicación de la investigación es la moneda que paga las cuentas en el ámbito académico. Tener más publicaciones conduce a un investigador estar más arriba en la cadena alimentaria en un departamento académico. Por lo tanto, muchos “revistas” Ejecutar como un negocio donde la gente paga para publicar.
Estas revistas son a menudo utilizados por las universidades en línea marginales que intentan ganar credibilidad. Esto contrasta con las revistas de primer nivel, donde a menudo hay una tasa de rechazo del 99%, y puede tomar meses (o años) para recibir una respuesta de vuelta en un manuscrito enviado a medida que avanza a través de múltiples colaboradores. Tras el examen, podemos ver que el estudio de chocolate fue publicado en una revista de acceso abierto que los cargos por manuscrito (I intentó enviar en manuscrito y se le ofreció el método de prepago para 600 €).
“Los editores y revisores están ahí para ser los guardianes que custodiaban la ciencia. Si no tenemos estas medidas de seguridad, artículos científicos y luego muchos más marginales pueden ser puestos en libertad.”
No culpo a los diarios por tener un modelo de negocio. Sin embargo, con este tipo de modelo de negocio, que a menudo renuncian a los rigores de las revistas científicas más selectivos. Todos mis manuscritos han pasado por un proceso de revisión dura de evaluadores y editores. Este proceso hace cada artículo mucho más científicamente sólida.
Editores y revisores están ahí para ser los guardianes que custodiaban la ciencia. Si no tenemos estas medidas de seguridad, a continuación, muchos artículos científicos más marginales pueden ser puestos en libertad. El estudio de chocolate falta muchas descripciones de las teclas, lo cual no habría dejado que pase si fuera un revisor. Dudo que el artículo fue revisado, incluso antes de ser publicados.
El estudio de chocolate y la pérdida de peso ya se ha retraído.
Recoge todas las piezas del rompecabezas
El estudio de chocolate y la pérdida de peso ya se ha retraído. Los resultados de este estudio son sospechosos debido a las razones mencionadas anteriormente, pero, por supuesto, la retracción conduce a más sospechas (J. Bohannon es un periodista que ha escrito extensamente sobre el sesgo de los medios de comunicación de la información científica y que podría haber sido arrastrado por esa razón) .
Las imágenes de este artículo, tomadas de las principales revistas de fitness, son ejemplos de cómo estos artículos “de investigación”, publicado pueden ser tomadas y difundidas sin un ojo crítico. El artículo de chocolate es sólo un ejemplo, pero sin mirar demasiado, podríamos encontrar muchos más que hacen afirmaciones extravagantes que resultan no ser tan espectacular cuando se revisa la investigación original. Mi sugerencia es tomar cada titular con escepticismo, y luego ir y comprobar la investigación original.
“Tomo cada título con un poco de escepticismo. Pienso en ellos como una sola pieza del rompecabezas. Tengo que recoger muchos más antes de que pueda tomar una decisión informada.”
A veces es fácil de tirar las manos en el aire y renunciar cuando se enfrentan a todos los titulares contradictorios. Tomo cada título con un poco de escepticismo. Pienso en ellos como una sola pieza del rompecabezas. Tengo que recoger muchos más antes de que pueda tomar una decisión informada. Si recolecto varias piezas del rompecabezas (estudios de investigación) que convergen en un solo punto, entonces me siento más confianza en los resultados.
No quiero para descontar todos los resultados de este estudio chocolate. Sin embargo, me gustaría ver estudios similares que muestran resultados similares. Por otra parte, tenemos que ver cómo estas piezas encajan con otras piezas. ¿Tiene el chocolate sólo funcionan en combinación con una dieta baja en carbohidratos o funciona con otras combinaciones?Tenemos que ver muchas más piezas del rompecabezas antes de tomar una decisión.