Hypothesis Testing, Experiments, and Predictions

 Hypothesis Testing, Experiments, and Predictions

Knowledge is expanded when we can verify or falsify a hypothesis. That’s because the experimental tests are constructed in such a way that the hypothesis is likely to be a widely applicable explanation of certain facts, rather than an isolated case. This sort of experiment is controlled, which means that the experimental setups differ by only one variable (see Mill’s method of difference). The experimental group is the one that gets the variable, while the control group does not.

Causal claims that result from experiments should reflect five criteria:

1.     There should be a correlation between cause and effect.

2.     The cause should not precede the effect.

3.     The cause should be in the proximity of the effect.

4.     A set of necessary and sufficient conditions should exist.

5.     Alternative explanations should be ruled out.

 

Now read the The Fallacy of Assigning Null Hypothesis and the article “FDA vs. Hydroxychloroquine” below

 

 

The Fallacy of Assigning Null Hypothesis

 

Criminal-court example. A good example that demonstrates the importance and complexity of the choice of the null and alternative hypotheses is the criminal court cases: The defendant is assumed not guilty unless proven otherwise beyond a reasonable doubt. This is the well-known “presumed innocence.” In the language of hypothesis testing, the “not guilty” hypothesis should be the null and the “guilty” hypothesis should be the alternative. That is mainly because the mistake of convicting an innocent person (type I error) is usually considered more serious than setting a criminal free (type II error).2 “Beyond a reasonable doubt” can be formulated as “type I error probability cannot exceed a small threshold,” although this threshold may have been set so small that type II error (setting criminals free) probability is too large.

 

 

 

 

 

 

 

FDA vs. Hydroxychloroquine

If you use hydroxychloroquine to treat people with COVID-19 you put them at increased risk of “serious heart rhythm problems and other safety issues, including blood and lymph system disorders, kidney injuries, and liver problems and failure.”

Not only is this drug unlikely to kill or inhibit the virus, it will not decrease “the likelihood of death” nor will it will is speed up recovery.

How ever it should be noted that a recent study from the Journal of Infectious Diseases (I’ll call it the “hydroxychloroquine study”) reported

“…from admission (into the hospital) to receipt of hydroxychloroquine was 1 day (1–2). Overall crude mortality rates were 18.1% in the entire cohort, 13.5% in the hydroxychloroquine alone group, 20.1% among those receiving hydroxychloroquine + azithromycin (azithromycin was possibly used for ensuing pneumatic issues), 22.4% among the azithromycin alone group, and 26.4% for neither drug.”

 

 

 

 

 

Others studies have shown no statistically significant results. The authors or this study argue that

“In contrast, in our patient population, 82% received hydroxychloroquine within the first 24 h of admission, and 91% within 48 h of admission. Because treatment regimens likely varied substantially (including delayed initiation) across the 25 hospitals that contributed patients to the study, it is not surprising that the case-fatality rate among the New York patients was significantly higher than in our study.”

Having quoted this it should be stated that their are problems in this study. According to some researchers calling out possible bias in the previous quote;

“This statement neglects the extensive statistical adjustment for between-facility variation in our publication, the generalizability benefit of including 25 hospitals into the cohort with differing therapeutic protocols and approaches, and it misrepresents the fatality rate in our study. We reported 20.3% (95% CI: [18.2–22.4%]) fatality from 292 deaths in 1,438 patients, whereas Arshad et al. report 18.1% from 460 deaths in 2541 patients in a later era of the COVID-19 epidemic. We fail to find a difference between these studies’ fatality rates both practically and statistically….We underscore the concerns raised that bias may have been introduced into the study’s design by reserving the combination of hydroxychloroquine and azithromycin for patients with “minimal cardiac risk factors.””

The researchers from the hydroxychloroquine study intentionally gave drugs to those who they thought they could save to make their numbers look hire and the patients were also given a steroidal treatment. its questionable how much the hydroxychloroquine actually did.

Also remember that the hospitals, all 25 of them, probably had different treatments that the hydroxychloroquine study didn’t account for.

What’s interesting is that most of the people in this study are in the high risk group. (Of course they test us when we are at our most vulnerable. Having said that, people more likely to die in this study were older white people.). I’d caution anybody arguing for this as a cure. Remember that patients were given a dose that wasn’t supposed to explode their heart, and they were in a hospital setting and not the Walgreens flu drug aisle. They were given the drug early and I still wonder about the severity of those particular cases (If they would have recovered with hospital care alone.) Also, they were probably being watched more closely, which probably also increased their chances of recovery. This study was done under very specific circumstances, it was obviously biased and one cannot disregard the other studies that contradict it.

To put it bluntly ‘it’s a bad study.’

 







Consider the Criminal-court example. Then answer both questions

 

1.     The lynching of Jesse Washington[1]. In 1916 Jesse Washington was lynched  mutilated and set a blaze. Jesse, a black man, plead guilty to the rape and murder of Lucy Fryer, a white woman. After the trial, in Waco Texas, he was lynched by a mob. Their were problems with Jesse’s testimony. Jesse suffered from possibile intellectual disabilities, plus he was illiterate, and its very likely that the murder weapon was planted. Because the evidence was weak it seems like the jury commited a type I error.

Considering the example above - is it better to let three guilty people go free or to kill, or imprison, one innocent person? - Don't think of it in terms of "we know this person did this crime" but it is likely that they could have. I think if you think about it in these terms it might make you more amenable to this concept. Again I don't like letting someone go for a possible crime, but it’s better than arresting someone else for a possible crime. Imagine if you are a police officer, you have some weak evidence that someone did a crime do you gather more evidence or do you arrest them? I think this may be a better question.

If you arrest them you risk locking up an innocent person, but there is a chance that they may be guilty. If you collect more evidence this could go either way, but let’s say that you don't have a lot of time, you don't have enough time to get more evidence. Do you arrest them?

2.     Give the mixed results from trials with Hydrochlorquine should we risk a type one error by advertising it as a cure?



























Pruebas de hipótesis, experimentos y predicciones

El conocimiento se amplía cuando podemos verificar o falsear una hipótesis. Esto se debe a que las pruebas experimentales se construyen de tal manera que es probable que la hipótesis sea una explicación ampliamente aplicable de ciertos hechos, en lugar de un caso aislado. Este tipo de experimento es controlado , lo que significa que las configuraciones experimentales difieren en una sola variable (ver el método de diferencia de Mill). El grupo experimental es el que obtiene la variable, mientras que el grupo control no.

Las afirmaciones causales que resultan de los experimentos deben reflejar cinco criterios:

1.     Debe haber una correlación entre causa y efecto.

2.     La causa no debe preceder al efecto.

3.     La causa debe estar en la proximidad del efecto.

4.     Debe existir un conjunto de condiciones necesarias y suficientes.

5.     Deben descartarse explicaciones alternativas.

 

Ahora lee el La falacia de asignar hipótesis nulas y el artículo "FDA vs. hidroxicloroquina" a continuación

 

 

La falacia de asignar hipótesis nulas

 

Ejemplo de la corte penal. Un buen ejemplo que demuestra la importancia y complejidad de la elección de las hipótesis nula y alternativa son los casos judiciales penales: Se presume que el acusado no es culpable a menos que se demuestre lo contrario más allá de una duda razonable. Esta es la conocida “presunción de inocencia”. En el lenguaje de la prueba de hipótesis, la hipótesis de "no culpable" debe ser nula y la hipótesis de "culpable" debe ser la alternativa. Esto se debe principalmente a que el error de condenar a una persona inocente (error de tipo I) generalmente se considera más grave que dejar en libertad a un criminal (error de tipo II).2 “Más allá de una duda razonable” se puede formular como “la probabilidad de error de tipo I no puede exceder un umbral pequeño”, aunque este umbral puede haber sido establecido tan pequeño que la probabilidad de error de tipo II (liberar a los delincuentes) es demasiado grande.

 

 

 

 

 

 

 

FDA frente a hidroxicloroquina

Si usa hidroxicloroquina para tratar a personas con COVID-19, las pone en mayor riesgo de "problemas graves del ritmo cardíaco y otros problemas de seguridad, incluidos trastornos de la sangre y del sistema linfático, lesiones renales y problemas e insuficiencias hepáticas".

No solo es poco probable que este medicamento elimine o inhiba el virus, sino que no disminuirá "la probabilidad de muerte" ni acelerará la recuperación.

Sin embargo, debe tenerse en cuenta que un estudio reciente del Journal of Infectious Diseases (lo llamaré el "estudio de la hidroxicloroquina") informó

“…desde la admisión (en el hospital) hasta la recepción de hidroxicloroquina fue de 1 día (1–2). Las tasas brutas generales de mortalidad fueron del 18,1 % en toda la cohorte, del 13,5 % en el grupo de hidroxicloroquina sola, del 20,1 % entre los que recibieron hidroxicloroquina + azitromicina (posiblemente se usó azitromicina para los problemas neumáticos subsiguientes), del 22,4 % en el grupo de azitromicina sola y del 26,4 % para ninguna droga.”

 

 

 

 

 

Otros estudios no han mostrado resultados estadísticamente significativos. Los autores de este estudio argumentan que

“Por el contrario, en nuestra población de pacientes, el 82 % recibió hidroxicloroquina dentro de las primeras 24 h de ingreso y el 91 % dentro de las 48 h de ingreso. Debido a que los regímenes de tratamiento probablemente variaron sustancialmente (incluido el retraso en el inicio) en los 25 hospitales que aportaron pacientes al estudio, no sorprende que la tasa de letalidad entre los pacientes de Nueva York fuera significativamente más alta que en nuestro estudio”.

Habiendo citado esto, debe señalarse que hay problemas en este estudio. Según algunos investigadores que mencionan un posible sesgo en la cita anterior;

“Esta declaración ignora el amplio ajuste estadístico para la variación entre centros en nuestra publicación, el beneficio de generalización de incluir 25 hospitales en la cohorte con diferentes protocolos y enfoques terapéuticos, y tergiversa la tasa de mortalidad en nuestro estudio. Informamos una mortalidad del 20,3 % (IC del 95 %: [18,2–22,4 %]) de 292 muertes en 1438 pacientes, mientras que Arshad et al. informan el 18,1% de 460 muertes en 2541 pacientes en una era posterior de la epidemia de COVID-19. No logramos encontrar una diferencia entre las tasas de mortalidad de estos estudios, tanto práctica como estadísticamente... Subrayamos las preocupaciones planteadas de que se puede haber introducido un sesgo en el diseño del estudio al reservar la combinación de hidroxicloroquina y azitromicina para pacientes con " factores de riesgo cardíaco mínimo". ””

Los investigadores del estudio de la hidroxicloroquina dieron intencionalmente medicamentos a aquellos que pensaban que podían salvar para que sus números parecieran rentables y los pacientes también recibieron un tratamiento con esteroides. es cuestionable cuánto hizo realmente la hidroxicloroquina.

Recuerde también que los hospitales, los 25, probablemente tenían diferentes tratamientos que el estudio de hidroxicloroquina no tuvo en cuenta.

Lo interesante es que la mayoría de las personas en este estudio están en el grupo de alto riesgo. (Por supuesto, nos evalúan cuando estamos en nuestro punto más vulnerable. Habiendo dicho eso, las personas con más probabilidades de morir en este estudio eran personas blancas mayores). Le advierto a cualquiera que defienda esto como una cura. Recuerde que a los pacientes se les administró una dosis que se suponía que no les explotaría el corazón, y estaban en un entorno hospitalario y no en el pasillo de medicamentos contra la gripe de Walgreens. Se les administró el medicamento temprano y todavía me pregunto acerca de la gravedad de esos casos en particular (si se hubieran recuperado solo con atención hospitalaria). Además, probablemente estaban siendo observados más de cerca, lo que probablemente también aumentó sus posibilidades de recuperación. Este estudio se realizó en circunstancias muy específicas, obviamente fue sesgado y no se pueden ignorar los otros estudios que lo contradicen.

Para decirlo sin rodeos, "es un mal estudio".

 



 

Considere el ejemplo de la corte penal. Luego responde ambas preguntas

 

1.     El linchamiento de Jesse Washington [1]. En 1916 , Jesse Washington fue linchado, mutilado e incendiado. Jesse, un hombre negro, se declara culpable de la violación y asesinato de Lucy Fryer, una mujer blanca. Después del juicio, en Waco Texas, fue linchado por una turba. Hubo problemas con el testimonio de Jesse. Jesse sufría de posibles discapacidades intelectuales, además de que era analfabeto, y es muy probable que se plantara el arma homicida. Debido a que la evidencia fue débil, parece que el jurado cometió un error tipo I.

Teniendo en cuenta el ejemplo anterior, ¿es mejor dejar en libertad a tres personas culpables o matar o encarcelar a una persona inocente? - No lo piense en términos de "sabemos que esta persona cometió este delito", pero es probable que lo haya hecho. Creo que si lo piensas en estos términos, podría hacerte más receptivo a este concepto. Una vez más, no me gusta dejar ir a alguien por un posible delito, pero es mejor que arrestar a otra persona por un posible delito. Imagínese si usted es un oficial de policía, tiene alguna evidencia débil de que alguien cometió un delito. ¿Reúne más evidencia o lo arresta? Creo que esta puede ser una mejor pregunta.

Si los arresta, corre el riesgo de encerrar a una persona inocente, pero existe la posibilidad de que sea culpable. Si recopila más evidencia, esto podría ir en cualquier dirección, pero digamos que no tiene mucho tiempo, no tiene tiempo suficiente para obtener más evidencia. ¿Los arrestas?

2.     Dé los resultados mixtos de los ensayos con hidrocloroquina, ¿debemos arriesgarnos a cometer un error de tipo uno al anunciarlo como una cura?





























Tests d'hypothèses, expériences et prédictions

La connaissance est élargie lorsque nous pouvons vérifier ou réfuter une hypothèse. C'est parce que les tests expérimentaux sont construits de telle manière que l'hypothèse est susceptible d'être une explication largement applicable de certains faits, plutôt qu'un cas isolé. Ce type d'expérience est contrôlé , ce qui signifie que les montages expérimentaux ne diffèrent que d'une seule variable (voir la méthode de différence de Mill). Le groupe expérimental est celui qui obtient la variable, tandis que le groupe témoin ne l'obtient pas.

Les affirmations causales résultant d'expériences doivent refléter cinq critères :

1.     Il devrait y avoir une corrélation entre la cause et l'effet.

2.     La cause ne doit pas précéder l'effet.

3.     La cause doit être à proximité de l'effet.

4.     Un ensemble de conditions nécessaires et suffisantes doit exister.

5.     Les explications alternatives doivent être exclues.

 

Lisez maintenant le Le sophisme de l'attribution d'une hypothèse nulle et l'article "FDA vs. Hydroxychloroquine" ci-dessous

 

 

L'erreur d'attribuer une hypothèse nulle

 

Exemple de cour criminelle. Un bon exemple qui démontre l'importance et la complexité du choix des hypothèses nulles et alternatives est celui des affaires pénales : le prévenu est présumé non coupable sauf preuve contraire hors de tout doute raisonnable. C'est la fameuse "présomption d'innocence". Dans le langage des tests d'hypothèses, l'hypothèse « non coupable » devrait être nulle et l'hypothèse « coupable » devrait être l'alternative. C'est principalement parce que l'erreur consistant à condamner une personne innocente (erreur de type I) est généralement considérée comme plus grave que la mise en liberté d'un criminel (erreur de type II)2. un petit seuil », bien que ce seuil ait été fixé si bas que la probabilité d'erreur de type II (libération des criminels) est trop grande.

 

 

 

 

 

 

 

FDA contre hydroxychloroquine

Si vous utilisez de l'hydroxychloroquine pour traiter les personnes atteintes de COVID-19, vous les exposez à un risque accru de "problèmes graves de rythme cardiaque et d'autres problèmes de sécurité, notamment des troubles du système sanguin et lymphatique, des lésions rénales et des problèmes et insuffisances hépatiques".

Non seulement il est peu probable que ce médicament tue ou inhibe le virus, mais il ne diminuera pas «la probabilité de décès» et n'accélérera pas non plus la guérison.

Cependant, il convient de noter qu'une étude récente du Journal of Infectious Diseases (je l'appellerai "l'étude sur l'hydroxychloroquine") rapporte

"... de l'admission (à l'hôpital) à la réception de l'hydroxychloroquine était de 1 jour (1-2). Les taux de mortalité bruts globaux étaient de 18,1 % dans l'ensemble de la cohorte, de 13,5 % dans le groupe hydroxychloroquine seule, de 20,1 % parmi ceux recevant de l'hydroxychloroquine + azithromycine (l'azithromycine a peut-être été utilisée pour des problèmes pneumatiques consécutifs), de 22,4 % dans le groupe azithromycine seule et de 26,4 % pour aucun médicament.

 

 

 

 

 

D'autres études n'ont montré aucun résultat statistiquement significatif. Les auteurs de cette étude soutiennent que

"En revanche, dans notre population de patients, 82 % ont reçu de l'hydroxychloroquine dans les 24 premières heures suivant l'admission et 91 % dans les 48 heures suivant l'admission. Étant donné que les schémas thérapeutiques variaient probablement considérablement (y compris l'initiation retardée) dans les 25 hôpitaux qui ont fourni des patients à l'étude, il n'est pas surprenant que le taux de létalité chez les patients de New York ait été significativement plus élevé que dans notre étude.

Après avoir cité cela, il convient de préciser qu'il y a des problèmes dans cette étude. Selon certains chercheurs, dénonçant un éventuel biais dans la citation précédente;

«Cette déclaration néglige l'ajustement statistique étendu pour la variation entre les établissements dans notre publication, l'avantage de généralisation de l'inclusion de 25 hôpitaux dans la cohorte avec des protocoles et des approches thérapeutiques différents, et elle déforme le taux de mortalité dans notre étude. Nous avons rapporté 20,3 % (IC à 95 % : [18,2–22,4 %]) de décès sur 292 décès chez 1 438 patients, alors qu'Arshad et al. signalent 18,1% de 460 décès chez 2541 patients à une époque ultérieure de l'épidémie de COVID-19. Nous ne parvenons pas à trouver de différence entre les taux de mortalité de ces études, tant sur le plan pratique que statistique… Nous soulignons les préoccupations soulevées selon lesquelles un biais pourrait avoir été introduit dans la conception de l'étude en réservant la combinaison d'hydroxychloroquine et d'azithromycine aux patients présentant des « facteurs de risque cardiaque minimaux ». ””

Les chercheurs de l'étude sur l'hydroxychloroquine ont intentionnellement donné des médicaments à ceux qu'ils pensaient pouvoir économiser pour faire paraître leur nombre embauché et les patients ont également reçu un traitement stéroïdien. on peut se demander combien l'hydroxychloroquine a réellement fait.

Rappelez-vous également que les hôpitaux, tous les 25, avaient probablement des traitements différents que l'étude sur l'hydroxychloroquine n'a pas pris en compte.

Ce qui est intéressant, c'est que la plupart des personnes de cette étude appartiennent au groupe à haut risque. (Bien sûr, ils nous testent lorsque nous sommes les plus vulnérables. Cela dit, les personnes les plus susceptibles de mourir dans cette étude étaient les personnes blanches âgées.). Je mettrais en garde quiconque prétendant que cela est un remède. N'oubliez pas que les patients ont reçu une dose qui n'était pas censée faire exploser leur cœur, et qu'ils se trouvaient dans un hôpital et non dans l'allée des médicaments contre la grippe Walgreens. Ils ont reçu le médicament tôt et je m'interroge encore sur la gravité de ces cas particuliers (s'ils se seraient rétablis avec des soins hospitaliers seuls.) De plus, ils étaient probablement surveillés de plus près, ce qui a probablement aussi augmenté leurs chances de guérison. Cette étude a été faite dans des circonstances très particulières, elle était évidemment biaisée et on ne peut ignorer les autres études qui la contredisent.

Pour le dire franchement, "c'est une mauvaise étude".

 


 

Prenons l' exemple du tribunal pénal. Répondez ensuite aux deux questions

 

1.     Le lynchage de Jesse Washington [1]. En 1916 , Jesse Washington a été lynché, mutilé et incendié. Jesse, un homme noir, a plaidé coupable du viol et du meurtre de Lucy Fryer, une femme blanche. Après le procès, à Waco au Texas, il a été lynché par une foule. Ils avaient des problèmes avec le témoignage de Jesse. Jesse souffrait de déficiences intellectuelles possibles, en plus il était analphabète, et il est très probable que l'arme du crime ait été plantée. Parce que la preuve était faible, il semble que le jury ait commis une erreur de type I.

Considérant l'exemple ci-dessus - est-il préférable de laisser trois coupables en liberté ou de tuer ou d'emprisonner un innocent ? - N'y pensez pas en termes de "nous savons que cette personne a commis ce crime", mais il est probable qu'elle aurait pu le faire. Je pense que si vous y réfléchissez en ces termes, cela pourrait vous rendre plus réceptif à ce concept. Encore une fois, je n'aime pas laisser partir quelqu'un pour un crime possible, mais c'est mieux que d'arrêter quelqu'un d'autre pour un crime possible. Imaginez si vous êtes un officier de police, vous avez des preuves faibles que quelqu'un a commis un crime, rassemblez-vous plus de preuves ou les arrêtez-vous ? Je pense que cela peut être une meilleure question.

Si vous les arrêtez, vous risquez d'enfermer une personne innocente, mais il y a une chance qu'elle soit coupable. Si vous collectez plus de preuves, cela pourrait aller dans les deux sens, mais disons que vous n'avez pas beaucoup de temps, vous n'avez pas assez de temps pour obtenir plus de preuves. Les arrêtez-vous ?

2.     Donner les résultats mitigés des essais avec l'hydrochlorquine devrions-nous risquer une erreur de type 1 en l'annonçant comme un remède ?



Comments