对化学预测因子不可复制性的修改

内容

详细的反驳
我们对Potti-Nevins的回复(KAB, KRC;2007年11月13日)。
最初的反驳
我们对Potti-Nevins的回复(KRC;2007年11月8日)。
信件发表
我们的通信出现了，同时还有Potti和Nevins的回复(KRC;2007年11月7日)。
检查修改过的基因列表
作为对之前交流的回应，Potti和Nevins发布了修改后的基因列表，但仍然是错误的(KAB;2007年8月25日)。

杜克大学网页被删除

2009年11月16日(KRC)

正如一位记者所指出的，杜克大学支持他们在《自然医学》发表的关于化学反应的论文的网站已经消失了;试图连接到http://data.cgt.duke.edu/NatureMedicine.php产生一个“403 Forbidden”响应。同一名记者指出，你仍然可以在以下url之一获得旧版本:

详细的反驳

张贴于2007年11月13日(KAB, KRC)

正如我们在2007年11月7日的文章中所承诺的，我们现在已经检查了一些新的数据杜克大学网站的自然医学论文由Potti等人。我们准备了概述我们的新发现，用来介绍其他用Sweave编写的报告。下面是一个简短的总结。

  1. 我们不会利用他们的数据和细胞系复制他们的结果;我们在Chang乳腺癌测试中只有17/24的正确率，而不是他们报告的22/24。
  2. 这种差异的部分原因是Potti等人在标记细胞系为敏感或耐药时所犯的错误。具体地说:
    1. 为训练数据提供的敏感/耐药标签与Potti等人在他们的“预测器生成过程描述。doc”中提供的标签相反，因此他们的预测将被逆转。
    2. 敏感/耐药标签被打乱以获取测试数据，在进行任何处理之前，24个样品中有10个贴错了标签。
    3. 漏写了Chang测试的一个样品GSM4914。
    4. Chang的一个测试样品GSM4910包含了两次，一次标记为耐药，一次标记为敏感。
  3. 阿霉素试剂盒样品的标签也混淆了。具体地说:
    1. 122个验证样本并非都是不同的;只有84个数据列是惟一的。
    2. 有些样本被使用了2、3或4次。
    3. 此外，一些多次使用的样品被标记为两种方式——一个样品存在4次，标记NR 3次，响应1次。

最初的反驳

2007年11月8日张贴(KRC)

的体积自然医学我们的通信被发表的地方有波蒂和内文斯的回复。毫不奇怪，我们不同意他们的几个断言。在这里，我们逐点进行反驳。

  1. Potti和Nevins说"我们已在网页(http://data.cgt.duke.edu/NatureMedicine.php)．＂

    我们感谢他们现在提供的额外细节。然而，这一描述并不是《自然医学》发表的原始文章(或补充文章)的一部分。这也不符合已发表的方法的声明，即他们使用GI50值作为灵敏度或电阻的主要测量。如我们所述，原始出版物中使用的敏感和耐药细胞系的GI50值重叠(补充报告3)，这仍然让人质疑他们是否属于最敏感和最具抵抗力的人群。此外，他们在新网页上提供的taxtotere例子包括一个脚注，指出他们任意排除了COLO 205细胞系，这是迄今为止对taxotere最敏感的细胞系。这一事实无法从原始论文中确定。

  2. Potti和Nevins说"因为Coombes等人并没有精确地遵循这些方法……，他们做出了与我们的程序不一致的假设。＂

    这种说法是误导性的。正如我们的补充报告所显示的，我们试图用我们认为最敏感和最耐药的细胞系以及他们在报告分析中使用的细胞系来重现他们分析中的所有其余步骤。

  3. 在他们的回应中，Potti和Nevins承认了一个偏差的错误，并表示“另外的错误是由于我们在组装基因列表时所犯的错误造成的。＂

    我们只是注意,他们的反应并没有明确解决的点(4)发表评论:14的基因,为泰索帝并不是由自己的软件签名都被张等人直接从论文,描述了波提乳腺癌所使用的测试集和奈文斯。

  4. Potti和Nevins继续说此外，从鉴别应答者和非应答者的验证数据中没有偶然的基因包含，这不能解释产生“优于偶然”预测的原因。＂

    我们支持我们的分析:使用他们自己的软件，对他们使用的细胞系训练集和Chang乳腺癌数据测试集的组合数据进行分析，得出的模型预测的结果并不比运气好。我们的代码仍然可以检查;他们只提供了相反的未经证实的主张。

  5. Potti和Nevins说"这些错误不会影响我们研究的主要结果，因为模型是由训练集定义的，而不是由基因列表定义的。＂

    这句话回避了两个重要问题。首先，正如我们在第15页指出的补充报告9在美国，其他神秘出现在他们名单上的基因是唯一在他们的出版物中被点名的基因，这是相信这些签名有意义的生物学理由的一部分。第二，正如我们在信中所讨论的(并在下面继续讨论)，他们的模型使用来自测试集和训练集的数据。

  6. Potti和Nevins声称，他们在联合训练和测试集上使用SVD构建元基因的方法是“完全合适的＂．

    很明显，我们在最基本的层面上存在分歧。Potti和Nevins隐式地承认，当您组合训练数据和测试数据时得到的模型与仅使用训练数据得到的模型是不同的。特别地，这种方法意味着您不能在测试集可用之前完全指定模型。此外，它还建议，对于每个新的测试集，模型会变成一个不同的模型。对我们来说，这些观察意味着训练集和测试集的独立性没有得到维护。此外，他们暗示他们实际上没有一个单一的预测模型，可以推广到新的患者样本。

  7. Potti和Nevins声称，我们补充报告9中的图8显示我们已经复制了他们的结果。

    这个数字显示了两件事。首先，如果您只使用他们的训练数据构建模型(使用他们的软件)，那么您就不能对测试数据做出有用的预测。其次，当您组合测试数据和训练数据来构建模型时，您至少可以在测试数据中获得两个不同类的预测。然而，需要注意的是，该报告并没有说明这些预测是否正确。我们正在准备一份额外的报告(很快会在这里发布)，表明预测的准确性并不比运气好。(我们鼓励感兴趣的读者在此之前保留判断，或者运行我们现有的代码，然后测试预测本身的准确性，否则我们只是做出了我们在信中抱怨过的那种无根据的断言。)

  8. Potti和Nevins最后，我们还注意到，我们已经应用了我们的方法，以及一些原始签名，来预测额外数据集中的患者反应，其中一些数据对我们来说是盲的，从而获得了与我们最初结果一致的准确性＂．

    我们对Hsu等人发表的结果的重现性和正确性有自己的看法临床肿瘤学杂志，我们一定会在合适的场合进行讨论....

信件发表

2007年11月7日张贴(KRC)

我们的信自然医学于二零零七年十一月七日出版。完整的参考资料(编辑给它的新标题是Coombes, KR, Wang J, Baggerly KA。微阵列:追溯步骤。自然医学, 2007;13(11): 1276 - 1277。

检查修改过的基因列表

2007年8月25日张贴(KAB)

在我们将我们的原始分析传达给dr。Potti和Nevins，他们在《自然医学》网站上发布了修改过的基因列表，试图纠正索引错误。显然，他们试图手动修复这个问题，这将许多不同的错误引入到列表中。我们对新基因列表的回顾发表在这里: