falsycat/ar.falsy.cat
1
0
Fork 0
mirror of https://github.com/falsycat/ar.falsy.cat.git synced 2024-11-17 08:44:51 +00:00
Code Issues Projects Releases Wiki Activity
a957158414
ar.falsy.cat/note/study/statistics/hypothesis-test-multiplicity/index.html

20 lines
19 KiB
HTML
Raw Normal View History

deploy: aa60cee1cb5a2340282851281cf015152d664b55
2023-06-18 07:34:12 +00:00
<!doctype html><html lang=en><head><meta charset=utf-8><meta name=description content="概要 結論に複数の 仮設検定の結果が影響している時，その結論は検定の多重性問題を孕んでいる可能性がある 問題を回避するためには，Holm法などで有意水準を下げる必要があるが，完璧ではない 不確実な情報による結論の不確実性 第一種の過誤のみを考慮した場合，有意水準$x$で得られた検定の結果$n$個から導き出された結論は，最大で確率$1-(1-x)^n$で誤りである $P_1\cup P_2\cup \dots \cup P_n\implies Q$であるとき，$P_i$それぞれについて偽である確率が$e$ならば，$\overline{Q}$である確率は$1-(1-e)^n$である 故に有意水準を小さくすることで，結論が誤りである可能性を小さくすることができる ただし，実際には第二種の過誤も存在する 有意水準を小さくすれば結論が第二種の過誤である確率は増加する 以上より，多重検定は非常によろしくない 有意水準を何らかの方法で小さくした上で，全ての検定の帰無仮説が棄却であった場合のみ，統計的に有意な結論を導ける 帰無仮説が棄却された場合，それが第二種の過誤であることはありえないから Holm法による有意水準の調整 多重検定を構成する一つ一つの検定の有意水準を小さくする方法の一つがHolm法である．他の方法も存在するが，Holmが一番バランスがとれてる（棄却/受容しすぎない）方法だと思う．"><meta property="og:title" content="仮説検定の多重性問題"><meta property="og:description" content="概要 結論に複数の 仮設検定の結果が影響している時，その結論は検定の多重性問題を孕んでいる可能性がある 問題を回避するためには，Holm法などで有意水準を下げる必要があるが，完璧ではない 不確実な情報による結論の不確実性 第一種の過誤のみを考慮した場合，有意水準$x$で得られた検定の結果$n$個から導き出された結論は，最大で確率$1-(1-x)^n$で誤りである $P_1\cup P_2\cup \dots \cup P_n\implies Q$であるとき，$P_i$それぞれについて偽である確率が$e$ならば，$\overline{Q}$である確率は$1-(1-e)^n$である 故に有意水準を小さくすることで，結論が誤りである可能性を小さくすることができる ただし，実際には第二種の過誤も存在する 有意水準を小さくすれば結論が第二種の過誤である確率は増加する 以上より，多重検定は非常によろしくない 有意水準を何らかの方法で小さくした上で，全ての検定の帰無仮説が棄却であった場合のみ，統計的に有意な結論を導ける 帰無仮説が棄却された場合，それが第二種の過誤であることはありえないから Holm法による有意水準の調整 多重検定を構成する一つ一つの検定の有意水準を小さくする方法の一つがHolm法である．他の方法も存在するが，Holmが一番バランスがとれてる（棄却/受容しすぎない）方法だと思う．"><meta property="og:type" content="website"><meta property="og:image" content="https://ar.falsy.cat/icon.png"><meta property="og:url" content="https://ar.falsy.cat/note/study/statistics/hypothesis-test-multiplicity/"><meta property="og:width" content="200"><meta property="og:height" content="200"><meta name=twitter:card content="summary"><meta name=twitter:title content="仮説検定の多重性問題"><meta name=twitter:description content="概要 結論に複数の 仮設検定の結果が影響している時，その結論は検定の多重性問題を孕んでいる可能性がある 問題を回避するためには，Holm法などで有意水準を下げる必要があるが，完璧ではない 不確実な情報による結論の不確<EFBFBD>
<script src=https://ar.falsy.cat/js/util.00639692264b21bc3ee219733d38a8be.min.js></script>
<link rel=preload href=https://cdn.jsdelivr.net/npm/katex@0.15.1/dist/katex.min.css as=style onload='this.onload=null,this.rel="stylesheet"' integrity=sha384-R4558gYOUz8mP9YWpZJjofhk+zx0AS11p36HnD2ZKj/6JR5z27gSSULCNHIRReVs crossorigin=anonymous><script defer src=https://cdn.jsdelivr.net/npm/katex@0.15.1/dist/katex.min.js integrity=sha384-z1fJDqw8ZApjGO3/unPWUPsIymfsJmyrDVWC8Tv/a1HeOtGmkwNd/7xUS0Xcnvsx crossorigin=anonymous></script>
<script defer src=https://cdn.jsdelivr.net/npm/katex@0.15.1/dist/contrib/auto-render.min.js integrity=sha384-+XBljXPPiv+OzfbB3cVmLHf4hdUFHlWNZN5spNQ7rmHTXpd7WvJum6fIACpNNfIR crossorigin=anonymous></script>
<script defer src=https://cdn.jsdelivr.net/npm/katex@0.16.2/dist/contrib/copy-tex.min.js integrity=sha384-ww/583aHhxWkz5DEVn6OKtNiIaLi2iBRNZXfJRiY1Ai7tnJ9UXpEsyvOITVpTl4A crossorigin=anonymous></script>
<script src=https://cdn.jsdelivr.net/npm/@floating-ui/core@1.2.1></script>
<script src=https://cdn.jsdelivr.net/npm/@floating-ui/dom@1.2.1></script>
<script defer src=https://ar.falsy.cat/js/popover.aa9bc99c7c38d3ae9538f218f1416adb.min.js></script>
<script defer src=https://ar.falsy.cat/js/code-title.ce4a43f09239a9efb48fee342e8ef2df.min.js></script>
<script defer src=https://ar.falsy.cat/js/clipboard.2913da76d3cb21c5deaa4bae7da38c9f.min.js></script>
<script defer src=https://ar.falsy.cat/js/callouts.7723cac461d613d118ee8bb8216b9838.min.js></script>
<script>const SEARCH_ENABLED=!1,LATEX_ENABLED=!0,PRODUCTION=!0,BASE_URL="https://ar.falsy.cat/",fetchData=Promise.all([fetch("https://ar.falsy.cat/indices/linkIndex.bea61123680c12e83b7b86c79a372b3b.min.json").then(e=>e.json()).then(e=>({index:e.index,links:e.links})),fetch("https://ar.falsy.cat/indices/contentIndex.e2b6e1a0f81cbb3033805f2bfa34472e.min.json").then(e=>e.json())]).then(([{index:e,links:t},n])=>({index:e,links:t,content:n})),render=()=>{const e=new URL(BASE_URL),t=e.pathname,n=window.location.pathname,s=t==n;addCopyButtons(),addTitleToCodeBlocks(),addCollapsibleCallouts(),initPopover("https://ar.falsy.cat",!0);const o=document.getElementById("footer");if(o){const e=document.getElementById("graph-container");if(!e)return requestAnimationFrame(render);e.textContent="";const t=s&&!0;drawGraph("https://ar.falsy.cat",t,[{"/moc":"#4388cc"}],t?{centerForce:1,depth:-1,enableDrag:!0,enableLegend:!1,enableZoom:!0,fontSize:.5,linkDistance:1,opacityScale:3,repelForce:1,scale:1.4}:{centerForce:1,depth:1,enableDrag:!0,enableLegend:!1,enableZoom:!0,fontSize:.6,linkDistance:1,opacityScale:3,repelForce:2,scale:1.2})}var i=document.getElementsByClassName("mermaid");i.length>0&&import("https://unpkg.com/mermaid@9/dist/mermaid.esm.min.mjs").then(e=>{e.default.init()});function a(n){const e=n.target,t=e.className.split(" "),s=t.includes("broken"),o=t.includes("internal-link");plausible("Link Click",{props:{href:e.href,broken:s,internal:o,graph:!1}})}const r=document.querySelectorAll("a");for(link of r)link.className.includes("root-title")&&link.addEventListener("click",a,{once:!0})},init=(e=document)=>{addCopyButtons(),addTitleToCodeBlocks(),renderMathInElement(e.body,{delimiters:[{left:"$$",right:"$$",display:!0},{left:"$",right:"$",display:!1}],macros:{'’':"'"},throwOnError:!1})}</script><script type=module>
import { attachSPARouting } from "https:\/\/ar.falsy.cat\/js\/router.d6fe6bd821db9ea97f9aeefae814d8e7.min.js"
attachSPARouting(init, render)
</script><script defer data-domain=ar.falsy.cat src=https://plausible.io/js/script.js></script>
<script>window.plausible=window.plausible||function(){(window.plausible.q=window.plausible.q||[]).push(arguments)}</script></head><body><div id=search-container><div id=search-space><input autocomplete=off id=search-bar name=search type=text aria-label=Search placeholder="Search for something..."><div id=results-container></div></div></div><script src=https://cdn.jsdelivr.net/npm/flexsearch@0.7.21/dist/flexsearch.bundle.js integrity="sha256-i3A0NZGkhsKjVMzFxv3ksk0DZh3aXqu0l49Bbh0MdjE=" crossorigin=anonymous defer></script>
<script defer src=https://ar.falsy.cat/js/full-text-search.e6e2e0c213187ca0c703d6e2c7a77fcd.min.js></script><div class=singlePage><header><h1 id=page-title><a class=root-title href=https://ar.falsy.cat/>ar.falsy.cat</a></h1><div class=spacer></div><div id=search-icon><p>Search</p><svg tabindex="0" aria-labelledby="title desc" role="img" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 19.9 19.7"><title id="title">Search Icon</title><desc id="desc">Icon to open search</desc><g class="search-path" fill="none"><path stroke-linecap="square" d="M18.5 18.3l-5.4-5.4"/><circle cx="8" cy="8" r="7"/></g></svg></div><div class=darkmode><input class=toggle id=darkmode-toggle type=checkbox tabindex=-1>
<label id=toggle-label-light for=darkmode-toggle tabindex=-1><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" id="dayIcon" viewBox="0 0 35 35" style="enable-background:new 0 0 35 35"><title>Light Mode</title><path d="M6 17.5C6 16.672 5.328 16 4.5 16h-3C.672 16 0 16.672.0 17.5S.672 19 1.5 19h3C5.328 19 6 18.328 6 17.5zM7.5 26c-.414.0-.789.168-1.061.439l-2 2C4.168 28.711 4 29.086 4 29.5 4 30.328 4.671 31 5.5 31c.414.0.789-.168 1.06-.44l2-2C8.832 28.289 9 27.914 9 27.5 9 26.672 8.329 26 7.5 26zm10-20C18.329 6 19 5.328 19 4.5v-3C19 .672 18.329.0 17.5.0S16 .672 16 1.5v3C16 5.328 16.671 6 17.5 6zm10 3c.414.0.789-.168 1.06-.439l2-2C30.832 6.289 31 5.914 31 5.5 31 4.672 30.329 4 29.5 4c-.414.0-.789.168-1.061.44l-2 2C26.168 6.711 26 7.086 26 7.5 26 8.328 26.671 9 27.5 9zM6.439 8.561C6.711 8.832 7.086 9 7.5 9 8.328 9 9 8.328 9 7.5c0-.414-.168-.789-.439-1.061l-2-2C6.289 4.168 5.914 4 5.5 4 4.672 4 4 4.672 4 5.5c0 .414.168.789.439 1.06l2 2.001zM33.5 16h-3c-.828.0-1.5.672-1.5 1.5s.672 1.5 1.5 1.5h3c.828.0 1.5-.672 1.5-1.5S34.328 16 33.5 16zM28.561 26.439C28.289 26.168 27.914 26 27.5 26c-.828.0-1.5.672-1.5 1.5.0.414.168.789.439 1.06l2 2C28.711 30.832 29.086 31 29.5 31c.828.0 1.5-.672 1.5-1.5.0-.414-.168-.789-.439-1.061l-2-2zM17.5 29c-.829.0-1.5.672-1.5 1.5v3c0 .828.671 1.5 1.5 1.5s1.5-.672 1.5-1.5v-3C19 29.672 18.329 29 17.5 29zm0-22C11.71 7 7 11.71 7 17.5S11.71 28 17.5 28 28 23.29 28 17.5 23.29 7 17.5 7zm0 18c-4.136.0-7.5-3.364-7.5-7.5s3.364-7.5 7.5-7.5 7.5 3.364 7.5 7.5S21.636 25 17.5 25z"/></svg></label><label id=toggle-label-dark for=darkmode-toggle tabindex=-1><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" id="nightIcon" viewBox="0 0 100 100" style="enable-background='new 0 0 100 100'"><title>Dark Mode</title><path d="M96.76 66.458c-.853-.852-2.15-1.064-3.23-.534-6.063 2.991-12.858 4.571-19.655 4.571C62.022 70.495 50.88 65.88 42.5 57.5 29.043 44.043 25.658 23.536 34.076 6.47c.532-1.08.318-2.379-.534-3.23-.851-.852-2.15-1.064-3.23-.534-4.918 2.427-9.375 5.619-13.246 9.491-9.447 9.447-14.65 22.008-14.65 35.369.0 13.36 5.203 25.921 14.65 35.368s22.008 14.65 35.368 14.65c13.361.0 25.921-5.203 35.369-14.65 3.872-3.871 7.064-8.328 9.491-13.246C97.826 68.608 97.611 67.309 96.76 66.458z"/></svg></label></div></header><article><h1>仮説検定の多重性問題</h1><p class=meta>Last updated
Jun 18, 2023</p><ul class=tags><li><a href=https://ar.falsy.cat/tags/note/>Note</a></li><li><a href=https://ar.falsy.cat/tags/study/>Study</a></li><li><a href=https://ar.falsy.cat/tags/statistics/>Statistics</a></li></ul><aside class=mainTOC><details><summary>Table of Contents</summary><nav id=TableOfContents><ol><li><a href=#概要>概要</a></li><li><a href=#不確実な情報による結論の不確実性>不確実な情報による結論の不確実性</a></li><li><a href=#holm法による有意水準の調整>Holm法による有意水準の調整</a><ol><li><a href=#手法>手法</a></li></ol></li><li><a href=#まとめ>まとめ</a></li></ol></nav></details></aside><a href=#概要><h2 id=概要><span class=hanchor arialabel=Anchor># </span>概要</h2></a><ul><li>結論に複数の
<a href=/note/study/statistics/hypothesis-test/ rel=noopener class=internal-link data-src=/note/study/statistics/hypothesis-test/>仮設検定</a>の結果が影響している時，その結論は検定の多重性問題を孕んでいる可能性がある</li><li>問題を回避するためには，Holm法などで有意水準を下げる必要があるが，完璧ではない</li></ul><a href=#不確実な情報による結論の不確実性><h2 id=不確実な情報による結論の不確実性><span class=hanchor arialabel=Anchor># </span>不確実な情報による結論の不確実性</h2></a><ul><li><strong>第一種の過誤のみを考慮した場合</strong>，有意水準$x$で得られた検定の結果$n$個から導き出された結論は，最大で確率$1-(1-x)^n$で誤りである<ul><li>$P_1\cup P_2\cup \dots \cup P_n\implies Q$であるとき，$P_i$それぞれについて偽である確率が$e$ならば，$\overline{Q}$である確率は$1-(1-e)^n$である</li><li>故に有意水準を小さくすることで，結論が誤りである可能性を小さくすることができる</li></ul></li><li>ただし，実際には<strong>第二種の過誤も存在する</strong><ul><li>有意水準を小さくすれば結論が第二種の過誤である確率は増加する</li></ul></li><li>以上より，多重検定は非常によろしくない<ul><li>有意水準を何らかの方法で小さくした上で，全ての検定の帰無仮説が棄却であった場合のみ，統計的に有意な結論を導ける<ul><li>帰無仮説が棄却された場合，それが第二種の過誤であることはありえないから</li></ul></li></ul></li></ul><a href=#holm法による有意水準の調整><h2 id=holm法による有意水準の調整><span class=hanchor arialabel=Anchor># </span>Holm法による有意水準の調整</h2></a><p>多重検定を構成する一つ一つの検定の有意水準を小さくする方法の一つがHolm法である．他の方法も存在するが，Holmが一番バランスがとれてる（棄却/受容しすぎない）方法だと思う．</p><a href=#手法><h3 id=手法><span class=hanchor arialabel=Anchor># </span>手法</h3></a><p>$N$個の検定による多重検定の有意水準を$\alpha$としたとき，Holm法による有意水準の調整を次のように行う．</p><ol><li>各検定の有意確率をソート</li><li>$i=0$とする</li><li>結論が未確定の検定のうち，最も有意確率が小さいものについて，その有意確率を$x$としたとき，<ul><li>$x &lt; \frac{\alpha}{N-i}$ ならば，その検定を棄却</li><li>$x > p$ ならば，結論が未確定の検定すべて（その検定を含む）を受容し，終了</li></ul></li><li>$i$に1を足して，<ul><li>$i&lt;N$ ならば，3へ戻る</li><li>それ以外ならば，終了</li></ul></li></ol><a href=#まとめ><h2 id=まとめ><span class=hanchor arialabel=Anchor># </span>まとめ</h2></a><ul><li>多重検定は避けるべき</li><li>どうしても必要なら有意水準の補正が必要</li><li>有意水準の補正にはHolm法が有効</li></ul><div class=content-list><h2>Related Notes</h2><ul class=section-ul><li class=section-li><div class=section><p class=meta>Jun 18, 2023</p><div class=desc><h3><a href=https://ar.falsy.cat/note/study/statistics/hypothesis-test-parametric/ class=internal-link data-src=/note/study/statistics/hypothesis-test-parametric/>パラメトリック検定とノンパラメトリック検定</a></h3></div><div class=spacer></div><ul class=tags><li><a href=https://ar.falsy.cat/tags/note/>Note</a></li><li><a href=https://ar.falsy.cat/tags/study/>Study</a></li><li><a href=https://ar.falsy.cat/tags/statistics/>Statistics</a></li></ul></div></li><li class=section-li><div class=section><p class=meta>Jun 18, 2023</p><div class=desc><h3><a href=https://ar.falsy.cat/note/study/statistics/hypothesis-test/ class=internal-link data-src=/note/study/statistics/hypothesis-test/>仮説検定</a></h3></div><div class=spacer></div><ul
Reference in New Issue Copy Permalink