Wynik,razem z jego granicami.

Od preparatu do fragmentów i pewności

Preparat jest cięty na fragmenty 224×224 px. Każdy dostaje klasę (rak piersi albo płuca) i ocenę pewności. Przy małej pewności model powinien się wstrzymać, tu oznaczone kółkiem. Przeciągnij suwak.

Ilustracja. Który fragment dostał jaki kolor i które mają kółko, jest wylosowane, to nie jest wynik modelu.

Co jest zmierzone

Każda liczba ma źródło w skrypcie z repozytorium. Kliknij „skąd to”, żeby zobaczyć które.

Cała placówka zostaje w teście

Preparaty z jednej placówki mają wspólny sposób barwienia i skanowania. Gdyby fragmenty z tej samej placówki trafiły i do uczenia, i do testu, model mógłby „rozpoznawać” placówkę zamiast nowotworu. Dlatego do testu odkładamy całe placówki.

Czy to ma znaczenie? Test A/B

Ten sam model, trzy sposoby podziału, po 20 losowych przydziałów każdy. Oś zaczyna się od poziomu losowego (0,5).

Podział po preparacie i po placówce dają to samo, bo w danych jest 74 preparatów i 72 placówki (tylko dwie placówki mają po dwa preparaty). Prawdziwy skok jest przy losowaniu fragmentów: +9,4 punktu (przedział 9,0 do 9,9), czyli sam przeciek zawyża wynik bardziej niż różnica między modelami. Ponadto liczba „najsłabszej grupy” zależy od losowego przydziału: w tych 20 przydziałach wynosiła od 0,70 do 0,83.

Więcej placówek, mniejszy rozrzut

Ten sam model i ta sama metoda, tylko zmieniamy liczbę placówek w danych. Każda kropka to jedna z 5 grup testowych. Kliknij kolumnę.

Czy model wie, kiedy się myli?

Dobra ocena pewności oznacza, że model jest mniej pewny przy błędnych odpowiedziach niż przy trafnych. Zielona kropka to średnia pewność przy trafnych, czerwona przy błędnych. Im dalej zielona na prawo od czerwonej, tym lepiej.

Odrzuć połowę najmniej pewnych, a trafność rośnie

Model odpowiada tylko tam, gdzie jest dość pewny, resztę oddaje człowiekowi. Na 72 placówkach, na predykcjach spoza próby (placówki niewidziane przy uczeniu), trafność rośnie z 0,83 do 0,94 przy odpowiedzi na połowie fragmentów.

Mapy uwagi na losowych fragmentach

Mapa pokazuje, które okolice fragmentu najmocniej przemawiały za wybraną klasą (ciepłe kolory). Fragmenty wylosowano, nie wybierano: trzy z poprawną odpowiedzią i trzy z błędną. Kliknij fragment, żeby przełączyć obraz i mapę.

Mniejszy nie znaczy szybszy

Zadanie z grantu zakłada działanie na urządzeniu. Sprawdziliśmy kilka dróg zmniejszania modelu i dwie z nich nie dały nic albo pogorszyły wynik.

Sześć podejść, jeden punkt odniesienia

Pionowa kreska to najprostsze rozwiązanie (0,829). Każde inne podejście ma sens tylko wtedy, gdy je pobije albo da coś innego, na przykład mniejszy rozmiar. Oś zaczyna się od poziomu losowego, 0,5.

Wszystkie wyniki na tych samych 72 placówkach i tej samej walidacji. Ten sam v0 przed przycięciem ma 0,840, po przycięciu 0,785, więc redukcja rozmiaru kosztuje tu około 5,5 punktu trafności.

Gdzie jesteśmy względem planu

Status dotyczy wyłącznie tego repozytorium, nie realizacji całego projektu. Zadania prowadzone gdzie indziej są oznaczone jako poza zakresem.

Rzadkie nowotwory: czy prosty model je rozpoznaje?

Do piersi i płuca dodaliśmy rzadkie nowotwory z TCGA (łącznie 7), po około 10 preparatów każdy, i powtórzyliśmy ten sam test z odkładaniem całych placówek. Wykres pokazuje, jaki odsetek fragmentów danego typu model rozpoznał poprawnie (czułość), z przedziałem ufności. Przy 9 klasach zgadywanie dałoby około 0,11.

Ilustracje są schematyczne i rysowane programowo: pokazują, że typy tkanek mają inną strukturę (gruczoły, wrzecionowate komórki, pigment, arkusze limfocytów, zrazikowa budowa grasicy). To nie są prawdziwe preparaty ani dane pacjentów, a prawdziwa histologia jest bardziej zróżnicowana. Złote ramki symbolizują fragmenty 224 × 224 px wycinane przez skaner.

Kiedy model nie powinien odpowiadać?

Model, który zawsze odpowiada, jest zły, gdy często się myli. Dlatego obudowaliśmy go czterema kontrolami: jakością fragmentu (ostrość, ilość tkanki), pewnością modelu, drugim, niezależnym modelem na innym koderze (musi wskazać tę samą klasę) oraz detektorem nieznanej tkanki. Każdy fragment dostaje jeden z trzech stanów: potwierdzony, niepewny albo odrzucony.

Dane na kolejne badania

Dziś używamy dwóch typów nowotworów i 74 preparatów. Publiczne archiwum TCGA udostępnia 11 901 preparatów w 32 typach nowotworów, czyli 30 kolejnych typów i 10 227 preparatów, których jeszcze nie ruszyliśmy.

Najbliższe tygodnie

Dwie ścieżki spotykają się na wspólnym protokole oceny (72 placówki, punkt odniesienia 0,829). Podział jest propozycją do uzgodnienia, zadania i kryteria ukończenia są w repozytorium.

Co trzeba ustalić

1. Kto i gdzie prowadzi prace nad architekturą KAN (Z1 do Z3) i jak podłączamy do nich to, co już jest: dane z 72 placówek, walidację po placówkach i pomiary niepewności.
2. Status umowy z partnerem klinicznym (Ainostics GmbH) i docelowy typ danych. Im wcześniej, tym łatwiej zaplanować anonimizację i zgody etyczne.
3. Czy następny krok to redukcja całej sieci do KAN (większa i kosztowniejsza praca), czy najpierw dopracowanie tego, co już działa.