Hej! Ako dodávateľ produktov NAN som sa zaoberal tonou údajov v Dataframe Pandas a jedným z nepríjemných problémov, ktorý sa vždy objaví, sú hodnoty „Nan“. Viete, tie malé medzery, ktoré dokážu pokaziť celú vašu analýzu, ak si nebudete dávať pozor. V tomto blogu sa podelím o niekoľko tipov, ako zvládnuť tieto „Nan“ hodnoty ako profesionál.
Po prvé, povedzme si o tom, čo „Nan“ v skutočnosti znamená. „Nan“ znamená „nie číslo“ a v podstate je to spôsob, ako Pandas povedať, že vo vašom dátovom rámci chýbajú alebo neplatné údaje. Môže sa to stať zo všetkých druhov dôvodov - možno sa údaje nezhromaždili správne, alebo pri vstupe údajov došlo k chybe. Bez ohľadu na príčinu, hodnoty „Nan“ môžu v analýze údajov skutočne hodiť kľúč, takže je dôležité vedieť, ako sa s nimi vysporiadať.
Jedným z najjednoduchších spôsobov, ako zvládnuť hodnoty „Nan“, je len ich upustiť. Pandas má skutočne užitočnú metódu s názvomdrop ()ktoré môžete použiť na odstránenie akýchkoľvek riadkov alebo stĺpcov, ktoré obsahujú hodnoty „Nan“. Tu je príklad:
Importovať pandy ako pd importovať numpy ako np # Vytvorte vzorový dátový rámec s dátami „nan“ hodnoty = {'col1': [1, 2, np.nan, 4], 'col2': [5, np.nan, 7, 8, 8], 'col3': [9, 10, 11, np.nan]} df = pd.dataframe (údaje) # # df_dropped_rows = df.dropna () # kvapky stĺpcov s hodnotami 'nan' df_dropped_cols = df.dropna (Axis = 1)
Vo vyššie uvedenom kóde,drop ()Bez akýchkoľvek argumentov upustí akékoľvek riadky, ktoré obsahujú aspoň jednu „nan“ hodnotu. Ak prejdeteos = 1, namiesto toho spadne stĺpce. Táto metóda je skvelá, ak máte veľa údajov a hodnoty „Nan“ sú relatívne zriedkavé, ale môže to viesť aj k významnej strate údajov, ak existuje veľa „Nan“ hodnoty.
Ďalšou možnosťou je vyplniť hodnoty „Nan“ špecifickou hodnotou. Pandas má metódu s názvomVyplňte ()že na to môžete použiť. Hodnoty „Nan“ môžete vyplniť konštantnou hodnotou, priemerom, mediánom alebo režimom stĺpca alebo dokonca predchádzajúcou alebo ďalšou hodnotou v stĺpci. Tu je niekoľko príkladov:
# Vyplňte hodnoty „nan“ konštantnou hodnotou df_filled_constant = df.fillna (0) # vyplňte „nan“ hodnoty s priemerom stĺpca df_filled_mean = df.fillna (df.mean ()) # fl v stĺpci df_filled_next = df.fillna (metóda = 'bfill')
Vyplnenie hodnôt „Nan“ môže byť dobrým spôsobom, ako uchovať svoje údaje, ale musíte byť opatrní, akú hodnotu ich na ich vyplnenie používate. Používanie priemeru alebo mediánu môže fungovať dobre, ak sú údaje normálne distribuované, ale nemusí byť vhodné, ak majú údaje veľa odľahlých hodnôt.
Ak sa zaoberáte údajmi o časových radoch, možno budete chcieť použiť interpoláciu na vyplnenie hodnôt „Nan“. Interpolácia je metóda odhadu hodnôt medzi známymi údajovými bodmi. Pandas má metódu s názvominterpolát ()že na to môžete použiť. Tu je príklad:
# Interpolát 'nan' hodnoty df_interpolated = df.interpolát ()
Interpolácia môže byť skvelým spôsobom, ako vyplniť hodnoty „Nan“ v údajoch časových radov, pretože zohľadňuje trend údajov. Je však dôležité poznamenať, že interpolácia je iba odhad a skutočné hodnoty by sa mohli líšiť.
Teraz si povedzme o niektorých pokročilejších technikách zaobchádzania s hodnotami „Nan“. Jedným z prístupov je použitie algoritmov strojového učenia na predpovedanie chýbajúcich hodnôt. Model môžete trénovať na nezaujmých údajoch a potom ho použiť na predpovedanie hodnôt „Nan“. Môže to byť presnejší spôsob, ako vyplniť „Nan“ hodnoty, ale vyžaduje si aj viac výpočtových zdrojov a odborných znalostí.
Ďalším prístupom je použitie viacnásobnej imputácie. Viacnásobná imputácia je štatistická technika, ktorá zahŕňa vytváranie viacerých kópií dátového rámca, vyplnenie hodnôt „Nan“ v každej kópii pomocou inej metódy a potom kombináciu výsledkov. To môže pomôcť znížiť zaujatosť a neistotu spojenú s vyplnením „Nan“ hodnôt.
Podľa mojej skúsenosti ako dodávateľ Nan som zistil, že kombinácia týchto techník zvyčajne funguje najlepšie. Napríklad by som mohol začať vyhodením riadkov alebo stĺpcov s veľkým počtom hodnôt „Nan“, potom vyplňte zostávajúce „nan“ hodnoty pomocou kombinácie konštantných hodnôt, priemeru a interpolácie. A ak potrebujem presnejší odhad, mohol by som použiť strojové učenie alebo viacnásobné imputácie.
Predtým, ako sa zabalím, chcem spomenúť niekoľko produktov, ktoré by vás mohli zaujímať. Ak ste v tlačiarňovom priemysle, možno budete chcieť vyskúšaťFarbenie sublimácie atrament. Je to vysokokvalitný atrament, ktorý je ideálny na tlač na rôzne materiály. A ak ste vo farmaceutickom priemysle, možno vás zaujímaFlorfenicol CAS č.: 73231-34-2aOxytetracyklín hydrochlorid HCl CAS č.: 2058-46-0. Sú to farmaceutické suroviny API, ktoré sa široko používajú pri výrobe antibiotík.
Ak vás zaujíma niektorý z našich produktov NAN alebo máte akékoľvek otázky týkajúce sa riešenia hodnôt „Nan“ vo svojich údajoch, neváhajte a oslovte diskusiu o obstarávaní. Vždy sme radi, že vám pomôžeme!


Referencie:
- McKinney, W. (2012). Python na analýzu údajov: Dáta sa krútia s pandami, numpy a ipython. O'Reilly Media.
- Vanderplas, J. (2016). Príručka Python Data Science Handbook: Základné nástroje na prácu s údajmi. O'Reilly Media.
