ΠΠΎΠ΄Π΅Π»ΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΡΠ΅ΠΊΡΡΠΎΠ² Π½Π° Π΅ΡΡΠ΅ΡΡΠ²Π΅Π½Π½ΠΎΠΌ ΡΠ·ΡΠΊΠ΅
Π‘ΠΎΠ·Π΄Π°ΠΉΡΠ΅ Π½ΠΎΠ²ΡΠΉ ΡΠΊΡΠΈΠΏΡ, Π²Π²Π΅Π΄ΠΈΡΠ΅ ΠΈ Π²ΡΠΏΠΎΠ»Π½ΠΈΡΠ΅ ΠΊΠΎΠΌΠ°Π½Π΄Ρ, ΠΏΡΠΈΠ²Π΅Π΄Π΅Π½Π½ΡΠ΅ Π½ΠΈΠΆΠ΅. Π§ΡΠΎΠ±Ρ Π²ΡΠΏΠΎΠ»Π½ΠΈΡΡ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΠΊΠΎΠΌΠ°Π½Π΄ ΡΡΠ°Π·Ρ, Π½ΡΠΆΠ½ΠΎ ΠΈΡ Π²ΡΠ΄Π΅Π»ΠΈΡΡ ΠΈ Π½Π°ΠΆΠ°ΡΡ CTRL+R. ΠΡΠΈΠ²Π΅Π΄Π΅Π½Π½ΡΠ΅ ΠΊΠΎΠΌΠ°Π½Π΄Ρ ΡΠΎΡΠΌΠΈΡΡΡΡ ΠΊΠΎΡΠΏΡΡ ΠΈΠ· ΡΠ΅ΠΊΡΡΠΎΠ²ΡΡ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠΎΠ² ΠΈ Π²ΡΠ²ΠΎΠ΄ΡΡ ΠΎ Π½Π΅ΠΌ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ. ΠΠΎΡΠ»Π΅Π΄Π½ΠΈΠ΅ Π΄Π²Π΅ ΠΏΠΎΠΊΠ°Π·ΡΠ²Π°ΡΡ ΡΠΎΠ΄Π΅ΡΠΆΠΈΠΌΠΎΠ΅ ΠΏΠ΅ΡΠ²ΠΎΠ³ΠΎ ΠΈ ΠΏΠΎΡΠ»Π΅Π΄Π½Π΅Π³ΠΎ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ° Π² ΠΊΠΎΡΠΏΡΡΠ΅. ΠΡΠΈΡΡΠΈΡΠ΅ ΠΊΠΎΡΠΏΡΡ ΠΎΡ ΡΡΠΎΠΏ-ΡΠ»ΠΎΠ² Π°Π½Π³Π»ΠΈΠΉΡΠΊΠΎΠ³ΠΎ ΡΠ·ΡΠΊΠ°. Π‘Π½Π°ΡΠ°Π»Π° Π²ΡΠ²Π΅Π΄ΠΈΡΠ΅ ΡΠΏΠΈΡΠΎΠΊ ΡΡΠΎΠΏ-ΡΠ»ΠΎΠ²… Π§ΠΈΡΠ°ΡΡ Π΅ΡΡ >
ΠΠΎΠ΄Π΅Π»ΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΡΠ΅ΠΊΡΡΠΎΠ² Π½Π° Π΅ΡΡΠ΅ΡΡΠ²Π΅Π½Π½ΠΎΠΌ ΡΠ·ΡΠΊΠ΅ (ΡΠ΅ΡΠ΅ΡΠ°Ρ, ΠΊΡΡΡΠΎΠ²Π°Ρ, Π΄ΠΈΠΏΠ»ΠΎΠΌ, ΠΊΠΎΠ½ΡΡΠΎΠ»ΡΠ½Π°Ρ)
Π ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΠ΅ ΠΎΡΠ²ΠΎΠ΅Π½ΠΈΡ Π΄Π°Π½Π½ΠΎΠΉ Π³Π»Π°Π²Ρ ΠΎΠ±ΡΡΠ°ΡΡΠΈΠΉΡΡ Π±ΡΠ΄Π΅Ρ: Π·Π½Π°ΡΡ
- β’ ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎΡΡΠΈ Π²Π΅ΠΊΡΠΎΡΠ½ΡΡ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»Π΅Π½ΠΈΡ ΡΠ΅ΠΊΡΡΠΎΠ²; ΡΠΌΠ΅ΡΡ
- β’ ΡΡΡΠΎΠΈΡΡ Π²Π΅ΠΊΡΠΎΡΠ½ΡΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»Π΅Π½ΠΈΡ ΡΠ΅ΠΊΡΡΠ° ΠΈ ΠΏΡΠΈΠΌΠ΅Π½ΡΡΡ ΠΈΡ Π΄Π»Ρ ΡΠ΅ΡΠ΅Π½ΠΈΡ Π·Π°Π΄Π°Ρ, ΡΠ²ΡΠ·Π°Π½Π½ΡΡ Ρ ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΠΎΠΉ ΡΠ΅ΠΊΡΡΠΎΠ²;
Π²Π»Π°Π΄Π΅ΡΡ
β’ ΠΌΠ΅ΡΠΎΠ΄Π°ΠΌΠΈ Π»Π°ΡΠ΅Π½ΡΠ½ΠΎΠ³ΠΎ ΡΠ΅ΠΌΠ°Π½ΡΠΈΡΠ΅ΡΠΊΠΎΠ³ΠΎ Π°Π½Π°Π»ΠΈΠ·Π°.
ΠΠ΅ΠΊΡΠΎΡΠ½Π°Ρ ΠΌΠΎΠ΄Π΅Π»Ρ ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»Π΅Π½ΠΈΡ ΡΠ΅ΠΊΡΡΠΎΠ²
ΠΠΎΠ΄Π΅Π»ΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΠΌΠΎΠΆΠ½ΠΎ ΡΠ°ΡΡΠΌΠ°ΡΡΠΈΠ²Π°ΡΡ ΠΊΠ°ΠΊ Π·Π°ΠΌΠ΅ΡΠ΅Π½ΠΈΠ΅ ΡΠ΅Π°Π»ΡΠ½ΠΎΠ³ΠΎ ΠΎΠ±ΡΠ΅ΠΊΡΠ° Π΅Π³ΠΎ ΡΡΠ»ΠΎΠ²Π½ΡΠΌ ΡΠΊΠ²ΠΈΠ²Π°Π»Π΅Π½ΡΠΎΠΌ, ΠΈΠΌΠ΅Π½ΡΠ΅ΠΌΡΠΌ ΠΌΠΎΠ΄Π΅Π»ΡΡ ΠΈ ΠΎΠ±Π΅ΡΠΏΠ΅ΡΠΈΠ²Π°ΡΡΠΈΠΌ Π±Π»ΠΈΠ·ΠΊΠΎΠ΅ ΠΊ ΡΠ΅Π°Π»ΡΠ½ΠΎΠΌΡ ΠΎΠ±ΡΠ΅ΠΊΡΡ ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ Π² ΡΠ°ΠΌΠΊΠ°Ρ ΠΏΡΠΈΠ΅ΠΌΠ»Π΅ΠΌΡΡ Π΄ΠΎΠΏΡΡΠ΅Π½ΠΈΠΉ ΠΈ ΠΎΠ³ΡΠ°Π½ΠΈΡΠ΅Π½ΠΈΠΉ1. ΠΠΎΠ΄Π΅Π»ΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ ΡΠΌΠ΅Π½ΡΡΠΈΡΡ ΡΠ»ΠΎΠΆΠ½ΠΎΡΡΡ ΡΠ΅Π°Π»ΡΠ½ΡΡ ΠΎΠ±ΡΠ΅ΠΊΡΠΎΠ², ΡΠ°ΠΊ ΠΊΠ°ΠΊ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΏΠ΅ΡΠ΅Π΄Π°ΡΡ ΡΠΎΠ»ΡΠΊΠΎ Π½Π°ΠΈΠ±ΠΎΠ»Π΅Π΅ ΡΡΡΠ΅ΡΡΠ²Π΅Π½Π½ΡΠ΅ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΡ (ΡΠ²ΠΎΠΉΡΡΠ²Π°) ΠΎΠ±ΡΠ΅ΠΊΡΠΎΠ². Π ΡΠ°ΡΡΠ½ΠΎΡΡΠΈ, ΠΌΠ°ΡΠ΅ΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠ°Ρ ΠΌΠΎΠ΄Π΅Π»Ρ ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΠ΅ΡΡΡ ΠΊΠ°ΠΊ ΡΠΊΠ²ΠΈΠ²Π°Π»Π΅Π½Ρ ΠΎΠ±ΡΠ΅ΠΊΡΠ°, ΠΎΡΡΠ°ΠΆΠ°ΡΡΠΈΠΉ Π² ΠΌΠ°ΡΠ΅ΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠΉ ΡΠΎΡΠΌΠ΅ Π΅Π³ΠΎ Π²Π°ΠΆΠ½Π΅ΠΉΡΠΈΠ΅ ΡΠ²ΠΎΠΉΡΡΠ²Π°[1][2].
Π Π΄Π°Π½Π½ΠΎΠΌ ΡΠ°Π·Π΄Π΅Π»Π΅ ΠΌΡ Π±ΡΠ΄Π΅ΠΌ ΡΠ°ΡΡΠΌΠ°ΡΡΠΈΠ²Π°ΡΡ Π² ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅ ΠΎΠ±ΡΠ΅ΠΊΡΠΎΠ² ΠΌΠΎΠ΄Π΅Π»ΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΡΠ΅ΠΊΡΡΡ Π½Π° Π΅ΡΡΠ΅ΡΡΠ²Π΅Π½Π½ΠΎΠΌ ΡΠ·ΡΠΊΠ΅. Π Π±ΠΎΠ»ΡΡΠΈΠ½ΡΡΠ²Π΅ ΡΠ»ΡΡΠ°Π΅Π² ΠΊΠ»ΡΡΠ΅Π²ΡΠΌΠΈ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠ°ΠΌΠΈ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ, ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»ΡΡΡΠΈΡ ΡΠ΅ΠΊΡΡΡ, ΡΠ²Π»ΡΡΡΡΡ ΡΠ»ΠΎΠ²Π°, ΡΠΎΠ΄Π΅ΡΠΆΠ°ΡΠΈΠ΅ΡΡ Π² ΡΡΠΈΡ ΡΠ΅ΠΊΡΡΠ°Ρ . ΠΠ΅ΠΊΡΠΎΡΠ½Π°Ρ, ΠΈΠ»ΠΈ, ΠΊΠ°ΠΊ Π΅Π΅ Π΅ΡΠ΅ Π½Π°Π·ΡΠ²Π°ΡΡ, Π²Π΅ΠΊΡΠΎΡΠ½ΠΎ-ΠΏΡΠΎΡΡΡΠ°Π½ΡΡΠ²Π΅Π½Π½Π°Ρ, ΠΌΠΎΠ΄Π΅Π»Ρ (VSM — vector space model) ΡΠ²Π»ΡΠ΅ΡΡΡ ΠΎΠ΄Π½ΠΎΠΉ ΠΈΠ· ΡΠ°ΠΊΠΈΡ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ, ΠΎΡΠ½ΠΎΠ²Π°Π½Π½ΡΡ Π½Π° ΠΊΠ»ΡΡΠ΅Π²ΡΡ ΡΠ»ΠΎΠ²Π°Ρ . Π Π°Π½Π΅Π΅ ΠΌΡ ΡΠΆΠ΅ ΠΈΠ·Π»ΠΎΠΆΠΈΠ»ΠΈ Π² ΠΎΠ±ΡΠΈΡ ΡΠ΅ΡΡΠ°Ρ ΡΡΡΡ ΡΡΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΏΡΠΈ ΡΠ°ΡΡΠΌΠΎΡΡΠ΅Π½ΠΈΠΈ Π·Π°Π΄Π°ΡΠΈ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠΎΠ½Π½ΠΎΠ³ΠΎ ΠΏΠΎΠΈΡΠΊΠ°, ΡΠ΅ΠΉΡΠ°Ρ Π΄Π°Π΄ΠΈΠΌ Π΅Π΅ ΡΠΎΡΠΌΠ°Π»ΡΠ½ΠΎΠ΅ ΠΎΠΏΠΈΡΠ°Π½ΠΈΠ΅.
ΠΡΡΡΡ ΠΈΠΌΠ΅Π΅ΡΡΡ ΠΊΠΎΠ»Π»Π΅ΠΊΡΠΈΡ ΡΠ΅ΠΊΡΡΠΎΠ²ΡΡ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠΎΠ² D = (d{, d2, dm) ΠΈ Π·Π°Π΄Π°Π½ ΡΠ»ΠΎΠ²Π°ΡΡ ΡΠ΅ΡΠΌΠΈΠ½ΠΎΠ² ΡΡΠΎΠΉ ΠΊΠΎΠ»Π»Π΅ΠΊΡΠΈΠΈ Π’ = (tv t2, tf).
ΠΠΎΠ΄Π΅Π»Ρ VSM ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»ΡΠ΅Ρ ΠΊΠ°ΠΆΠ΄ΡΠΉ Π΄ΠΎΠΊΡΠΌΠ΅Π½Ρ ΡΡΠΎΠΉ ΠΊΠΎΠ»Π»Π΅ΠΊΡΠΈΠΈ Ρ ΠΏΠΎΠΌΠΎΡΡΡ ΡΠ»ΠΎΠ²Π°ΡΡ Π ΠΊΠ°ΠΊ Ρ-ΠΌΠ΅ΡΠ½ΡΠΉ Π²Π΅ΠΊΡΠΎΡ, ΠΊΠΎΠΎΡΠ΄ΠΈΠ½Π°ΡΠ°ΠΌΠΈ ΠΊΠΎΡΠΎΡΠΎΠ³ΠΎ ΡΠ²Π»ΡΡΡΡΡ ΡΠ°ΡΡΠΎΡΡ Π²Ρ ΠΎΠΆΠ΄Π΅Π½ΠΈΠΉ ΡΠ΅ΡΠΌΠΈΠ½ΠΎΠ² ΡΠ»ΠΎΠ²Π°ΡΡ Π² ΡΡΠΎΡ Π΄ΠΎΠΊΡΠΌΠ΅Π½Ρ:
Π Π½Π΅ΠΊΠΎΡΠΎΡΡΡ ΠΌΠΎΠ΄ΠΈΡΠΈΠΊΠ°ΡΠΈΡΡ ΠΌΠΎΠ΄Π΅Π»ΠΈ VSM ΡΠ°ΡΡΠΎΡΡ Π²Ρ ΠΎΠΆΠ΄Π΅Π½ΠΈΠΉ ΡΠ΅ΡΠΌΠΈΠ½ΠΎΠ² Π·Π°ΠΌΠ΅Π½ΡΡΡ Π²Π΅ΡΠ°ΠΌΠΈ, ΠΊΠΎΡΠΎΡΡΠ΅, ΠΏΠΎ ΡΡΡΠΈ, ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»ΡΡΡ ΡΠΎΠ±ΠΎΠΉ ΡΠ΅ ΠΆΠ΅ ΡΠ°ΡΡΠΎΡΡ, ΡΠΎΠ»ΡΠΊΠΎ Π½Π΅ Π°Π±ΡΠΎΠ»ΡΡΠ½ΡΠ΅, Π° ΠΎΡΠ½ΠΎΡΠΈΡΠ΅Π»ΡΠ½ΡΠ΅. Π‘ΡΡΠ΅ΡΡΠ²ΡΠ΅Ρ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΡΡΠ°Π½Π΄Π°ΡΡΠ½ΡΡ ΠΌΠ΅ΡΠΎΠ΄ΠΈΠΊ Π²Π·Π²Π΅ΡΠΈΠ²Π°Π½ΠΈΡ ΡΠ΅ΡΠΌΠΈΠ½ΠΎΠ².
Π ΠΌΠ΅ΡΠΎΠ΄ΠΈΠΊΠ΅ Tf Π²Π΅Ρ ΡΠ΅ΡΠΌΠΈΠ½Π° Π² Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ΅ ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΠ΅ΡΡΡ ΠΊΠ°ΠΊ Π΅Π³ΠΎ ΡΠ°ΡΡΠΎΡΠ°, Π΄Π΅Π»Π΅Π½Π½Π°Ρ Π½Π° ΠΎΠ±ΡΠ΅Π΅ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΡΠ»ΠΎΠ² Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ°. Π’Π°ΠΊΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ, ΠΎΡΠ΅Π½ΠΈΠ²Π°Π΅ΡΡΡ Π²Π°ΠΆΠ½ΠΎΡΡΡ ΡΠ΅ΡΠΌΠΈΠ½Π° Π² ΠΏΡΠ΅Π΄Π΅Π»Π°Ρ ΠΎΠ΄Π½ΠΎΠ³ΠΎ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ°:
Π ΠΌΠ΅ΡΠΎΠ΄ΠΈΠΊΠ΅ Tf β’ Idf Π²Π΅Ρ ΡΠ΅ΡΠΌΠΈΠ½Π° Π² Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ΅ ΠΎΠΏΡΠ΅Π΄Π΅Π»ΡΠ΅ΡΡΡ ΠΊΠ°ΠΊ ΠΏΡΠΎΠΈΠ·Π²Π΅Π΄Π΅Π½ΠΈΠ΅ ΡΠ°ΡΡΠΎΡΡ Π²Ρ ΠΎΠΆΠ΄Π΅Π½ΠΈΡ ΡΠ΅ΡΠΌΠΈΠ½Π° Π² Π΄ΠΎΠΊΡΠΌΠ΅Π½Ρ (Tf) ΠΈ ΠΎΠ±ΡΠ°ΡΠ½ΠΎΠΉ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ½ΠΎΠΉ ΡΠ°ΡΡΠΎΡΡ (Idf). Π’Π°ΠΊΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ, ΠΎΡΠ΅Π½ΠΈΠ²Π°Π΅ΡΡΡ Π²Π°ΠΆΠ½ΠΎΡΡΡ ΡΠ΅ΡΠΌΠΈΠ½Π° Π² ΠΏΡΠ΅Π΄Π΅Π»Π°Ρ Π²ΡΠ΅ΠΉ ΠΊΠΎΠ»Π»Π΅ΠΊΡΠΈΠΈ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠΎΠ². Π‘Π»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»ΡΠ½ΠΎ, Π±ΠΎΠ»ΡΡΠΈΠΉ Π²Π΅Ρ ΠΏΠΎΠ»ΡΡΠ°ΡΡ ΡΠ΅ΡΠΌΠΈΠ½Ρ Ρ Π²ΡΡΠΎΠΊΠΎΠΉ ΡΠ°ΡΡΠΎΡΠΎΠΉ Π²Ρ ΠΎΠΆΠ΄Π΅Π½ΠΈΡ Π² Π΄Π°Π½Π½ΡΠΉ Π΄ΠΎΠΊΡΠΌΠ΅Π½Ρ ΠΈ Ρ Π½ΠΈΠ·ΠΊΠΎΠΉ ΡΠ°ΡΡΠΎΡΠΎΠΉ ΡΠΏΠΎΡΡΠ΅Π±Π»Π΅Π½ΠΈΡ Π² Π΄ΡΡΠ³ΠΈΡ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ°Ρ :
Π³Π΄Π΅ |D| — ΠΎΠ±ΡΠ΅Π΅ ΡΠΈΡΠ»ΠΎ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠΎΠ² Π² ΠΊΠΎΠ»Π»Π΅ΠΊΡΠΈΠΈ; Df} — ΡΠΈΡΠ»ΠΎ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠΎΠ², Π² ΠΊΠΎΡΠΎΡΡΡ Π²ΡΡΡΠ΅ΡΠ°Π΅ΡΡΡ ΡΠ΅ΡΠΌΠΈΠ½ tv
ΠΡΠ»ΠΈ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΡ ΡΠΈΠ»ΡΠ½ΠΎ ΡΠ°Π·Π»ΠΈΡΠ°ΡΡΡΡ ΠΏΠΎ Π΄Π»ΠΈΠ½Π΅ (ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²Ρ ΡΠ»ΠΎΠ²), ΡΠΎ Π²Π΅ΡΠ° ΡΠ΅ΡΠΌΠΈΠ½ΠΎΠ² Π½ΠΎΡΠΌΠΈΡΡΡΡ ΠΎΡΠ½ΠΎΡΠΈΡΠ΅Π»ΡΠ½ΠΎ Π΄ΡΡΠ³ Π΄ΡΡΠ³Π°. ΠΠ΅Π· Π½ΠΎΡΠΌΠΈΡΠΎΠ²Π°Π½ΠΈΡ Π²Π΅Ρ ΡΠ΅ΡΠΌΠΈΠ½Π° Π² Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ΅ Π±ΡΠ΄Π΅Ρ ΡΠ΅ΠΌ ΠΌΠ΅Π½ΡΡΠ΅, ΡΠ΅ΠΌ Π΄Π»ΠΈΠ½Π½Π΅Π΅ Π΄ΠΎΠΊΡΠΌΠ΅Π½Ρ. ΠΠ°ΠΊ ΠΏΡΠ°Π²ΠΈΠ»ΠΎ, Π½ΠΎΡΠΌΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ Π²Π΅ΡΠΎΠ² ΠΎΡΡΡΠ΅ΡΡΠ²Π»ΡΡΡ ΠΏΡΡΠ΅ΠΌ Π΄Π΅Π»Π΅Π½ΠΈΡ Π½Π° Π΅Π²ΠΊΠ»ΠΈΠ΄ΠΎΠ²Ρ Π½ΠΎΡΠΌΡ (Π΄Π»ΠΈΠ½Ρ Π²Π΅ΠΊΡΠΎΡΠ° Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ°):
ΠΡΠΎΠ±ΡΠΉ ΠΈΠ½ΡΠ΅ΡΠ΅Ρ ΠΏΡΠΈ ΠΏΠΎΡΡΡΠΎΠ΅Π½ΠΈΠΈ Π²Π΅ΠΊΡΠΎΡΠ½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»ΡΠ΅Ρ ΡΠΎΡΠΌΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΡΠ»ΠΎΠ²Π°ΡΡ ΠΊΠΎΠ»Π»Π΅ΠΊΡΠΈΠΈ Π’ = (?1? ?2> β’β’β’> tn). Π§Π΅ΠΌ Π±ΠΎΠ»ΡΡΠ΅ ΠΊΠΎΠ»Π»Π΅ΠΊΡΠΈΡ ΡΠ΅ΠΊΡΡΠΎΠ², ΡΠ΅ΠΌ Π²ΡΡΠ΅ ΡΠ°Π·ΠΌΠ΅ΡΠ½ΠΎΡΡΡ ΡΠ»ΠΎΠ²Π°ΡΡ. Π£ΠΌΠ΅Π½ΡΡΠ΅Π½ΠΈΠ΅ ΡΠ°Π·ΠΌΠ΅ΡΠ½ΠΎΡΡΠΈ ΡΠ»ΠΎΠ²Π°ΡΡ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ ΡΠ½ΠΈΠ·ΠΈΡΡ Π²ΡΡΠΈΡΠ»ΠΈΡΠ΅Π»ΡΠ½ΡΡ ΡΠ»ΠΎΠΆΠ½ΠΎΡΡΡ Π°Π»Π³ΠΎΡΠΈΡΠΌΠΎΠ² ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΠΈ ΡΠ΅ΠΊΡΡΠΎΠ². Π‘ ΡΡΠΎΠΉ ΡΠ΅Π»ΡΡ ΡΠ»ΠΎΠ²Π°ΡΡ ΠΊΠΎΠ»Π»Π΅ΠΊΡΠΈΠΈ, Π²ΠΎ-ΠΏΠ΅ΡΠ²ΡΡ , Π½ΠΎΡΠΌΠ°Π»ΠΈΠ·ΡΠ΅ΡΡΡ, Π²ΠΎ-Π²ΡΠΎΡΡΡ , ΠΈΠ· Π½Π΅Π³ΠΎ ΠΈΡΠΊΠ»ΡΡΠ°ΡΡΡΡ ΡΡΠΎΠΏ-ΡΠ»ΠΎΠ²Π°, Π²-ΡΡΠ΅ΡΡΠΈΡ , ΡΠΈΠ½ΠΎΠ½ΠΈΠΌΡ ΡΠ²Π΅ΡΡΡΠ²Π°ΡΡΡΡ Π² ΡΠ΅ΠΌΠ°Π½ΡΠΈΡΠ΅ΡΠΊΠΈΠ΅ ΠΊΠΎΠ½ΡΠ΅ΠΏΡΡ.
ΠΠΎΡΠΌΠ°Π»ΠΈΠ·Π°ΡΠΈΡ ΠΎΠ·Π½Π°ΡΠ°Π΅Ρ, ΡΡΠΎ Π²ΠΌΠ΅ΡΡΠΎ ΠΌΠ½ΠΎΠΆΠ΅ΡΡΠ²Π° ΡΠ»ΠΎΠ²ΠΎΡΠΎΡΠΌ ΠΎΠ΄Π½ΠΎΠ³ΠΎ ΠΈ ΡΠΎΠ³ΠΎ ΠΆΠ΅ ΡΠ΅ΡΠΌΠΈΠ½Π° Π² ΡΠ»ΠΎΠ²Π°ΡΡ Π²ΠΊΠ»ΡΡΠ°Π΅ΡΡΡ ΡΠΎΠ»ΡΠΊΠΎ ΠΎΠ΄Π½Π° ΡΠΎΡΠΌΠ° — Π½ΠΎΡΠΌΠ°Π»ΡΠ½Π°Ρ, Ρ. Π΅. Π»Π΅ΠΌΠΌΠ°. ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, ΡΠ»ΠΎΠ²ΠΎΡΠΎΡΠΌΡ «ΠΎΠ½», «Π΅Π³ΠΎ», «Π΅ΠΌΡ» Π²ΠΊΠ»ΡΡΠ°ΡΡΡΡ Π² ΡΠ»ΠΎΠ²Π°ΡΡ ΠΎΠ΄ΠΈΠ½ ΡΠ°Π· — Π² Π²ΠΈΠ΄Π΅ Π»Π΅ΠΌΠΌΡ «ΠΎΠ½».
ΠΡΠΊΠ»ΡΡΠ΅Π½ΠΈΠ΅ ΡΡΠΎΠΏ-ΡΠ»ΠΎΠ² ΠΎΠ·Π½Π°ΡΠ°Π΅Ρ, ΡΡΠΎ ΠΈΠ· ΡΠ»ΠΎΠ²Π°ΡΡ ΠΈΡΠΊΠ»ΡΡΠ°ΡΡΡΡ Π²ΡΠ΅ ΡΠ»ΡΠΆΠ΅Π±Π½ΡΠ΅ ΡΠ»ΠΎΠ²Π°, Π½Π΅ Π½Π΅ΡΡΡΠΈΠ΅ ΠΎΡΠΎΠ±ΠΎΠΉ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠ²Π½ΠΎΡΡΠΈ. ΠΡΠΎ ΡΠ»ΠΎΠ²Π°, Π²ΡΡΡΠ΅ΡΠ°ΡΡΠΈΠ΅ΡΡ Π² Π±ΠΎΠ»ΡΡΠΎΠΌ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²Π΅ Π² ΠΊΠ°ΠΆΠ΄ΠΎΠΌ ΡΠ΅ΠΊΡΡΠ΅, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ ΡΠΎΡΠ·Ρ ΠΈ ΠΏΡΠ΅Π΄Π»ΠΎΠ³ΠΈ (ΡΠ°Π±Π». 9.1).
Π’Π°Π±Π»ΠΈΡΠ° 9.1
Π€ΡΠ°Π³ΠΌΠ΅Π½Ρ ΡΠΏΠΈΡΠΊΠ° ΡΡΠΎΠ½-ΡΠ»ΠΎΠ² ΡΡΡΡΠΊΠΎΠ³ΠΎ ΡΠ·ΡΠΊΠ°
Π°. | Π². | Π²ΡΡ. | Π΄Π»Ρ. | ΠΆΠ΅. |
Π°Ρ . | Π²Π΅ΡΡ. | Π²ΡΠ΅Π³ΠΎ. | Π΄ΠΎ. | Π·Π°. |
Π±Ρ. | Π²ΠΎ. | Π²Ρ. | Π΅ΡΠ»ΠΈ. | ΠΈ. |
Π±ΡΡΡ. | Π²ΠΎΡ. | Π΄Π°. | Π΅ΡΡΡ. | ΠΈΠ·. |
Π±ΡΠ΄Ρ. | Π²ΡΠ΅. | Π΄Π°ΠΆΠ΅. | Π΅ΡΠ΅. | ΠΈΠ»ΠΈ. |
ΠΠΎΠ΄ ΡΠ²Π΅ΡΡΡΠ²Π°Π½ΠΈΠ΅ΠΌ ΡΠΈΠ½ΠΎΠ½ΠΈΠΌΠΎΠ² ΠΏΠΎΠ½ΠΈΠΌΠ°Π΅ΡΡΡ Π·Π°ΠΌΠ΅Π½Π° Π±Π»ΠΈΠ·ΠΊΠΈΡ ΠΏΠΎ ΡΠΌΡΡΠ»Ρ ΡΠ»ΠΎΠ² ΠΎΠ΄Π½ΠΈΠΌ ΠΎΠ±ΡΠΈΠΌ ΠΏΠΎΠ½ΡΡΠΈΠ΅ΠΌ (ΠΊΠΎΠ½ΡΠ΅ΠΏΡΠΎΠΌ). ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, ΡΠ»ΠΎΠ²Π° «ΠΌΠ°ΠΌΠ°», «ΠΌΠ°ΡΡ», «ΠΌΠ°ΡΡΡΠΊΠ°», «ΠΌΠ°ΠΌΠΎΡΠΊΠ°», «ΠΌΠ°ΠΌΠ°Π½», «ΠΌΠ°ΠΌΡΠ»Ρ», «ΠΌΠ°ΡΠ΅ΡΡ», «ΡΠΎΠ΄ΠΈΡΠ΅Π»ΡΠ½ΠΈΡΠ°» ΠΌΠΎΠ³ΡΡ Π±ΡΡΡ Π·Π°ΠΌΠ΅Π½Π΅Π½Ρ ΠΎΠ΄Π½ΠΈΠΌ ΡΠ»ΠΎΠ²ΠΎΠΌ «ΠΌΠ°ΡΡ».
ΠΡΠΎΡ ΠΈ ΡΠ»Π΅Π΄ΡΡΡΠΈΠΉ ΠΏΡΠΈΠΌΠ΅ΡΡ ΠΌΡ Π±ΡΠ΄Π΅ΠΌ Π²ΡΠΏΠΎΠ»Π½ΡΡΡ Π² ΡΡΠ΅Π΄Π΅ R Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ ΠΏΠ°ΠΊΠ΅ΡΠ° Text Mining. Π ΡΡΡΡΠΊΠΎΡΠ·ΡΡΠ½ΠΎΠΌ ΡΡΠ΅Π±Π½ΠΈΠΊΠ΅ ΠΏΠΎ R{, ΠΊΠΎΡΠΎΡΡΠΉ ΠΌΡ ΠΎΡΠ΅Π½Ρ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡΠ΅ΠΌ Π΄Π»Ρ ΡΡΠ΅Π½ΠΈΡ, ΡΠ°ΠΊ ΠΎΠΏΠΈΡΡΠ²Π°ΡΡΡΡ ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½ΡΡ ΡΡΠΏΠ΅Ρ Π° ΡΡΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ:
- β’ Π²ΡΡΠΎΠΊΠΎΡΡΠΎΠ²Π½Π΅Π²ΡΠΉ ΡΠ·ΡΠΊ ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΠΈΡΠΎΠ²Π°Π½ΠΈΡ R, ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡΡΠΈΠΉ ΠΎΠ΄Π½ΠΎΠΉ ΡΡΡΠΎΠΊΠΎΠΉ ΡΠ΅Π°Π»ΠΈΠ·ΠΎΠ²Π°ΡΡ ΡΠ°Π·Π»ΠΈΡΠ½ΡΠ΅ ΠΎΠΏΠ΅ΡΠ°ΡΠΈΠΈ Ρ ΠΎΠ±ΡΠ΅ΠΊΡΠ°ΠΌΠΈ, Π²Π΅ΠΊΡΠΎΡΠ°ΠΌΠΈ, ΠΌΠ°ΡΡΠΈΡΠ°ΠΌΠΈ, ΡΠΏΠΈΡΠΊΠ°ΠΌΠΈ ΠΈ Ρ. Π΄.;
- β’ Π±ΠΎΠ»ΡΡΠΎΠΉ Π½Π°Π±ΠΎΡ ΡΡΠ½ΠΊΡΠΈΠΉ ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΠΈ Π΄Π°Π½Π½ΡΡ , ΡΠΎΠ±ΡΠ°Π½Π½ΡΡ Π² ΠΎΡΠ΄Π΅Π»ΡΠ½ΡΠ΅ ΠΏΠ°ΠΊΠ΅ΡΡ {packages);[3]
- β’ ΡΠ°Π·Π²ΠΈΡΠ°Ρ ΡΠΈΡΡΠ΅ΠΌΠ° ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΊΠΈ, Π²ΠΊΠ»ΡΡΠ°ΡΡΠ°Ρ ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΠ΅ ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½ΡΠΎΠ² ΡΡΠ΅Π΄Ρ, ΠΈΠ½ΡΠ΅ΡΠ°ΠΊΡΠΈΠ²Π½ΡΡ ΠΏΠΎΠΌΠΎΡΡ ΠΈ ΡΠ°Π·Π»ΠΈΡΠ½ΡΠ΅ ΠΎΠ±ΡΠ°Π·ΠΎΠ²Π°ΡΠ΅Π»ΡΠ½ΡΠ΅ ΡΠ΅ΡΡΡΡΡ, ΠΏΡΠ΅Π΄Π½Π°Π·Π½Π°ΡΠ΅Π½Π½ΡΠ΅ ΠΊΠ°ΠΊ Π΄Π»Ρ Π½Π°ΡΠ°Π»ΡΠ½ΠΎΠ³ΠΎ ΠΈΠ·ΡΡΠ΅Π½ΠΈΡ R, ΡΠ°ΠΊ ΠΈ ΠΏΠΎΡΠ»Π΅Π΄ΡΡΡΠΈΡ ΠΊΠΎΠ½ΡΡΠ»ΡΡΠ°ΡΠΈΠΉ ΠΏΠΎ Π²ΠΎΠ·Π½ΠΈΠΊΠ°ΡΡΠΈΠΌ Π·Π°ΡΡΡΠ΄Π½Π΅Π½ΠΈΡΠΌ.
ΠΡ ΠΏΠΎΠ΄ΡΠ²Π΅ΡΠΆΠ΄Π°Π΅ΠΌ ΡΠ²ΠΎΠΈΠΌ ΠΎΠΏΡΡΠΎΠΌ ΡΠ°Π±ΠΎΡΡ Π² ΡΡΠΎΠΉ Π·Π°ΠΌΠ΅ΡΠ°ΡΠ΅Π»ΡΠ½ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΠ΅, ΡΡΠΎ Π²ΡΠ΅ ΡΠΊΠ°Π·Π°Π½Π½ΠΎΠ΅ — ΠΏΡΠ°Π²Π΄Π°. ΠΠ΅ΠΉΡΡΠ²ΠΈΡΠ΅Π»ΡΠ½ΠΎ, R ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ ΠΎΡΡΡΠ΅ΡΡΠ²ΠΈΡΡ Π»Π΅Π³ΠΊΠΈΠΉ, Π±ΡΡΡΡΡΠΉ ΠΈ (ΡΠ°ΠΌΠΎΠ΅ Π³Π»Π°Π²Π½ΠΎΠ΅) ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½ΡΠΉ ΡΡΠ°ΡΡ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»ΡΡΠΊΠΎΠΉ ΠΈ ΡΠΊΡΠΏΠ΅ΡΠΈΠΌΠ΅Π½ΡΠ°Π»ΡΠ½ΠΎΠΉ ΡΠ°Π±ΠΎΡΡ, ΡΠ²ΡΠ·Π°Π½Π½ΠΎΠΉ Ρ ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΠΎΠΉ ΠΈ Π°Π½Π°Π»ΠΈΠ·ΠΎΠΌ Π΄Π°Π½Π½ΡΡ .
ΠΠ»Ρ ΡΠΎΠ³ΠΎ ΡΡΠΎΠ±Ρ Π²Ρ ΠΏΠΎΠ·Π½Π°ΠΊΠΎΠΌΠΈΠ»ΠΈΡΡ Ρ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡΠΌΠΈ R, ΠΌΡ ΠΏΡΠΎΡΠΈΠΌ Π΄ΡΠ±Π»ΠΈΡΠΎΠ²Π°ΡΡ Π½Π°ΡΠΈ Π΄Π΅ΠΉΡΡΠ²ΠΈΡ Ρ ΠΏΠΎΠΌΠΎΡΡΡ ΡΡΠΎΠ³ΠΎ ΡΠ·ΡΠΊΠ° ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΠΈΡΠΎΠ²Π°Π½ΠΈΡ. Π‘ΠΊΠ°ΡΠ°ΠΉΡΠ΅ ΡΠ²ΠΎΠ±ΠΎΠ΄Π½ΠΎ ΡΠ°ΡΠΏΡΠΎΡΡΡΠ°Π½ΡΠ΅ΠΌΡΠΉ Π΄ΠΈΡΡΡΠΈΠ±ΡΡΠΈΠ² R Π²ΠΌΠ΅ΡΡΠ΅ Ρ Π±Π°Π·ΠΎΠ²ΡΠΌ Π½Π°Π±ΠΎΡΠΎΠΌ ΠΏΠ°ΠΊΠ΅ΡΠΎΠ² Ρ ΡΠ°ΠΉΡΠ° cran.r-project.org. Π£ΡΡΠ°Π½ΠΎΠ²ΠΈΡΠ΅ ΠΈ Π·Π°ΠΏΡΡΡΠΈΡΠ΅ R. Π£ΡΡΠ°Π½ΠΎΠ²ΠΈΡΠ΅ ΠΏΠ°ΠΊΠ΅ΡΡ tm ΠΈ wordcloud Ρ ΠΏΠΎΠΌΠΎΡΡΡ ΠΊΠΎΠΌΠ°Π½Π΄Ρ install. packages (Ρ («tm» ," wordcloud")) ΠΈ ΠΏΠΎΠ΄ΠΊΠ»ΡΡΠΈΡΠ΅ ΠΈΡ Ρ ΠΏΠΎΠΌΠΎΡΡΡ ΠΊΠΎΠΌΠ°Π½Π΄ library™ ΠΈ library (wordcloud). Π ΠΊΠ°ΠΊΠΎΠΉ-Π½ΠΈΠ±ΡΠ΄Ρ ΠΎΡΠ΄Π΅Π»ΡΠ½ΠΎΠΉ ΠΏΡΡΡΠΎΠΉ ΠΏΠ°ΠΏΠΊΠ΅ Π½Π° Π΄ΠΈΡΠΊΠ΅ ΡΠΎΠ·Π΄Π°ΠΉΡΠ΅ ΡΠ΅ΡΡΡ ΡΠ΅ΠΊΡΡΠΎΠ²ΡΡ ΡΠ°ΠΉΠ»ΠΎΠ² (ΡΠ°Π±Π». 9.2). Π£ΡΡΠ°Π½ΠΎΠ²ΠΈΡΠ΅ ΠΏΡΡΡ ΠΊ ΡΡΠΎΠΉ ΠΏΠ°ΠΏΠΊΠ΅ Ρ ΠΏΠΎΠΌΠΎΡΡΡ ΠΊΠΎΠΌΠ°Π½Π΄Ρ setwd, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ setwd («Π: /2016/files»). ΠΠ±ΡΠ°ΡΠΈΡΠ΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, ΡΡΠΎ ΡΠ°Π·Π΄Π΅Π»ΠΈΡΠ΅Π»Ρ Π΄ΠΈΡΠ΅ΠΊΡΠΎΡΠΈΠΉ Π² R — ΡΡΠΎ Π½Π΅ ΠΎΠ±ΡΠ°ΡΠ½ΡΠΉ ΡΠ»ΡΡ, ΠΊΠ°ΠΊ ΠΏΡΠΈΠ½ΡΡΠΎ, Π° ΠΏΡΡΠΌΠΎΠΉ. Π’Π΅ΠΏΠ΅ΡΡ Π²ΡΠ΅ Π³ΠΎΡΠΎΠ²ΠΎ Π΄Π»Ρ Π·Π°Π³ΡΡΠ·ΠΊΠΈ Π² R ΠΊΠΎΠ»Π»Π΅ΠΊΡΠΈΠΈ ΡΠ΅ΠΊΡΡΠΎΠ², ΠΊΠΎΡΠΎΡΠ°Ρ Π² ΠΏΠ°ΠΊΠ΅ΡΠ΅ tm Π½Π°Π·ΡΠ²Π°Π΅ΡΡΡ ΠΊΠΎΡΠΏΡΡΠΎΠΌ, ΠΈ Π΅Π΅ ΠΏΠΎΡΠ»Π΅Π΄ΡΡΡΠ΅ΠΉ ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΠΈ.
Π’Π°Π±Π»ΠΈΡΠ° 9.2
Π’Π΅ΠΊΡΡΠΎΠ²ΡΠ΅ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΡ, ΠΎΠ±ΡΠ°Π·ΡΡΡΠΈΠ΅ ΡΠΊΡΠΏΠ΅ΡΠΈΠΌΠ΅Π½ΡΠ°Π»ΡΠ½ΡΡ ΠΊΠΎΠ»Π»Π΅ΠΊΡΠΈΡ.
β. | ΠΠ°Π·Π²Π°Π½ΠΈΠ΅ ΡΠ°ΠΉΠ»Π°. | Π‘ΠΎΠ΄Π΅ΡΠΆΠΈΠΌΠΎΠ΅. |
Beijing.txt. | Beijing is the last of the 4 great ancient capitals of China. The main parts of the Great Wall of China are mostly located around this city. | |
Chinatown.txt. | Yokohama’s China Town is the largest China town in Japan. There is unusual atmosphere created by beautiful and narrow streets with plenty of China shops, restaurants and souvenir places. | |
Islands.txt. | Japan lodged a strong protest with China’s embassy in Tokyo and reiterated its position about contested islands. | |
Macau.txt. | Macau is one of the two Special Administrative Regions of the People’s Republic of China. | |
Shanghai.txt. | Despite the fact that Shanghai is not the capital of China, it is a major China metropolis. | |
Π΅. | Yokohama.txt. | With a population of 3.7 million, Yokohama, south of Tokyo, is Japan’s second largest city. |
Π‘ΠΎΠ·Π΄Π°ΠΉΡΠ΅ Π½ΠΎΠ²ΡΠΉ ΡΠΊΡΠΈΠΏΡ, Π²Π²Π΅Π΄ΠΈΡΠ΅ ΠΈ Π²ΡΠΏΠΎΠ»Π½ΠΈΡΠ΅ ΠΊΠΎΠΌΠ°Π½Π΄Ρ, ΠΏΡΠΈΠ²Π΅Π΄Π΅Π½Π½ΡΠ΅ Π½ΠΈΠΆΠ΅. Π§ΡΠΎΠ±Ρ Π²ΡΠΏΠΎΠ»Π½ΠΈΡΡ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΠΊΠΎΠΌΠ°Π½Π΄ ΡΡΠ°Π·Ρ, Π½ΡΠΆΠ½ΠΎ ΠΈΡ Π²ΡΠ΄Π΅Π»ΠΈΡΡ ΠΈ Π½Π°ΠΆΠ°ΡΡ CTRL+R. ΠΡΠΈΠ²Π΅Π΄Π΅Π½Π½ΡΠ΅ ΠΊΠΎΠΌΠ°Π½Π΄Ρ ΡΠΎΡΠΌΠΈΡΡΡΡ ΠΊΠΎΡΠΏΡΡ ΠΈΠ· ΡΠ΅ΠΊΡΡΠΎΠ²ΡΡ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠΎΠ² ΠΈ Π²ΡΠ²ΠΎΠ΄ΡΡ ΠΎ Π½Π΅ΠΌ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ. ΠΠΎΡΠ»Π΅Π΄Π½ΠΈΠ΅ Π΄Π²Π΅ ΠΏΠΎΠΊΠ°Π·ΡΠ²Π°ΡΡ ΡΠΎΠ΄Π΅ΡΠΆΠΈΠΌΠΎΠ΅ ΠΏΠ΅ΡΠ²ΠΎΠ³ΠΎ ΠΈ ΠΏΠΎΡΠ»Π΅Π΄Π½Π΅Π³ΠΎ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ° Π² ΠΊΠΎΡΠΏΡΡΠ΅.
corpus <- Corpus (DirSource ()) corpus.
summary (corpus) corpus [[1]] $content corpus [[6]] $content.
Π£Π΄Π°Π»ΠΈΡΠ΅ ΠΈΠ· ΡΠ΅ΠΊΡΡΠΎΠ² Π²ΡΠ΅ ΠΏΡΠΈΡΡΠΆΠ°ΡΠ΅Π»ΡΠ½ΡΠ΅ ΠΎΠΊΠΎΠ½ΡΠ°Π½ΠΈΡ’s. ΠΡΠΈΡΡΠΈΡΠ΅ ΡΠ΅ΠΊΡΡΡ ΠΎΡ Π·Π½Π°ΠΊΠΎΠ² ΠΏΡΠ½ΠΊΡΡΠ°ΡΠΈΠΈ, Π»ΠΈΡΠ½ΠΈΡ ΠΏΡΠΎΠ±Π΅Π»ΠΎΠ², ΡΠΈΡΠ΅Π», ΠΏΡΠ΅ΠΎΠ±ΡΠ°Π·ΡΠΉΡΠ΅ Π²ΡΠ΅ ΡΠ»ΠΎΠ²Π° Π² Π½ΠΈΠΆΠ½ΠΈΠΉ ΡΠΎΡΠΌΠ°Ρ. Π‘Π½ΠΎΠ²Π° ΠΏΠΎΡΠΌΠΎΡΡΠΈΡΠ΅ ΡΠΎΠ΄Π΅ΡΠΆΠΈΠΌΠΎΠ΅ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠΎΠ², ΠΎΠ±ΡΠ°ΡΠΈΡΠ΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, ΠΊΠ°ΠΊ ΠΎΠ½ΠΎ ΠΈΠ·ΠΌΠ΅Π½ΠΈΠ»ΠΎΡΡ.
removeEndings <- function (x) gsub («[''] s», x).
corpus <- tm_map (corpus, content_transformer.
(removeEndings)).
corpus <- tm_map (corpus, removePunctuation).
corpus <- tm_map (corpus, stripWhitespace).
corpus <- tm_map (corpus, removeNumbers).
corpus <- tm_map (corpus, content_transformer.
(tolower)).
corpus [[1]] $content corpus [[6]] $content.
Π‘ΡΠΎΡΠΌΠΈΡΡΠΉΡΠ΅ Π΄Π²Π΅ ΠΌΠ°ΡΡΠΈΡΡ: «Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΡ-Π½Π°-Π³Π΅ΡΠΌΠΈΠ½Ρ» ΠΈ «ΡΠ΅ΡΠΌΠΈΠ½Ρ-Π½Π°-Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΡ», ΠΊΠΎΡΠΎΡΡΠ΅ ΠΏΠΎΠΊΠ°Π·ΡΠ²Π°ΡΡ ΡΠ°ΡΠΏΡΠ΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ ΡΠ΅ΡΠΌΠΈΠ½ΠΎΠ², Π½ΠΎ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ°ΠΌ. Π ΠΏΠ΅ΡΠ²ΠΎΠΉ ΠΌΠ°ΡΡΠΈΡΠ΅ ΡΡΡΠΎΠΊΠ°ΠΌΠΈ ΡΠ²Π»ΡΡΡΡΡ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΡ, ΡΡΠΎΠ»Π±ΡΠ°ΠΌΠΈ — ΡΠ΅ΡΠΌΠΈΠ½Ρ, Π²ΠΎ Π²ΡΠΎΡΠΎΠΉ ΠΌΠ°ΡΡΠΈΡΠ΅ — Π½Π°ΠΎΠ±ΠΎΡΠΎΡ. ΠΡΠ²Π΅Π΄ΠΈΡΠ΅ ΡΠ°Π·ΠΌΠ΅ΡΡ ΡΡΠΈΡ ΠΌΠ°ΡΡΠΈΡ. Π£Π±Π΅Π΄ΠΈΡΠ΅ΡΡ, ΡΡΠΎ ΡΡΠΈ ΡΠ°Π·ΠΌΠ΅ΡΡ 6×65 ΠΈ 65×6. ΠΡΠ²Π΅Π΄ΠΈΡΠ΅ ΠΏΠΎΠ»Π½ΡΠΉ ΡΠΏΠΈΡΠΎΠΊ ΡΠ΅ΡΠΌΠΈΠ½ΠΎΠ², ΡΠΎΠ΄Π΅ΡΠΆΠ°ΡΠΈΡ ΡΡ Π² ΠΊΠΎΡΠΏΡΡΠ΅ (ΡΠ°Π±Π». 9.3).
dtm <- DocumentTermMatrix (corpus).
tdm <- TermDocumentMatrix (corpus).
nrow (dtm).
ncol (dtm).
nrow (tdm).
ncol (tdm).
dtm$dimnames$Terms.
Π’Π°Π±Π»ΠΈΡΠ° 9.3
ΠΠΎΠ»Π½ΡΠΉ ΡΠΏΠΈΡΠΎΠΊ ΡΠ΅ΡΠΌΠΈΠ½ΠΎΠ² ΠΊΠΎΡΠΏΡΡΠ°.
about. | administrative. | ancient. | and. | are. |
around. | atmosphere. | beautiful. | beijing. | capital. |
capitals. | china. | city. | contested. | created. |
despite. | embassy. | fact. | great. | islands. |
its. | japan. | largest. | last. | located. |
lodged. | macau. | main. | major. | metropolis. |
million. | mostly. | narrow. | not. | one. |
parts. | people. | places. | plenty. | population. |
position. | protest. | regions. | reiterated. | republic. |
restaurants. | second. | shanghai. | shops. | south. |
souvenir. | special. | streets. | strong. | that. |
the. | there. | this. | tokyo. | town. |
two. | unusual. | wall. | with. | yokohama. |
ΠΡΠ²Π΅Π΄ΠΈΡΠ΅ ΡΡΠ°Π³ΠΌΠ΅Π½Ρ ΠΌΠ°ΡΡΠΈΡΡ «ΡΠ΅ΡΠΌΠΈΠ½Ρ-Π½Π°-Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΡ» (ΡΠ°Π±Π». 9.4). ΠΠ°ΠΉΠ΄ΠΈΡΠ΅ Π΄Π΅ΡΡΡΡ ΡΠ°ΠΌΡΡ Π²ΡΡΠΎΠΊΠΎΡΠ°ΡΡΠΎΡΠ½ΡΡ ΡΠ΅ΡΠΌΠΈΠ½ΠΎΠ² ΠΊΠΎΡΠΏΡΡΠ° (ΡΠ°Π±Π». 9.5).
as.matrix (tdm [1:12,1:6]).
freq <- sort (rowSums (as.matrix (tdm)), decreasing= TRUE).
head (freq, 10).
Π’Π°Π±Π»ΠΈΡΠ° 9.3
Π€ΡΠ°Π³ΠΌΠ΅Π½Ρ ΡΠ°ΡΠΏΡΠ΅Π΄Π΅Π»ΠΈΡΠ΅Π»ΡΠ½ΠΎΠΉ ΠΌΠ°ΡΡΠΈΡΡ «ΡΠ΅ΡΠΌΠΈΠ½Ρ-Π½Π°-Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΡ».
Terms/. Docs. | Beijing. txt. | Chinatown. txt. | Islands. txt. | Macau. txt. | Shanghai. txt. | Yokohama. txt. |
about. | ||||||
administrative. | ||||||
ancient. | ||||||
and. | ||||||
are. | ||||||
around. | ||||||
atmosphere. |
Terms/. Docs. | Beijing. txt. | Chinatown. txt. | Islands. txt. | Macau. txt. | Shanghai. txt. | Yokohama. txt. |
beautiful. | ||||||
beijing. | ||||||
capital. | ||||||
capitals. | ||||||
china. |
Π’Π°Π±Π»ΠΈΡΠ° 95
ΠΠ΅ΡΡΡΡ ΡΠ°ΠΌΡΡ Π²ΡΡΠΎΠΊΠΎΡΠ°ΡΡΠΎΡΠ½ΡΡ ΡΠ΅ΡΠΌΠΈΠ½ΠΎΠ² ΠΊΠΎΡΠΏΡΡΠ°.
china. | the. | and. | japan. | with. | city. | great. | largest. | tokyo. | town. |
ΠΡΠΈΡΡΠΈΡΠ΅ ΠΊΠΎΡΠΏΡΡ ΠΎΡ ΡΡΠΎΠΏ-ΡΠ»ΠΎΠ² Π°Π½Π³Π»ΠΈΠΉΡΠΊΠΎΠ³ΠΎ ΡΠ·ΡΠΊΠ°. Π‘Π½Π°ΡΠ°Π»Π° Π²ΡΠ²Π΅Π΄ΠΈΡΠ΅ ΡΠΏΠΈΡΠΎΠΊ ΡΡΠΎΠΏ-ΡΠ»ΠΎΠ². ΠΠΎΡΠ»Π΅ ΡΠ΄Π°Π»Π΅Π½ΠΈΡ ΡΡΠΎΠΏ-ΡΠ»ΠΎΠ² Π·Π°Π½ΠΎΠ²ΠΎ ΠΏΠΎΡΡΡΠΎΠΉΡΠ΅ ΠΌΠ°ΡΡΠΈΡΡ «Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΡ-Π½Π°-ΡΠ΅ΡΠΌΠΈΠ½Ρ» ΠΈ «ΡΠ΅ΡΠΌΠΈΠ½Ρ-Π½Π°Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΡ». ΠΠΎΡΠ»Π΅ ΡΡΠΎΠ³ΠΎ ΡΠ±Π΅Π΄ΠΈΡΠ΅ΡΡ, ΡΡΠΎ ΡΠ΅ΠΏΠ΅ΡΡ ΡΠ°Π±Π»ΠΈΡΠ° Π²ΡΡΠΎΠΊΠΎΡΠ°ΡΡΠΎΡΠ½ΡΡ ΡΠ΅ΡΠΌΠΈΠ½ΠΎΠ² Π²ΡΠ³Π»ΡΠ΄ΠΈΡ ΠΈΠ½Π°ΡΠ΅ (ΡΠ°Π±Π». 9.6). ΠΠΎΡΡΡΠΎΠΉΡΠ΅ ΠΎΠ±Π»Π°ΠΊΠΎ ΡΠ΅ΡΠΌΠΈΠ½ΠΎΠ² (ΡΠΈΡ. 9.1).
stopwords («english»).
corpus<-tm_map (corpus, removeWords, stopwords («english»)).
dtm <- DocumentTermMatrix (corpus) tdm <- TermDocumentMatrix (corpus).
freq <- sort (rowSums (as.matrix (tdm)), decreasing= TRUE).
head (freq, 10).
wordcloud (names (freq), freq, min. freq=l, colors = brewer. pal (8," Dark2″)).
Π ΠΈΡ. 9.1. ΠΠ±Π»Π°ΠΊΠΎ ΡΠ΅ΡΠΌΠΈΠ½ΠΎΠ² ΠΊΠΎΡΠΏΡΡΠ°.
Π’Π°Π±Π»ΠΈΡΠ° 9.6
ΠΠ΅ΡΡΡΡ ΡΠ°ΠΌΡΡ Π²ΡΡΠΎΠΊΠΎΡΠ°ΡΡΠΎΡΠ½ΡΡ ΡΠ΅ΡΠΌΠΈΠ½ΠΎΠ² ΠΊΠΎΡΠΏΡΡΠ° ΠΏΠΎΡΠ»Π΅ ΡΠ΄Π°Π»Π΅Π½ΠΈΡ ΡΡΠΎΠΏ-ΡΠ»ΠΎΠ².
china. | japan. | city. | great. | largest. | tokyo. | town. | yokohama. | administrative. | ancient. |
Π‘ΠΎΡ ΡΠ°Π½ΠΈΡΠ΅ ΡΠΊΡΠΈΠΏΡ, ΠΎΠ½ Π²Π°ΠΌ Π΅ΡΠ΅ ΠΏΠΎΠ½Π°Π΄ΠΎΠ±ΠΈΡΡΡ.
- [1] Π‘ΠΌ.: ΠΠΎΠ²ΡΠ΅ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠΎΠ½Π½ΡΠ΅ ΡΠ΅Ρ Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ: ΡΡΠ΅Π±, ΠΏΠΎΡΠΎΠ±ΠΈΠ΅ / ΠΏΠΎΠ΄ ΡΠ΅Π΄. Π. Π. ΠΡΡΠΊΠΎΠ½ΠΎΠ²Π°. Π.: Π‘ΠΎΠ»ΠΎΠ½-ΠΡΠ΅ΡΡ, 2005.
- [2] Π‘ΠΌ.: Π‘Π°ΠΌΠ°ΡΡΠΊΠΈΠΉ Π. Π., ΠΠΈΡ Π°ΠΉΠ»ΠΎΠ² Π. Π. ΠΠ°ΡΠ΅ΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅. ΠΠ΄Π΅ΠΈ.ΠΠ΅ΡΠΎΠ΄Ρ. ΠΡΠΈΠΌΠ΅ΡΡ. 2-Π΅ ΠΈΠ·Π΄., ΠΈΡΠΏΡ. Π.: Π€ΠΈΠ·ΠΌΠ°ΡΠ»ΠΈΡ, 2001.
- [3] ΠΠ°ΡΡΠΈΡΠΊΠΈΠΉ Π‘. Π., Π¨ΠΈΡΠΈΠΊΠΎΠ² Π. Π. Π‘ΡΠ°ΡΠΈΡΡΠΈΡΠ΅ΡΠΊΠΈΠΉ Π°Π½Π°Π»ΠΈΠ· ΠΈ Π²ΠΈΠ·ΡΠ°Π»ΠΈΠ·Π°ΡΠΈΡΠ΄Π°Π½Π½ΡΡ Ρ ΠΏΠΎΠΌΠΎΡΡΡ R // R: ΠΠ½Π°Π»ΠΈΠ· ΠΈ Π²ΠΈΠ·ΡΠ°Π»ΠΈΠ·Π°ΡΠΈΡ Π΄Π°Π½Π½ΡΡ . 2014. URL: http://r-analytics.blogspot.ru/p/blog-pagc20.html