自然言語処理を行うにあたって文を単語毎に分け品詞を特定する形態素解析という処理があります。
この処理を行うことによりテキスト上で意味を持つ単語とそうでない単語を分けることができ、その結果を集計することがテキストマイニングの第一ステップと言えます。
日本語のみであれば、MeCabを利用する事で形態素解析が可能ですがシステムに組み込むとなると多言語対応が求められる事もあります。
その際に精度が良く、多言語対応可能なPythonライブラリを紹介したいと思います。
その名も「spaCy」です。
今回は、Serverless Frameworkを利用することやAWS CLIを利用してイメージ登録を行う為、事前に検証用のIAMユーザーを作成しております。
作成したユーザープロファイルは登録済みの状態です。
本記事は、2021/08/04(水)に登壇させていただいたSnowVillage生放送でのNLPパートの詳細解説記事になります。
生放送内では尺の都合上、紹介できなかった前処理やTF-IDFの解説を中心に紹介します。
SnowVillageとは...?
隔週水曜日にSnowflakeに関する情報発信を行っているアツいYoutubeチャンネルです。
Snowflakeはアメリカ・シリコンバレー 生まれのクラウド専用のデータコラボレーション基盤(Data Cloud)。日本では2020年から本格的に展開が進み、クラウドデータウェアハウス(DWH)やクラウドデータ基盤としての活用が始まっています。
以下、登壇時の動画を記載しますので、是非とも視聴していただけると幸いです。
