ヤフーニュースのタイトルからPythonでカテゴリ予測[形態素解析編]

from janome.tokenizer import Tokenizer#形態素解析用のライブラリ
f=open("business.txt","r")#前の記事でbusiness.txtに経済のタイトルを保存しましたね
titles= []#このリストに保存しておいたリストを入れます
for title in f:#保存しておいた経済のリストをtitlesリストに入れていきます
    titles.append(title.rstrip("\n"))#改行コードはとばします
f.close()
f=open("sports.txt","r")#経済と同じようにします
for title in f:
    titles.append(title.rstrip("\n"))
f.close()
t=Tokenizer()
documents=[]#全部の名詞と形容詞だけになった文章を入れるリスト
for i in range(len(titles)):
    tokens=t.tokenize(titles[i])
    document="#名詞と形容詞だけになった文章を入れる変数
    for token in tokens:
        part_of_speech=token.part_of_speech.split(",")[0]#品詞を代入
        if part_of_speech=="名詞" or part_of_speech=="形容詞":
            document+=token.surface+" "#文章の変数に単語を空白を開けて代入
    documents.append(document)#文章をdocumentsリストに追加

f = open('titles.txt', 'w')#documentsリストを保存しておきます
for x in documents:
    f.write(str(x) + "\n")
f.close()

f=open("business.txt","r")#前の記事でbusiness.txtに経済のタイトルを保存しましたね
titles= []#このリストに保存しておいたリストを入れます
for title in f:#保存しておいた経済のリストをtitlesリストに入れていきます
    titles.append(title.rstrip("\n"))#改行コードはとばします
f.close()

t=Tokenizer()
documents=[]#全部の名詞と形容詞だけになった文章を入れるリスト
for title in titles:
    tokens=t.tokenize(title)
    document=""#名詞と形容詞だけになった文章を入れる変数
    for token in tokens:
        part_of_speech=token.part_of_speech.split(",")[0]#品詞を代入
        if part_of_speech=="名詞" or part_of_speech=="形容詞":
            document+=token.surface+" "#単語を空白を開けて代入
    documents.append(document)#文章をdocumentsリストに追加

銀行 融資 基準 新規 先 厳しく 既存 先 ない 理由

['銀行 融資 基準 新規 先 厳しく 既存 先 ない 理由 ', '日本 ジェンダーフルイドブランド 宝庫 ', '美輪 明宏 芸術 利用 GQ JAPAN 連載 特集 希望 伝言 ', '来週 5 / 25 ～ 29 日経 平均 株価 予想 レンジ 2 万 ～ 2 万 800 円 米 中 対立 警戒 中 インデックス 売買 影響 づらい 中小 型 株 期待 ',　・・・・・・]

f = open('titles.txt', 'w')#documentsリストを保存しておきます
for x in documents:
    f.write(str(x) + "\n")
f.close()