Pythonの言語処理ライブラリを使って「いいね」されやすい語句や傾向を調べる

はじめに

いいね(likes)の数はツイートの内容ではなくツイートしたアカウントのフォロワーの数や自身のアカウントの傾向との合致等のツイート外の要素に強い相関があるのは経験的に明らかだと思われますが、 それでもなおいいねの数が少ないツイートと多いツイートを比較して、 多いツイートにだけ存在する特有の語句があればそれはいいねを得られやすい語句の候補であると考えられます。 

今回はそういった語句や傾向を探索します。 このような語句の取得にPythonの言語処理ライブラリを使用します。

APIを使用して検索条件を指定してツイートを取得する

Twitter API(v2)を使用して検索条件からツイートを取得します。 APIのキーはTwitter Developerから申請を行い取得を行います。 取得可能なデータは以下から参照できます。

https://developer.twitter.com/en/docs/twitter-api/data-dictionary/introduction

Pythonを使用するのでtweepyライブラリから、Client.search_recent_tweetsを使用して 最近7日から新しい順に5000件のツイートを取得するようにします。 検索条件は日本語ツイートの中からリツイートとユーザー名を除くため以下になります。

(search word) lang: ja -RT OR @a -@a

取得内容はツイートID・本文・言語・作成者ID・いいね数・リツイート数・引用数・ハッシュタグになります。 取得データは扱いやすいようにPandas DateFrameに変換します。 今回に使用する検索語句は"Python"です。 ソースコートは以下になります。

    def get_tweet_by_word(word, num=1000):
    colname = ["id", "author_id", "lang", "text", "retweet_count", "like_count", "quote_count", "hashtag_count", "hashtags"]
    fields = ["author_id", "lang", "public_metrics", "entities"]
    client = tweepy.Client(bearer_token=BEARER_TOKEN, wait_on_rate_limit=True)
    itr = tweepy.Paginator(client.search_recent_tweets, query=word, tweet_fields = fields, max_results = min(num, 100)).flatten(limit=num)
    
    dic = dict()
    for c in colname:
        dic[c] = []

    for tweet in itr:
        dic["id"].append(tweet.id)
        dic["author_id"].append(tweet.author_id)
        dic["lang"].append(tweet.lang)
        dic["text"].append(tweet.text)
        dic["retweet_count"].append(tweet.public_metrics["retweet_count"])
        dic["like_count"].append(tweet.public_metrics["like_count"])
        dic["quote_count"].append(tweet.public_metrics["quote_count"])

        if not tweet.entities or "hashtags" not in tweet.entities:
            dic["hashtag_count"].append(0)
            dic["hashtags"].append("")
        else:
            dic["hashtag_count"].append(len(tweet.entities["hashtags"]))
            dic["hashtags"].append(" ".join([tags["tag"].lower() for tags in tweet.entities["hashtags"]]))
        

    return pd.DataFrame.from_dict(dic, orient='index').T

word = "Python"
lang = "ja"
df = get_tweet_by_word(f"{word} {f'lang: {lang}' if lang else ''} -RT OR @a -@a", num=5000)
df.to_csv(f"./{word}.csv")
df.describe()
    

得られたデータを使用してツイート内容の分析を行います。 これは「Python」を検索語句としたときの結果であって、他の語句を検索条件に使用したり、 トレンドなどの影響によりツイートを取得するタイミングによっても変化する可能性はあります。

いいね数・リツイート数・引用数・ハッシュタグ数

ツイートごとにそれぞれのデータのカウント行い図示しました。 データの見やすさのため、y軸はlogスケール、x軸は100までとしています。 まずはヒストグラムで数の分布を可視化しました。

続いて、それぞれの相関を可視化します。 これはseabornライブラリのpaiplotを使用すれば出力できます。

いいね数・リツイート数・引用数には相関がみられますが、ハッシュタグ数はこれらとの相関は見られないようです。 ハッシュタグをたくさんつけてもいいね数などには結びつかないということですね。

ツイートの文字数といいね数の関係

いいね数が期待できるのは50文字程度以上で、文章が長すぎてもダメみたいです。

いいね数の多いツイートで使われる語句を調査

まずいいね数でツイートのクラス分けを行いました。 クラスごとに語句の使用傾向を調べて比較することでいいねされやすい語句の候補を見つけることができます。 

 クラスはいいね数ごとに3つ(low, mid, high)に分けました。 それぞれのクラスの境界の決定はどのような検索語句でも対応できるようk-meansを使用しようと試みましたが、 いいね数が凝集しすぎていたためか失敗することが多かったため境界は固定しました。クラス分けは以下のように設定しました

• low : いいね数 0-1
• mid : いいね数 2-19
• high : いいね数 20-

まずは「ハッシュタグ別」のいいねの数を調べました。

lowとmid/highを比較すると「駆け出しエンジニアと繋がりたい」や「プログラミング初心者」などがいいねの数が増えています。 このようなハッシュタグはおそらくプログラミング・エンジニア関係者とのコミュニケーションを望んでいるようなタグなので、いいねが得られやすいのでしょう。 

 「今日の積み上げ」「朝活」というハッシュタグがあります。これは努力している最中なのでしょうか。こういったタグにもいいねが得られやすいようです。 

 また続いてフロントエンド関連の語句が目立ちますが、カウント数が同じなので同じアカウントの方が発現されたのかもしれません。 実際に確認してみたところ、これは宣伝でした。 lowをみると「相互フォロー」や「株」関連のハッシュタグが目立ちます。これはPythonと関係ないのでスルーされやすいのかもしれません。

次にツイートに使用された「語句別」のいいねの数を調べました。 語句の抽出には形態素解析Mecab、辞書にはmecab-ipadic-NEologdを使用しました。 語句は名詞または形容詞の自立語のみをカウントするようにしました。

    import MeCab
    
    def pick_independent_words(df):
        me = MeCab.Tagger()
        words = []
        for id, txt in df["text"].items():
            bases = []
            lines = me.parse(txt).splitlines()
            for line in lines:
                if line == "EOS\n":
                    break
                fields = line.split("\t")
                if len(fields) != 2 or fields[0].isdigit():
                    continue
                
                fields = fields[1].split(",")
    
                pos = fields[0]
                pos1 = fields[1]
                base = fields[6]
                if base == "*":
                    continue
                
                if pos == "名詞" and pos1 in ['一般','固有名詞','サ変接続','形容動詞語幹']:
                    bases.append(base)
                elif pos == '形容詞' and pos1 == '自立':
                    bases.append(base)
                #elif pos == "動詞" and pos1 == "自立":
                #    bases.append(base)
    
            words.append(bases)
        
        return words
    

いいねの多いツイートにはハッシュタグ関連の語句の他には「独学」という語句が存在します。 またいいねの数が少ないツイートには「入門」という語句が多く、多くなるほど「学習」「エンジニア」の語句が上位に来ます。 傾向として実際に努力の最中のツイートなどはいいねがされやすく、完全な初心者はもしかするといいねはされにくいのかもしれません。

ツイートの自立語数といいね数の関係

先ほどはツイートの文字数といいねとの関係でしたが、 今度は自立語数との関係を見ます。

いいね数が期待できるのは5個程度以上の意味のある言葉が必要で、同じように長すぎてもダメなようです。

他の検索語句の結果例

他の例として「言語処理」で検索したときの結果を示します。

まとめ

今回は特定の検索語句を使用して検討しましたが、他に例えば

• 自身のツイートから傾向を観察する
• 自分のお気に入りのアカウントのツイートの傾向を調査する

などを行うことも可能で、その目的に合わせて分析の方法をアレンジしたり新しい手法を用いたりして、 その結果を参考に今後に活かすこともできると思います。

 別の機会では、また今回とは違った分析や検索条件が英語の場合でもアプローチしてみようと思います。 実際に取得したツイートを観察すると、 語句のみを見るだけでは捉えきれていない部分があり、文脈も必要だと考える必要もありそうです。 英語で検索を行う場合、文化圏が違うのでまた違った結果が得られると思います。

Reference

1. https://developer.twitter.com/ja/docs
2. https://github.com/neologd/mecab-ipadic-neologd