【初心者歓迎】CSVファイル結合ツールを作ろう

import os
import customtkinter as ctk
from customtkintercontrols import App
from customtkintercontrols import FileSelectionControl
from customtkintercontrols import FolderSelectionControl
from customtkintercontrols import EntryControl
import csv_joinner as cj
from appconfig import AppConfig 
# -----------------------------------------------
# コールバック関数の定義 
# -----------------------------------------------

# ウィンドウを閉じる時に呼ばれる関数
def close_window():
    # 画面入力値を保存
    conf.set("file_selection",file_selection.get())
    conf.set("input_encoding_name",input_encoding_name.get())
    conf.set("folder",folder_selection.get())
    conf.set("output_encoding_name",output_encoding_name.get())
    conf.set("input_header_cnt",input_header_cnt.get())
    conf.set("contain_words",contain_words.get())
    conf.set("not_contain_words",not_contain_words.get())
    conf.write()
    # プログラムの終了
    app.quit()

# 変換ボタンが押された時に呼ばれる関数
def join():
    csv_file = file_selection.get()
    in_encoder = input_encoding_name.get()
    in_folder = folder_selection.get()
    out_encoder = output_encoding_name.get()
    head_cnt = input_header_cnt.get()
    merge = is_merge.get()
    sepa = delimiter.get().strip()
    varid_words = contain_words.get() if is_contain.get() != 0 else ""
    omit_wors = not_contain_words.get() if is_not_contain.get() != 0 else ""
    if merge == 0:
        cj.join_csv(in_folder,csv_file,int(head_cnt),in_encoder,out_encoder,varid_words,omit_wors)
    else:
        cj.merge_csv(in_folder,csv_file,sepa,in_encoder,out_encoder,varid_words,omit_wors)
        

def input_control():
    if is_merge.get() == 0:
        is_contain.configure(state="normal")
        is_not_contain.configure(state="normal")
        contain_words.entry.configure(state="normal")
        not_contain_words.entry.configure(state="normal")
        delimiter.configure(state="disabled") 
    else:
        is_contain.configure(state="disabled")
        is_not_contain.configure(state="disabled")
        contain_words.entry.configure(state="disabled")  
        not_contain_words.entry.configure(state="disabled")  
        delimiter.configure(state="normal") 
           
# -----------------------------------------------
# メインウインドウの定義
# -----------------------------------------------

# 前回入力値の保存・復元用インスタンスの生成
conf = AppConfig("./config.json")

# メインウィンドウの作成
app = App()
app.minsize(width=600, height=400)
app.geometry(f"800x480")
app.title("CSVファイル結合")

# customtkinterをダークモードに設定
ctk.set_appearance_mode("light")

# ウィンドウを閉じる時に呼びたい関数を登録
app.protocol("WM_DELETE_WINDOW", close_window)

# -----------------------------------------------
# 画面レイアウト（ウィジェット）の定義 
# -----------------------------------------------

# フォルダ選択ダイアログを配置
folder_selection = FolderSelectionControl(app)
folder_selection.label.configure(text="結合元フォルダ名")
folder_selection.pack(padx=10,pady=10,fill="x")

# 文字コードとヘッダ行数の指定ウィジェットを配置
group = ctk.CTkFrame(app)
label = ctk.CTkLabel(group , text="  　　　　文字コード")
label.pack(padx=10,pady=10,side="left")

# 入力ファイル文字コードコンボボックスを配置
input_encoding_name = ctk.CTkComboBox(group , values=["SHIFT-JIS","UTF-8"])
input_encoding_name.pack(padx=10,pady=10,side="left")

# ヘッダ行数の選択コンボボックスを配置
label = ctk.CTkLabel(group , text="ヘッダ行数")
label.pack(padx=10,pady=10,side="left")
input_header_cnt = ctk.CTkComboBox(group , values=["0","1","2","3","4","5"],width=60)
input_header_cnt.set("1")
input_header_cnt.pack(padx=10,pady=10,side="left")

# 異なるカラムを持つCSVを結合するオプションを配置
is_merge = ctk.CTkCheckBox(group,text="異なるカラムを持つCSVを結合",command=input_control)
is_merge.pack(padx=30,pady=10,side="left")
delimiter = ctk.CTkComboBox(group , values=[",","\\t"],width=60)
delimiter.set(",")
delimiter.configure(state="disabled") 
delimiter.pack(padx=10,pady=10,side="left")
group.pack(padx=10,pady=10,fill="x")
group.pack(padx=10,pady=10,fill="x")

# ファイル選択ダイアログを配置
file_selection = FileSelectionControl(app)
file_selection.label.configure(text=" 　　結合ファイル名")
file_selection.pack(padx=10,pady=10,fill="x")

# 出力ファイル文字コードコンボボックスを配置
group = ctk.CTkFrame(app)
label = ctk.CTkLabel(group , text="  　　　　文字コード")
label.pack(padx=10,pady=10,side="left")
output_encoding_name = ctk.CTkComboBox(group , values=["SHIFT-JIS","UTF-8"])
output_encoding_name.pack(padx=10,pady=10,side="left")
group.pack(padx=10,pady=10,fill="x")


# 抽出対象のキーワード入力欄を配置
group = ctk.CTkFrame(app)
is_contain = ctk.CTkCheckBox(group,text="キーワードを含む行を抽出",width=90)
is_contain.pack(padx=10,pady=10,side="left")
contain_words = EntryControl(group)
contain_words.pack(padx=10,pady=10,fill="x", expand=True)
group.pack(padx=10,pady=10,fill="x")

# 除外対象のキーワード入力欄を配置
group = ctk.CTkFrame(app)
is_not_contain = ctk.CTkCheckBox(group,text="キーワードを含む行を除外",width=90)
is_not_contain.pack(padx=10,pady=10,side="left")
not_contain_words = EntryControl(group)
not_contain_words.pack(padx=10,pady=10,fill="x", expand=True)
group.pack(padx=10,pady=10,fill="x")

# 実行ボタンの配置
split_button = ctk.CTkButton(app,text="CSVファイルの結合",height=40,width=300,command=join)
split_button.pack(padx=20,pady=10,side="top", anchor="e")


# -----------------------------------------------
# 前回実行時の画面入力値を復元
# -----------------------------------------------
file_selection.set(conf.get("file_selection",""))
input_encoding_name.set(conf.get("input_encoding_name","SHIFT-JIS"))
input_header_cnt.set(conf.get("input_header_cnt","1"))
output_encoding_name.set(conf.get("output_encoding_name","SHIFT-JIS"))
is_merge.setvar(conf.get("is_merge",""))
delimiter.set(conf.get("delimiter",","))
contain_words.set(conf.get("contain_words",""))
not_contain_words.set(conf.get("not_contain_words",""))

# CSVファイル名を復元
folder_selection.set(conf.get("csvfile"))

# 保存先フォルダの値を復元
folder_selection.set(conf.get("folder"))
if folder_selection.get() == "":
    folder_selection.set(os.getcwd())


# -----------------------------------------------
# CustomTkinterの起動 
# -----------------------------------------------

# メインループを開始
app.mainloop()

import os
import glob
import pandas as pd


def get_files(folder,recursive=False,include_hidden=False):
    """
    指定されたフォルダ内のファイルを再帰的に取得する関数
    :param folder: フォルダのパス
    :param recursive: 再帰的に取得するかどうかのフラグ
    :param include_hidden: 隠しファイルを含めるかどうかのフラグ
    :return: ファイルのリスト
    """
    if os.path.isdir(folder):
        folder = os.path.join(folder,"*")
    if recursive:
        dir,name = os.path.split(folder)
        folder = os.path.join(dir,"**",name)
    return glob.glob(folder,recursive=recursive,include_hidden=include_hidden)

def join_csv(folder, filename, header_count=1, input_encoder="shift-jis", output_encoder="shift-jis", valid_words="", omit_words=""):
    """
    指定されたフォルダ内のCSVファイルを結合して新しいファイルに書き込む関数。

    Args:
    folder (str): CSVファイルが格納されたフォルダのパスまたはファイルパス。ワイルドカードを使用できる。
    filename (str): 結合したCSVファイルの出力先となるファイル名。
    header_count (int): ヘッダ行数。2個目以上のファイルはこの行数分を読み飛ばす。
    input_encoder (str): 入力ファイルの文字エンコーディング。
    output_encoder (str): 出力ファイルの文字エンコーディング。
    valid_words (str): 有効な単語のリスト。
    omit_words (str): 省略する単語のリスト。
    """

    # １行の中に指定したキーワードが含まれているかをチェックする関数
    def match(line,words):
        return any(word in line for word in words.split(','))

    # フォルダ内のCSVファイルを取得
    files = get_files(folder)

    # 結合した結果を書き込むファイルをオープン
    with open(filename, 'w', encoding=output_encoder) as outfile:

        # 各ファイルを順番に処理
        for file_no, file in enumerate(files):
            # ファイルをオープン
            with open(file, 'r', encoding=input_encoder) as infile:
                # 各行を順番に処理
                for line_no, line in enumerate(infile):
                                
                    # ヘッダ行か否かで処理を分岐
                    if line_no < header_count:
                        # 最初のファイルのヘッダ行を出力ファイルに書き込む 
                        if file_no == 0:                      
                            outfile.write(line)
                    else:
                        # 指定したキーワードが含まれていなければ読み飛ばす
                        if valid_words != "" and not match(line,valid_words):
                            continue
                        # 指定したキーワードが含まれていたら読み飛ばす
                        if omit_words != "" and match(line,omit_words):
                            continue

                        # 行を出力ファイルに書き込む
                        outfile.write(line)




def merge_csv(folder, filename, delimiter=',', input_encoder="shift-jis", output_encoder="shift-jis"):
    """
    指定された複数のファイルに対して、1行目を読み取り、それをカラムとして持つDataFrameを作成し、指定されたファイルを読み込む処理を繰り返し、最終的にファイルに出力する関数。

    Args:
    file_list (list): 読み込むファイルのリスト
    filename (str): 出力ファイル名
    delimiter (str): 区切り文字
    """
    # 1行目を読み取って、カラムのリストを作成
    files = get_files(folder)
    columns = set()
    for file in files:
        with open(file, 'r',encoding=input_encoder) as infile:
            line = infile.readline().strip()
            columns.update(line.split(delimiter))

    combined_df = pd.DataFrame(columns=list(columns))

    # ファイルを削除
    os.remove(filename)

    # ファイルごとにDataFrameを作成し、CSVに出力
    for file in files:
        sour_df = pd.read_csv(file, delimiter=delimiter,encoding=input_encoder)
        dest_df = pd.concat([combined_df,sour_df])

        with open(filename, 'a') as f:
            dest_df.to_csv(f, header=False, index=False,encoding=output_encoder)