【STA24】ファイル生成Pgm備忘録その2＜解析・機械学習用＞

前回のプログラムBasicDataTrans_STA24で作成した基礎データファイルを使った解析用プログラムです。

STA24_XYp_sITPBNO_20.py
https://gist.github.com/dj1711572002/f063c401c29751597f6f44c2f066d829

●機能
１：120msec周期のデータを10msec周期で２次スプライン補間計算をします。ターン毎にファイル生成(hoT)
２：ペアプロットで全パラメータの相関グラフが見られる　hue付き　hue無し　２種類出力(ppr)
３：SVM機械学習処理を試してペアプロットで観察することができる(m)　まだ、学習中で実稼働してない
４：headMot、Heading,yawのピークを求めて、時系列グラフでピーク補正と補正効果の統計計算する（pph)
５：find_peaksを使ったピーク検出(fp)
６：XYプロットで補間後の軌跡のプロットして補間効果を見れる。（xyp)
７：連番の任意のCSVファイル群を１本のCSVにまとめる機能（call)

●操作

キー	動作
‘r’キー	BRBN_、BRBNT_基礎データが入ったCSVファイルを読み込んでdf_BRBNT生成 “iTOW_B０”：先頭をゼロとした時間表示列 headMotの時系列グラフを表示してデータ読み込み確認
“hoT”キー	２次スプライン関数で補間計算とファイル合体０：’r’キーでdf_BRBNTを作成済みなこと１：’r’で読んだBRBNファイルと対になったBNOファイルを読み込む２：指定カラムリストの補間を順次行って指定カラム”H-Ysa”を確認プロットする３：合体して10msecファイル群作成　連番名　sITPBNO_No_　を作成
“pp”キー	ペアプロット観察する１：補間処理済みのsITPBNO　ファイルを単独でペアプロットする２：ITPpairplot_ .pngファイルを作成
‘m’キー	SVM　機械学習計算を試す１：使用目的に沿ったsITPBNOファイル連番をリスト指定したセットlistNを作成２：使用目的に沿ったカラムを指定したセットcolistを作成３：上記指定に沿ってsITPBNOファイルを読み込んで、機械学習用dfを生成 3-1df=sITP_dfMake(filename,listN_org,colist_org,”org”) =>オリジナルのデータのdf　正規化無し 3-2df_trains=sITP_dfMake(filename,listN_train,colist_train,”train”) =>トレーニングデータ作成　正規化済み 3-3df_tests=sITP_dfMake(filename,listN_test,colist_test,”test”) =>テストデータを作成、正規化済み 3-4df_target=sITP_dfMake(filename,listN_target,colist_target,”target”) ＝＞ターゲットデータを作成　正規化無し４：ターゲットのランク分け（２分割が普通） df_ttargetR=tRank_make(df_ttarget,rankN,values,colname) ５：機械学習用の上記dfをto_numpyにしてからreshapeで１行にまとめる処理６：機械学習させてmodelを生成７：トレーニングデータのモデル精度の評価を行う８：結果をペアプロット　以後は未完成
“ppr”キー	ペアプロットする１：sITPBNOファイルをリスト指定してまとめてペアプロットする２：相関付きペアプロット関数pairplot()で相関ペアプロット出力３：HUE付きペアプロット出力４：普通のペアプロット出力５：hokanフォルダーにppr＿名でPNGファイルで保存される
“pph”キー	ピーク補正実験用ブロック１：ｓITPBNOファイル１個を指定読み込み２：初期オフセット値gを500-1000データの平均値の差で決めるyawHg作成(手動調整）３：各波形のピーク検出 fpr=peaksHokancol(df,”headMot360″) fpr1=peaksHokancol(df,”yaw”) fpr2=peaksHokancol(df,”Heading360″) fcr=crossPoints(df,fpr1,fpr2)#Find Croaapoints ４：headMotピークにあわせてyawHg波形をピークオフセット値hpg足してyawHpgを作成５：ピーク補正の精度を統計処理してpph_Stat_ ファイルに保存６：統計処理したデータファイルpph_Log_ ファイルに保存７：全部が見える時系列グラフを生成表示　 _pph.png　ファイルとして保存
“xyp”キー	XYグラフを描く　10msec補間の細かな軌跡の動きを目視確認用１：MovingBaseデータをもっているファイルを読み込む２：BaseとRoverを結んだスキー線と軌跡をグラフ表示３：xyp_Turn_　.pngファイルとして1200dpi保存
“call”キー	任意の連番ファイル群を一本のＣＳＶファイルにまとめる関数：csv_All_make(fn)１：ファイル群の任意の１個だけ指定２：ファイル群の連番を抽出して、最小ー最大が番号を取得してソート３：ソート順に読みこんで、dfを作成４：ファイル群名と最小番号-最大番号のファイル名の合体したファイルが同じフォルダーにできる。