リアル仮想通貨ファン

[16:20:12] くんにちわ！
[16:30:42] 500万行位を境に処理エラーが起きやすくなるものが多いのはなんでですか？
[16:39:12] jsonファイルを読み込もうとしたら500万行ずつしか読み込めないんです
[16:40:57] 改行ありなしで試しても500万行くらいでエラーになります
[16:41:52] そうですJSONLです！
[16:43:12] ChatGPTで質問しても500エラーと勘違いして話になりません
[16:43:57] えーっと、ここでいうスタックは何ですか？
[16:46:41] 消費するメモリって元データサイズを超えますか？
[16:51:44] 確認したらデータ２GBだからメモリ32GBあるし余裕なんだよなぁ
[16:53:05] pythonのjsonとbashのsedで発生します(^^;
[16:54:19] 3.5は確かにｗ
[16:55:39] sedはエラー内容的に限界が500万行っぽいんだけどどこにも情報がない！ｗ
[16:57:34] sed使用してやろうとしてダメでpythonだけでもダメです
[16:58:44] データに不整合があったから修正にsedを使いました！
[16:59:39] 500万行以下で修正ファイル作ればpythonで読み込めるけど超えるとだめなの
[17:01:10] テストデータ用意するだけでも面倒な話だよねw
[17:03:52] forで1行ずつjson.loadsしてる
[17:05:05] OoMになると強制再起動起きるのでそれではないと思われる
[17:06:30] エラー内容が必要ですかちょっと待ってね再現してくる
[17:08:49] 読んで調べたんだけどどこにも情報なかったから覚えてないｗ
[17:17:46] データサイズ5,592,178,831byteでしたごめんなさい
[17:18:56] OHLCだとバックテストと差異が出て話にならない
[17:22:10] 現在メモリ消費量10GBで処理進行中
[17:23:47] しまったpandasのconcatで処理始めちゃった
[17:25:32] メモリの使用率がエグイ・・・
[17:27:17] これはあかんかも知れない
[17:40:24] メモリ食いつぶされてバグってました
[17:41:24] 違う間違ってpandas使っちゃったから今やり直してるｗ
[17:42:29] 最近のwinosはメモリなくなると変な止まり方しやがる
[17:43:10] wslのLinuxですｗ
[17:44:23] 違うpythonはwindowsのだけど関係ないのでは？
[17:46:12] 君子blendermo
[17:46:17] も使えるのか
[17:47:07] スゴw
[17:55:54] 今度はブラウザがいかれたw
[17:56:12] 恐るべしビッグデータ
[17:57:23] あっまた間違えてる、、、
[18:18:08] 働く事に勝敗求めたら負け
[18:21:26] 蕁麻疹薬飲まなくなったら治った原因不明のアレルギーだった
[18:24:08] 昨日から夜はだいぶ冷え込むようになったのに
[18:25:06] 月曜じゃなくて今動こうか！
[18:26:07] ボット作ってる意味ｗ
[18:26:36] いつ出来上がるの？ｗ
[18:27:04] 多彩な技術力を持ってるのに何してるの？ｗ
[18:28:10] そんな時間を無駄に使う能力値じゃないんじゃ？ｗ
[18:29:49] 病は気からの典型例だな！
[18:31:25] ｸﾝﾆﾁﾊ
[18:32:04] 逆にNGなりそうだけどねｗ
[18:33:52] マスク意味もなくつけるようになってしまった
[18:34:46] 高いw
[18:35:53] ググったらこのマスクなら納得ｗ
[18:39:47] そうきたかｗ
[18:40:08] 生きてるの大変そうだな、、、
[18:43:14] 今深刻な話をしてるんだぞヒーハー言ってる場合じゃない
[18:43:45] こら！そこ笑うんじゃない！w
[18:44:57] 本を読む前に速読を極めよう！
[18:46:08] 一日に一度も窓開けません
[18:47:28] マッチポンプぽんじすきーむ師匠のセミナーきたーーーー！！！
[18:49:34] urlを開く動作が面倒くさい
[18:50:05] けどohlcの事っぽいね！
[18:55:55] どっち行くんだろうね～
[18:56:10] です
[19:00:43] 迷宮入り確定
[19:01:47] ドラマｗ
[19:04:56] ピリつきからのこの展開なんですか？ｗ
[19:06:36] 家康上げ、、、初耳なんですがそれ何？
[19:08:33] そなの？ｗ
[19:11:46] 卑猥かつ下品
[19:13:06] もし本当に気づいてないのだとしたら知らないままの方がいい
[19:14:07] 良いんだよ知る事が全てではない
[19:14:58] それならなおさらだ
[19:15:40] 時々卑猥と言われても気にせず幸せに暮らすんだ
[19:18:56] 優雅じゃないセリフで立ち去るな！ｗ
[19:19:36] ５
[19:21:39] そのカウントダウンの単位何！？
[19:22:48] ノどん
[19:24:35] 過去を振り返るな！まっすぐ見れば未来が見える
[19:27:21] しっかりしたリアルなスキャ講座だなｗ
[19:32:57] 魚肉御意ー！
[19:42:59] 雪国そこの布さばいてホコリだそうぜ
[19:45:05] 私からも送ります！
[19:45:40] え？ためになるじゃん
[19:46:54] マイナサイトにすれば？ｗ
[19:47:43] Ddosって刑法違反なの！？ｗ
[19:48:30] 5Fは連打の奨めはやめないといけないなぁ
[19:50:01] テクニカルに気張りすぎてないとか本物かよw
[19:51:18] 罰金刑だけど判例あるとかコワw
[19:52:15] BF要因なきBANが社会問題へ発展
[19:53:29] こちらでプロ試験やってまーす
[19:54:54] 私ですか！？
[19:56:01] 隠す人？他人に隠すこと？何がある？
[19:57:00] かいばで買い馬変換出ないよ！？
[19:58:33] 理解力半端ねー！
[20:06:54] 最後に不敵な笑みキターーーーー！
[20:07:44] ヒーハー男爵キターーーーー！
[20:08:32] ふぇっふぇっふぇっ
[20:11:41] 君子一軒家だと特定しました
[20:12:57] 昔は夢のマイホームだぞ！ｗ
[20:13:52] あのビットポイントが！？
[20:15:06] 額面が堅実すぎるんだよ！
[20:15:28] 悪いとは言っていない
[20:16:36] それほしー！
[20:18:11] たのまい
[20:22:04] どちらも速攻でしました
[20:25:00] シードしたら住所が出てきた！rnRi5UMvpivsEJqTAnv1o2aLXkt7u59D97
[20:26:49] 単なるBFの住所やないかいｗ
[20:29:31] 流行は麻布のヒルズになってしまったからなぁ
[20:32:39] あー！雪国のチャットのせいで動いた！
[20:35:12] 宇宙人༼ つ ◕_◕ ༽つ
[20:35:31] ディスコｗ