学校の課題中、Web Scraperがあったら便利だなぁと思って、Web Scraperを開発していたら、一々Scrapingする情報を指定しなきゃならない所がめんどくさいと思いました。

Untitled

いっそ、Source Codeを丸ごとScrapingして、LangChainを使ってLLMに必要な情報だけをまとめる役割を与えて、実際、Userが求める形の資料にしてくれるProgramを作った方がいいと思って、作ることになりました。

Untitled

技術はかなり簡単で、実際にはHPのSource Code全体をCopyしてChatGPTに纏めて貰う事を全部自動化してるだけです。

ですが、僕のように課題のためにWeb Scrapingしたい大学生のため、より簡単にWeb Scrapingが出来るように、完成したProgramを誰でも無料で使えるようにGithubに公開しました。