X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Требуется решение для работы с CSV файлами, Собрать из csv файлов в папке строки в новый файл
ilyalink
ilyalink
Topic Starter сообщение 10.5.2013, 12:32; Ответить: ilyalink
Сообщение #1


Приветствую!

Требуется решение для работы с csv файлами.

Есть папка, в ней 40-50 CSV одинакового формата, файлы до 60 000 строк. Общий вес - больше 500 мб

Необходимо выбрать из всех файлах все строки, содержащие определенный текст (например, "строительство") и поместить их в новый файл.

Соответственно, выборок будет много, так что необходимо готовое решение (консольное или с интерфейсом).

Оперативной памяти 2 гигабайта. Просьба это учитывать, необходимо такое решение, которое не будет "виснуть".

Пример файла: http://yadi.sk/d/3GMWXYe54h8UU

Готов заплатить 500 рублей.

Пишите сюда или в личку.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sergej_g
sergej_g
сообщение 10.5.2013, 12:46; Ответить: sergej_g
Сообщение #2


Так вроде Excel это может делать. И еще Notepad++

Сообщение отредактировал sergej_g - 10.5.2013, 12:53


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ilyalink
ilyalink
Topic Starter сообщение 11.5.2013, 8:52; Ответить: ilyalink
Сообщение #3


К сожалению, поиск информации на форумах по Excel'ю результатов не дал. Нужен скрипт для него в любом случае и инструкция по запуску, поэтому предложение о работе до сих пор актуально.

Решение для notepad++ так же подошло бы.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
webpavilion
webpavilion
сообщение 11.5.2013, 10:15; Ответить: webpavilion
Сообщение #4


в консоли на почти любом линуксе:
find . -name "*.csv" -print0 | xargs -0 recode windows1251...utf8
cat *.csv | grep "рекламное агентство" > tmp.csv


выслать wmr кошелек?

первая строчка перекодирует все файлы в utf8 её нужно выполнять один раз.
вторая собственно поиск по файлам и запись в результирующий файл.

из grep можно стоить цепочки или использовать регулярные выражения через egrep

Сообщение отредактировал webpavilion - 11.5.2013, 10:18


--------------------
Не ведитесь, cамопис это почти всегда плохо!

Делаю сайты на Drupal 7.x
(очень дорого)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Pavlik
Pavlik
сообщение 11.5.2013, 10:25; Ответить: Pavlik
Сообщение #5


в POSIX окружении одной строкой решается:
cat *.csv | grep 'строительство' > новый_файл
Cygwin под Windows даст вам это.


--------------------
кидала
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ilyalink
ilyalink
Topic Starter сообщение 11.5.2013, 12:50; Ответить: ilyalink
Сообщение #6


webpavilion, Pavlik,
Спасибо, что откликнулись!

Решение подошло, однако файлы в винде файлы пришлось переводить в другую кодировку с помощью UTFCast

Думаю, справедливо было бы разделить 500 рублей пополам между webpavilion и Pavlik, так как первый подсказал решение, а второй решил вопрос с его реализацией под Windows.

Скиньте, пожалуйста, WMR кошельки в личку - переведу деньги.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
webpavilion
webpavilion
сообщение 11.5.2013, 13:22; Ответить: webpavilion
Сообщение #7


ilyalink, я на вознаграждение не претендую.


--------------------
Не ведитесь, cамопис это почти всегда плохо!

Делаю сайты на Drupal 7.x
(очень дорого)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Обучение Email Рассылкам + Софт Для Автоматизации (100к в сутки с сервера)
9 zennoboss 4583 Вчера, 21:03
автор: 100ftd
Открытая тема (нет новых ответов) Посоветуйте массажер для спины и шеи
9 Boymaster 868 Вчера, 13:56
автор: Vmir
Горячая тема (нет новых ответов) Как вы отдыхаете от работы за компом
151 adw-kupon.ru 19818 Вчера, 13:52
автор: Vmir
Открытая тема (нет новых ответов) Какой % отказов нормален для сайта?
14 Aloof 3373 Вчера, 13:50
автор: Vmir
Открытая тема (нет новых ответов) Имитация работы залог успеха?
21 metvekot 1483 Вчера, 11:51
автор: Skyworker


 



RSS Текстовая версия Сейчас: 24.4.2024, 3:45
Дизайн