オンラインコーパスの構築と利用. How to build a corpus online and use it 第 5 回上智大学研究機構 FESTIVAL 年 9 月 28 日 Antonio Ruiz Tinoco 上智大学国際言語情報研究所

Transcription

1 オンラインコーパスの構築と利用 How to build a corpus online and use it 第 5 回上智大学研究機構 FESTIVAL 2010 年 9 月 28 日 Antonio Ruiz Tinoco 上智大学国際言語情報研究所

2 コーパスとは A corpus is a collection of pieces of language that are selected and ordered according to explicit linguistic criteria in order to be used as a sample of the language (John Sinclair, 1996) 2

3 いくつかの重要なポイント コンピュータで処理可能 ( 便利 ) 本物のテキスト ( 感覚に頼らない ) サンプルで充分 ( バランス ) ある言語またはある変異を代表するようなサンプル ( はっきりした目的 ) 3

4 コーパスで何を調べるか 何でも調べられるコーパスはない 研究目的によって設計が異なる 4

5 COVARES の特徴 Corpus de variación del español, スペイン語圏の作家の代表的な文学作品 オンラインで複雑な検索が可能 5

6 COVARES スペイン語 ( 単独 ) のコーパス COrpus de VARiación del ESpañol ( スペイン語のヴァリエーションコーパス ) 全てのスペイン語圏の国の資料を利用する予定 (23ヵ国 ヨーロッパ 中南米 アフリカ) 国別 作家別 ジャンル別 時代別 などで様々な検索可能 他のコーパスとの連携が可能 形態素情報 ( 作成中 ) 6

7 COVARES に含まれる作品 Argentina Adolfo Bioy Casares Descanso de caminantes Jorge Luis Borges & Adolfo Bioy Casares Seis problemas para don Isidro Parodi Ernesto Sabato Sobre héroes y tumbas Julio Cortázar La autopista del sur Julio Cortázar Rayuela Bolivia Ricardo Jaimes Freyre Cuentos Chile Isabel Allende Hija de la fortuna José Donoso Taratuta, Naturaleza muerta con cachimba Luis Sepúlveda Historia de una gaviota y del gato que le enseñó a volar María Luisa Bombal La Amortajada Manuel Rojas Hijo de ladrón Roberto Bolaño 2666 Colombia Álvaro Mutis Empresas y tribulaciones de maqroll el gaviero, Eduardo Caballero Calderón El Buen Salvaje Gabriel García Márquez Cien años de soledad Gabriel García Márquez La hojarasca Laura Restrepo Leopardo al sol 7

8 Lista de obras contenidas en COVARES España Antonio Muñoz Molina Los misterios de Madrid Arturo Pérez Reverte La tabla de Flandes Camilo José Cela La colmena Eduardo Mendoza La ciudad de los prodigios Miguel Delibes El Hereje Ramón J. Sender Siete Domingos Rojos México Carlos Fuentes Gringo viejo Juan José Arreola Confabulario Juan Rulfo El llano en llamas Jorge Volpi En busca de Klingsor Mariano Azuela Los de Abajo Paraguay Augusto Roa Bastos Yo el supremo Juan Bautista Rivarola Matto El santo de Guatambú Mario Halley Mora Memoria adentro, 1989 Perú Alfredo Bryce Echenique El huerto de mi amada 8

9 COVARES の検索インターフェース 9

10 COVARES の検索インターフェース 10

11 COVARES の検索インターフェース 11

12 検索方法 < > El código de la categoría gramatical debe ir entre < >. más <A> que busca la secuencia más + adjetivo + que como más aburrido que, más agudo que, etc. se <P> <V> busca la secuencia se + pronombre + verbo como se la acababa, se te enroscaron, etc. antes que <VMS> busca la secuencia antes que + subjuntivo como antes que acabaran, antes que amaneciera, etc. # Se añade a la derecha de la forma básica de la palabra que usamos como lema querer# busca todas las formas del verbo querer, como quiero, quisiera, etc. estar# seguro# que busca todas las formas del tipo estoy seguro que, estábamos seguras que, etc. sospechar# de que estar# feliz# busca secuencias como sospecha de que, etc. busca secuencias como están felices, etc. Combinaciones de lema y categoría ser#n Se añade la categoría gramatical junto a la almohadilla (#) para buscar ejemplos de ser como sustantivo, no como verbo. Por ejemplo, Nunca he hecho daño a un ser humano. gustar#v de <VMN> Busca secuencias como Yo era el tipo de muchacha que los hombres gustan de exhibir. gustar#n de <VMN> Busca secuencias como Qué gusto de verla!. aunque tener#vmi Busca secuencias como El chofer se llamaba Larrazábal y aunque tenía un nombre propio no quiso decírselo. aunque tener#vms Busca secuencias como Aunque tuviera un hijo no podría reemplazarme, heredarme. 12

13 LAMPP environment Linux, Apache, MySQL, PHP, Perl OS: SUSE Linux 10 DB: MySQL 5 Interface: PHP5 Code: UTF-8 / Latin-1 Libraries (FPDF, etc.) CPU: Xeon 2.8x2 memory: 2GB 13

14 COVARES データベースの構造 ( 一部 ) 4 tables: KWIC AUTHORS OPUS LANGUAGES 複数の DB に容易に繋げることが可能 必要に応じてインターフェースを準備 14

15 DB 管理用 GUI phpmyadmin ほぼ標準的な 管理用ツール 15

16 形体情報 (Multext) Multext L0010 (510,710 Word forms) を利用 ( 準備中 ) European Language Resources Association (ELRA) 16

17 形体情報 SVMTool カタルーニャ工科大学 (Universitat Politècnica de Catalunya) で開発されたスペイン語タガー Primero llevaron el imán. Primero llevaron el imán. Primero RG llevaron VMI el DA imán NC. Fp <RG>Primero <VMI>llevaron <DA>el <NC>imán. 17

18 日本語のコーパス テキスト : 青空文庫 形態素解析システム : 茶筌 (ChaSen) 18

19 phpmyadmin Interface (complex MySQL commands) 19

20 西和語のパラレルコーパス構築 作成 20

21 コーパスの使用 (1) 専用インターフェースを作成 研究者用語彙の研究 統語論の研究 辞書学など 語学教師用目的に合う適切な用例の検索作文指導 練習問題作成 試験作成 学生用語彙 文法の勉強 オンラインの練習問題翻訳の練習 新しい使用法を探る : 21

22 コーパスの使用 (2) 使用目的により 利用 指導のマニュアルを作成 正規表現などを高度な使い方 作文指導の授業モデル 練習問題 クイズなどの作成のヒント集 試験用の材料として 語彙 文法の勉強 翻訳の練習 新しいデータを追加する方法のマニュアル その他の利用方法を追加 22

23 Interfaz de COVARES 23

24 COVARES の検索の結果 24

25 entrar a/en の比較 ( 文学全体 ) Entrar a en a/en % España % México % Colombia % Chile % Paraguay % Argentina % 25

26 大学生の調査の結果 ( 全体 ) País Lo digo así Lo oigo No lo digo/oigo Total España % % % 188 México % % 0 0% 21 Colombia 24 96% 1 4% 0 0% 25 Chile % 0 0% 0 0% 25 Paraguay 18 90% 2 10% 0 0% 20 Argentina % 0 0% 0 0% 20 Ellos entraron *al edificio. (General) 26

27 大学生の調査の結果 ( スペイン ) Ciudad Lo digo así Lo oigo No lo digo/oigo Total Oviedo % % 0 0% 27 Pamplona % % % 21 Alcalá % % 0 0% 11 Madrid % % 0 0% 21 Barcelona 8 40% 11 55% 1 5% 20 Sevilla % % % 24 Huelva 4 20% 12 60% 4 20% 20 Tenerife 17 85% 3 15% 0 0% 20 Las Palmas % % % 24 Ellos entraron *al edificio. (España) 27

28 参考文献 Equipo Varilex (Coord. Ueda, H.; Takagaki, T.; Ruiz Tinoco, A.). VARILEX, Variación léxica del español en el mundo. Vols Ruiz Tinoco, A Cartografía automática en Internet, Bulletin of the Faculty of Foreign Studies, 36, Sophia University. Ruiz Tinoco, A Léxico variable en los países hispanohablantes según el sexo, in Diccionario, Léxico y Cultura.(Josefina Prado Aragones y Mª Victoria Galloso Camacho), Universidad de Huelva Publicaciones, pp Ruiz Tinoco, A Tools for Creating Online Dictionaries Judeo-Spanish: A Case Study, Usage-Based Linguistic Informatics 1, Linguistic Informatics -State of the Art and the Future, John Benjamins Publishing Company, pp Ueda, H., Ruiz Tinoco, A Pautas y Pistas en el Análisis del Léxico Hispano(americano), Iberoamericana Vervuert, Frankfurt. 28

29 Any questions? Any suggestions? Thank you for your attention!! Antonio Ruiz Tinoco